00-Evaluacion de Programas

Coleccin
Gua para la evaluacin de programas

y polticas pblicas de discapacidad
COLECCIN:
NMERO: 62
DIRECTOR: Luis Cayo Prez Bueno
CON EL APOYO DE:
Estudio elaborado y editado en el marco del Programa Operativo del FSE de

Lucha contra la Discriminacin 2007-2013
PRIMERA EDICIN: julio 2013
CERMI, Fundacin ONCE, 2013
DEL TEXTO: Sus autores
DE LA ILUSTRACIN DE CUBIERTA: David de la Fuente Coello, 2013
Reservados todos los derechos.

Cualquier forma de reproduccin, distribucin, comunicacin pblica o transformacin de esta obra slo se puede realizar con la autorizacin de sus titulares, salvo excepcin prevista por la ley. Dirjase a CEDRO (Centro Espaol
de Derechos Reprogrficos, www.cedro.org) si necesita fotocopiar o escanear
algn fragmento de esta obra.
La responsabilidad de las opiniones expresadas en las obras de la Coleccin
Cermi.es editadas por Ediciones Cinca, S. A., incumbe exclusivamente a sus
autores y su publicacin no significa que Ediciones Cinca, S. A. se identifique con las mismas.
DISEO DE COLECCIN
Juan Vidaurre
PRODUCCIN EDITORIAL,
COORDINACIN TCNICA E IMPRESIN:
Grupo Editorial Cinca, S. A.

C/ General Ibez Ibero, 5 A
28003 Madrid
Tel.: 91 553 22 72
Fax: 91 554 37 90
grupoeditorial@edicionescinca.com
www.edicionescinca.com
DEPSITO LEGAL: M. 19.452-2013
ISBN: 978-84-15305-48-4
Gua para la evaluacin de programas

y polticas pblicas de discapacidad
Direccin
Jorge Calero Martnez
Coordinacin
Xavier Fontcuberta Estrada
Autores
Jorge Calero Martnez
Xavier Fontcuberta Estrada
ngela Garca Martnez
Ana Ballesteros Pena
Jurgen De Wispelaere
El estudio se ha llevado a cabo de acuerdo con el Contrato de prestacin de servicios firmado entre la Fundacin ONCE y la Fundaci Bosch i Gimpera (Universidad
de Barcelona) con fecha 23 de julio de 2012. Este Contrato se enmarca en el Programa Operativo de Lucha contra la Discriminacin 2007-2013, cofinanciado por el
Fondo Social Europeo (FSE).
NDICE
Pgs.
Prlogo, Ana Mara Ruiz Martnez ........................................................
11
Captulo I
Introduccin: enfoque y alcance de este trabajo .........................
15
Captulo II
Marco terico y revisin de la literatura ........................................

2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
Introduccin a la evaluacin. Funcin, caractersticas y objetivos. Los motivos para hacer una evaluacin .......................
El objeto de evaluacin y la lgica de la intervencin.........
El encargo de evaluacin. Qu intervenciones son evaluables y por qu? .....................................................................
Metodologas y tipos de evaluacin. Principales enfoques
para abordar una evaluacin ................................................
El diseo de una evaluacin. Criterios, preguntas e indicadores: la matriz de evaluacin ..............................................
Las fuentes y los instrumentos de recogida de informacin.
Eleccin, diseo y utilizacin de tcnicas de anlisis cuantitativas y cualitativas.............................................................
Enjuiciamiento en la evaluacin. Conclusiones y recomendaciones de la evaluacin.....................................................
El informe de evaluacin y la difusin de los resultados. Importancia de los mecanismos de comunicacin...................
Principales instituciones que evalan intervenciones en discapacidad. Estndares y guas publicados en Espaa y en
el mbito internacional ..........................................................
19
19
27
32
36
48
77
90
96
100
Gua para la evaluacin de programas y polticas pblicas de discapacidad
Pgs.
2.10 Seleccin de ejemplos de evaluaciones en el mbito especfico de las polticas de discapacidad, de educacin, formacin
e insercin laboral ..................................................................
111
Captulo III
Evaluar antes de poner en marcha una intervencin: la perspectiva ex ante .............................................................................

3.1
3.2
3.3
3.4
3.5
3.6
3.7
Una reflexin previa: elegir qu evaluar y desde qu perspectiva....................................................................................

Valorar el diseo de los programas: los criterios de pertinencia, coherencia y complementariedad ............................
Incorporacin de un enfoque de gnero ..............................
La cuestin de la gobernanza: el criterio de participacin...
Abordar la medicin del impacto desde una perspectiva ex
ante ........................................................................................
La utilidad de establecer a priori un buen sistema de seguimiento y evaluacin continua................................................
El caso de la Evaluacin de Impacto Normativo (EIN)........
121
121
125
142
156
164
169
179
Captulo IV
Evaluar intervenciones que ya estn en funcionamiento: la evaluacin intermedia y la perspectiva ex post............................

4.1
4.2
4.3
Analizar el proceso de implementacin como elemento clave

para proponer mejoras ...........................................................
Los primeros efectos y el resultado a corto plazo: el criterio
de eficacia..............................................................................
Tener en cuenta los costes de la intervencin: los criterios
de eficiencia y sostenibilidad ................................................
183
183
190
199
ndice
Pgs.
4.4
4.5
4.6
4.7
4.8
El desarrollo del seguimiento y evaluacin continuos, y el

papel clave de los gestores pblicos....................................
El impacto final de la intervencin: el criterio de efectividad...
Considerar el impacto de gnero como parte de la efectividad ....................................................................................
El papel especfico de los actores sociales y su contribucin
a la efectividad de las intervenciones pblicas ......................
La rendicin de cuentas: el criterio de transparencia ..........
205
215
227
232
238
CONCLUSIONES .................................................................................
245
BIBLIOGRAFA .....................................................................................
249
ANEXO .................................................................................................
257
Prlogo
Para quienes nos dedicamos profesionalmente a la evaluacin de polticas y programas pblicos, siempre constituye un motivo de satisfaccin la
publicacin de guas metodolgicas que aporten herramientas que permitan
una primera aproximacin al mundo de la evaluacin a quienes todava no
se han decidido a abordar procesos evaluativos de las intervenciones pblicas que gestionan o de las que son responsables.
En nuestro pas, el desarrollo de la evaluacin se ha producido ms tardamente que en otros Estados de nuestro entorno. Y a pesar de que en los
ltimos aos ha habido avances, sobre todo desde el punto de vista normativo, no es menos cierto que todava en nuestras administraciones pblicas
queda un largo camino que recorrer para que podamos considerar que la
evaluacin constituye una prctica sistemtica e interiorizada en todos los
niveles de gobierno en Espaa. La institucionalizacin de la evaluacin, la
generacin de marcos normativos y la asignacin de la funcin de evaluacin a instancias administrativas es una condicin necesaria pero no suficiente para impulsar este proceso.
El esfuerzo tambin debe centrarse en generar cultura evaluadora en el
conjunto de las administraciones pblicas y de las instituciones que gestionan programas y polticas diseadas para dar respuesta a problemas, demandas y necesidades sociales. Y generar cultura evaluadora implica per-
11
suadir a responsables polticos y gestores de la utilidad de la evaluacin

para incorporar ms racionalidad cientfica en las decisiones pblicas, para
conocer los resultados reales de su accin, y tambin como herramienta de
aprendizaje, proporcionando a las organizaciones conocimiento para el cambio y la mejora. Potenciar la cultura de la evaluacin de las polticas es tambin generar una nueva cultura de gestin, que necesariamente ha de implantarse de forma gradual y que requiere tiempo. Potenciar la cultura de la
evaluacin tambin es formar y proporcionar herramientas que posibiliten su
prctica.
Pero, adems, no podemos perder de vista una aportacin fundamental
de la evaluacin como es que, sin excluir referentes como la eficacia y la
eficiencia de la accin pblica, trata de equilibrarlos con otros criterios fundamentales de valor pblico: equidad, cohesin social, corresponsabilidad,
cooperacin institucional, armonizacin, transparencia, participacin, etc.,
que resultan fundamentales para emitir un juicio de valor ms integral sobre
las polticas pblicas. Es decir, la evaluacin de polticas pblicas trata de
conectar democracia, control y eficiencia, entendiendo que sta ltima, en
el sector pblico, no puede concebirse desde los criterios de mercado, sino
que debe equilibrarse con otros criterios de valor propios de lo pblico comprendiendo y explicando las tensiones inherentes a los diferentes intereses
que se entrecruzan en la accin pblica. Esto es especialmente importante
en relacin con las polticas sociales.
Por ltimo y no por ello menos importante, la evaluacin es tambin una
herramienta esencial para superar retos que deben afrontar en el contexto
actual los gobiernos como la necesidad de conseguir una mayor apertura
de las administraciones pblicas; de satisfacer una demanda ciudadana creciente de ms y mejor informacin sobre los resultados que se obtienen en
el uso de los recursos pblicos; de lograr una mayor participacin e implicacin de los ciudadanos en lo pblico, y la exigencia de una mayor transparencia de los gobiernos y las administraciones.
12
Prlogo
Por eso iniciativas como la emprendida por la Fundacin ONCE y el CERMI son especialmente relevantes. Porque expresan una voluntad decidida
de mejora, a travs del anlisis crtico que implica toda evaluacin, de polticas y programas tan complejos y de tanta trascendencia social como los
que afectan al problema de la discapacidad; porque tambin reflejan una
preocupacin por proporcionar tanto a las personas destinatarias de estas
polticas como a los ciudadanos en general, informacin que les permita valorar hasta qu punto los recursos utilizados han permitido resolver el problema bsico que est en su razn de ser: la inclusin de las personas en
situacin de discapacidad; y porque, en consecuencia, constituye una apuesta por la transparencia y la rendicin de cuentas de organizaciones privadas, lo que las convierte en un ejemplo a imitar.
Finalmente solo me queda, como presidenta de la Agencia de Evaluacin
de las Polticas Pblicas y la Calidad de los Servicios, felicitar a la Fundacin ONCE y al CERMI por esta iniciativa, animarles a que a partir de esta
gua metodolgica inicien sus procesos de evaluacin, y poner a su disposicin el apoyo y la experiencia acumulada por la Agencia a lo largo de sus
siete aos de existencia.
ANA MARA RUIZ MARTNEZ
Presidenta
Agencia de Evaluacin de las Polticas Pblicas
y la Calidad de los Servicios
13
Captulo I
Introduccin: enfoque y alcance de este trabajo
Este trabajo nace de la voluntad de la Fundacin ONCE y el CERMI de

poner a disposicin de la comunidad de personas, instituciones y organizaciones que se interesan y preocupan por las polticas de discapacidad un
marco general de evaluacin, que permita evaluar distintos tipos de intervenciones en dicho mbito.
Para ello, se ha optado por elaborar una serie de indicaciones y orientaciones que, partiendo de los aspectos tericos y metodolgicos que es esencial conocer para poder evaluar, profundicen en aquellos elementos especficos del mbito de la discapacidad, tanto los relacionados con las polticas
pblicas de gran alcance como con las intervenciones ms limitadas que
puedan llevarse a cabo desde el tercer sector. Este planteamiento ha implicado un ejercicio de sntesis y focalizacin relativamente complejo, en el que
se ha tratado de seleccionar aquellas recomendaciones que tengan la mxima aplicabilidad y que, al mismo tiempo, recojan las peculiaridades ms
relevantes y generalizables del mbito de la discapacidad.
En este sentido, una primera eleccin inicial ha sido centrar este trabajo
en el caso de las intervenciones (polticas, planes o programas) relacionadas con la educacin, la formacin y la insercin laboral de personas con
discapacidad. Sin embargo, ello no debe contemplarse como un factor limitativo, ya que en general afecta solamente a la seleccin de bibliografa y
15
ejemplos que se discuten a lo largo del trabajo, pero no impide que una mayora de las indicaciones que ste contiene puedan ser de aplicabilidad para
evaluar intervenciones del mbito de la discapacidad de otra naturaleza.
El objetivo ltimo es, pues, proporcionar una herramienta verstil, que
cumpla adems con las siguientes condiciones:
Que sea sencilla de manejar, de modo que pueda ser utilizada por un
amplio espectro de profesionales.
Que sea eficaz, permitiendo disear evaluaciones estandarizadas que
se enmarquen sin dificultad en la literatura y la prctica internacional
sobre evaluacin de polticas de discapacidad.
Que sea eficiente, proponiendo procesos de evaluacin cuyos costes
sean razonables para las distintas instituciones y organizaciones que
operan en el mbito de la discapacidad.
Para elaborar dicha herramienta, se ha procedido a utilizar informacin de
tres fuentes distintas. En primer lugar, la propia experiencia profesional del equipo que ha elaborado este trabajo, que combina el conocimiento y la experiencia en el mbito de las polticas de igualdad de oportunidades (educacin, discapacidad, etc.) con la formacin en teora y metodologa de evaluacin.
En segundo lugar, se ha llevado a cabo una revisin crtica de la literatura existente en el campo de la evaluacin de polticas y programas de discapacidad, prestando especial atencin tanto a los ejemplos de evaluaciones
ms relevantes, como a aquellas guas y manuales editados por las principales instituciones internacionales que dedican recursos a esta actividad.
Por ltimo, se ha realizado una serie de siete entrevistas en profundidad
con personas expertas en las intervenciones relacionadas con la educacin,
la formacin y la insercin laboral de personas con discapacidad en Espaa. El objetivo de dichas entrevistas ha sido completar el mapa de los elementos clave que hay que tener en consideracin cuando nos referimos a
16
Introduccin
este tipo de intervenciones, de modo que fuese posible ajustar y precisar

mejor el foco y los ejemplos de la parte ms prctica del trabajo.
Los objetivos generales del presente texto se enmarcan en las directrices
contenidas en la Convencin sobre los derechos de las personas con discapacidad de las Naciones Unidas, ratificada por Espaa el 23 de noviembre de 2007. Ms concretamente, el establecimiento y difusin de metodologas de evaluacin en el mbito de las polticas de discapacidad facilita el
cumplimiento de dos obligaciones establecidas por la Convencin. Por una
parte, la recogida en el artculo 31.1, donde se expone que los Estados Partes recopilarn informacin adecuada, incluidos datos estadsticos y de investigacin, que les permita formular polticas, a fin de dar efecto a la presente Convencin. Y, por otra, la que aparece en el artculo 4.3, relativa a
la participacin: en la elaboracin y aplicacin de legislacin y polticas para
hacer efectiva la presente Convencin, y en otros procesos de adopcin de
decisiones sobre cuestiones relacionadas con las personas con discapacidad, los Estados Partes celebrarn consultas estrechas y colaborarn activamente con las personas con discapacidad, incluidos los nios y las nias
con discapacidad, a travs de las organizaciones que las representan.
Estructura y contenido de este documento

Tras esta introduccin, el captulo 2 prosigue tomando como punto de partida una descripcin inicial de los conceptos, las herramientas y las prcticas
de evaluacin que se encuentran ya aceptadas mayoritariamente por la comunidad cientfica y evaluadora; adems, sta se presenta ya desde la ptica de
las intervenciones en discapacidad que resultan de inters. En segundo lugar,
esta primera parte terica se contextualiza mediante una revisin crtica de la
literatura nacional e internacional sobre evaluacin de polticas de discapacidad, que incluye tanto ejemplos relevantes de evaluaciones que se han llevado a cabo en la prctica como los principales estndares y guas publicados.
17
Seguidamente, los captulos 3 y 4 trasladan lo aprendido en el segundo

captulo al caso especfico de las intervenciones relacionadas con la educacin, la formacin y la insercin laboral de personas con discapacidad, profundizando en aquellos factores que un eventual equipo de evaluacin deber tener especialmente en cuenta cuando trabaje con ese tipo de
intervenciones, y complementando con ejemplos prcticos la mayor parte de
indicaciones y recomendaciones que se proponen.
Respecto a la organizacin y exposicin de los contenidos en esos dos
captulos hemos optado por la siguiente estructura: el captulo 3 aborda la
cuestin de evaluar cuando todava no se ha puesto en marcha una intervencin, es decir desde una perspectiva ex ante. Por su parte, el captulo 4
se concentra en cambio en las evaluaciones que se ejecutan cuando ya hay
al menos una cierta cantidad de informacin sobre el desarrollo de la intervencin, es decir desde las perspectivas intermedia y ex post.
En ambos casos el captulo trata aquellos aspectos que ms habitualmente sern relevantes en cada caso, incluyendo la aportacin de ejemplos y la
discusin de los principales criterios de evaluacin que suelen incluirse en
las evaluaciones de cada tipo. Sin embargo, y como se ver en el apartado 3.1. Una reflexin previa: elegir qu evaluar y desde qu perspectiva, ello
no significa que los criterios se traten en cada captulo de forma excluyente, sino que, por el contrario, se tiene en cuenta que en la mayora de los
casos cualquier criterio de evaluacin es abordable desde cualquier perspectiva (ex ante, intermedia y ex post). Con todo, la razn para estructurar
la informacin de esta manera es evitar en la medida de lo posible la repeticin innecesaria de contenido, as como la recurrente necesidad de especificar en qu otros apartados tambin se ha ido abordando cada cuestin.
Por ltimo, las Conclusiones recopilan una breve sntesis de las principales directrices que se han propuesto a lo largo de todo el trabajo.
18
Captulo II
Marco terico y revisin de la literatura
2.1. INTRODUCCIN A LA EVALUACIN. FUNCIN,

CARACTERSTICAS Y OBJETIVOS. LOS MOTIVOS PARA
HACER UNA EVALUACIN
Qu es una evaluacin?
Una evaluacin es un proceso integral de observacin, medida, anlisis
e interpretacin, encaminado al conocimiento de una intervencin norma,
programa, plan o poltica que permita alcanzar un juicio valorativo y basado en evidencias respecto a su diseo, puesta en prctica, resultados e
impactos (AEVAL, 2010, p. 13).
Si bien es cierto que existen muchas otras formulaciones que suelen poner el nfasis en aspectos diversos de la actividad evaluadora, hay dos caractersticas comunes que actualmente podemos encontrar en casi cualquier
aproximacin a la evaluacin:
1. Es un proceso sistemtico y objetivo de recogida y anlisis de informacin sobre una intervencin.
2. Con ello la evaluacin trata de poder emitir un juicio de valor sobre la
misma.
19
Ello queda bien reflejado tanto en las definiciones de las distintas organizaciones que sistematizan la ejecucin de evaluaciones, como en las que
proponen quienes estudian y desarrollan teora de evaluacin. As por ejemplo, evaluar consiste en:
Llevar a cabo un proceso encaminado a determinar sistemtica y objetivamente la pertinencia, eficiencia, eficacia e impacto de todas las
actividades a la luz de sus objetivos. Se trata de un proceso organizativo para mejorar las actividades todava en marcha y ayudar a la
administracin en la planificacin, programacin y toma de decisiones
futuras (ONU, 1984).
Valorar las intervenciones de los organismos pblicos segn sus productos y sus impactos, en relacin con las necesidades que pretenden satisfacer, orientando esta valoracin a proporcionar informacin
rigurosa, basada en pruebas, para la toma de decisiones (Comisin
Europea, 2007).
Identificar, obtener y proporcionar informacin til y descriptiva acerca
del valor y el mrito de las metas, la planificacin, la realizacin, y el
impacto de un objeto [de evaluacin] determinado [] (Stufflebeam y
Shinkfield, 1987).
Por lo tanto, se puede sintetizar la nocin de evaluacin bajo la frmula
de enjuiciamiento sistemtico: proceso en el que se recoge y se analiza sistemticamente informacin que permitir al equipo de evaluacin enjuiciar
el valor o el mrito de una intervencin.
Desde una perspectiva ms prctica, existen tambin otras dos caractersticas que permiten distinguir rpidamente una evaluacin de otro tipo de
estudios o trabajos similares:
1. Una evaluacin es encargada por alguien (una institucin o una persona), quien seguramente tendr una u otra motivacin para ello.
20
2. Una evaluacin debe incluir no solamente unas conclusiones, sino tambin unas recomendaciones de mejora de la intervencin.
As, el encargo de evaluacin al inicio, y las recomendaciones al final,
abren y cierran el proceso de evaluacin, dotndolo de sentido y utilidad.
Funciones y caractersticas de la evaluacin

La evaluacin tiene tres funciones principales:
La retroalimentacin o mejora de las intervenciones
Es una manera de recibir feedback sobre las acciones que se llevan a
cabo en una intervencin, de modo que permita reaccionar y mejorarla. La
evaluacin puede ser asimismo un proceso de aprendizaje sobre la propia
intervencin (conocindola y entendindola mejor).
El control de responsabilidades y la rendicin de cuentas
Permite exigir la responsabilidad social y poltica por las intervenciones,
especialmente si las actividades se financian con fondos pblicos, ya que el
contribuyente tiene derecho a saber en qu y cmo se est empleando el
dinero pblico.
Informar acciones futuras
La evaluacin fomenta un anlisis prospectivo sobre cules y cmo pueden ser las intervenciones futuras. Esto a su vez contribuye, en ltimo trmino, al aprendizaje y conocimiento progresivo y acumulativo sobre las polticas pblicas.
En todo caso, y aunque stas sean las tres funciones cannicas de la
evaluacin, puede considerarse que la regla de oro es que la evaluacin
21
debe ser til y prctica. Si no se utiliza de alguna u otra forma la informacin obtenida con la evaluacin, los esfuerzos realizados no habrn servido
de mucho y las tres funciones anteriormente mencionadas habrn perdido
su sentido.
Por otro lado, con lo que no se debe confundir la evaluacin de intervenciones es con la evaluacin de los comportamientos o de las personas que
participan o son destinatarias de las mismas. A modo de ejemplo, en el caso
de un programa de formacin deberamos distinguir entre la evaluacin del
propio programa (estudiando y valorando su pertinencia, su impacto, etc.),
de la medicin de la adquisicin de conocimientos por parte de sus participantes (lo que comnmente se llamara evaluacin de resultados formativos). Una buena adquisicin de conocimientos ser un indicador (seguramente uno de entre varios) del grado de eficacia del programa, pero por si
slo no es evaluar el programa sino solamente calificar al alumnado.
Asimismo, a menudo el trmino evaluacin suele utilizarse errneamente para designar actividades que no se corresponden estrictamente con
una evaluacin, siendo los casos ms comunes los de las investigaciones
y las auditoras. Sin embargo, cada una de estas actividades tiene en realidad una serie de caractersticas que permiten diferenciarlas claramente
(Tabla 2.1).
Por ltimo, tambin es importante distinguir a la evaluacin de los sistemas de seguimiento o monitoreo. Un buen sistema de seguimiento permite
conocer y medir en qu punto se encuentra la intervencin a travs del establecimiento de indicadores definidos con anterioridad, pero en s mismo
no incorpora ningn criterio explcito que permita enjuiciarla o valorarla.
Habilitar un sistema de seguimiento sobre una intervencin tampoco implica que sta haya de ser evaluada con posterioridad, ya que el sistema
puede haber sido concebido como una mera herramienta de apoyo a la gestin. Pero en el caso de que s se proceda a evaluar, el seguimiento ser
22
TABLA 2.1
Diferencias entre investigacin, auditora y evaluacin
Criterio
Investigacin/Estudio1
Auditora/Control
Evaluacin2
Finalidad
Produccin y acumula- Control y supervisin Mejora de los programas; Rendimiento

cin de conocimiento de cuentas y de la eje- de cuentas; Informar acciones futuras
cucin de la intervencin
Objeto
Se interesa por un problema en abstracto o

genrico (EN QU se
interviene)
Mtodo
Seleccin, recopilacin Comprobacin de la

y anlisis de datos; M- documentacin cotodo cientfico
rrespondiente; Constatacin de la realidad
Se interesa por la jus- Se interesa por cmo se aborda el protificacin del gasto re- blema y cmo influyen las actuaciones
alizado y por la legali- previstas (CMO se interviene)
dad de la intervencin
Diagnstico de evaluabilidad; Eleccin
del tipo de evaluacin; Definicin de criterios de evaluacin; Recopilacin y
anlisis de informacin; Valoracin y
emisin de juicios a la luz de los criterios; Establecimiento de recomendaciones; Comunicacin de los resultados
Destinatarios Comunidad cientfica Financiador/es

(destinatario principal);
Comunidad vinculada a
la poltica o programa
(destinatario secundario)
Clientes, administracin; Responsables, profesionales; Actores crticos o

implicados (stakeholders); Destinatarios de la intervencin; Ciudadana
Resultados
y efectos
esperados
Recomendaciones para la accin y utilizacin de los resultados; Informes (no

siempre publicados); Comunicacin y
difusin activa a los interesados; Mejora de los procesos de evaluacin
1
2
Publicacin de resultados; Aportacin a, y reconocimiento de, la comunidad cientfica
Justificacin del gasto

realizado, y si corresponde reintegro del
mismo
Adaptacin de Bustelo (1999).

Ibd.
23
TABLA 2.1 (Cont.)

Diferencias entre investigacin, auditora y evaluacin
Criterio
Equipo
de trabajo
Investigacin/Estudio
Auditora/Control
Capacidad investigado- Conocimiento exhausra; Conocimiento previo tivo de la reglamentay exhaustivo del sector cin que condiciona la
intervencin auditada
Evaluacin
Conocimientos amplios de metodologa
y de sus posibilidades de aplicacin; Conocimiento del sector (puede desarrollarse durante el proceso); Conocimiento de
los procesos polticos y administrativos;
Capacidad de trato con personas o grupos, y habilidades de comunicacin
sin duda una herramienta muy til, especialmente para analizar y valorar la
implementacin y ejecucin de la intervencin y su eficacia a corto plazo,
ya que nutrir directamente los resultados de la evaluacin y en muchos casos los indicadores de seguimiento sern directamente trasladables.
El motivo o propsito de la evaluacin

Los motivos que se puede tener para evaluar una intervencin son muy
variados, y no siempre tienen porqu coincidir con las principales funciones
que hemos visto que tena la evaluacin. As, de entre los propsitos ms
habituales que llevan a evaluar una intervencin encontramos los siguientes3:
a) Ayudar a tomar una decisin
Se trata de una funcin instrumental muy directa. Este tipo de propsito
suele requerir que la evaluacin aborde cuestiones muy bien definidas, con
unos criterios y un lenguaje determinados, y que los resultados estn dis3
Adaptacin de IVLUA (2009).
24
ponibles antes de una fecha concreta en la que debe tomarse la decisin.

Por tanto, a menudo implican una participacin directa y activa del decisor
interesado.
b) Contribuir al aprendizaje de la organizacin
La informacin y las recomendaciones de la evaluacin a menudo no se
utilizan inmediatamente, sino que hay que esperar a que se abra una oportunidad de cambio para que el aprendizaje que se ha ido acumulando gradualmente en la organizacin permita orientar adecuadamente las decisiones. En este caso, el propsito de la evaluacin es la introduccin de
alternativas y conceptos nuevos, la comprobacin de la veracidad de determinadas intuiciones y la deteccin de hechos o datos contraintuitivos. La informacin que se deriva de ella va dirigida a la comunidad de actores de la
poltica o el programa, y su capacidad de influencia depende del hecho de
que la informacin se transmita, se acumule y se almacene adecuadamente y de que surja la oportunidad de cambio.
c) Usar la evaluacin como instrumento de gestin
La gestin de polticas pblicas a menudo tiene que batallar con la falta
de datos sistemticos sobre el funcionamiento y el rendimiento de los programas, lo cual dificulta la deteccin, la correccin y la prevencin de errores, adems de complicar la tarea de identificar, motivar y recompensar los
xitos. En este sentido, la evaluacin puede querer emplearse como parte
de un instrumento de gestin, en cuyo caso suele denominarse evaluacin
continua y se considera como un proceso a medio camino entre la evaluacin y el seguimiento.
d) Rendir cuentas a los actores implicados o a la ciudadana
Dado el carcter limitado de los recursos invertidos para llevar a cabo intervenciones, es deseable y exigible que las organizaciones que son responsables de ellos rindan cuentas acerca de lo que se consigue efectiva-
25
mente con los recursos asignados. Las evaluaciones que persiguen este nico propsito corren un cierto riesgo de convertirse en un rito desconectado
de las preocupaciones de gestores y decisores, pero cuando el programa o
la poltica estn sometidos a un intenso escrutinio pblico sus resultados
pueden ser un acicate para tomar decisiones de mejora del programa y orientarlo a satisfacer las expectativas del pblico y los usuarios.
e) Generar conocimiento bsico sobre las intervenciones
Existen evaluaciones, especialmente las promovidas por instituciones acadmicas, cuya finalidad es acumular conocimiento sobre un determinado
tipo de intervencin (por ejemplo, los programas en general de formacin
de personas con discapacidad), en lugar de perseguir generar utilidad para
una intervencin en concreto. Ello permite construir y contrastar teoras sobre las intervenciones como tal (no sobre los problemas sociales que stas
acometen), y son evaluaciones que pueden estar desconectadas de la intervencin en cuestin y muy alejadas en el tiempo.
f) Cumplir un requisito formal
Finalmente, la razn de ser de determinadas evaluaciones es hacer cumplir las condiciones de una subvencin o de la normativa que regula la intervencin. Las evaluaciones forzadas corren un riesgo alto de irrelevancia,
a no ser que la audiencia a la que van dirigidas (otras administraciones, rganos supervisores o legisladores) ejerza activamente su funcin de control,
o a no ser que el promotor tenga la capacidad de conectarlas con las preocupaciones de gestores y decisores y aproveche la oportunidad para generar informacin con potencial de utilizacin.
En la mayora de casos saber exactamente cul (o cules) de estas motivaciones estn detrs de un encargo de evaluacin puede no ser fcil, pero
tratar de responder a la pregunta de por qu se evala? es una buena
prctica que ms adelante puede ahorrar mucho tiempo y energa. En oca-
26
siones la respuesta estar explicitada en el encargo de evaluacin o vendr

implcita, pero en general ser necesario que sea el propio equipo de evaluacin quien aborde el tema en la primera reunin de trabajo y pida que se
le explicite el propsito de la misma.
2.2. EL OBJETO DE EVALUACIN Y LA LGICA

DE LA INTERVENCIN
Adems de las funciones de la evaluacin que hemos visto en el apartado anterior, otro elemento importante es el objeto al que se dirige, es decir
qu se va a estudiar y a enjuiciar. En principio, se puede tomar como objeto de evaluacin cualquier tipo de intervencin social (sea pblica o no), clasificndose stas habitualmente en proyectos, programas, planes y polticas
(desde un nivel micro a un nivel macro). Por lo general (aunque no tendra
por qu ser as), los proyectos de menor alcance suelen ser objetos muy
bien definidos, mientras que las grandes polticas (en lo ms alto del gradiente de abstraccin) son objetos mucho ms imprecisos, sobre los cules
a menudo el equipo de evaluacin va a tener que trabajar para acotarlos.
Lo que tienen en comn todos estos objetos y que los caracteriza como
intervenciones sociales es que se fundamentan en una cierta teora del cambio o del programa, que puede venir explicitada por la propia intervencin
o, como ocurre en la mayora de los casos, puede quedar implcita.
La excepcin, no exenta de polmica, a la necesaria existencia de una
teora del cambio para que un objeto sea evaluable es el caso de las normas y la regulacin4, donde la gran mayora de las veces (como ocurre con
casi todas las prohibiciones) no se busca producir directamente ningn cam-
4
Productos de la funcin legislativa, mientras que las intervenciones como programas o polticas corresponden a la funcin ejecutiva.
27
bio en la sociedad5. Para este tipo de objetos se ha desarrollado pues una

metodologa de evaluacin especfica, la Evaluacin de Impacto Normativo
(EIN)6, que como su nombre indica se focaliza exclusivamente en valorar el
impacto (efectos indirectos o a largo plazo, generalmente no buscados) de
la actividad normativa.
La importancia de que una intervencin se vincule a una determinada teora del cambio es capital, ya que sta es la que permitir establecer una lgica causal, la lgica de la intervencin, entre las acciones que se van a llevar a cabo y los cambios sociales o efectos que se pretende conseguir. La
teora del cambio y la lgica de la intervencin se articulan en forma de cadena de hiptesis sobre de qu manera se espera que los recursos asignados a la intervencin permitan desarrollar unas actividades cuyo fruto sern
determinados productos (outputs), que, a su vez, generarn beneficios de
corta, media y larga duracin sobre la sociedad en su conjunto o sobre la
poblacin objetivo de la poltica o el programa (impactos u outcomes) (IVLUA, 2009, p. 6).
Como puede verse en la Figura 2.1, cada una de esas hiptesis configura una etapa o paso en la intervencin, que puede ser analizada y enjuiciada independientemente. As, por un lado se puede valorar si es plausible
que determinados recursos permitan llevar a cabo las acciones previstas, y
por el otro si dichas acciones es probable que produzcan realmente los resultados anunciados.
Aunque tras un primer acercamiento a determinada intervencin el equipo de evaluacin pueda creer que la lgica de la misma est clara, conseguir detallarla y explicitarla en cada uno de los vnculos causales suele ser
una tarea ms compleja de lo esperado, tarea que, sin embargo, es casi im5
Si bien esta tendencia est cambiando, y cada vez ms la propia funcin legislativa lleva
aparejada la expresin de querer modificar la realidad social.
6
La Evaluacin de Impacto Normativo se profundiza ms adelante, en el apartado 3.7.
28
La teora del cambio y la lgica de la intervencin (IVLUA, 2009, p. 7)
FIGURA 2.1
29
prescindible si se quiere llevar a cabo una buena evaluacin. Para ilustrar

la potencial complejidad de la misma, ofrecemos el siguiente ejemplo:
La intervencin a evaluar es un programa de cursos de formacin ocupacional para personas con discapacidad, y su lgica podra sintetizarse como sigue:
Tras asistir a los cursos, las personas con discapacidad mejoran su
nivel de formacin aplicada, lo que aumenta su empleabilidad. El objetivo ltimo de la intervencin es, entre otros, que un mayor nmero de
ellas encuentren un trabajo en el mercado laboral ordinario (reducindose la tasa de desempleo para este colectivo).
Una vez el equipo de evaluacin haya expuesto esta lgica de intervencin, si la analiza en detalle ver que de hecho hay una diversidad
de aspectos que tambin habra que explicitar:
Cmo deben ser los cursos para que la formacin sea realmente
aplicada (ya que es una hiptesis clave para el resto de la cadena
causal)? Deben por ejemplo contener prcticas?
Cmo debe ser la formacin adquirida para que aumente realmente la empleabilidad de las personas (en funcin de lo que conocemos previamente sobre el efecto de la formacin ocupacional en la
oferta laboral)? Tras la formacin, se podr optar a una mayor cantidad de trabajos, a otros tipos de trabajos, a trabajos mejor remunerados, etc.?
Cmo se traduce la mayor empleabilidad en conseguir ocupar finalmente un puesto de trabajo (es decir, cmo se relaciona con la
demanda laboral)? Permite a las personas con discapacidad competir mejor por los trabajos ya existentes? Fomenta que se creen
nuevos puestos de trabajo para personas con discapacidad? O
sencillamente aumenta su actividad de bsqueda de empleo (se ani-
30
man a presentarse a ms entrevistas porque tienen mayor confianza y seguridad)?

En general, cuanto ms se detalle y profundice este proceso (preguntndose exactamente cmo y porqu van a suceder cada uno de los
cambios o efectos), mejor se acotar el alcance de la intervencin
(aquello que es necesario para la lgica de la misma debe considerarse como parte de ella), y mejor se entender porqu producen (o no)
determinados resultados.
Adems, todos estos aspectos debern seguir una lgica entrelazada,
de modo que si por ejemplo se considera que la clave de la empleabilidad es permitir que se compita en igualdad de condiciones por los
puestos de trabajo ya existentes, entonces los cursos deberan incorporar prcticas lo ms cercanas posible a los empleos actualmente ya
ocupados.
Un segundo elemento importante a tener en cuenta respecto a la teora
del cambio y la lgica de la intervencin es que, como en toda teora cientfica, existe un grupo de hiptesis auxiliares que son necesarias para que
aceptemos su validez, y que vienen a configurar lo que comnmente llamamos el contexto de la intervencin.
En el ejemplo anterior, si a lo largo de la duracin de la intervencin (mientras se realizan los cursos) el gobierno lleva a cabo cambios legislativos importantes que modifican el funcionamiento del mercado laboral, parte o toda
la teora del cambio (y la lgica de la intervencin con ella) se invalidan.
Los cambios en el contexto de las intervenciones son un autntico quebradero de cabeza para los equipos de evaluacin, de modo que una primera recomendacin sera tratar de explicitar tambin las hiptesis auxiliares cuando se analice y describa la lgica de la intervencin. Sin embargo,
si finalmente se constata que ha habido un cambio importante en el contex-
31
to de la intervencin, lo primero a tener en cuenta es que no puede concluirse que est tena problemas de coherencia o de diseo, y deben tratar
de enjuiciarse esos aspectos considerando el anterior contexto en el que se
formul la intervencin.
Para ello ser suficiente con reconstruir la lgica de la intervencin viendo qu hiptesis la sostenan cuando se diseo (elaborando un diagrama
como el de la Figura 2.1 pero con la informacin de que se dispona o que
se crea cierta en ese momento), y posteriormente ver si esas hiptesis eran
correctas (en ese momento) y seguan relaciones causales lgicas.
En el caso de la valoracin del impacto, para enjuiciar correctamente la
intervencin no ser suficiente con analizar la veracidad de las hiptesis que
en el momento de su diseo vinculaban causalmente actividades, resultado
e impactos (ver Figura 2.1). Ser tambin necesario aislar el efecto del contexto, capturando la distincin entre aquellos efectos imputables realmente
a la intervencin y aqullos que son producto del mismo (haya ste cambiado o no). Todos estos elementos sern tratados en detalle a lo largo de varios apartados de este trabajo. En definitiva, hemos visto cmo conocer, explicitar y analizar la lgica de la intervencin es un paso clave en el proceso
de evaluacin, necesario para definirla, acotarla, analizar la coherencia de
su diseo y medir y valorar su impacto.
2.3. EL ENCARGO DE EVALUACIN. QU INTERVENCIONES SON

EVALUABLES Y POR QU?
El encargo de evaluacin es el conjunto de instrucciones o directrices que
da la persona o institucin que la encarga al equipo de evaluacin. Si bien
el punto de partida suele ser un pliego de condiciones, habitualmente se refuerza mediante un proceso o dilogo posterior, en el que ambas partes definen y delimitan de comn acuerdo cada uno de los siguientes aspectos:
32
El propsito: qu objetivo se persigue conseguir con la evaluacin,

cul es el motivo para evaluar (tal y como se ha definido en el apartado anterior).
Las caractersticas: en qu momento del ciclo del programa se va a
realizar, qu tipo de evaluacin se pretende efectuar, qu metodologa y herramientas se van a utilizar.
El foco: dnde se va a poner el nfasis, en qu preguntas y criterios
de evaluacin se centrar el trabajo, qu aspectos de la intervencin
se consideran prioritarios analizar y cules quedan descartados.
El mbito: qu elementos forman parte de la intervencin evaluada y
cules no, qu actores (especialmente institucionales) son relevantes.
El alcance: a qu nivel de profundidad va a llegar el anlisis, y especialmente qu aspectos se dejan fuera de la evaluacin y no se van
a considerar.
Los destinatarios: quin se espera que, en ltima instancia, conozca
y utilice la evaluacin.
Aunque parezca que dedicar algo de tiempo a discutir y clarificar el encargo se lo puede estar restando al trabajo de evaluacin, en la prctica muchas veces es tiempo que se ahorrar ms adelante evitando confusiones,
o incluso sorteando el peligro de tener que reorientarla completamente. En
este sentido pues, no es slo posible sino tambin recomendable que exista una fase previa de dilogo entre quien encarga la evaluacin y el equipo
evaluador que permita definir correctamente el encargo, y se puede considerar una buena prctica por parte del propio equipo evaluador el hecho de
solicitar o proponer dicho proceso.
Por otro lado, otro aspecto importante es que la ejecucin de una evaluacin determinada sea factible. En el afn de promover la cultura evaluativa,
33
se ha extendido la creencia de que cualquier intervencin, programa o poltica puede ser evaluada, pero en realidad existen criterios que permiten valorar cundo una intervencin es evaluable y cundo no.
As, Wholey et al. (2004, p. 33 y siguientes) sealan una serie de situaciones en las que sera necesario detenerse a reconsiderar la evaluabilidad
de una intervencin:
1) Cuando nos encontramos con que existen versiones muy distintas sobre los objetivos estratgicos que el programa debe conseguir (problemas a la hora de definir los objetivos/impactos previstos). Ello no slo
pone en peligro la evaluabilidad del programa, sino que es de hecho
un problema importante para la ejecucin del mismo.
2) Cuando las actividades o productos vinculados a la poltica o al programa son muy diversos, inestables o poco concretos, de manera que
resulta difcil definir en qu consiste la poltica o el programa (problemas a la hora de definir las actividades y/o los productos).
3) Cuando la lgica de la intervencin parezca incoherente o extremadamente poco realista. Las probabilidades de que la intervencin logre
sus objetivos son remotas (problemas a la hora de identificar hiptesis plausibles que unan las actividades y los productos con los objetivos estratgicos).
4) Cuando no exista ningn uso previsto para la informacin generada por
la evaluacin (problemas para identificar el propsito de la evaluacin).
5) Cuando los recursos disponibles (financiacin, capacidades, apoyo del
personal, informacin y tiempo) no permitan dar una respuesta mnimamente slida a las preguntas de evaluacin ms relevantes.
En los tres primeros casos se corre el peligro de no poder desarrollar correctamente toda la evaluacin ni cumplir con sus objetivos, ya que sus re-
34
sultados quedarn forzosamente reducidos a poner de manifiesto esos problemas (de indefinicin de los objetivos estratgicos, de las actividades y
productos, o de la teora del cambio). En los dos ltimos, puede considerarse que existe un imperativo tico de no destinar recursos a una actividad (la evaluacin) que se prev muy difcil de ejecutar correctamente, debido a la inaccesibilidad de la informacin o a la insuficiente dotacin de
recursos.
Por todo ello, es importante recordar que ante un encargo de evaluacin
que parece presentar problemas siempre es posible realizar antes un anlisis de evaluabilidad, el cul debera7:
Sacar a la luz la calidad de la conceptualizacin del programa en la fase
de planificacin, analizando su diseo, necesidades y objetivos. Cuanto mayor rigor haya observado el diseador del programa en la fase de
planificacin, ms fcil ser comprobar su evaluabilidad.
Reconstruir y verificar la existencia de relaciones de causalidad que vinculen los objetivos estratgicos con las acciones y los resultados esperados. Cuanto mayor sea la dificultad para reconstruir esas relaciones,
menor ser la evaluabilidad de la intervencin.
Verificar la existencia y accesibilidad de la informacin necesaria, en calidad y cantidad, que permitir llevar a cabo la evaluacin. Si no hay datos suficientes o los que hay no resultan relevantes, se deber desaconsejar la evaluacin.
Informar sobre la implicacin y disposicin del entorno gestor y responsable frente a la posible evaluacin, constatando sus resistencias o falta de colaboracin. Uno de los objetivos perseguidos con el propio anlisis de evaluabilidad puede ser crear un clima favorable de cooperacin
7
Adaptacin de AEVAL (2010, p. 92).
35
e interaccin entre evaluados y evaluadores, que de lograrse ser de

mucha utilidad para el equipo de evaluacin.
Analizar la dotacin de recursos con los que se cuenta para la evaluacin.
Realizar el pronstico de evaluabilidad en un tiempo relativamente corto, buscando maximizar la utilidad de ese mismo informe.
En definitiva, del resultado de un anlisis de evaluabilidad debera poder concluirse que es necesario reconducir el encargo de evaluacin para que sta
sea viable, o incluso adoptarse la decisin ltima de no llevar a cabo ese trabajo.
2.4. METODOLOGAS Y TIPOS DE EVALUACIN. PRINCIPALES

ENFOQUES PARA ABORDAR UNA EVALUACIN
El conocimiento sobre evaluacin de intervenciones sociales que se ha
ido acumulando hasta la actualidad se ha nutrido, en su mayor parte, de la
propia prctica evaluativa, iniciada a partir de las dcadas de 1960 y 1970
en el mbito de la cooperacin al desarrollo de unos pocos pases pero que
pronto se internacionaliz e impregn muchos otros mbitos de intervencin.
Debido a ello, la abundante casustica de evaluaciones llevadas a cabo desde entonces se ha trasladado al terreno de la teora de evaluacin, generando una compleja estructura de clasificaciones y tipologas de evaluacin.
En este trabajo se ha optado por ofrecer una sntesis estructurada en dos
grandes grupos o tipos de clasificaciones, permitiendo en cierta medida priorizar aquellas tipologas que tienen una mayor relevancia prctica8:
Tipologas que esencialmente caracterizan a las evaluaciones, distinguiendo algunos de sus aspectos que con el tiempo se ha ido conside8
Para una discusin detallada de todo el abanico de posibilidades, ver AEVAL (2010).
36
rado ms relevantes. La principal funcin que cumplen es permitir la

comparabilidad entre evaluaciones, dotando a la profesin de un vocabulario comn para distinguirlas, si bien en algunos casos elegir un u
otro tipo de evaluacin tendr implicaciones metodolgicas.
Clasificaciones que, no siendo estrictamente una tipologa por no ser
mutuamente excluyentes, tienen importantes consecuencias prcticas
que se extienden a lo largo de todo el proceso de ejecucin de una evaluacin, y que por lo tanto una vez adoptados es necesario que estn
correctamente interiorizados por parte del equipo de evaluacin.
A continuacin se enumeran y discuten las principales clasificaciones que
pueden encontrarse en cada grupo.
Tipologas de evaluacin centradas en su caracterizacin

Destacamos las siguientes cuatro tipologas:
a) Segn el papel que cumple la evaluacin:
Evaluacin formativa o de proceso: pretende ofrecer un flujo actualizado de informacin sobre el desarrollo de la intervencin, que sea
til a sus responsables para la modificacin y reajuste de la misma.
Se vincula con la funcin evaluativa de retroalimentacin y mejora de
las intervenciones, y suele conceptualizarse como una herramienta
prxima a la gestin, tomando a menudo la denominacin de evaluacin continua.
Evaluacin sumativa o de resultados: valora el producto final de la intervencin y los diferentes aspectos que surgen una vez sta ha finalizado. Recapitula la actuacin realizada, tratando de obtener una valoracin global de la misma. Se vincula con las funciones de rendicin
37
de cuentas e informacin y mejora de futuras intervenciones, y suele

utilizarse para, en primer lugar, decidir si se mantiene en el tiempo la
intervencin evaluada.
b) Segn la situacin del equipo de evaluacin:
Evaluacin interna o autoevaluacin: el equipo de evaluacin forma
parte del personal de la propia organizacin que pone en marcha la
intervencin. Su principal ventaja es la mayor familiarizacin con la intervencin y el acceso a la informacin que tendr el equipo de evaluacin, si bien existe el riesgo de prdida de objetividad y espritu crtico. Generalmente slo se utiliza cuando hay una voluntad explcita y
clara por parte de la organizacin de conocer mejor sus propias intervenciones, y raramente se hacen pblicos los resultados.
Evaluacin externa o independiente: el equipo est formado por personas especializadas en evaluacin y/o en el mbito de la intervencin,
totalmente ajenas a la organizacin que la gestiona. Persigue intentar
garantizar la mxima objetividad e independencia de las conclusiones
de la evaluacin, y es la frmula ms utilizada en el mbito de las polticas y los programas pblicos. Su principal inconveniente es que el
equipo de evaluacin puede encontrar fuertes reticencias y falta de colaboracin por parte de los gestores de la intervencin, dificultando seriamente algunos elementos de la evaluacin (en especial los relativos
al anlisis de la implementacin y ejecucin de la intervencin).
c) Segn el paradigma cientfico y epistemolgico (cmo y en qu medida percibimos y podemos llegar a conocer la realidad) en el que se
enmarcan:
Evaluacin clsica o positivista: se vincula con el racionalismo y el mtodo experimental de las ciencias naturales, conceptualizando las in-
38
tervenciones sociales como cadenas causa-efecto (la intervencin ejecuta una serie de acciones que son la causa de ciertos efectos) que
en ltima instancia persiguen la consecucin de unos determinados
efectos finales (los objetivos de la intervencin). Poniendo el foco en
los objetivos, se analiza mediante tcnicas y herramientas lo ms cercanas posible al mtodo experimental los distintos elementos que permiten o impiden su consecucin. Asimismo, el equipo de evaluacin
asume que la intervencin puede estudiarse desde fuera y de forma
independiente, como cualquier otro fenmeno natural.
Este tipo de evaluacin es claramente el ms utilizado, y est en el origen de la propia disciplina. Sin embargo, ha venido siendo muy criticada
desde la dcada de 1970, cuando empezaron a hacerse patentes sus importantes limitaciones para estudiar intervenciones en escenarios complejos, donde la cantidad de informacin y variables en juego son muchas y se
hace difcil establecer con precisin todos los mecanismos causales.
En la actualidad, las aproximaciones que utilizan metodologas estrictamente experimentales son una minora, y solamente se recomiendan en los
casos en los que se dispone de gran cantidad de informacin y recursos
para llevar a cabo la evaluacin. Para superar dichas limitaciones, el paradigma positivista ha evolucionado hacia el desarrollo y uso de metodologas
cuasi-experimentales, que tratan de explotar situaciones de experimento natural, donde alguna caracterstica que afecta a la poblacin de estudio (por
ejemplo un cambio legislativo en un momento o mbito espacial determinado) permite diferenciar grupos que se consideran de tratamiento de grupos
considerados de control.
As por ejemplo, si se aprueba una bonificacin a las contrataciones de
personas con discapacidad para empresas con 50 empleados o ms, se puede considerar que las empresas de 45 a 49 empleados sern muy parecidas
a las bonificadas, y por lo tanto si hay suficientes se las puede considerar
39
como un grupo de control, que se puede comparar a lo largo del tiempo con
el de las que s han recibido las bonificaciones. Este tipo de aproximaciones
se estn aplicando con una frecuencia creciente en los ltimos aos.
Evaluacin participativa: entronca con el paradigma constructivista, el
cul sostiene que tanto el conocimiento como el conocedor son partes de una misma realidad subjetiva y relativa a aqullos que participan de ella. Trata de identificar y describir con un mtodo dialctico
las distintas construcciones sociales existentes, y considera a las intervenciones como fenmenos complejos, donde distintos actores se
interrelacionan a travs de sus correspondientes concepciones de la
realidad y de sus intereses.
En este contexto, la evaluacin participativa se define como aquella que
incorpora, en su propio diseo, los puntos de vista y las sugerencias de los
distintos actores y agentes que participan de alguna u otra forma en la intervencin evaluada. Se pueden utilizar distintas tcnicas y herramientas
para recabar la opinin de los actores, pero el hecho distintivo es que stos sean partcipes directos de las decisiones que se tomen en cuanto a la
evaluacin misma (en qu aspectos debe ponerse el foco, cules son las
preguntas relevantes, qu indicadores se va a utilizar, etc.).
Es importante distinguir la evaluacin participativa tal como se ha descrito aqu, de la mera participacin de los actores como fuente de informacin
de la evaluacin. A modo de ejemplo: la opinin de los distintos colectivos
o grupos de personas que forman parte de una intervencin respecto a sus
resultados puede ser un indicador utilizado en cualquier evaluacin, pero
slo si participan en la decisin de utilizar ese indicador (y no otro) estaremos hablando de evaluacin participativa en sentido estricto.
Este tipo de aproximacin es minoritaria, y en su versin ms ortodoxa
(donde el punto de vista de los actores se considera estrictamente vinculan-
40
te) se aplica en pocas ocasiones. Su principal inconveniente es que la participacin de los actores en el diseo y la configuracin de la evaluacin
puede introducir sesgos importantes en sus resultados, que no siempre son
fciles de detectar o prevenir.
En este sentido, si se opta por una evaluacin participativa se puede considerar una buena prctica dedicar un tiempo a identificar con precisin los
intereses de cada uno de los actores participantes, pues ser en base a ello
que se podr identificar lo potenciales sesgos.
Con todo, y a pesar del intenso debate que han llegado a generar estas
dos aproximaciones, en la prctica muchas evaluaciones optan por un esquema mixto que suele denominarse pluralista, y que consiste en empezar
a recabar el punto de vista y las aportaciones de los actores participantes
ya desde el inicio del proceso de diseo de la evaluacin, con el objetivo de
enriquecerlo e incorporar la mxima cantidad de informacin posible, pero
sin llegar a que ello sea vinculante y dejando la decisin ltima de cmo
ser la evaluacin en manos del equipo evaluador.
d) Segn el momento en el que se lleva a cabo la evaluacin:
Evaluacin previa o ex ante: se lleva a cabo antes de que se ponga
en marcha la intervencin, habitualmente durante su diseo. Suele
centrarse en los aspectos de la correcta deteccin de necesidades
(pertinencia de la intervencin) y en la calidad del diseo de la misma, prestando especial atencin a su coherencia interna y al establecimiento de una correcta lgica de intervencin (o teora del programa). Trata de detectar si la intervencin es necesaria y posible, y a
menudo conlleva la valoracin prospectiva de distintas alternativas.
Desde una perspectiva ex ante es tambin posible evaluar el resto de elementos de una intervencin, incluso los resultados previstos y el impacto es-
41
perado, lo que sin embargo requerir del uso de metodologas y herramientas de anlisis de datos especficas para ello (habitualmente modelos con
capacidad predictiva).
La realizacin de evaluaciones ex ante es reflejo de una cultura de evaluacin bien implantada, donde la preocupacin por la calidad de las intervenciones aparece desde un primer momento cuando stas se piensan y disean. Dado que la evaluacin ex ante suele incorporar evidencia de
evaluaciones anteriores, se vincula tanto con la funcin de retroalimentacin
como con la de informar intervenciones futuras.
Evaluacin intermedia o in itinere: se lleva a cabo durante la propia
ejecucin de la intervencin, habitualmente cuando sta ha estado suficiente tiempo en marcha como para disponer de evidencia slida sobre ella, pero a su vez se est a tiempo de corregirla y reorientarla si
es necesario.
Se vincula claramente con la funcin de retroalimentacin de las intervenciones, y si bien los sistemas de seguimiento son una herramienta muy valiosa para este tipo de evaluaciones, no se las debe confundir con ellos ni
con la idea de evaluacin continua (ya que una evaluacin intermedia se lleva a cabo en un momento del tiempo determinado y desde una perspectiva esttica).
En la gran mayora de ocasiones suelen centrarse en analizar los procesos de implementacin y ejecucin de la intervencin, comprobando la realizacin de las actividades previstas y verificando el vnculo de stas con los
primeros resultados observados.
Evaluacin final o ex post: se lleva a cabo una vez la intervencin ha
terminado, ya sea inmediatamente despus o transcurrido un cierto
tiempo.
42
Es la evaluacin ms habitual y conocida, y se vincula con la funcin

de informar futuras intervenciones y, muy especialmente, con la de rendicin de cuentas. Si bien suele focalizarse en las dimensiones de eficacia,
eficiencia e impacto de las intervenciones, desde una perspectiva ex post
puede perfectamente evaluarse cualquier otro aspecto de la intervencin,
siendo la disponibilidad y el acceso a la informacin el nico potencial impedimento.
Por ltimo, una vez vistas las distintas clasificaciones posibles se hace
patente que existen combinaciones que en la prctica habitual suelen ir de
la mano. As, las evaluaciones formativas casi siempre se llevan a cabo in
itinere, suelen tener un cierto componente participativo y no es extrao que
sean internas, mientras que las evaluaciones sumativas es habitual que se
hagan ex post, que adopten un enfoque positivista y casi siempre son externas e independientes.
Los dos principales enfoques de trabajo para evaluar

Desde la ptica de la organizacin del trabajo de evaluacin podemos encontrar dos grandes enfoques. Estos enfoques no son estrictamente excluyentes (como veremos ms adelante), sin embargo es recomendable que
una determinada evaluacin trate de ceirse a uno de los dos, lo que facilitar la lectura y comprensin de la misma y, en ltima instancia, su divulgacin y diseminacin.
Por enfoque de trabajo entendemos pues la forma en que se dispone y
estructura la informacin a lo largo de toda la evaluacin (incluyendo el vocabulario y las denominaciones que se usarn), desde la justificacin inicial
de qu aspectos se van a tratar en profundidad o cuales se van a descartar, hasta en la exposicin de las conclusiones y recomendaciones.
43
1. Enfoque basado en el ciclo del programa

Como hemos visto en el apartado anterior, un elemento clave en la teora sobre intervencin social es la nocin de ciclo del programa (o de la intervencin). Muy sintticamente, el ciclo del programa permite estructurar
una intervencin en etapas o fases consecutivas que siguen una relacin
causal, la cual define a su vez la lgica de esa intervencin. Aunque es aplicable a cualquier tipo de intervencin, el esquema suele ajustarse mejor
cuanto ms reducida sea sta. De acuerdo con este enfoque, una intervencin puede estructurarse en las siguientes fases:
FIGURA 2.2
El ciclo del programa y su relacin con la evaluacin
(IVLUA, 2009, p. 8)
Como vemos en la Figura 2.2, cada una de esas fases puede relacionarse con un tipo de evaluacin:
Evaluacin de necesidades: valora si la naturaleza y la magnitud del
problema justifican la existencia de la intervencin, y si la dotacin de
recursos tiene en cuenta estas caractersticas.
Evaluacin del diseo: valora la teora y las hiptesis que subyacen a
la intervencin, as como la coherencia en la formulacin de todo el
44
ciclo del programa. En la planificacin de un programa nuevo este tipo

de evaluacin permite valorar una propuesta de diseo o determinar
cul es el mejor diseo posible entre distintas alternativas.
Evaluacin del proceso/implementacin: valora aquello que el programa
realmente hace en comparacin con las previsiones del diseo, analizando la consecucin de los objetivos operativos del programa y detectando si hay aspectos de la operacin especialmente problemticos.
Evaluacin de impacto: valora en qu medida la intervencin efectivamente mitiga el problema que le da razn de ser, analizando el grado
de consecucin de los objetivos estratgicos del programa. El inters
de la evaluacin de impacto no es solamente medir cambios en la
magnitud del problema, sino conseguir atribuir la causalidad de estos
cambios a la intervencin que se evala e identificar las razones plausibles de lo que se ha conseguido y de lo que puede haber fallado.
Evaluacin de la eficiencia: valora la relacin entre los recursos destinados a la intervencin y sus resultados e impacto, poniendo nfasis en la deteccin de combinaciones alternativas.
La principal ventaja de definir y estructurar la evaluacin segn este esquema es que se facilitar su lectura por el pblico en general, ya que sigue una lgica temporal sencilla de comprender y recordar, mientras que
ser tambin muy fcil de procesar y utilizar por parte de aquellas personas
familiarizadas con la gestin de planes y programas de intervencin. Por
este motivo este enfoque ha venido creciendo en popularidad durante los
ltimos aos.
Sin embargo, seguramente sea ms adecuado considerar esta clasificacin como partes de una evaluacin en lugar de tipos, ya que no se trata de categoras excluyentes y una misma evaluacin puede serlo a la vez
45
de, por ejemplo, las necesidades, el proceso y el impacto. Qu aspectos de

una intervencin es necesario enjuiciar y cules son descartables es, en ltima instancia, una de las primeras decisiones que se toman en el proceso
evaluador (y muchas veces en el propio encargo de evaluacin).
2. Enfoque basado en criterios de evaluacin

La forma en que tradicionalmente se empezaron a estructurar las primeras evaluaciones, y que actualmente se podra considerar cannica debido
a su gran difusin, es mediante los llamados criterios de evaluacin. Un criterio de evaluacin es una forma de sintetizar la valoracin de un aspecto
concreto de la intervencin, vinculndolo a una nocin comnmente aceptada que permita objetivizarlo y enjuiciarlo.
Cada uno de los posibles criterios de evaluacin se definirn y explicaran
en detalle en el prximo apartado9 (ya que suelen integrarse en una herramienta ms generalista que es la matriz de evaluacin), pero a ttulo ilustrativo los ms utilizados son:
Criterio de pertinencia
Criterio de coherencia
Criterio de complementariedad
Criterio de eficacia
Criterio de efectividad
Criterio de eficiencia
Criterio de sostenibilidad
9
2.5 El diseo de una evaluacin. Criterios, preguntas e indicadores: la matriz de evaluacin.
46
Y los criterios de participacin y transparencia, vinculados a los principios de buen gobierno en el mbito de las polticas pblicas.
La estructura de criterios cumple una funcin anloga a la clasificacin
que hemos visto en el enfoque anterior del ciclo del programa, y en muchos
casos ambas seran intercambiables. Pero la ventaja que tiene el uso de criterios de evaluacin es que permiten adjetivar el enjuiciamiento de las intervenciones mediante nociones comnmente aceptadas (como las de coherencia o eficacia), lo que contribuye a su mejor comparabilidad: mientras
puede resultar difcil comparar y saber exactamente a qu se refiere un diagnstico de problemas en el diseo de la intervencin obtenido tras evaluar
dos intervenciones distintas, en general ser ms inmediato si el equipo de
evaluacin ha formulado el anlisis y las conclusiones en trminos de problemas de incoherencia.
Una propuesta sinttica para este trabajo

Como se apuntaba anteriormente, tanto la estructura de tipologas como
tambin la de enfoques que se ha dibujado en todo este apartado permiten en realidad establecer una serie de vnculos e interrelaciones entre
ellas, basadas en la prctica diaria de las personas que encargan y hacen
evaluaciones. As por ejemplo, una evaluacin formativa ex ante casi siempre analizar el diseo de la intervencin para enjuiciar su pertinencia y
coherencia, mientras que una evaluacin sumativa ex post habitualmente
medir los resultados para valorar la eficacia, y los impactos para valorar
la efectividad.
En este trabajo se ha tratado de que el orden y la disposicin de la informacin reflejen este entramado de relaciones, un planteamiento que se puede sintetizar mediante la siguiente tabla:
47
TABLA 2.2
Sntesis de principales tipologas y enfoques de evaluacin
2.5. EL DISEO DE UNA EVALUACIN. CRITERIOS, PREGUNTAS

E INDICADORES: LA MATRIZ DE EVALUACIN
Disear la evaluacin es una de las tareas ms importantes que deber
realizar el equipo de evaluacin; un buen diseo va a multiplicar las posibilidades de que las conclusiones de la evaluacin sean fciles de comprender, tiles y utilizadas.
En qu consiste exactamente el diseo? En trminos generales, consiste en tomar una serie de decisiones clave sobre la misma, que garantizan
que el proceso de enjuiciamiento sea lo ms objetivo posible. Para ello, lo
habitual es que se lleven a cabo los siguientes dos pasos:
1. Como se ha visto en los apartados anteriores, a travs del anlisis y la
discusin del encargo de evaluacin se establecen las caractersticas
estructurales de la misma: en qu momento de la intervencin se realiza (ex ante, intermedia, ex post), cul va a ser su foco, su mbito y su
alcance, si va a seguir un planteamiento positivista o participativo, etc.
48
2. En una segunda etapa, tras estudiar en profundidad la intervencin, el

equipo de evaluacin trata de precisar lo mximo posible qu aspectos de la intervencin se van a enjuiciar, y cmo va a hacerse.
Para ejecutar este segundo paso donde se establece la mecnica de enjuiciamiento, la herramienta ms utilizada es la llamada matriz de evaluacin, cuyas partes fundamentales son las preguntas de evaluacin y sus correspondientes indicadores (como veremos un poco ms adelante, suele
tambin completarse con la vinculacin de las preguntas a los criterios de
evaluacin, y de los indicadores a sus fuentes de informacin).
La matriz de evaluacin revela cmo va a decidir el equipo de evaluacin
si una intervencin es poco o muy eficaz, o si su diseo presenta incoherencias. Por ello, una primera buena prctica destinada a reforzar la objetividad del enjuiciamiento es no solo incluir la propia matriz en un anexo de
la evaluacin (al ser una herramienta de trabajo no suele ser necesario que
figure en el texto principal), sino aadir tambin una breve discusin argumentada de por qu se ha priorizado esas preguntas y elegido esos indicadores para responderlas.
A continuacin se estudia en detalle tanto los criterios como las preguntas e indicadores de evaluacin, y posteriormente se presenta un ejemplo
prctico de cmo disear y utilizar una matriz de evaluacin.
Los criterios de evaluacin

Los criterios de evaluacin son categoras generales de anlisis para enjuiciar el mrito o valor de una intervencin, que sirven de referencia para
estructurar las cuestiones a las que la evaluacin debe dar respuesta
(DGPOLDE, 2007, p. 110). En general podemos afirmar que los criterios son
conceptos que incluyen un juicio de valor en positivo, deseable, acerca de
49
la intervencin. As, hablamos de los criterios de pertinencia, eficacia o sostenibilidad porque, en principio, cualquier persona debera estar de acuerdo
en preferir que una intervencin sea lo ms pertinente, eficaz o sostenible
posible.
Existen dos grandes procedimientos para valorar el grado de cumplimiento de cada criterio por parte de la intervencin, los cuales pueden combinarse aunque, en general, se elige uno u otro en funcin del criterio de que
se trate o de la naturaleza de la intervencin:
Juicio salomnico: trata de comprobar en qu medida el programa
cumple con el criterio, operando generalmente en trminos relativos o
comparativos10, con proposiciones como la intervencin es poco eficaz o es menos eficiente que el programa del periodo anterior. Este
procedimiento se utiliza generalmente cuando se trata de criterios fcilmente cuantificables (como los de eficacia, eficiencia y efectividad),
o cuando se evala intervenciones relativamente simples o fciles de
acotar.
Juicio interpretativo: se trata de interpretar piezas de evidencia obtenida para ver si se puede concluir que refuerzan o debilitan el criterio en cuestin. Por ejemplo, si se detecta que los gestores de un programa creen que los objetivos del mismo son distintos a los declarados
por el propio programa, ello es un indicio de problemas de incoherencia en el diseo del mismo. Suele utilizarse este procedimiento en aquellos criterios ms abstractos (como los de pertinencia, coherencia o complementariedad), o en intervenciones muy complejas donde entran en
juego muchos factores.
10
Si bien nunca es descartable el que una intervencin pueda considerarse, por ejemplo,
completamente eficaz (o ineficaz), si sta alcanza plenamente la totalidad de sus objetivos (o
ninguno de ellos).
50
Por otro lado, se deber elegir tambin en qu criterios va a centrarse la

evaluacin, ya que en muy contadas ocasiones se dispondr del tiempo y
los medios para valorarlos todos ellos. Como se ha indicado anteriormente,
en muchos casos esta eleccin formar parte de la discusin del encargo
de evaluacin, y depender en gran medida de las prioridades de quien lo
haya formulado.
Con todo, es tambin posible que el equipo de evaluacin goce de total
libertad para elegir en qu criterios focalizarla. En ese caso, generalmente
se puede seguir una de estas dos aproximaciones:
Utilizar modelos o conjuntos estndar de criterios. La mayora de los organismos que promueven evaluaciones, como la OCDE o la Comisin
Europea, tiene sus propias listas de criterios, que suelen recomendar
para el tipo de intervenciones que financian. Sin embargo, nada debe
impedir a un equipo de evaluacin combinar criterios de distintos manuales si lo considera necesario.
Establecer los criterios segn las prioridades expresadas por los distintos actores que forman parte de la intervencin. Esta aproximacin se
enmarca dentro de la evaluacin participativa11, y por lo tanto tiene sus
mismas ventajas e inconvenientes. Como inconveniente mencionaremos,
en especial, el peligro de incorporar a la evaluacin sesgos si no se ha
detectado correctamente los intereses de los actores consultados.
El conjunto de los criterios de pertinencia, eciencia, ecacia, impacto y
viabilidad corresponde a la prctica tradicional de la evaluacin de la ayuda
al desarrollo, formalizada por la OCDE y el Comit de Ayuda al Desarrollo
(CAD), y adoptados por la mayora de los actores del sistema internacional
11
Ver el apartado 2.4 Metodologas y tipos de evaluacin. Principales enfoques para abordar una evaluacin.
51
de ayuda como parmetros que permiten enjuiciar los xitos o fracasos de

la intervencin (DGPOLDE, 2007, p. 56). Son por lo tanto una de las primeras listas de criterios que se populariz y generaliz, y suele constituir un
buen punto de partida para una evaluacin.
Sin embargo, es necesario advertir que lo que existe hoy en da es un
amplio abanico de criterios con denominaciones diversas y agrupados de
muchas maneras, algunos de ellos habiendo surgido de la necesidad de los
propios equipos de evaluacin de valorar aspectos de las intervenciones
para los que no encontraban un criterio al uso (prctica que, por otro lado,
no conlleva mayor problema que este, el de la proliferacin conceptual o la
multiplicidad de denominaciones).
En este trabajo se ha optado por hacer una seleccin de los que se ha
considerado ms relevantes para las intervenciones en educacin, formacin e insercin laboral en el mbito de la discapacidad, los cuales se describen a continuacin.
El criterio de Pertinencia
En trminos generales, la pertinencia es la adecuacin de los resultados
y los objetivos de la intervencin al contexto en el que se realiza (Ministerio
de Asuntos Exteriores, 2001, p. 43). Algunas instituciones pueden tambin
especificar el contexto de que se trata: es la medida en que los objetivos de
la intervencin son congruentes con las necesidades de los beneficiarios, las
necesidades del pas, las prioridades globales de los asociados y las polticas de la CE (Comisin Europea, 2006a., p. 26).
Para valorar la pertinencia de la intervencin debe analizarse primero la
propia justificacin de la misma (si existe, de lo contrario har falta recabar informacin al respecto o tratar de inferirla), viendo en qu medida sta
se fundamenta en la evidencia disponible sobre el contexto. Especfica-
52
mente, deber constatarse si la intervencin se corresponde con la realidad en cuanto a:

a) La existencia del problema o necesidad declarados (especialmente
desde la ptica de la poblacin beneficiaria de la intervencin), su correcta definicin y la adecuada apreciacin de su magnitud y del propio contexto en el que se desarrolla.
b) La posibilidad de xito abordndolo con una intervencin de esas caractersticas, y qu aspectos contextuales (jurdicos, culturales o ambientales) pueden condicionarla seriamente.
Una intervencin pertinente es, por lo tanto, aquella que define correctamente una situacin sobre la que quiere actuar, y dado el contexto en que
se encuadra es en s misma la mejor forma posible de hacerlo.
En cambio, no debe confundirse la evaluacin de la pertinencia con un
enjuiciamiento poltico de las intervenciones, es decir con la valoracin de
la decisin ltima de priorizar uno u otro mbito de la agenda poltica (en
un sentido amplio, incluyendo tambin la propia agenda que tienen las instituciones del tercer sector). Esa tarea no corresponde al mundo de la evaluacin, sino al del debate pblico y el juego poltico, y aunque no siempre
sea fcil trazar una lnea divisoria, es importante tratar de tener presente la
distincin cuando se trabaje con el criterio de pertinencia.
En definitiva, para valorar la pertinencia de una intervencin el equipo de
evaluacin puede sintetizar su trabajo bajo la nocin de estudiar si tiene
sentido llevar a cabo esta intervencin aqu y ahora. Esta idea, si bien tiene un carcter muy general, ayudar a orientar el anlisis cuando ste se
vuelva excesivamente abstracto.
53
El criterio de Coherencia
El criterio de coherencia recoge una nocin clara: la de la consistencia lgica entre los distintos elementos que forman parte de la intervencin. En
trminos de la descripcin de una intervencin que se hizo en la Figura 2.1,
el criterio de coherencia se centrar, pues, en analizar y contrastar la lgica de la intervencin.
Lo primero que debe analizarse desde la ptica de la coherencia es, de
este modo, si los objetivos de la intervencin estn bien definidos y si se
corresponden con las necesidades declaradas (o con la evidencia obtenida
tras el estudio de su pertinencia), lo que en ocasiones se denomina coherencia externa.
La formulacin de objetivos que sean claros, suficientemente especficos
y bien dimensionados es una de las mayores carencias que suelen encontrarse en las intervenciones, y no es extrao que en general stas incorporen objetivos sobre (o infra) dimensionados respecto a la problemtica detectada, o incluso que algunos de ellos no estn en absoluto relacionados
con la misma. Adems, en el caso de que se expliciten cules son los resultados operativos previstos, la evaluacin deber verificar tambin que los
mismos estn correctamente vinculados a los objetivos de naturaleza ms
estratgica.
En segundo lugar, el eje para valorar el resto de la coherencia de la intervencin, que en este caso se denomina coherencia interna, es la lgica
de la intervencin en la que se fundamenta (est explicitada o no). El equipo de evaluacin, por tanto, debe reconstruir esa lgica, validar cada una
de las hiptesis principales, as como la cadena de relaciones causales: partiendo de los recursos destinados a la intervencin, stos permiten realizar
ciertas actividades que generan unos resultados (outputs) y unos impactos
(outcomes).
54
Una forma prctica de abordar esta reconstruccin es hacerlo de atrs

hacia adelante, es decir, partiendo del impacto que se pretende conseguir
para ver qu resultados previos son necesarios, qu acciones debern ejecutarse para generarlos, y qu recursos requieren dichas acciones.
Todas las cuestiones que acabamos de enumerar deben ser coherentes
entre ellas, pero tambin respecto a la informacin de contexto que tengamos, incluyendo el entorno institucional en el que se encuadre la intervencin, ya que muchas veces los principales problemas de coherencia en cuanto a los recursos y las actividades surgen por no haberse considerado
adecuadamente quin (qu unidad de gestin) va a tener que ejecutarlas, y
qu limitaciones (o intereses) tiene.
Con todo, si bien la nocin conceptual de coherencia (o falta de ella) es
ampliamente aceptada y compartida por la gran mayora de las personas,
en la prctica este es uno de los criterios ms difciles de valorar, por su
elevado grado de abstraccin y por la gran multiplicidad de elementos que
pueden tener que analizarse.
El criterio de Complementariedad
El criterio de complementariedad valora en qu medida se ha considerado y tenido en cuenta otras intervenciones (incluyendo las normas o las polticas de gran alcance) que puedan afectar la intervencin evaluada en un
sentido positivo (de refuerzo) o negativo (de obstaculizacin). Qu entendemos por intervenciones complementarias? Principalmente, aqullas que:
Se dirigen a las mismas personas beneficiarias.
Afectan al mismo problema (aunque puede ser que las personas beneficiarias sean otras, por ejemplo las empresas, en el mbito de la
contratacin de personas con discapacidad).
55
Persiguen objetivos similares (u opuestos).

Las ejecuta la misma organizacin o la misma unidad de gestin (o
alguna que est a un nivel inferior o superior jerrquicamente).
En todos estos casos, la evaluacin de la complementariedad deber analizar si la intervencin tiene en cuenta la existencia de esas posibles sinergias u obstculos, y de ser as ver si se toman medidas para aprovecharlas
(o atenuarlos).
En concreto, la intervencin debera contemplar:
Si existen elementos de las otras intervenciones, o de su contexto, que
pueden obstaculizar su ejecucin (por ejemplo, existen requisitos legales o administrativos que no se han tenido en cuenta).
Si existen solapamientos entre intervenciones, actuando sobre el mismo problema y de forma similar pero desde organizaciones distintas (por
lo que seguramente se est utilizando recursos que se podran asignar
mejor).
Si existen posibles sinergias entre intervenciones, es decir si hay evidencia de que varias intervenciones que acten conjuntamente sobre un mismo problema producen mejores resultados que si actuasen por separado.
Las cuestiones relacionadas con la complementariedad (o falta de ella)
entre intervenciones habitualmente suelen aparecer como nueva evidencia
hallada durante el proceso de evaluacin, de modo que en general muchas
de ellas no se habrn previsto durante la fase de diseo de la misma, lo que
no debe interpretarse como una carencia o problema.
En cambio es importante recordar que valorando el criterio de complementariedad el objetivo ltimo que se persigue es el de proponer mejoras
56
en el diseo de la intervencin evaluada, no de aquellas que le son complementarias; no debemos pues caer en el error de proponer cambios generales en la estructura de todo un conjunto de polticas, ni de querer enmendar cualquier intervencin relacionada con la que se est evaluando.
En la prctica, el criterio de complementariedad es de los que menos se
trabajan y de los que suele asignrseles una baja prioridad cuando se evala, aunque muchas veces pueda ser de los ms determinantes para el xito o el fracaso de una intervencin.
El criterio de Eficacia
El criterio de eficacia valora el grado de consecucin de los objetivos (implcitos o explcitos) de una intervencin, en funcin de su orientacin a resultados (DGPOLDE, 2007, p. 111). La razn ltima de las intervenciones
es lograr producir unos resultados y un cambio en la sociedad, por lo que
ste es uno de los criterios esenciales en evaluacin, que adems analiza
un aspecto de la intervencin que es el que suele tener en mente la mayora de la gente cuando piensan en evaluar. Por esa misma razn, partiendo
de una primera definicin ms bien general han proliferado las adaptaciones que la completan o complementan con matices importantes.
As, una primera cuestin a tener en cuenta es que, como acabamos de ver,
la consecucin de los objetivos de la intervencin ser relevante para valorar
su eficacia en la medida en que la intervencin se oriente a resultados. Es decir, en algunos casos pueden existir intervenciones que declaren explcitamente que la consecucin de determinados resultados no es el nico aspecto relevante, o incluso no es el ms relevante (y se le da prioridad, por ejemplo, a
la participacin de los actores en el propio desarrollo de la intervencin). En
esos casos, la valoracin de la eficacia deber incorporar tambin el anlisis
de cualquier otra dimensin que la propia intervencin considere importante.
57
Igualmente, es habitual que las intervenciones lleven aparejados ms de

un objetivo, en cuyo caso valorar la eficacia de la intervencin en su conjunto va a requerir tener en cuenta la importancia relativa de cada uno de
ellos (est o no explicitada en la intervencin)12. Cuando la intervencin no
establezca un orden de prioridad ser el equipo de evaluacin el que deber proponerlo en base a la mejor evidencia que haya podido encontrar al
respecto: investigacin acadmica, ejemplos de otras intervenciones o de
otros pases, el punto de vista de los actores, etc.
Una segunda dimensin que tambin se suele considerar que abarca el
criterio de eficacia, dimensin que habitualmente se analizar primero, es la
correcta ejecucin e implementacin de la intervencin, es decir, si se han
realizado las actividades y los procesos previstos, o en qu medida se han
reformulado adecuadamente para afrontar dificultades imprevistas. El grado
de profundidad que se puede alcanzar en este aspecto ser tanto como lo
estime oportuno el equipo de evaluacin, incluso entroncando con el anlisis de organizaciones y la utilizacin de herramientas estandarizadas de evaluacin de procesos (como por ejemplo los modelos CAF o EFQM).
Por ltimo, en trminos de la lgica de la intervencin, el criterio de eficacia analizara pues las dos etapas intermedias, de realizacin de actividades y de generacin de resultados (outputs). Es decir, se trata de una visin
a corto plazo, que el equipo de evaluacin deber distinguir del anlisis de
los efectos a largo plazo, el cul debe recogerse bajo los criterios de efectividad o sostenibilidad.
El criterio de Efectividad
La efectividad es en realidad un concepto compuesto de diversos elementos, todos ellos vinculados a la nocin de impacto de una intervencin y que
12
Vase tambin la definicin del criterio en Comisin Europea (2006a, p. 26).
58
han ido surgiendo como un perfeccionamiento en la medicin de la eficacia13. As, el criterio de efectividad toma tambin como punto de partida el
anlisis de los resultados de la intervencin, pero profundiza en las siguientes tres direcciones:
1. Discernir aquellos resultados que son estrictamente imputables a la
misma, distinguindolos de los que pueden haber sido producidos por
otras causas (como la propia evolucin del contexto socio-econmico,
o la existencia de otras intervenciones actuando en ese mismo mbito). Ello puedo considerarse como el impacto neto de la intervencin.
2. Extender en el tiempo el anlisis de los resultados, estudiando lo que
ocurre en el largo plazo: la intervencin ha producido un cambio estructural (de fondo) que mantiene sus efectos en el tiempo, o bien stos van desapareciendo gradualmente?
3. Tomar en consideracin aquellos efectos (positivos o negativos) producidos por la intervencin pero no incluidos entre sus objetivos, o
aqullos que han sido totalmente inesperados; stos pueden darse tanto en las personas que directamente han participado en la intervencin, como en el resto de actores sociales que interactan con ellas.
Mientras la eficacia es un criterio de evaluacin restringido, vinculado a los
objetivos declarados de la intervencin y por tanto con una lgica en positivo, la efectividad va ms all y explora todos los efectos producidos por la
intervencin: positivos y negativos, esperados y no previstos. En trminos generales pues, la nocin de impacto trata de capturar el conjunto de todos los
cambios socioeconmicos generados por la intervencin, aunque solamente
aquellos que sabemos con certeza que han sido producidos por ella.
13
Aunque es difcil condensar esos diversos aspectos en una nica definicin, para una propuesta relativamente operativa ver la definicin de impacto en DGPOLDE (2007, p. 114).
59
En el primer caso, cuando se busca discernir qu resultados son realmente producto de la intervencin, se debe trabajar con el concepto de contrafactual: qu hubiese sucedido si la intervencin no se hubiese llevado a
cabo? Si se consigue responder a esa pregunta, entonces la diferencia entre lo que hubiese sucedido y lo que hemos observado que ha pasado en
realidad sern los efectos imputables a la intervencin.
Ni que decir tiene que la construccin y anlisis de contrafactuales es
una tarea compleja, para la que existen diversas aproximaciones metodolgicas pero todas ellas con importantes retos de aplicabilidad. En general para intervenciones de alcance reducido o medio, y sobre todo si estn localizadas geogrficamente, el enfoque cuasi experimental ha sido el
que ms popularidad ha adquirido durante los ltimos aos. Consiste en
intentar establecer un grupo de personas que acte como control, es decir que se parezcan mucho en el mximo nmero de aspectos posible a
las personas que han participado en la intervencin (y que se llamarn
grupo de tratamiento), pero que ellas mismas no hayan participado, de
modo que lo que les suceda en el mismo intervalo de tiempo es una buena aproximacin de lo que podra haber pasado al grupo de tratamiento si
la intervencin no hubiese existido.
Por ejemplo, supongamos que se est evaluando un programa de insercin laboral para personas con discapacidad en Alcorcn, en el cual
participaron 200 personas. No debera ser difcil (aunque seguramente s
ser costoso) encontrar en Getafe un nmero similar (o incluso mayor)
de personas con discapacidad que compartan similitudes con las que participaron en el programa: en cuanto a su sexo y edad, grado de discapacidad, contexto socioeconmico, etc. Seguramente en este ejemplo s
apareceran ms dificultades en cuanto se intentase que las personas del
grupo de control (las de Getafe) no hayan participado por su cuenta en
ningn otro programa de esa localidad (lo que minara considerablemente la comparabilidad entre los dos grupos), pero ello ya forma parte de la
60
difcil tcnica de la construccin de contra-factuales en el mbito de las

ciencias sociales14.
Otra familia de tcnicas para abordar el anlisis de contrafactuales consiste en aquellas que profundizan en el estudio detallado de la implementacin de la intervencin, con el objetivo de hallar evidencia lo bastante slida de que uno u otro resultado muy difcilmente se habra producido de
no existir sta. As por ejemplo, si en el programa de insercin han participado personas que llevaban muchos aos sin encontrar trabajo, y durante
el mismo se ha realizado una labor intensiva tanto de capacitacin de esas
personas como de concienciacin de las empresas de la zona, ello puede
considerarse evidencia suficientemente slida de que quienes hayan encontrado trabajo en esas empresas difcilmente lo habran podido hacer sin
la intervencin.
Por otro lado, cuando se trata de considerar qu ocurre en el largo plazo, las dificultades metodolgicas no son especialmente relevantes, y en general ser suficiente con extender el anlisis de la eficacia y la efectividad
de modo que abarque un periodo de tiempo prolongado tras la finalizacin
de la intervencin. En cambio, lo que s puede resultar es muy costoso o incluso impracticable, cuando no haya forma alguna de localizar o seguir en
contacto con las personas que participaron en la intervencin.
Finalmente, apreciar los efectos indirectos o no previstos va a requerir extender el anlisis ms all del marco de la intervencin, utilizando bsicamente las mismas herramientas de estudio pero aplicadas a otros colectivos o mbitos, y muy especialmente prestando especial atencin a las
pequeas evidencias que puedan asomar durante el anlisis de la propia
intervencin (ya que no es extrao que alguno de los diversos actores par-
14
En el apartado 2.4 se ha ilustrado otro ejemplo de cmo puede utilizarse pequeas diferencias de naturaleza administrativa para obtener un buen grupo de control.
61
ticipantes en la evaluacin apunte a efectos no previstos o inesperados). En

este sentido, aquellas tcnicas de anlisis ms estructuradas (como el anlisis de organizaciones) sern habitualmente de las menos productivas para
abordar este aspecto de la efectividad, ya que tendern a focalizarse en aspectos de la intervencin conocidos de antemano, mientras que las ms
abiertas y flexibles (como las entrevistas en profundidad), tendern a producir evidencia algo ms relevante (aunque lgicamente menos precisa).
El criterio de Eficiencia
El criterio de eficiencia valora la medida en la que se obtuvieron los resultados y/o efectos deseados con la menor cantidad de recursos posible
(fondos, habilidades tcnicas, tiempo, costos administrativos, etc.) (Comisin Europea, 2006a, p. 26). El concepto de eficiencia se vincula con las nociones de ptimo y productividad15, poniendo el nfasis en analizar la relacin entre los recursos utilizados (inputs) y los resultados obtenidos
(outputs). La relacin con los resultados obtenidos es sumamente importante, ya que no se trata de comprobar si la intervencin ha costado mucho
o poco, sino de comparar el grado (o el volumen) de resultados que se han
conseguido con los recursos que se han utilizado para ello. Por ejemplo: si
la intervencin es un curso de formacin ocupacional la eficiencia analizara, entre otros parmetros, cunto se ha invertido (en euros) por cada participante que finalmente ha encontrado un trabajo, de modo que cuanto mejor fuese esa relacin ms eficiente sera la intervencin.
Es importante sealar que al tratarse de una relacin entre dos magnitudes, para valorar el grado de eficiencia de una intervencin debe analizar15
La diferenciacin convencional entre eficiencia y productividad es que aunque las dos ponen en relacin logros y recursos, la ltima suele expresarse en unidades fsicas y la eficiencia en unidades monetarias.
62
se el comportamiento de cada una de ellas; es decir, una intervencin es

ms eficiente que otra tanto si consigue mejores resultados con los mismos
recursos, como si logra al menos los mismos resultados pero consumiendo
menos recursos16. En ltimo trmino, ello implica que una intervencin no
puede ser eficiente en s misma, sino que siempre es necesario compararla con un escenario alternativo (al contrario de lo que ocurre con la eficacia, donde una intervencin s se puede considerar poco o muy eficaz de
forma aislada, segn logre alcanzar en mayor o menor medida sus objetivos). As, que se haya conseguido que, por ejemplo, 300 personas con discapacidad encuentren trabajo gracias a un programa de formacin que ha
costado 300.000 euros no es, en s mismo, ni muy ni poco eficiente, sino
que antes hay que contrastarlo con alguna alternativa.
Los equipos de evaluacin debern por tanto abordar siempre el criterio
de eficiencia desde una perspectiva comparada: o bien estudiando qu otras
intervenciones obtienen una mejor relacin entre recursos utilizados y resultados conseguidos (y las causas de ello), o bien analizando si hay aspectos de la propia intervencin que se podran mejorar para lograr reducir los
costes sin afectar a los resultados, o viceversa.
Por ltimo, es tambin importante distinguir entre los conceptos de eficiencia interna y eficiencia externa. En el primer caso la consideracin de
los resultados de la intervencin se circunscribe a los obtenidos directamente y a corto plazo (lo que en este trabajo venimos denominando outputs), y
dirigindose el foco a cmo se han empleado los recurso durante la implementacin de la intervencin; en cambio la eficiencia externa ampla el anlisis a cualquier tipo de efecto producido por la intervencin, abarcndose
tanto los indirectos como los de largo plazo (lo que se correspondera con
16
Este es el planteamiento clsico con el que la teora econmica aborda la cuestin de la
eficiencia, y si bien implica cierto grado de abstraccin a la larga es el que mejor se adapta a
las necesidades de la funcin evaluativa.
63
los outcomes). En el ejemplo anterior, donde 300 personas con discapacidad haban encontrado trabajo tras asistir a un curso, sabemos que esas
personas que ahora tienen un empleo van a generar riqueza y van pagar
impuestos, lo que se puede considerar un efecto positivo de la intervencin
que tambin se debe tener en cuenta desde la ptica de la eficiencia.
Sin embargo, el anlisis de la eficiencia externa es extremadamente complejo17, y requiere del uso de tcnicas intensivas en tiempo y recursos y de
la asuncin de hiptesis que pueden ser algo controvertidas. Adems, un
paso previo para el estudio de la eficiencia externa es la medicin del impacto estrictamente imputable a la intervencin, por lo que en el mbito evaluativo se aconseja encarecidamente que este tipo de consideraciones se
aborden exclusivamente desde la ptica del criterio de efectividad, y se circunscriba el criterio de eficiencia al anlisis de la eficiencia interna.
El criterio de Sostenibilidad
En trminos generales, se suele entender por sostenibilidad de una intervencin su capacidad de producir unos efectos (o resultados) que contribuyan
a que pueda mantenerse en el tiempo por s misma, de modo que tras retirarse (o acabarse) la financiacin inicial sta pueda seguir prolongndose18.
Esta perspectiva, tambin recogida bajo la denominacin de viabilidad, se
vincula con aquellas intervenciones de naturaleza ms econmica (que tra-
17
En la correspondiente especialidad de la ciencia econmica se suele llamar anlisis coste-eficacia al de la eficiencia interna, y anlisis coste-eficiencia al de la externa; sin embargo es una terminologa algo confusa para personas no iniciadas, por lo que se desaconseja su
uso en el mbito de la evaluacin.
18
En el caso de intervenciones cuya implementacin conlleva un impacto ambiental, el criterio de sostenibilidad contempla tambin el hecho de que no se deteriore el medio ambiente
(si bien es un caso que no se profundizar en este trabajo por estar fuera del mbito de inters del mismo).
64
tan de poner en marcha mecanismos o estructuras capaces de generar ingresos) y entronca directamente con el criterio de eficiencia: una intervencin ms eficiente casi siempre ser tambin ms sostenible. Del mismo
modo, y al igual que ocurra con la eficiencia, requiere un anlisis comparativo que relativice la medicin de la sostenibilidad: interesa hablar de intervenciones que son ms o menos sostenibles que otras, y no tanto de si una
intervencin en concreto es en s misma totalmente sostenible.
Una segunda perspectiva, ms cercana al mbito de la evaluacin profesionalizada, entiende la sostenibilidad como la medicin de qu efectos de
la intervencin es previsible que se mantengan una vez sta finalice, independientemente de las posibilidades de prolongarla en el tiempo o de reeditarla19. Sin embargo, as expresada la sostenibilidad es exactamente lo
mismo que el impacto a largo plazo (que hemos considerado en la definicin del criterio de efectividad), de modo que en la prctica evaluativa ambas denominaciones suelen usarse indistintamente. En cualquier caso, el
equipo de evaluacin simplemente deber ser cuidadoso y especificar a qu
se refiere cuando valora el criterio de sostenibilidad, aclarando si meramente est analizando la duracin del impacto tras la intervencin, o si tambin
se va a considerar la generacin de ingresos y recursos propios para su
eventual reedicin.
Los criterios de Participacin y Transparencia

Estos dos criterios se relacionan con los principios de buen gobierno (o
gobernanza), y por lo tanto se aplicarn habitualmente cuando se trate de
intervenciones de naturaleza pblica (si bien frecuentemente grandes insti19
As, la sostenibilidad valorara en qu medida hay una continuacin de los beneficios de
una intervencin despus de concluida, o bien una situacin en la que sus ventajas netas son
susceptibles de resistir los riesgos con el paso del tiempo (DGPOLDE, 2007, p. 118).
65
tuciones del tercer sector hacen suyos algunos de los mismos principios de
buen gobierno que se requiere del sector pblico).
El criterio de participacin valora en qu medida la intervencin ha sido
promovida, diseada y ejecutada con el suficiente protagonismo de los distintos actores sociales implicados o afectados por la misma, y muy especialmente con la implicacin de las personas destinatarias que sufren el problema o la necesidad sobre la que se pretende actuar. La participacin puede
valorarse bsicamente en dos dimensiones. En primer lugar puede analizarse la cantidad de participacin que ha habido, es decir, cuntos actores y
con qu intensidad han participado en cada una de las distintas fases de la
intervencin (en su justificacin, su diseo, su ejecucin y en la difusin de
sus resultados)20. Pero tambin puede analizarse la calidad de esa participacin, es decir constatar si se ha recabado la mejor informacin que poda aportar cada actor, y especialmente si sus puntos de vista han sido incorporados para mejorar la intervencin (o, en el caso de que no lo hayan
sido, si ello se ha justificado suficientemente).
El criterio de transparencia, en cambio, se concentra en analizar en qu
medida todas las decisiones y acciones del programa son pblicas y de libre acceso, tanto para los actores implicados como especialmente para el
conjunto de la ciudadana. La publicidad debera adems extenderse a todas y cada una de las etapas de la intervencin: el anlisis de la realidad
social y su justificacin, la eleccin de los objetivos, el diseo, su ejecucin
y, cmo no, sus resultados y su evaluacin (cuando la haya).
Un ltimo aspecto importante a tener en cuenta es que, en la gran mayora de los casos, los propios actores sern uno de los mejores medios
20
Podra tambin entrar a valorarse como parte del criterio de participacin lo que hayan
participado los actores en la propia evaluacin, aunque ello slo tendra sentido si ha venido
impuesto por quien encarg la evaluacin (ya que si lo ha decidido el equipo de evaluacin
estara, en cierto sentido, evalundose a s mismo).
66
para garantizar la publicidad y la adecuada difusin de la informacin relativa a la intervencin, siendo ste el punto donde se entrecruzan ambos criterios: asegurar una correcta participacin de los actores (tambin en el proceso evaluativo) ser a su vez una de la formas ms eficaces de garantizar
la suficiente transparencia de la intervencin.
Las preguntas de evaluacin

Las preguntas son, junto con los indicadores, la columna vertebral del diseo de toda evaluacin. Determinan cmo vamos a enjuiciar los criterios de
evaluacin en los que queramos centrarnos: se asocia un conjunto de preguntas a cada criterio, y en base a cmo las respondamos deberemos ser capaces de argumentar si la intervencin es ms a menos coherente, eficaz, etc.
Sin embargo, es importante elegir bien qu se va a preguntar, y para ello
antes hay que tener claro qu tipo de respuesta necesitamos. Las preguntas de evaluacin no deben preguntar por aquello que queremos saber sobre la intervencin, ya que esa tarea en realidad corresponde a la parte de
anlisis de la misma; deben preguntar por aquello que necesitamos saber
para poder emitir un juicio sobre determinado aspecto de la intervencin.
As por ejemplo, si estuvisemos evaluando los criterios de pertinencia y coherencia en el caso de un curso de formacin ocupacional para personas
con discapacidad:
La pregunta cules son los objetivos estratgicos de la intervencin?
no sera en realidad una buena pregunta de evaluacin. Es algo muy
importante y que queremos saber, pero que por s mismo no permite
enjuiciar si la intervencin es pertinente o coherente, ya que una eventual respuesta (digamos que fuese el objetivo estratgico es lograr que
un 10% de la poblacin local con discapacidad encuentre un trabajo)
no proporciona en realidad el tipo de informacin adecuada.
67
En cambio la pregunta la poblacin local con discapacidad ha manifestado necesitar mejor formacin para poder encontrar trabajo? s permitira valorar la pertinencia de la intervencin, ya que si la respuesta
fuese negativa ello estara apuntando a que tal vez no sea necesario
un curso de formacin ocupacional.
Y la pregunta los objetivos estratgicos identifican y se enfocan hacia el colectivo de personas con discapacidad que ms necesita un empleo? sera igualmente una buena pregunta para valorar el criterio de
coherencia, ya que los objetivos de la intervencin no estaran bien diseados si la respuesta fuese no pero el equipo de evaluacin hubiese detectado que, en realidad, el problema de la falta de empleo se concentra en personas con cierto tipo de discapacidad.
Entender e interiorizar esta diferencia es esencial para posteriormente poder llevar a cabo un buen proceso de enjuiciamiento, si bien no siempre resulta fcil e inmediato21. La clave est en trabajar y reelaborar cuanto sea
necesario la formulacin de las preguntas, de modo que sus eventuales respuestas siempre reflejen una gradacin y sean del tipo mucho o poco, o
en el extremo s o no.
En este sentido, la pregunta de evaluacin ideal sera aquella que empezase por En qu medida?, ya que por definicin la respuesta nos
servir para valorar el grado de cumplimiento del criterio al que se asocie.
Seran pues ejemplos de preguntas tipo:
En qu medida est documentada la necesidad que la intervencin
quiere paliar? (pertinencia).
21
De hecho es frecuente que las guas y manuales de evaluacin no hagan esta distincin,
y recomienden preguntar por cualquier aspecto que se considere relevante.
68
En qu medida se vincula claramente cada actividad con un objetivo operativo, y stos con los estratgicos? (coherencia).
En qu medida se ha establecido mecanismos de coordinacin con
otras polticas? (complementariedad).
En qu medida se ha alcanzado los objetivos previstos? (eficacia).
En qu medida los resultados de la intervencin son atribuibles a la
misma? (efectividad).
En qu medida podra haberse reducido los costes sin socavar los
resultados obtenidos? (eficiencia).
En qu medida la intervencin ha generado recursos que permitan
sostenerla en el tiempo? (sostenibilidad).
En qu medida se han implementado mecanismos de participacin
para el tercer sector? (participacin).
En qu medida se ha comunicado los resultados y los efectos producidos por la intervencin? (transparencia).
Ahora bien, aunque esta manera de formular las preguntas asegura su
utilidad para poder enjuiciar los criterios de evaluacin, en general va a resultar algo superficial y poco informativa. En realidad el equipo de evaluacin debe intentar concretar al mximo las preguntas, incorporando todos
los aspectos y las peculiaridades que conozca sobre esa intervencin en
concreto. Para ello, deber reformular y precisar las preguntas a medida que
vaya investigando y conociendo en detalle el funcionamiento de la misma.
El proceso de reformulacin y precisin, aplicado al ejemplo anterior del
curso de formacin ocupacional para personas con discapacidad, puede ser
como sigue: supongamos que el equipo de evaluacin ha descubierto que
en el mbito local en el que se aplicar el curso, son las personas con gra-
69
dos reducidos de discapacidad fsica quienes claramente lo han solicitado y

le podrn sacar partido, mientras que para el caso de las personas con discapacidades psquicas o muy limitativas hay evidencia de que sera mejor
otro tipo de aproximacin (como el empleo con apoyo o el protegido).
Ante ese escenario, si la intervencin se plantea como objetivo estratgico
que un 10% de la poblacin local con discapacidad encuentre trabajo, es posible que ese objetivo est claramente mal dimensionado. Por lo tanto, una
buena pregunta de evaluacin (bien enfocada y suficientemente especfica)
para abordar la coherencia podra ser: Las personas con discapacidad fsica reducida que han manifestado inters en el curso, en qu medida representan al menos un 10% de la poblacin local de personas con discapacidad?
En general, ser el equipo de evaluacin quin vaya recopilando y analizando la suficiente informacin sobre la intervencin para poder seleccionar
y afinar las preguntas de modo que resulten informativas y relevantes. Adems, es tambin recomendable (y habitual) que se tenga en cuenta las sugerencias o aportaciones tanto de quien ha encargado la evaluacin, como
del resto de actores implicados; sin embargo, lo que no debe hacer el equipo de evaluacin es trasladar lo que quieren saber sobre la intervencin
directamente a las preguntas de evaluacin. Si quien haya hecho el encargo o alguno de los actores est muy interesado en conocer un aspecto determinado de la intervencin, ello debe ser analizado por el equipo de evaluacin y se debe aportar la informacin requerida, pero eso no significa que
deba convertirse en una pregunta de evaluacin (a no ser que realmente su
respuesta permita enjuiciar algn criterio).
A lo largo de los captulos 3 y 4 de este trabajo se va a ir proponiendo
preguntas de evaluacin para los distintos criterios que se analice; sin embargo no se trata de listas cerradas ni exhaustivas, sino simplemente de
ejemplos que permiten ilustrar cmo podran formularse las preguntas para
ese criterio en cuestin. Igualmente, junto con las preguntas se propone tam-
70
bin algunos posibles indicadores asociados, el otro pilar del proceso de diseo de la evaluacin.
Los indicadores
Si las preguntas de evaluacin tratan de capturar aquello que realmente
necesitamos saber para enjuiciar un aspecto determinado de la intervencin
(un criterio), los indicadores van a ser la principal herramienta para responderlas. Si las preguntas se formulan para que sepamos qu debemos medir, los indicadores van a ser la forma de hacerlo.
Los indicadores son variables, magnitudes, hechos o sucesos observables, que deberan permitir responder las preguntas en trminos de mucho
o poco (o bien s o no) y que en ltima instancia nos conducen a medir el grado de intensidad con que se alcanza (o cumple) el criterio en cuestin. As, ante la pregunta vinculada al criterio de eficacia en qu medida
se han alcanzado los objetivos de la intervencin?, el indicador porcentaje de participantes que han encontrado un trabajo nos permitir responderla adecuadamente: si por ejemplo el indicador tuviese un valor del 95%, podramos decir que se han alcanzado los objetivos casi totalmente, de modo
que la intervencin habra sido extremadamente eficaz.
Elegir indicadores adecuados para cada pregunta no es fcil, pero es otro
de los pasos determinantes para asegurar un proceso de enjuiciamiento lo
ms coherente y objetivo posible. Se trata, pues, de intentar acercarse tanto como se pueda al concepto o al criterio a medir, aunque en la prctica
muchas veces habr que conformarse con reflejar aspectos parciales o aproximados, sin llegar a capturar toda la informacin que idealmente resultara
de inters. En este sentido, debe considerarse una buena prctica el asignar a cada pregunta de evaluacin ms de un indicador (entre 2 y 4 es una
cantidad razonable), de modo que se mida los distintos elementos que se
consideran relevantes para esa pregunta.
71
En trminos del tipo de medicin que permiten realizar, se considera que

existen dos grandes clases de indicadores:
Cuantitativos: magnitudes que se pueden expresar en algn tipo de unidad numrica.
Cualitativos: estados o condiciones que pueden o no cumplirse, y que
permiten deducir una direccin en la que se orienta la respuesta a la
pregunta o el cumplimiento del criterio.
Los indicadores cuantitativos son con diferencia los ms utilizados para
criterios como los de eficacia, efectividad, eficiencia y sostenibilidad, aunque
tambin pueden jugar un papel importante en el resto de ellos (tal vez con
la nica excepcin del criterio de complementariedad). Se vinculan claramente con el procedimiento de juicio salomnico que se ha explicado ms
arriba, y habitualmente suelen adoptar una formulacin compuesta, poniendo en relacin dos magnitudes distintas: nmero de asistentes respecto a
los previstos, gasto ejecutado respecto al presupuestado, etc.
En cuanto a los indicadores cualitativos, stos se relacionan con el procedimiento de juicio interpretativo, y como se ha explicado anteriormente
se trata de piezas de evidencia que se puede concluir que refuerzan o debilitan el criterio en cuestin22. Los indicadores cualitativos se suelen utilizar
para criterios como los de pertinencia, coherencia y complementariedad, y
para los aspectos ms difciles de cuantificar en los de participacin y transparencia (como cuando se trata de comprobar en qu medida se ha hecho
caso o no de las sugerencias aportadas por los actores). As, ejemplos de
indicadores cualitativos podran ser el detalle con el que la intervencin ana-
22
En el mbito de la evaluacin profesional existe un debate abierto sobre si es correcto
conceptualizar la existencia de indicadores cualitativos, o debera hablarse exclusivamente de
juicio interpretativo sin recurrir a la nocin de que haya indicadores para ello.
72
liza las necesidades de la poblacin afectada (criterio de pertinencia) o la

habilitacin de un rgano de interlocucin (criterio de participacin).
Una segunda forma de clasificar a los indicadores es segn sean directos
(referidos especficamente a aquello que se desea medir), o indirectos (miden
un aspecto distinto del que se quiere valorar, pero que se sabe que tiene un
comportamiento muy similar). Un ejemplo de indicador indirecto sera el nmero de personas que ha terminado un curso de formacin ocupacional como
aproximacin del nmero de personas que realmente han adquirido nuevas
competencias (en ausencia de un examen o una prueba final), ya que sabemos que en general si hay ms personas que acaban el curso, podemos esperar que hayan aumentado en la misma proporcin las que se han formado.
Los indicadores indirectos son ampliamente utilizados en evaluacin, y no debe
tenerse reparos en recurrir a ellos cuando no exista una alternativa mejor.
Por ltimo, el diseo
clave a la que hay que
motivo: los indicadores
como a qu fuentes de
y la seleccin de indicadores es tambin una tarea

dedicar el tiempo y el esfuerzo necesarios por otro
van a determinar qu datos hay que recopilar, as
informacin habr que acudir.
Construccin de la matriz de evaluacin

Hasta el momento se ha analizado por separado los diversos elementos
que van a servir para construir la matriz de evaluacin, la que a su vez es
el esqueleto de la evaluacin y refleja cules son las decisiones que se han
tomado para enjuiciar la intervencin. Sin embargo, en qu orden debe ir
disendose y encajndose cada parte? En principio, la secuencia natural
sera la siguiente:
1. Se decide, de mutuo acuerdo con quien encarg la evaluacin y tras
consultar a los actores implicados, qu criterios de evaluacin se consideran prioritarios y evaluables.
73
2. Se establece una batera de preguntas para cada criterio que se va a

evaluar.
3. Se eligen y especifican uno o varios indicadores asociados a cada pregunta.
4. Se investiga en qu fuentes de informacin puede encontrarse el valor concreto o los datos necesarios para cada indicador23, o se establece qu herramientas de recogida de informacin y qu tcnicas de
anlisis van a usarse para calcularlos.
Respecto al punto 4, conviene precisar que su inclusin en la matriz de
evaluacin no siempre es necesaria, ya que las fuentes de informacin no
forman parte, en sentido estricto, del proceso de enjuiciamiento; sin embargo s es una buena prctica el hacerlo, ya que en general facilitar al equipo de evaluacin el darse cuenta de que un eventual indicador es imposible de calcular porque no existe la informacin necesaria para ello o no est
en absoluto disponible.
Ahora bien, el proceso de cuatro etapas que acabamos de describir dista mucho de ser una frmula esttica y secuencial. En realidad, el equipo
de evaluacin deber ser muy flexible y mantener una revisin constante de
la matriz, en un proceso iterativo de mejora constante: en funcin de lo que
descubra tratando de formular las preguntas se puede descartar un criterio
o aadir otro nuevo, al proponer indicadores para una pregunta en concreto se ver que est mal formulada (o viceversa), al tratar de decidir cmo
se va a calcular el indicador se puede constatar que ste en realidad no se
ajusta al concepto que se quiere medir, etc.
23
En ocasiones se utilizan las expresiones fuentes de verificacin y verificar el indicador,
ya que el proceso de obtener y calcular su valor se suele denominar verificacin.
74
La matriz de evaluacin deber por tanto evolucionar en consonancia con

el mayor conocimiento que va adquiriendo el equipo de evaluacin tanto de
la intervencin como de su contexto. Sin embargo, simultneamente hay que
tratar de evitar que un exceso de modificaciones y cambios en la matriz desvirten su propsito y especialmente su consistencia interna: si tras un buen
anlisis se concluye que determinada pregunta de evaluacin es adecuada
y que se ha seleccionado el mejor indicador posible no conviene modificarlos ante la primera dificultad prctica.
Del mismo modo hay que saber dar el protagonismo estrictamente necesario a las demandas de quien encarg la evaluacin y del resto de actores
implicados. No ser raro que sus prioridades se manifiesten inicialmente en
forma de preguntas o incluso de indicadores (quieren evaluar la intervencin
porque se ha observado que una determinada magnitud, como el nmero
de personas que solicitaron atender un curso de formacin, ha tomado valores sorprendentemente bajos o altos), y en ese caso el equipo de evaluacin deber explorar cmo integra ese elemento en la matriz sin que sta
pierda su coherencia y funcionalidad.
En definitiva, si en algn punto se puede hablar de un arte de saber evaluar es en el diseo y la elaboracin de la matriz de evaluacin (lo que, dicho sea de paso, plantea una cierta tensin cuando se considera que las
evaluaciones deben ser lo ms neutras y objetivas posibles). Lo que el equipo de evaluacin deber tratar de conseguir, pues, ser una matriz equilibrada: que incorpore las necesidades de informacin de los actores en su
justa medida, que aborde los aspectos realmente importantes de la intervencin y permita enjuiciarlos de forma clara y explcita, y que en la prctica se
pueda encontrar u obtener la informacin necesaria para calcular y verificar
los indicadores.
Finalmente, en la siguiente figura mostramos un ejemplo del formato en
el que suelen presentarse las matrices de evaluacin:
75
Ejemplo del formato de las matrices de evaluacin
FIGURA 2.3
76
2.6. LAS FUENTES Y LOS INSTRUMENTOS DE RECOGIDA

DE INFORMACIN. ELECCIN, DISEO Y UTILIZACIN
DE TCNICAS DE ANLISIS CUANTITATIVAS Y CUALITATIVAS
Como hemos visto en el apartado anterior, una vez se ha elegido qu indicadores van a utilizarse para responder las preguntas de evaluacin, hay
que proceder a calcularlos o verificarlos, es decir establecer qu valor toman o qu informacin consideramos que es relevante para ver en qu sentido apuntan (en el caso de indicadores cualitativos). As por ejemplo, si el
indicador en cuestin fuese el porcentaje de participantes del curso que han
encontrado trabajo (indicador cuantitativo) habra que saber cul es ese porcentaje para el caso de la intervencin evaluada, mientras que si fuese concordancia entre los argumentos de la memoria justificativa de la intervencin
y los de la legislacin aplicable (indicador cualitativo) habra que analizar
ambos textos para decidir y argumentar en qu medida concuerdan.
Sin embargo, para ello es necesario primero distinguir entre fuentes o instrumentos de recogida de informacin, y tcnicas (cuantitativas o cualitativas) de anlisis de la misma:
Las fuentes o instrumentos de recogida de informacin son aquellos sitios o herramientas a los que el equipo de evaluacin acude para obtener informacin, es decir para pasar de una situacin de planteamientos tericos o hipotticos a una en la que se dispone de datos concretos,
tomen estos la forma de documentos o estudios cientficos, bases de micro-datos, explotaciones estadsticas, recopilaciones de entrevistas, etc.
Las tcnicas de anlisis son mecanismos (o procesos) mediante los cuales se procesa (o transforma) la informacin que ya hemos obtenido
para as extraer el conocimiento que realmente nos interesa, que en el
caso de la evaluacin consiste en poder calcular o verificar el indicador
en cuestin. Algunos ejemplos podran ser el anlisis factorial para el
caso cuantitativo, o el anlisis de contenidos para el cualitativo.
77
En general podra decirse que si las fuentes y herramientas responden a

la pregunta de dnde vamos a obtener la informacin?, las tcnicas de
anlisis responden a una vez la tengamos, cmo vamos a utilizarla?. Adems, esta distincin conceptual conlleva, en trminos prcticos, una estructura de dos etapas, en la que primero se decide cmo se va a obtener la
informacin y se procede a su recopilacin, y posteriormente sta se analiza mediante una tcnica determinada.
En cambio lo que no existe es una nica correspondencia entre herramientas de recopilacin y tcnicas de anlisis (si bien es cierto que en la
mayora de los casos una herramienta determinada suele ajustarse mejor a
uno cierto tipo de tcnica). As, se puede recabar informacin procedente de
estudios y bibliografa relacionada con la intervencin para analizarla primero de una forma interpretativa y as responder a los indicadores cualitativos,
y posteriormente utilizar los datos numricos que contenga para responder
a los cuantitativos; o bien pueden realizarse entrevistas en profundidad con
la intencin de realizar un anlisis de discursos, pero luego proceder tambin a contar el nmero de menciones que se ha hecho a un determinado
problema (y utilizarlo como indicador cuantitativo).
A continuacin se detallarn primero los principales tipos de fuentes de informacin que existen, luego los instrumentos de recogida de la misma en el caso
de que esa tarea la realice el propio equipo de evaluacin, y por ltimo se abordarn brevemente las distintas tcnicas de anlisis que pueden emplearse.
Fuentes de informacin primarias y secundarias
La tipologa ms importante organiza las fuentes de informacin en funcin de quin sea el agente que lleva a cabo la recogida de la misma, y con
qu propsito lo hace. As:
Las fuentes primarias son aquellas en las que el propio equipo de evaluacin (o de investigacin, o cualquier otra persona que est partici-
78
pando en la actividad evaluativa) se encarga directamente de producir

la informacin acudiendo a donde sta se encuentra, es decir, disea y
lleva a cabo las entrevistas, las encuestas, etc. Adems, desde el primer momento se trata de un proceso ad-hoc, el cual se planifica y ejecuta con la intencin de informar esa evaluacin en concreto.
Las fuentes secundarias son aquellas en las que otra persona (o grupo de personas) se encarg de producir y recopilar la informacin, generalmente ponindola al alcance del pblico con posterioridad y habiendo diseado el proceso de recogida de la misma con un propsito
distinto al de la evaluacin que ahora se est llevando a cabo. Sera el
caso de las encuestas oficiales, las investigaciones acadmicas, etc.
En la prctica, hablar de las fuentes primarias equivale a considerar con
qu instrumentos o herramientas se va a recopilar la informacin, por lo que
ello se tratar en profundidad un poco ms adelante.
Respecto a las fuentes secundarias, lo ms importante que hay que tener presente es que si bien pueden constituir una fuente masiva de datos e
informacin (especialmente si se acude a Internet), hay que recordar que
fue generada con otro propsito y que rara vez podr manipularse con comodidad, de modo que cuando se utilicen fuentes secundarias muchas veces no podr obtenerse aquella informacin que responde exactamente a
nuestros indicadores (de hecho esa ser una de las principales causas que
motiven revisiones del diseo de la matriz de evaluacin y de sus indicadores). Entre las fuentes secundarias ms utilizadas, conviene destacar24:
Estadsticas oficiales: son la fuente de datos secundaria ms importante para cualquier equipo de evaluacin. Suelen tener un grado de fiabi-
24
Los ejemplos especficos para el mbito de la discapacidad al que atae este trabajo se
detallan ms adelante, en los apartados 2.9 y 2.10.
79
lidad y calidad aceptables, as como de visibilidad y transparencia, ya

que son de las ms utilizadas y criticadas. Adems, dado que se puede conocer con facilidad y suficiente detalle la metodologa empleada,
permiten saber hasta qu punto se adecuan a las preguntas e indicadores formulados en la matriz. Sin embargo, un problema crnico que
arrastran las estadsticas oficiales en Espaa (con tendencia a mejorar,
aunque lentamente) es su irregular dispersin territorial y temporal, incluyendo la existencia de serios retrasos en algunas de ellas25.
Estadsticas de otros organismos: al igual que en el caso de las oficiales, sta ser una fuente importante para cualquier equipo de evaluacin, cuyas ventajas e inconvenientes sern equivalentes al grado de
conocimiento y cercana que se tenga con quin elabora la estadstica.
Cuando exista la posibilidad de conocer bien cmo se ha elaborado,
ser tan o ms til y funcional que una estadstica oficial; en caso contrario, el equipo de evaluacin deber prestar especial atencin a cules son los intereses de la organizacin en cuestin, y emplear los datos con una cierta dosis de prudencia.
Documentacin oficial: tanto relativa a la propia intervencin evaluada
como a su contexto institucional o socioeconmico. Puede tratarse de
documentacin interna que describa la intervencin, o bien la estructura, funciones, fines o valores de la institucin que la pone en marcha,
as como tambin todo aquello que sea publicado como parte de su poltica de comunicacin (memorias, revistas, folletos, boletines, etc.). Aunque muchas veces tienda a pensarse que la informacin contenida en
la documentacin oficial tendr importantes sesgos, eso mismo puede
resultar muy informativo para valorar algunos criterios de evaluacin
como los de coherencia y complementariedad.
25
Puede encontrarse un anlisis y una valoracin interesantes sobre este tema en Comas
(2008, p. 79).
80
Literatura especializada: incluyendo literatura cientfica e investigacin

acadmica, ediciones y colecciones de instituciones privadas, trabajo
de campo llevado a cabo por organizaciones del tercer sector, etc. Es
otra de las fuentes ms utilizadas, generalmente por la precisin y fiabilidad de los datos que se presentan y su elevado grado de especializacin. Sin embargo, suele tratarse de trabajos relativamente complejos que estudian aspectos muy especficos y distintos a lo que se
necesitan en la evaluacin, de modo que habitualmente se podrn reutilizar para los indicadores solamente pequeas partes de la informacin que contienen.
Contenidos aparecidos en medios de comunicacin: aunque se pueda
tener ciertas reticencias hacia la informacin aparecida en peridicos,
televisin y otros medios, sta puede en ocasiones ayudar al equipo de
evaluacin a discernir entre la importancia relativa de varios datos (o indicadores) distintos que podran servir por igual para responder a una
pregunta. Adems, la informacin publicada por los medios ser de especial relevancia para valorar los criterios de participacin y, muy especialmente, el de transparencia.
Internet: aunque no se trata tanto de una fuente de informacin sino
ms bien un lugar donde sta se almacena y distribuye, como es sabido en los ltimos aos Internet se ha transformado en una herramienta de primer orden para multitud de profesionales, entre los que no son
una excepcin los equipos de evaluacin. En este sentido, las cautelas
que deben tomarse cuando se utiliza informacin encontrada en Internet para evaluar son las mismas que cuando se usa para cualquier otro
tipo de actividad: se podr confiar en la informacin en la medida en
que se conozca y confe en la organizacin o entidad que la produce.
En cambio desde la ptica de qu ventajas especficas ofrece Internet
para el caso concreto de la evaluacin de intervenciones sociales, po-
81
siblemente la mayor de ellas sea que abre todo un abanico de posibilidades para llegar a los distintos actores implicados, especialmente
cuando la intervencin hace cierto tiempo que termin. As, Internet reduce drsticamente las barreras para ponerse en contacto y recabar informacin de las personas que participaron en la misma, as como de
quienes en su momento la gestionaron, siguieron, etc., lo que tradicionalmente ha venido constituyendo uno de los principales problemas
prcticos que tenan que enfrentar los equipos de evaluacin.
Instrumentos de recogida de informacin

Cuando para el clculo o verificacin de cierto indicador se decide que se
va a optar por producir la informacin mediante fuentes primarias propias, el
paso inmediato es decidir qu instrumentos (o herramientas) de recogida de
la informacin se van a utilizar. Cmo y cundo tomar esta decisin se abordar un poco ms adelante, pero de cara a facilitar la exposicin se proceder antes a comentar los tres principales tipos de instrumentos que existen:
a) Encuestas y censos
Las encuestas son procedimientos mediante los cuales se pregunta, de
forma oral o escrita, a una parte de las personas que integran el grupo en
el que se est interesado (cuando se pregunta a todas ellas, se denomina
censo). La informacin se recoge de forma estandarizada, sistemtica e
idntica para todas las personas encuestadas, siendo especialmente relevante que todas y cada una de ellas reciben exactamente el mismo estmulo (Cea DAncona, 1996, p. 240).
Un elemento clave de las encuestas es su representatividad estadstica:
en funcin del tamao total del grupo de personas que estemos estudian-
82
do, se deber encuestar una muestra ms o menos grande de personas si

se quiere que los resultados sean extrapolables a todo el grupo26.
Las primeras encuestas utilizadas en evaluacin tendan a elaborar cuestionarios con preguntas abiertas, tratando de recabar informacin sobre hechos objetivos y recurriendo a informantes clave o muestras intencionadas
(no elegidas aleatoriamente). Sin embargo, con el tiempo se ha evolucionado a un modelo ms cerrado, donde se pregunta directamente a las personas afectadas por la intervencin y se recaba no slo informacin objetiva
sino tambin opiniones o actitudes27.
Por ltimo, algunas de las principales ventajas que tiene el uso de encuestas son:
Se puede generar grandes volmenes de informacin sobre cuestiones de diversa ndole.
Facilitan la comparabilidad de los datos, as como su estandarizacin
y cuantificacin.
En la medida en que se dispone de muestras representativas, los resultados pueden generalizarse.
b) Instrumentos de grupo
Parten de la identificacin de diversos informantes clave, para posteriormente realizar una serie de sesiones en grupo donde es la propia interaccin
26
Si bien existe abundante literatura sobre los requerimientos tcnicos y metodolgicos para
el diseo y ejecucin de encuestas (entre los que se incluye los procedimientos para calcular
muestras con representatividad estadstica), ello no forma parte de los objetivos de este trabajo. Esta consideracin es adems aplicable al resto de instrumentos de recogida de informacin y tcnicas de anlisis que en adelante se expondrn.
27
Para una excelente discusin sobre las encuestas como herramienta de investigacin social, ver Alvira (2004).
83
entre los participantes la que hace emerger nueva evidencia. Dos de las ms
conocidas son los grupos de discusin, y la tcnica de grupo nominal (TGN).
Se trata de instrumentos muy utilizados en evaluacin, especialmente
cuando se busca incorporar la perspectiva y la participacin de los distintos
actores, ya que permiten hacer una puesta en comn de las distintas visiones y poner de relieve aquellos aspectos de la intervencin realmente importantes. Las tcnicas de grupo tienen adems la peculiaridad de que operan mediante escenarios de debate y dilogo28, lo que reproduce un contexto
social ms parecido al que se da en la vida real en comparacin con las encuestas o las entrevistas (que veremos a continuacin). Sin embargo, que
estas herramientas tomen la forma de conversaciones en grupo no significa que no deba preparase un buen guin antes, que permita conducir el debate hacia las cuestiones que son de inters para la evaluacin; as, debe
prestarse especial atencin a planificar adecuadamente los contenidos a tratar, el objetivo que se persigue y qu mecanismos van a utilizarse para orientar la discusin.
En ltima instancia, se busca provocar una suerte de auto-confesiones
de quienes participan, de modo que la propia dinmica de debate haga expresar puntos de vista que generalmente no apareceran ante una pregunta directa, a la vez que la retroalimentacin del grupo ayuda a diferenciar
aquello que es compartido y considerado importante, de aquello que es coyuntural o un mero punto de vista particular. Por lo tanto, el equipo de evaluacin no deber slo escuchar lo que se le dice, sino adems observar
tambin las interacciones que se producen en el seno del grupo y, en la medida en que lo considere adecuado, fomentar explcitamente aquellos debates que parecen ms prometedores29.
28
As, un grupo de discusin sera una conversacin cuidadosamente planeada, diseada
para obtener informacin de un rea definida de inters (Krueger, 1991).
29
En el extremo, cuando los miembros del equipo de evaluacin se implican completamente en el debate desde el primer momento y como un participante ms, la tcnica se encuadra-
84
c) Entrevistas en profundidad
Las entrevistas toman la forma de una conversacin entre el sujeto que
produce las observaciones y el que las registra, donde quien est entrevistando dirige el foco de inters mediante las preguntas que hace, siguiendo
un guin o una estructura preparada con anterioridad donde se ha seleccionado aquellas cuestiones o temas de inters para la evaluacin.
Las entrevistas se utilizan, en primer lugar, cuando se persigue obtener
un conocimiento muy detallado de algn aspecto relevante para la evaluacin, como pueden ser el funcionamiento de alguno de sus elementos, la
realidad social en la que se enmarca, etc. En ese caso suele seleccionarse
a personas expertas en esa materia, y se trata pocos temas pero con un
grado de detalle y profundizacin muy elevados.
En segundo lugar, puede tambin utilizarse cuando el equipo de evaluacin persigue obtener unas primeras orientaciones sobre cules son las
grandes cuestiones a tener en cuenta para la evaluacin, es decir cuando
se quiere hacer un primer mapeo de por dnde deber proseguirse la investigacin. En ese caso se suele entrevistar a personas que gozan de una
perspectiva o una visin ms generalista, y la entrevista suele abarcar muchos aspectos pero de una forma ms ligera y dinmica.
Existen principalmente tres tipos de entrevistas30:
Entrevista conversacional informal: caracterizada por el surgimiento y
realizacin de las preguntas durante el curso de la propia entrevista.
ra dentro de la familia denominada observacin participante: un conjunto de mtodos de investigacin donde el investigador forma parte de los sucesos que se observan. () La participacin directa del observador en la situacin le permite obtener una imagen ms detallada y
completa, pero a su vez tiene el inconveniente de que al estar inmerso en la situacin que observa est expuesto a la prdida de objetividad (Cicourel, 2011).
30
Para una discusin detallada sobre las ventajas e inconvenientes de cada una, ver Valls (1999, p. 177).
85
Son las ms giles y, en cierto sentido, las ms cmodas para la persona entrevistada, pero requieren una cierta pericia por parte de quien
entrevista.
Entrevista semi-estructurada: donde se prepara un guin previo de temas a tratar, aunque reservndose la libertad de ordenar y formular
las preguntas como se desee (incluso de descartar algunas). En la
prctica es la ms utilizada en evaluacin.
Entrevista estandarizada abierta: emplea un listado de preguntas ordenadas y redactadas por igual para todas las personas entrevistadas, si bien luego la respuesta es totalmente abierta y libre. Sin embargo, la forma en la que posteriormente se procesar y analizar la
informacin s que debe estar prevista de antemano31.
Entre las principales ventajas de las entrevistas encontramos la riqueza
informativa que ofrecen y que permiten la posibilidad de preguntar y solicitar aclaraciones, as como su gran flexibilidad y que se trata de una herramienta muy econmica. Por el contrario, en muy pocas ocasiones puede utilizarse su contenido para completar directamente los indicadores de la matriz
de evaluacin, y requieren una labor relativamente compleja de procesar y
filtrar las respuestas.
Tcnicas de anlisis de la informacin

Como se ha visto antes, una vez se ha recopilado la informacin (procedente de fuentes secundarias o habiendo aplicando directamente herramientas e instrumentos de recogida de la misma), se puede proceder a analizar31
En teora se puede hablar tambin de un cuarto tipo de entrevista, la estandarizada cerrada, si bien en la prctica es casi idntica a una encuesta.
86
la mediante distintas tcnicas, que se agrupan en dos grandes familias: las

tcnicas cuantitativas y las tcnicas cualitativas.
Una forma sencilla y prctica de ilustrar la diferencia podra ser la siguiente: una vez tenemos los datos (sean stos una coleccin de bibliografa y
trabajos de investigacin, o las respuestas a una encuesta, o las transcripciones de entrevistas), qu vamos a hacer con ellos? Vamos a contar,
o vamos a interpretar? Si la informacin va a procesarse y utilizarse numricamente, estaremos realizando un anlisis cuantitativo; si en cambio la
informacin se va a interpretar discursivamente, el anlisis ser cualitativo.
As por ejemplo:
Hemos realizado un grupo de discusin con las personas que forman
parte de cada una de las unidades de gestin de un plan autonmico
de empleo con apoyo, y nos interesa saber si los objetivos estratgicos
del plan estn adecuadamente interiorizados por quienes tienen que llevarlo a cabo. Una posibilidad sera contar y comparar las menciones
que han ido apareciendo sobre los distintos posibles objetivos estratgicos, y ver si coinciden o no; en ese caso, el anlisis sera cuantitativo. En cambio, una segunda opcin sera sintetizar cules han sido las
conclusiones cuando el grupo entero ha debatido sobre el problema de
la indefinicin de objetivos; en ese caso el anlisis sera cualitativo.
Como es lgico, en la gran mayora de los casos una determinada fuente o instrumento de recogida de informacin estar concebido para realizar
solamente un tipo de anlisis, de modo que por ejemplo con los datos de
una encuesta o una estadstica oficial raramente podr llevarse a cabo un
anlisis cualitativo, ya que ambas se disean esencialmente para obtener
datos numricos (a no ser que haya en los cuestionarios alguna pregunta
abierta). Sin embargo, hay algunas excepciones en las que de una misma
fuente puede analizarse la informacin de cualquiera de las dos formas: de
un estudio de investigacin (pueden usarse los datos empricos que men-
87
ciona, o sus argumentaciones explicativas), o de un grupo de discusin

(como hemos visto en el ejemplo anterior).
Por otro lado, una vez hemos distinguido entre un anlisis cuantitativo y
cualitativo, conviene precisar que para ejecutar cada uno de ellos se han
desarrollado una multiplicidad de tcnicas de anlisis, lo que vendran a ser
formas de contar, o bien formas de interpretar, que han sido convenientemente estandarizadas y metodolgicamente validadas. Por ejemplo:
El anlisis factorial es una forma de manipular estadsticamente los
datos de una encuesta, que nos permite extraer cierto tipo de conclusiones sobre las que podemos tener una certeza emprica.
El anlisis de contenidos es una forma de interpretar la informacin
contenida en una entrevista, que igualmente nos permite extraer ciertas conclusiones validables metodolgicamente.
Existe una gran variedad de tcnicas de anlisis tanto cuantitativas como
cualitativas, aunque no siendo el objetivo de este trabajo el entrar a discutirlas solamente se tratar en profundidad alguna de ellas en los apartados
correspondientes de los captulos 3 y 4, mientras que a continuacin se ofrecen algunos ejemplos a ttulo ilustrativo:
Tcnicas cuantitativas: regresin, discontinuidad en la regresin, mtodo de diferencias en diferencias, anlisis factorial, tcnicas de emparejamiento (propensity score matching, por ejemplo), etc.
Tcnicas cualitativas: anlisis de contenidos, estudios de caso, anlisis cualitativo comparado, etc.
Cmo elegir la mejor combinacin
Hasta ahora hemos diferenciado entre fuentes de informacin, instrumentos de recogida (cuando las fuentes vayan a ser primarias), y tcnicas de
88
anlisis de la misma (para obtener un conocimiento que nos resulte til). Sin
embargo, en general en una evaluacin en concreto solamente se va a poder utilizar una cantidad o un tipo de fuentes y tcnicas determinado, de
modo que es importante establecer algunos criterios para poder elegir: para
encontrar una buena combinacin, el equipo de evaluacin deber equilibrar
dos factores contrapuestos.
En primer lugar, la decisin estar fuertemente influida por la naturaleza
de los indicadores que se haya seleccionado para responder a las preguntas, ya que como vimos anteriormente stos sern cuantitativos o cualitativos. As, si el indicador que mejor creemos que responde a una pregunta
sobre eficacia es % de personas que terminaron el curso, es evidente que
necesitaremos un dato de naturaleza cuantitativo, de modo que o bien vamos a tener que encontrarlo en algn documento oficial, o vamos a tener
que utilizar una estadstica o llevar a cabo una encuesta. Igualmente, si el
indicador es de tipo cualitativo, tendremos que usar una fuente y una herramienta consecuentes.
Sin embargo, el segundo elemento a tener en cuenta (y quiz el ms importante), son los recursos de que se dispone para llevar a cabo la evaluacin: el presupuesto, pero tambin el tiempo, las personas y, muy importante en este caso, el conocimiento. Es evidente que casi siempre el recurso a
fuentes secundarias ser ms econmico, si bien a veces puede no ser el
ms gil y puede necesitar bastante ms tiempo que si se realiza una serie de entrevistas bien seleccionadas; igualmente, hay tcnicas de anlisis
muy sofisticadas que requieren de un conocimiento experto en su diseo y
ejecucin (como pueden ser las tcnicas de emparejamiento), e incluso muchas veces para interpretar y utilizar correctamente sus resultados (cuando
stos se encuentren por ejemplo en fuentes secundarias).
Equilibrar pues estas dos necesidades ser otra tarea clave que influir
enormemente en la calidad del proceso evaluativo. En particular, los equi-
89
pos de evaluacin debern evitar caer en cualquiera de los dos extremos:

condicionar totalmente la matriz de evaluacin a la disponibilidad de unas u
otras herramientas (asignando malos indicadores a las preguntas simplemente porque se dispone de los medios o la informacin para calcularlos),
o embarcndose en la ejecucin de sofisticadas y caras tcnicas de anlisis para obtener un grado de precisin que realmente no es necesario para
enjuiciar adecuadamente la intervencin.
En este sentido, hay que tener presente que el uso de una u otra fuente
o tcnica de anlisis no es excluyente, y que como regla general la mejor
evaluacin es aquella que alcanza una buena combinacin de distintas de
ellas. Del mismo modo, tampoco es recomendable que el equipo de evaluacin se deje guiar enteramente por aquello que sabe hacer (diseando la
evaluacin en funcin de las tcnicas que domina), y es preciso identificar
cundo el diseo de la evaluacin aconseja la incorporacin al equipo (o la
contratacin) de personas expertas en determinada tcnica de anlisis.
En definitiva, si la construccin de la matriz de evaluacin era lo ms cercano a poder hablar de un arte de evaluar, la seleccin y utilizacin de las
fuentes y las tcnicas de anlisis cae claramente del lado de la ciencia,
por lo que el equipo de evaluacin deber tratar de ser lo ms riguroso posible y solicitar ayuda profesional all donde la necesite.
2.7. ENJUICIAMIENTO EN LA EVALUACIN. CONCLUSIONES

Y RECOMENDACIONES DE LA EVALUACIN
Si se ha prestado atencin a todo el proceso detallado en los apartados
anteriores, se ver claramente que una vez terminado con xito dicho proceso el enjuiciamiento emerge de forma casi inmediata. Por lo tanto, no est
de ms recordar que el poder emitir un juicio de valor sobre distintos aspectos de la intervencin (su pertinencia, su eficiencia, etc.) est en el corazn
90
mismo de la actividad evaluadora, y es una de las cosas que el equipo de

evaluacin debe tener siempre en mente a lo largo de todas las etapas que
vaya abordando (desde la eleccin inicial del tipo de evaluacin hasta su diseo o la seleccin de tcnicas de anlisis)32.
El enjuiciamiento se inserta dentro de una secuencia lgica y sistemtica
de cuatro etapas: hallazgos, interpretaciones, juicios y recomendaciones. Por
lo tanto, y como hemos ido viendo hasta el momento, los juicios debern
basarse en una recopilacin y anlisis sistemtico de la informacin, seguido de su correspondiente interpretacin (tanto en el marco conceptual de la
intervencin como en el de la propia evaluacin). Este proceso debe realizarse para cada uno de los mbitos de la intervencin que nos interese evaluar, es decir para cada uno de los criterios de evaluacin.
Enjuiciar un determinado criterio consiste, a su vez, en utilizar los hallazgos y las interpretaciones para extraer una conclusin de naturaleza gradual
sobre el cumplimiento del mismo, tratando de ver si la intervencin es ms
o menos pertinente, o ms o menos eficaz, etc. En trminos del diseo y la
estructura de la evaluacin que hemos venido desarrollando en este trabajo, ello se traduce en, una vez obtenidos los indicadores de la matriz de evaluacin, proceder a resolverla desde atrs hacia adelante (Figura 2.4).
De este modo, la forma de razonamiento podra ilustrarse con el siguiente ejemplo: dado que los indicadores 1, 2 y 3 toman valores positivos (negativos), se concluye que la respuesta a las preguntas es afirmativa (negativa) y por lo tanto que la intervencin es en su conjunto eficaz (o no lo es).
Esta forma de enjuiciar va a requerir, en la prctica, la asuncin de toda
una serie de baremos, ponderaciones o reglas, que permitan priorizar los indicadores y las preguntas para finalmente justificar el razonamiento global
32
La disciplina evaluativa suele adems poner el nfasis en la importancia del enjuiciamiento como elemento clave para diferenciar la evaluacin respecto de la investigacin (Alvira, 1996).
91
FIGURA 2.4
El enjuiciamiento en la evaluacin
que se emita sobre el criterio. Estas decisiones se habrn ido tomando, en

su mayor parte, mientras se diseaba la matriz, especialmente cuando se
haya elegido uno u otro indicador para responder a cada pregunta; pero en
general es durante el proceso de enjuiciamiento cuando se deben ir haciendo explcitas, incorporando al texto de la evaluacin la justificacin de por
qu se considera que esa combinacin de valores de los indicadores, aplicados a esas preguntas, permiten llegar a emitir esa determinada valoracin
sobre el criterio.
Seguidamente, el enjuiciamiento deber acompaarse tambin de un anlisis y una explicacin del porqu de lo que ha ocurrido con la intervencin.
As, mientras en el enjuiciamiento se han utilizado los indicadores para
92
explicitar por qu se considera que la intervencin es pertinente, eficaz, etc.,

en el anlisis se exponen las causas de que ello sea as, junto con las razones de que los indicadores tomen esos valores. A ttulo de ejemplo:
Para valorar el criterio de eficiencia de un programa de formacin ocupacional, se ha constatado que los dos indicadores que se incluyeron
en la matriz (y sus correspondientes preguntas) toman valores negativos: se ha utilizado el doble de recursos de lo inicialmente presupuestado por la intervencin, y con ello se han hecho claramente menos cursos que en programas de naturaleza similar. Por lo tanto, en cuanto al
enjuiciamiento se considera que la intervencin ha sido poco eficiente.
Sin embargo, respecto al anlisis de las causas y tras la investigacin
hecha por el equipo de evaluacin, se pone de manifiesto que una parte del problema se explica por la elaboracin previa de un mal presupuesto inicial (que infravalor las necesidades financieras reales), lo que
relativiza las conclusiones del primer indicador. En cambio para el valor del segundo indicador (que se hayan hecho pocos cursos), se constata que las razones han sido la inoperancia de parte de la estructura
organizativa, lo que es totalmente consistente con el diagnstico de ineficiencia.
En trminos generales pues, el anlisis de las causas de lo que se est
diagnosticando y enjuiciando para cada criterio de evaluacin va a ser la forma de dotar de sentido a todo el entramado de informacin que se ha ido
recopilando, el cual queda sintetizado en la matriz de evaluacin.
Las conclusiones y las recomendaciones

Tanto el enjuiciamiento de los criterios de evaluacin como el anlisis de
sus causas tienen su espacio natural al final del informe de evaluacin, en
93
los captulos de conclusiones y recomendaciones. Habitualmente, las conclusiones pondrn el nfasis en el proceso de enjuiciamiento y en justificar
cmo la informacin de la matriz de evaluacin permite valorar las distintas
dimensiones (criterios) de la intervencin; en cambio para las recomendaciones se tomar como punto de partida el anlisis de las causas o las razones por las que la intervencin funciona as, para de este modo poder
proponer cambios que la mejoren donde sea necesario (en su pertinencia,
su coherencia, etc.). De esta manera se completa la secuencia lgica y sistemtica que caracteriza a la evaluacin: las recomendaciones estarn basadas en las conclusiones y valoraciones realizadas, que a su vez se fundamentan en una recopilacin y anlisis sistemtico de la informacin.
Las recomendaciones son sugerencias sobre posibles lneas de accin a
seguir respecto a la intervencin evaluada, propuestas de cambios pero tambin de elementos a mantener, o consejos dirigidos a las personas responsables de las distintas reas o etapas de la intervencin. Como se vio en el
apartado 2.1, se trata de uno de los principales elementos que distinguen a
la evaluacin de otras actividades similares, y resultan esenciales para dotarla de utilidad33. Las recomendaciones deben ser:
Tan especficas y orientadas a la accin como sea posible, evitando
ambigedades o propuestas que en la prctica no se sabe en qu se
traducen.
Realistas, enfocndose hacia acciones que estn bajo el control de
los destinatarios de la evaluacin e incorporando datos y descripciones que tengan que ver con el contexto de la intervencin.
33
Patton, quien ha desarrollado un enfoque centrado en la utilizacin de evaluaciones, da
tambin importancia a las recomendaciones y, aunque insiste en que no slo stas sino todo
el resto del proceso evaluativo es lo que provoca y estimula el uso de la evaluacin, reconoce sin embargo que a menudo son la parte ms visible de un informe de evaluacin (Patton,
1997, p. 324).
94
Claras y comprensibles, de modo que cualquier persona est en condiciones de entender tanto la recomendacin como sus consecuencias. En este sentido, es recomendable que el lenguaje refleje una
cierta sensibilidad social y poltica, tenindose presente el conjunto de
todos los actores que van a leer la evaluacin.
Verificables, es decir que al menos sea concebible una forma en la
que se pueda comprobar tanto si las recomendaciones se han llevado a la prctica, como los efectos que han tenido.
Auto-contenidas, indicando en la medida de la posible y de forma detallada cmo deberan ser implementadas o puestas en marcha, as
como quin debera encargarse de hacerlo.
Para emitir buenas recomendaciones generalmente no es suficiente con
haber estudiado y analizado en profundidad la intervencin evaluada, sino
que dado su carcter propositivo se debe disponer tambin de un conocimiento amplio del contexto (socioeconmico y normativo) en el que sta se
encuadra, para evitar por ejemplo proponer reformas que ya se aplicaron
con anterioridad y no dieron buenos resultados. Por ello no es extrao que
los equipos de evaluacin cuenten con el asesoramiento de especialistas,
una de cuyas misiones principales va a ser contextualizar y dotar de sentido las recomendaciones.
Otro aspecto clave que conviene tener en cuenta es que cada una de las
recomendaciones debe estar vinculada con claridad a las conclusiones que
previamente se hayan constatado. As, una buena prctica suele ser la de
numerar tanto las conclusiones como las recomendaciones, de modo que
por ejemplo a la primera conclusin le correspondan las recomendaciones
1, 2 y 3, a la segunda las 4 y 5, etc. Del mismo modo, ser til indicar la
naturaleza o el tipo de recomendacin que se est haciendo en cada caso:
prioritaria o secundaria (segn lo relevantes que sean), destinada a mejorar
95
la intervencin evaluada o a informar futuras intervenciones similares, de

aplicacin inmediata o para el medio plazo, a quin est dirigida, etc.
Finalmente, un ltimo elemento a considerar es el grado de implicacin
que tendrn los distintos actores que han participado en la evaluacin a la
hora de definir y redactar las conclusiones y recomendaciones. En cuanto a
quienes encargaron la evaluacin, en la mayora de los casos solicitarn que
haya una fase de puesta en comn, durante la cual se revisan, discuten o
modifican tanto las conclusiones como las recomendaciones. Respecto al
resto de posibles actores, su grado de implicacin depender del enfoque
con el que se haya diseado y emprendido la evaluacin, especialmente si
se trata de un enfoque de tipo participativo tal y como se explic en el apartado 2.4; en ese caso, se tratar de facilitar tanto como sea posible su implicacin en la redaccin de ambas, de modo que se genere un sentido de
apropiacin que ser de especial utilidad cuando se trate de los mismos actores que van a tener que aplicar luego las recomendaciones (Torres, Preskill y Piontek, 1996).
2.8. EL INFORME DE EVALUACIN Y LA DIFUSIN

DE LOS RESULTADOS. IMPORTANCIA DE LOS MECANISMOS
DE COMUNICACIN
El principal producto en el que finalmente se plasmar todo el proceso
evaluativo ser casi siempre un informe de evaluacin. La estructura y el ndice del mismo dependern de cmo se haya diseado y planteado la misma, junto con las necesidades que exprese quin la encarg. Sin embargo,
en general un informe de evaluacin debera contener un mnimo de elementos y seguir una estructura que se parezca a la siguiente:
Resumen ejecutivo, el cual debe presentar la evaluacin y contener al
menos las conclusiones y recomendaciones ms importantes.
96
Introduccin, donde se explicita el origen y quin encarga la evaluacin, la justificacin y el propsito de la misma.
Descripcin del objeto de evaluacin, es decir de la intervencin evaluada y de su lgica, as como de su contexto poltico, normativo y socio-econmico.
Delimitacin del alcance, el enfoque y el diseo de la evaluacin, especificando los criterios de evaluacin y las preguntas ms importantes que se van a abordar.
Metodologa utilizada: fuentes y herramientas de recopilacin de informacin, as como las tcnicas de anlisis de datos utilizadas.
Exposicin, discusin y anlisis de la informacin recopilada, obteniendo los principales valores para los indicadores y la respuesta a las preguntas de evaluacin.
Conclusiones y recomendaciones, vinculndolas a las preguntas de
evaluacin y a la evidencia y hallazgos obtenidos.
Anexos, incluyendo la matriz de evaluacin junto con toda la otra informacin que se considere relevante.
Por otro lado, adems de la calidad deseable en cualquier texto susceptible de ser publicado, en el caso especfico de un informe de evaluacin es
recomendable hacer un esfuerzo para garantizar que cumple con ciertas caractersticas adicionales:
Utiliza un lenguaje claro, sencillo y directo, que sea comprensible por
una amplia variedad de audiencias. Para ello es aconsejable evitar el
uso de conceptos o trminos excesivamente tcnicos (dejndolos para
los anexos), tratando de que la narracin sea amena y siga una estructura lgica fcilmente asimilable.
97
Incorpora la informacin necesaria para ser de utilidad a las personas

que previsiblemente debern hacer uso del informe, en especial aqullas que participan del diseo de intervenciones como la evaluada.
No excede de lo estrictamente necesario en su longitud, aprovechando
los apartados de resumen ejecutivo y anexos para conservar una estructura manejable y donde sea fcil encontrar la informacin relevante.
Utiliza suficientemente los recursos grficos como las tablas, figuras
y cuadros para una mejor exposicin de la informacin.
Ilustra los hallazgos con ejemplos, profundizando en aquellos casos de
especial inters y sugiriendo buenas prcticas trasladables a otras intervenciones.
Integra adecuadamente los anlisis y las consideraciones cuantitativas
con las cualitativas, de modo que ambas contribuyan a obtener una visin global y consistente sobre el aspecto de la intervencin que se est
valorando.
Con todo, el elemento ms importante que debe tener presente un equipo
de evaluacin es la audiencia principal a la que se destina el informe, considerando adems qu relacin tienen esas personas o instituciones con la intervencin que se ha evaluado. En este sentido, no solamente se intentar
ajustar los informes a las necesidades de los destinatarios, sino que se complementarn con cualesquiera otros instrumentos o materiales que puedan facilitar el que la informacin les llegue correctamente, como por ejemplo: sesiones de trabajo y presentacin de resultados, comunicaciones cortas,
noticias en boletines peridicos, edicin de contenidos multimedia, presencia
en eventos pblicos, notas de prensa en medios de comunicacin, etc.
Un segundo aspecto importante, y en cierto sentido independiente, ser
el grado de publicidad que se le quiera dar a los resultados de la evalua-
98
cin, as como la intensidad de la difusin que se lleve a cabo. En general

ambas cuestiones sern en ltima instancia decididas por quin la encarg,
si bien conviene tener presente que independientemente de cul sea la funcin de la actividad evaluativa que se considere prioritaria (la comprensin
de la intervencin, la mejora de intervenciones futuras o la rendicin de cuentas), todas ellas resultan reforzadas con la publicacin y difusin de los resultados. Igualmente, tampoco debe temerse la publicacin de aquellos aspectos de la intervencin que se han juzgado negativos, ya que debera ser
inherente a la decisin de evaluarla el asumir que algunas cosas no habrn
funcionado como estaba previsto (pues en definitiva, no existe la intervencin perfecta).
En este sentido, es recomendable estructurar todos los elementos que componen el proceso de difusin de los resultados bajo una estrategia de comunicacin, que optimice los distintos mecanismos de que se dispone y garantice que la informacin llega en tiempo y forma adecuados. En general, toda
estrategia de comunicacin deber contemplar al menos estos dos ejes:
1) El cmo se transmite la informacin, de modo que los distintos resultados de la evaluacin se comuniquen de forma equilibrada, sin sesgarla
hacia aquellas conclusiones de naturaleza ms positiva o negativa.
2) El cundo se transmite la informacin, tenindose presente que la actividad y la estrategia de comunicacin puede empezar a operar desde el momento mismo en que se empieza a evaluar.
As por ejemplo, en la estrategia de comunicacin se pueden incorporar
consideraciones sobre cmo explicar las razones que han motivado la realizacin de la evaluacin (para garantizar que los resultados negativos o positivos se interpretan equilibradamente), o bien la necesidad de que la evaluacin se encargue en un momento y con unos plazos que maximicen su
utilidad (y que dichos plazos se respeten, entregndose el informe a tiempo).
99
Finalmente, y en cualquier caso, se puede considerar como una buena prctica por parte del equipo de evaluacin el hecho de realizar un seguimiento de
la difusin y comunicacin que se hace de la evaluacin, para as poder incorporar a su bagaje y experiencia profesional las reacciones que sta suscite.
2.9. PRINCIPALES INSTITUCIONES QUE EVALAN

INTERVENCIONES EN DISCAPACIDAD. ESTNDARES Y GUAS
PUBLICADOS EN ESPAA Y EN EL MBITO INTERNACIONAL
En este apartado se procede a comentar una seleccin de instituciones que
o bien han realizado evaluaciones especficas en el mbito de la discapacidad (las cuales se comentarn en el apartado 2.10 o a lo largo del resto de
captulos), o bien cuentan con estudios que han contribuido al desarrollo de
un marco terico y a la generacin de evidencia emprica susceptibles de ser
utilizadas en la evaluacin de intervenciones sociales. Se trata pues de proporcionar una primera referencia inicial para orientar el trabajo en futuras evaluaciones, si bien en cada caso el equipo de evaluacin deber realizar su
propia bsqueda de las fuentes que mejor se ajustan a sus necesidades. Adems, en el caso de que una institucin determinada tenga publicada alguna
gua, estndar o marco de referencia que puede resultar de inters para evaluar intervenciones en discapacidad, ste se resea brevemente.
Instituciones en Espaa
Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad
de los Servicios (AEVAL)
La Agencia es un organismo pblico regulado en la Ley 28/2006, de 18
de julio, de Agencias estatales para la mejora de los servicios pblicos. Es
100
la primera de las establecidas por dicha Ley, de acuerdo con un nuevo modelo de gestin pblica en lnea con los principios de gobernanza de la Unin
Europea: responsabilidad, eficiencia, participacin, apertura y coherencia.
Si bien solamente cuenta con una de entre sus evaluaciones que haya
estado destinada especficamente a las polticas de discapacidad, tiene diversas publicaciones de orientacin metodolgica en evaluacin tanto de polticas como de calidad de los servicios, entre las que destacamos sus Fundamentos de evaluacin de polticas pblicas (2010).
Associaci Dones No Estndars

Asociacin que nace a causa de la necesidad de evidenciar la violencia
que se ejerce a todas las mujeres consideradas no estndar, en especial a
las mujeres con discapacidad. Ha publicado diversos estudios de inters
para abordar la cuestin del gnero y la discapacidad; entre ellos mencionaremos el siguiente:
Indicadores de exclusin social de mujer y discapacidad (2002). Trabajo
de investigacin psicosocial realizado por la asociacin y la Universidad Autnoma de Barcelona y cofinanciado por la Unin Europea y el Ministerio de
Trabajo y Asuntos Sociales, que aporta un conjunto de indicadores psicosociales para detectar la exclusin social de la mujer con discapacidad.
Centro Espaol de Documentacin sobre Discapacidad (CEDD) y Real

Patronato sobre Discapacidad
El Centro de Documentacin del Real Patronato sobre Discapacidad cuenta con una biblioteca especializada y ofrece sus servicios a entidades pblicas y privadas, profesionales o cualquier persona interesada en el campo
101
de las discapacidades. Proporciona una base de datos nacional e internacional sobre discapacidad con estudios temticos que pueden resultar tiles
para informar distintos aspectos de las evaluaciones, desde la descripcin
de la lgica de una intervencin hasta el diseo de preguntas e indicadores.
Adems destaca la seccin de documentos legislativos, de gran utilidad para
describir y analizar el contexto normativo de las intervenciones.
Fundacin Luis Vives

La Fundacin Luis Vives trabaja para apoyar y fortalecer al Tercer Sector
Social (ONG, entidades no lucrativas, ciudadana en general). En esta labor, la Fundacin trata de promover la cooperacin y el trabajo en partenariado entre entidades no lucrativas, administraciones pblicas, empresas,
instituciones acadmicas y otros actores sociales.
Si bien no realiza evaluaciones en sentido estricto, publica estudios en
profundidad en los mbitos de la igualdad, diversidad e inclusin social
(como por ejemplo el Anuario del Tercer Sector de Accin Social en Espaa), los cuales pueden resultar tiles como fuentes secundarias para evaluaciones de intervenciones llevadas a cabo por el tercer sector.
Instituto Universitario de Integracin en la Comunidad (INICO)

Es un instituto formado por profesionales que realizan actividades de formacin, investigacin y asesoramiento en materia de discapacidad, encaminadas a potenciar, facilitar y mejorar la calidad de vida y autodeterminacin
de las personas en situacin de desventaja social en distintos contextos y
a lo largo de todo su ciclo vital. Realiza estudios de investigacin en diversos mbitos de la discapacidad, entre los que se encuentran trabajos sobre
las polticas educativas y especialmente sobre las distintas modalidades de
102
empleo (protegido, con apoyo o en el mercado ordinario). Entre sus contribuciones destacamos:
Evaluation and follow up of Supported Employment initiatives in Spain from
1995 to 2008 (2010). Esta investigacin revisa una serie de trabajos cuantitativos sobre el empleo con apoyo en Espaa, y se ha basado en una encuesta por Internet realizada a todas las organizaciones que han participado en el programa ECA de Caja Madrid.
Institut Catal dAvaluaci de Poltiques Pbliques - Ivlua

El Ivlua se encarga de promover la evaluacin de polticas pblicas y de
programas del tercer sector social en Catalua, para mejorar su efectividad,
la eficiencia y la transparencia hacia la ciudadana. Se trata de otra de las
instituciones espaolas de referencia en cuanto a evaluacin de intervenciones sociales y econmicas.
Pone a disposicin del pblico no solamente diversas guas metodolgicas
de evaluacin sino tambin materiales de formacin o divulgativos, un banco
de evaluadores y otros recursos de utilidad para la evaluacin. Ofrece tambin cursos de formacin y realiza colaboraciones en diversos mbitos.
Observatorio Estatal de la Discapacidad (OED)

El Observatorio Estatal de la Discapacidad es un instrumento tcnico de
la Administracin General del Estado, a travs del Ministerio de Sanidad,
Servicios Sociales e Igualdad (Direccin General de Polticas de Apoyo a la
Discapacidad y Real Patronato sobre Discapacidad). Est al servicio de las
Administraciones Pblicas, la Universidad y el Tercer Sector para la recopilacin, sistematizacin, actualizacin, generacin y difusin de informacin
relacionada con el mbito de la discapacidad.
103
Publica informes y monografas centradas en la situacin de las personas

con discapacidad en Espaa, las cuales pueden resultar de ayuda en el anlisis y la descripcin de los contextos en los que se enmarcan las intervenciones que se vayan a evaluar.
Plataforma de ONG de Accin Social
Organizacin de mbito estatal, privada, aconfesional y sin nimo de lucro que trabaja para promover el pleno desarrollo de los derechos sociales
y civiles de los colectivos ms vulnerables y desprotegidos de nuestro pas
y fortalecer el Tercer Sector de mbito Social. En la actualidad est integrada por 28 Organizaciones No Gubernamentales, federaciones y redes estatales. Si bien no est enfocada solamente al mbito de la discapacidad, realiza y publica evaluaciones especialmente destinadas al tercer sector que
siguen una estructura y una metodologa estandarizadas.
Ha publicado una Gua de Evaluacin de Programas y Proyectos Sociales (2010) que entronca con el planteamiento adoptado en este trabajo, complementndolo con especificidades de inters para el tercer sector.
Servicio de Informacin sobre Discapacidad (SID)
Conformado como portal de la discapacidad, el SID pretende servir de
plataforma de difusin de informacin sobre discapacidad de las polticas
sectoriales impulsadas desde el Gobierno espaol y, en particular, de aquellas que desarrolle la Secretara General de Poltica Social, a travs de la
Direccin General de Coordinacin de Polticas Sectoriales sobre la Discapacidad, el Instituto de Mayores y Servicios Sociales (IMSERSO) y el Real
Patronato sobre Discapacidad.
En su portal web se puede encontrar instrumentos para evaluar la calidad de los servicios pblicos, en sus dimensiones de gestin y resultados,
104
lo cual puede resultar til en la evaluacin de ciertas intervenciones cuando se aborde el anlisis de su implementacin y de los criterios de eficacia
y eficiencia.
Instituciones en el resto del mundo

Comisin Europea (CE)
La prctica evaluativa en esta organizacin se lleva desarrollando desde
su ms incipiente creacin, contando con unidades especializadas en seguimiento y evaluacin de las distintas reas de trabajo (Monitoring and Evaluation Units). La Direccin General de Empleo, Asuntos Sociales e Inclusin (DG Employment, Social Affairs and Equal Opportunities) elabora
algunas guas y orientaciones para la evaluacin de programas del Fondo
Social Europeo (FSE), entre las que destacamos las siguientes:
Guidelines for systems of monitoring and evaluation of ESF assistance in
the period 2000-2006. Orientaciones de asistencia tcnica sobre el seguimiento y evaluacin del Fondo Social Europeo en el perodo de programacin 2000-2006, entre cuyos mbitos est el de la poltica de discapacidad.
En este documento se facilitan indicadores que hacen posible el seguimiento de los objetivos, y se realiza una descripcin de los distintos criterios de
evaluacin a tener en cuenta.
Indicative Guidance for the evaluation of interventions combating discrimination within the framework of ESF co-funded programmes 2007-2013. Esta
gua puede ser utilizada por los Estados miembros en la realizacin de evaluaciones en cualquier momento del ciclo de la intervencin (ex ante, intermedias o ex post). El documento se basa en los resultados de las reuniones de trabajo del ESF Evaluation Partnership (un grupo de expertos/as que
realizan tareas de apoyo tcnico para el Fondo Social Europeo), y en este
105
informe se ha incorporado un apartado especfico sobre la estrategia de discapacidad que incorpora el Fondo.
Disability.gov
Es la pgina web del gobierno federal de los EE.UU. destinada a difundir informacin sobre programas de discapacidad a lo largo de todo el pas.
Contiene ms de 14.000 recursos publicados por agencias estatales, federales y del gobierno, y si se realiza una bsqueda de evaluaciones en
su base de datos se pueden encontrar fcilmente numerosos ejemplos de
inters.
Disabled Peoples International (DPI)

La Organizacin Mundial de Personas con Discapacidad es una red de organizaciones o asambleas nacionales de personas con discapacidad, establecida para promocionar los derechos humanos de las personas con discapacidad a travs de la participacin plena, la igualdad de oportunidades y el
desarrollo. La organizacin como tal no realiza evaluaciones, sin embargo
agrupa mltiples organizaciones que s desarrollan marcos de referencia y
documentacin al respecto. En su base de datos de publicaciones pueden
encontrarse adems los principales estudios y trabajos de investigacin relacionados con la discapacidad y publicados por organismos internacionales
como el Banco Mundial o la Organizacin Internacional del Trabajo.
ENABLE - United Nations

El sitio web oficial de la Secretara de la Convencin sobre los Derechos
de las Personas con Discapacidad (SCRPD) de las Naciones Unidas, el cual
106
da acceso a numerosas publicaciones temticas, incluyendo fuentes estadsticas y sistemas de indicadores, relacionadas con todo el abanico posible de polticas nacionales en el mbito de la discapacidad.
Human Resources and Skills Development Canada

Departamento del gobierno federal de Canad que se encarga de algunas polticas sociales como los programas de pensiones para personas con
discapacidad, y que dispone de una seccin de evaluacin donde se puede encontrar numerosos ejemplos de evaluaciones sistemticas de intervenciones, las cuales siguen una estructura muy similar a la que se ha propuesto en este trabajo.
IncluD-ed - European Network on Inclusive Education and Disability

Red europea cuyo principal objetivo es identificar, promover, intercambiar
y diseminar buenas prcticas en materia de educacin inclusiva para personas con discapacidad en toda Europa. Entre sus informes y publicaciones
se encuentran diversos trabajos de inters para la medicin del concepto de
inclusin en las polticas pblicas, entre los que destacamos:
Development of a set of indicators for inclusive education in Europe (2009).
Manual que discute y especifica un conjunto de indicadores para la medicin del grado de inclusin educativa alcanzada por las distintas polticas
nacionales llevadas a cabo en la Unin Europea.
Criterios para evaluar buenas prcticas en IncluD-ed (2011). Breve recopilacin, hecha por coordinadores/as de incluD-ed, de los criterios de evaluacin que pueden usarse para valorar buenas prcticas en materia de educacin inclusiva.
107
John J. Heldrich Center for Workforce Development - Edward J.

Bloustein School of Planning and Public Policy. Rutgers, The State
University of New Jersey
Departamento de la universidad norteamericana State University of New
Jersey, el cual cuenta con un rea especfica de evaluacin, gestin y empleo en el mbito de la discapacidad, que publica trabajos de investigacin,
as como evaluaciones de programas tanto estatales como federales.
National Council on Disability

Una pequea agencia federal independiente de los EEUU cuya misin es
asesorar al Presidente, al Congreso y al resto de agencias federales sobre
aspectos relacionados con la poltica y los programas que afectan a las personas con discapacidad. Dispone de una base de datos con publicaciones
entre las que se encuentran algunas evaluaciones, as como documentos
de orientacin metodolgica, entre ellos la siguiente gua:
Keeping Track: National Disability Status and Program Performance Indicators (2008). Analiza la necesidad de un sistema de indicadores que incluya cuestiones relacionadas con el desempeo de los programas, y propone
una batera de ellos profundizando en su diseo y utilizacin.
NORAD (Norwegian Agency for Development Cooperation).

Evaluation Department
Agencia noruega para la cooperacin al desarrollo, la cual dispone de un
departamento de evaluacin que realiza estudios y evaluaciones de toda la
poltica gubernamental en materia de cooperacin, incluyndose aquellas
actuaciones de promocin y defensa de los derechos de las personas con
discapacidad.
108
Office of Disability Employment Policy (ODEP). United States

Department of Labor
La Oficina de Polticas de Empleo en Discapacidad del Departamento
de Trabajo de los EE.UU. tiene entre sus objetivos la realizacin de evaluaciones de los distintos programas que el gobierno pone en marcha. La
mayora de ellas las llevan a cabo consultores independientes, y se centran en estudiar las dimensiones de eficacia e impacto de los programas
(si bien para tener acceso al informe de evaluacin debe solicitarse explcitamente).
Red Intergubernamental Iberoamericana de Cooperacin Tcnica

(RIICOTEC)
La RIICOTEC es una estructura de cooperacin para el desarrollo de polticas de atencin a las personas mayores y a las personas con discapacidad, nacida en 1993 con la Declaracin de Santiago de Chile y cuya Secretara Ejecutiva est atribuida al Director General del IMSERSO. Favorece el
intercambio de experiencias y la colaboracin mutua entre los pases de la
Comunidad Iberoamericana y realiza trabajos de investigacin y apoyo que
contribuyen a elaborar un marco de medicin de las intervenciones en discapacidad, destacando:
Seguimiento y medicin de compromisos de Estado en polticas pblicas
en discapacidad. Modelo conceptual y metodolgico (2010). Herramienta
destinada a medir y hacer seguimiento de los compromisos de las Administraciones en relacin con la discapacidad. Explicita las dimensiones de interpretacin y accin sobre la discapacidad presentes en las convenciones
internacionales, adems de ofrecer una metodologa para el seguimiento de
los compromisos asumidos.
109
UNEG (United Nations Evaluation Group)

El Grupo de Evaluacin de las Naciones Unidas es una red profesional
que agrupa a las unidades encargadas de la evaluacin en el sistema de
las Naciones Unidas, incluidos los organismos especializados, fondos, programas y organizaciones afiliadas. De entre sus numerosas publicaciones
metodolgicas resultan de especial inters las siguientes:
Integrating Human Rights and Gender Equality in Evaluation Towards
UNEG Guidance (2011). Ofrece orientaciones paso a paso sobre cmo integrar estas dimensiones (los derechos humanos y la igualdad de gnero)
a lo largo de una evaluacin de proceso, incluyndose especficamente el
caso de las intervenciones en discapacidad. Este manual es el resultado de
los esfuerzos de la UNEG para poner una herramienta prctica a disposicin de las personas que evalan, gestionan y dirigen programas, tanto dentro como fuera del sistema de las Naciones Unidas.
UNESCO (Organizacin de las Naciones Unidas para la Educacin,

la Ciencia y la Cultura)
Las actividades de la UNESCO se sustentan en objetivos concretos de la
comunidad internacional (como los Objetivos de Desarrollo del Milenio), entre los que se incluyen aspectos relativos a la educacin que son extensibles al mbito de la educacin de personas discapacitadas. En este sentido, interesa destacar la siguiente publicacin:
Equity and Inclusion in Education: Tools to support education sector planning and evaluation (2008). Gua donde se facilitan distintas herramientas
que nos permitirn medir la equidad e inclusin en el mbito educativo a travs de preguntas de evaluacin, recomendando adems distintas fuentes
de informacin que podrn utilizarse para dar respuestas a las mismas.
110
UNICEF. Oficina de Evaluacin de UNICEF

UNICEF es la Agencia de Naciones Unidas que tiene como objetivo garantizar el cumplimiento de los derechos de la infancia, prestando especial
atencin a quienes estn en situacin de mayor vulnerabilidad como son las
nias y nios con discapacidad. Publican numerosos materiales respecto a
evaluacin de programas, especialmente desde la ptica de la equidad, de
entre los que destacamos:
Cmo disear y gestionar evaluaciones basadas en la equidad (2010). El
propsito de este documento es proporcionar orientacin a las oficinas de
pas de UNICEF, as como a sus colaboradores y partes interesadas de los
gobiernos y la sociedad civil, incluidas las comunidades y los grupos ms
desfavorecidos, sobre cmo disear y gestionar evaluaciones para valorar
la contribucin de las polticas, programas y proyectos a los resultados de
desarrollo equitativo para los nios y nias.
Monitoring Child Disability in Developing Countries. Results from the Multiple Indicator Cluster Surveys (2008). Tras detectar la escasez de informacin
sobre los nios con discapacidad en los pases en vas de desarrollo, UNICEF recomend la inclusin de un mdulo de discapacidad en su Encuesta
de Indicadores Mltiples (MICS), cuyos resultados se exponen y analizan en
el informe. Permite ilustrar cmo se pueden incluir indicadores de discapacidad en las encuestas y cmo deben ser luego analizados e interpretados.
2.10. SELECCIN DE EJEMPLOS DE EVALUACIONES EN EL

MBITO ESPECFICO DE LAS POLTICAS DE DISCAPACIDAD,
DE EDUCACIN, FORMACIN E INSERCIN LABORAL
Una vez hemos visto qu otros documentos de gua u orientacin pueden utilizarse, y qu instituciones realizan evaluaciones en el sentido en el
111
que se han descrito en este trabajo, en este apartado procederemos a comentar una breve seleccin de ejemplos de evaluaciones (o trabajos de investigacin que les sean asimilables) centrados en el mbito de las polticas de discapacidad de educacin, formacin e insercin laboral, ejemplos
que pueden ser de utilidad para ilustrar y ayudar a comprender mejor aspectos concretos del marco terico y conceptual expuesto hasta el momento.
Evaluaciones en Espaa
Evaluacin de programas de atencin a nios con discapacidades
(Dueas, 2000)
Se trata de una sntesis prescriptiva sobre cmo enfocar la evaluacin de
programas para nias y nios con necesidades educativas especiales, que
incluye una discusin de algunos de los principales retos metodolgicos as
como una estructura de las distintas dimensiones de las intervenciones que
se deben analizar, la cual es similar a la expuesta en este trabajo.
Destacamos el nfasis de la autora en la necesidad de que la evaluacin
de los programas sirva para una toma de decisiones ms racional, normalizadora e integradora, y que debe plantearse desde una perspectiva amplia
e integral: analizando previamente la entidad de las metas perseguidas, dndose coherencia entre las metas del programa y las demandas, expectativas o necesidades, teniendo en consideracin las caractersticas del contexto en el que el programa se desarrollar, etc.
Evaluacin de los planes para las personas con discapacidad como
sistema de proteccin social. Anlisis y propuestas de mejora en el
mbito de la inclusin en ocio (San Salvador del Valle et al., 2006)
Informe que analiza el grado de desarrollo de la inclusin social como
principio de intervencin, as como el tratamiento que tiene el ocio en el con-
112
tenido y la aplicacin de toda una serie de planes para personas con discapacidad. El objetivo ltimo es evaluar la eficacia de los planes en la consecucin de un sistema de proteccin social global e inclusivo, proponiendo
mejoras que garanticen el ejercicio del derecho al ocio de las personas con
discapacidad como parte del propio proceso de inclusin.
Resulta de especial inters como ejemplo de anlisis conjunto de una coleccin de intervenciones distintas, que se lleva a cabo adems con una interesante gama de herramientas de recogida de informacin y tcnicas cualitativas de anlisis. Adems aborda con cierta profundidad el problema de
la definicin del concepto de inclusin social y su medicin en intervenciones de naturaleza diversa.
Evaluacin de la calidad de vida de las personas con discapacidad

intelectual en los Centros Ocupacionales y en los Centros Especiales
de Trabajo (Garcia i Bar, 2007)
Tesis doctoral que estudia el impacto del entorno de trabajo en la calidad
de vida de las personas con discapacidad intelectual en los Centros Ocupacionales y en los Centros Especiales de Trabajo, modalidades de ocupacin
laboral donde se encuentra la gran mayora de personas con discapacidad
intelectual.
Se trata de un caso especfico donde se estara evaluando exclusivamente el impacto no previsto de una poltica de ocupacin y empleo, en concreto sobre la calidad de vida de las personas que participan en la intervencin. Adems la inclusin de propuestas de mejora tambin acerca este
trabajo al mbito evaluativo.
113
Evaluacin de un programa intensivo de Educacin Conductiva

dirigido a nios con Parlisis Cerebral (Larumbe y Fernndez, 2007)
Estudio de investigacin cuyo objetivo principal es ofrecer datos objetivos
de los cambios experimentados por un grupo de 30 nios con parlisis cerebral, de distinta tipologa y grado de afectacin, tras su participacin en
un programa intensivo de rehabilitacin basado en el Mtodo Pet o de educacin conductiva.
El principal inters del estudio reside en que constituye un ejemplo de
aplicacin de una metodologa experimental para la medicin del impacto
estrictamente atribuible a la intervencin, lo que entronca con el criterio de
efectividad descrito anteriormente.
Evaluacin de un programa de apoyo laboral para trabajadores con

discapacidad intelectual en tareas con elevada exigencia cognitiva
(Becerra et al., 2008)
En esta evaluacin se estudia el desarrollo y los resultados de un programa de apoyo laboral profundizando en dos estudios de caso, los de dos
personas con discapacidad intelectual que realizan actividades relacionadas con la gestin administrativa en un servicio pblico. Si bien no sigue
una estructura propia de las evaluaciones tal y como se ha descrito en este
trabajo, resulta de inters por el anlisis implcito que realiza sobre el diseo de la intervencin, que se traduce en apreciaciones sobre su pertinencia y coherencia.
Por el contrario, la segunda parte del estudio se centra en medir la eficacia del programa, analizando mediante la tcnica de observacin participante la mejora en los resultados de las dos personas; sin embargo,
conviene sealar que al no introducirse ninguna informacin sobre otros
114
casos de personas que no recibieron el apoyo, no es posible discernir qu

parte de la mejora en los resultados es realmente el impacto atribuible al
programa.
Evaluacin final del Plan de Accin para las personas con

Discapacidad 2005-2008 de la Comunidad de Madrid (Consejera
de Familia y Asuntos Sociales de la Comunidad de Madrid, 2009)
En este caso se trata de una evaluacin con una estructura y un marco
conceptual muy prximos a los que se han venido describiendo en este trabajo (con la excepcin de las valoraciones cualitativa y del impacto que aparecen al final), si bien se centra en analizar la implementacin y ejecucin
del plan y en valorar el criterio de eficacia en todas sus dimensiones.
Destacamos adems que la evaluacin incorpora la participacin de actores mediante representantes de organizaciones del tercer sector, y adems sabe utilizar y aprovechar la existencia previa de una planificacin estratgica bien desarrollada (el propio Plan de Accin) as como de un sistema
de seguimiento y evaluacin continua.
Evaluacin de la poltica de bonificaciones y reducciones de cuotas

de la Seguridad Social destinada a las personas en situacin de
discapacidad (AEVAL, 2009)
El objeto de esta evaluacin es la poltica de bonificacin de cuotas empresariales de la Seguridad Social para personas con discapacidad, la cual
persigue con carcter general incrementar la empleabilidad de determinados colectivos que tienen un acceso ms restringido a un contrato de trabajo indefinido, y se focaliza en el criterio de efectividad, analizndolo utilizando diversas tcnicas e indicadores (tanto cuantitativas como cualitativas).
115
En este caso nos encontramos de nuevo ante una evaluacin que parte de
un marco terico y conceptual muy prximo al de este trabajo, donde resultan
especialmente ilustrativos los apartados iniciales sobre el objeto, el alcance y la
justificacin de la evaluacin, as como el proceso de enjuiciamiento a travs de
la formulacin de conclusiones y recomendaciones. Adems, el equipo de evaluacin se form combinando personas especialistas en evaluacin con un grupo de personas expertas en investigacin en el mbito de la discapacidad.
Evaluacin de las polticas de empleo para personas con

discapacidad y formulacin y coste econmico de nuevas propuestas
de integracin laboral (Rodrguez, Garca y Toharia, 2009)
Estudio en profundidad de las distintas polticas existentes en materia
de integracin laboral de personas con discapacidad, especialmente distinguiendo las destinadas al mercado laboral ordinario de las de empleo
protegido. Es destacable su utilizacin bien articulada de distintos tipos de
fuentes de informacin, as como la comparacin de diversas polticas alternativas para el mismo objetivo, lo que entronca con la nocin de pertinencia de las intervenciones.
En segundo lugar, se focaliza en analizar la cuestin de la eficacia incluyndose consideraciones sobre el potencial de polticas alternativas, y aborda la consideracin de los costes desde una perspectiva prxima a los criterios de eficiencia y sostenibilidad.
Evaluacin del Valor Aadido Comunitario del Programa Operativo de

Lucha contra la Discriminacin gestionado por la Fundacin ONCE
(Fundacin ONCE, 2011)
El objetivo fundamental de esta evaluacin es observar el cambio y los
efectos en la empleabilidad de las personas con discapacidad y discutir si
116
es posible atribuirlos y en qu medida a la participacin del Fondo Social

Europeo. No se trata de una evaluacin del Programa Operativo en su conjunto, sino de aquellas actuaciones cofinanciadas, orientadas al empleo, que
lleva a cabo la Fundacin ONCE con la poblacin de personas con discapacidad (en especial las acciones definidas en el Eje 2).
Si bien no explicita el uso del mismo marco terico que se ha expuesto
en este trabajo, se trata de un claro ejemplo de evaluacin centrada en la
eficacia y el impacto de la intervencin, pero que pone un nfasis especial
en comprender el proceso por el que se han producido los cambios (tanto
en la institucin encargada de ejecutar el programa, como en las personas
beneficiarias del mismo), es decir, en analizar tambin el diseo y la lgica
de la intervencin subyacente. Conviene adems destacar la estructura de
conclusiones y recomendaciones y su adecuada vinculacin con el resto del
anlisis realizado en la evaluacin.
Evaluaciones en el resto del mundo

Evaluation of the Canada Pension Plan Disability Vocational
Rehabilitation Program (Audit and Evaluation Directorate, 2004).
Canad
Esta evaluacin se centra en analizar el impacto de un programa de reinsercin laboral para personas discapacitadas que estn cobrando una pensin, utilizando una metodologa cuantitativa basada en la utilizacin de regresiones logsticas. La inclusin de la variable sexo en el anlisis es un
ejemplo de cmo introducir la perspectiva de gnero utilizando exclusivamente indicadores cuantitativos.
117
Evaluation of Disability Employment Policy Demonstration Programs

(Elinson et al., 2005). EEUU
Se trata de la evaluacin de una serie de programas destinados a mejorar la sostenibilidad de las polticas de apoyo al empleo para personas
discapacitadas, de modo que constituye un ejemplo sobre cmo incorporar la valoracin del criterio de sostenibilidad en este tipo de intervenciones.
Informe de Evaluacin - Formacin Laboral de Jvenes con

Discapacidad que son atendidos en los Servicios Educativos
Especiales en el mbito Nacional (AICD, 2007). Nicaragua
Evaluacin que sigue una estructura muy prxima a la que hemos desarrollado en este trabajo y que constituye un excelente ejemplo, donde adems conviene destacar la formulacin de preguntas de evaluacin bien planteadas, as como el proceso de enjuiciamiento sistemtico de los criterios y
su vinculacin con las conclusiones y recomendaciones.
Evaluacin del Programa Proyectos Departamentales y Distritales

de Atencin Integral de Personas con Discapacidad del Ministerio
de Proteccin Social (Meja, 2008). Colombia
Informe que, sin ser estrictamente una evaluacin, aborda las cuestiones
de la eficacia y la eficiencia del programa exclusivamente desde la ptica
del anlisis de su implementacin, organizacin y procesos, resultando un
buen ejemplo de cmo aplicar herramientas propias del anlisis gerencial
para la valoracin de esos dos criterios.
118
Study on the relevance and reliability of available information for the

ex post evaluation of the European Social Fund 2000-2006 (Comisin
Europea, 2008)
Este estudio abarca el perodo de programacin 2000-2006 del Fondo Social Europeo y aborda la cuestin de la disponibilidad de informacin para
evaluar, con lo que la Comisin Europea espera contribuir a la Estrategia
Europea de Empleo, entre la que se encuentra la estrategia especfica para
las personas con discapacidad. Se trata de un buen ejemplo sobre cmo
considerar la evaluabilidad de una intervencin y el papel que tiene en ello
la disponibilidad de informacin.
Evaluacin del programa de Atencin a Personas con Discapacidad

(PAD) (Corts et al., 2009). Mxico
En este caso se trata de una evaluacin amplia y completa que aborda
cuestiones como el diseo del PAD, su cobertura y focalizacin, su operacin, los efectos tempranos que ha generado, as como la percepcin que
tienen de l sus beneficiarios y la transparencia que se le ha dado. Adems,
cada uno de esos aspectos se acompaa de las respectivas conclusiones
y recomendaciones (identificndose reas de oportunidad y mejora).
Mid-term Evaluation of the European Action Plan 2003-2010 on Equal

Opportunities for People with Disabilities (Comisin Europea, 2009a)
Evaluacin intermedia de un plan de gran alcance (el Plan de Accin Europeo 2003-2010 de Igualdad de Oportunidades para Personas con Discapacidad) realizada por el Centre for Strategy and Evaluation Services, bien estructurada y que aborda la valoracin de mltiples criterios (entre ellos el de
119
sostenibilidad) incorporando adems la perspectiva de gnero mediante un

anlisis cualitativo.
Evaluation of Norwegian support to promote the rights of persons

with disabilities (NORAD, 2012). Noruega
El propsito de esta evaluacin es documentar y evaluar los resultados
de la asistencia noruega para promover los derechos de las personas con
discapacidad en la cooperacin para el desarrollo durante la ltima dcada.
Por lo tanto permite ilustrar cmo introducir la perspectiva de la discapacidad de forma transversal en otro tipo de intervenciones (en este caso las de
desarrollo), siguiendo adems una estructura y un marco conceptual como
los que se han expuesto en este trabajo.
Evaluation of Disability Employment Services Interim Report. Reissue

March 2012 (Australian Government, 2012). Australia
Evaluacin intermedia que se centra en analizar la implementacin de un
programa estatal de apoyo al empleo de personas discapacitadas en el mercado laboral ordinario. Ofrece un buen ejemplo de cmo profundizar en los
criterios de eficacia y eficiencia, mediante un amplio abanico de indicadores
de distinto tipo.
120
Captulo III
Evaluar antes de poner en marcha una intervencin:

la perspectiva ex ante
3.1. UNA REFLEXIN PREVIA: ELEGIR QU EVALUAR Y DESDE

QU PERSPECTIVA
A lo largo de todo el captulo anterior se ha ido describiendo el amplio
abanico de posibilidades que ofrece la teora de evaluacin: tipos y enfoques de evaluacin, criterios, tcnicas y herramientas, etc. Estas opciones
estn adems entrelazadas y generan mltiples combinaciones posibles,
como se ilustr en la Tabla 2.2. Sntesis de principales tipologas y enfoques
de evaluacin.
En la prctica, y como tambin se ha ido explicando anteriormente, los
equipos de evaluacin debern ir tomando decisiones sobre estas posibilidades, especialmente en cuanto a los criterios de evaluacin que se van a
abordar. Para ello, hemos visto que se debern tener en cuenta las necesidades expresadas por quien encargue la evaluacin, as como los aspectos
enfatizados por la literatura especializada y las personas expertas en la materia, junto con los puntos de vista de los principales actores vinculados a
la intervencin.
Sin embargo, un segundo factor clave a tener en cuenta, y que es el que
se aborda en este apartado, es el de la disponibilidad de informacin: la eva-
121
luacin es esencialmente una actividad de obtencin y anlisis de informacin, de modo que en ausencia de la misma se podra afirmar que es prcticamente imposible evaluar con unas mnimas condiciones de objetividad y
fiabilidad. Ahora bien, esta necesidad no se traduce en que la informacin
deba estar ya procesada y ser directamente utilizable antes de empezar a
evaluar (como se vio en el apartado 2.6, existen instrumentos o herramientas de recogida y procesado de la misma), pero s implica que el equipo de
evaluacin debe tener constancia de que al menos existe una fuente de informacin adecuada y, lo que es ms importante, que tendr la capacidad
de llegar a ella.
Este tipo de consideraciones son especialmente relevantes a la hora de
decidir qu criterios de evaluacin se va a valorar. As por ejemplo, si estamos evaluando un programa local que se dise hace varios aos para
afrontar una realidad social sobre la que ahora sabemos ms bien poco (y
que no podemos estudiar porque ha pasado el tiempo y ha cambiado ostensiblemente), no sera recomendable invertir tiempo y esfuerzo en valorar
la pertinencia; o si se evala un plan piloto de cierta entidad que apenas ha
tenido tiempo de producir efectos y sobre el que hay muy pocas experiencias similares previas, ser muy costoso y poco fructfero tratar de analizar
el impacto previsto para valorar el criterio de efectividad.
La forma ms operativa de considerar esta cuestin de la disponibilidad
de informacin es partiendo del momento temporal en el que se va a realizar la evaluacin, ya que ello ser uno de los factores ms determinantes y menos negociables. As, segn se trate de una evaluacin ex ante,
intermedia o ex post ser ms fcil disponer respectivamente de informacin sobre las motivaciones y el contexto que justifican el diseo, sobre
los pormenores del proceso de implementacin y ejecucin, o sobre los
efectos reales que est teniendo la intervencin sobre las personas afectadas por ella. Por ello, a la hora de elegir qu criterios de evaluacin se
va a valorar y profundizar, habr algunos que de forma natural se ajus-
122
Evaluar antes de poner en marcha una intervencin: la perspectiva ex ante
tan mejor al hecho de que se est evaluando en un momento u otro de la

intervencin.
As, cuando se evale desde una perspectiva ex ante se podrn utilizar
las conclusiones de la evaluacin para mejorar el diseo de la intervencin,
por lo que los criterios de pertinencia, coherencia y complementariedad, as
como la introduccin de la perspectiva de gnero, cobrarn el mximo protagonismo, tanto desde el punto de vista del encargo de evaluacin como
en cuanto a la informacin disponible. Es en el momento previo a la implementacin cuando las personas implicadas en el proceso de diseo tendrn
inters en analizar esos aspectos, y cuando mejor recordarn los detalles y
las causas de por qu la intervencin se ha planteado de esa forma. Ser
tambin un momento ptimo para valorar el criterio de participacin, pues
es en la fase de diseo cuando los distintos actores ms pueden aportar y
ms inters tienen en hacerlo.
En el caso de evaluaciones intermedias, si los resultados se presentan
a tiempo para introducir mejoras en la intervencin, pueden abordar los
mismos criterios que si se tratase de una evaluacin ex ante, tenindose
siempre presente las limitaciones que imponga lo avanzada que est la intervencin. En segundo lugar, es tambin el momento ideal para valorar
los criterios de eficacia, eficiencia y sostenibilidad, especialmente analizando en profundidad el proceso de implementacin y la consecucin de resultados a corto plazo, ya que habitualmente se tendr un acceso relativamente cmodo a la informacin sobre el grado de consecucin de
objetivos, el ritmo de utilizacin de los recursos y las causas de que todo
ello haya sido as.
Finalmente, cuando se est ante una evaluacin ex post habitualmente
primar de nuevo la valoracin de los criterios de eficacia, eficiencia y sostenibilidad, pero tambin y muy especialmente el de efectividad, ya que es
el momento en el que se dispondr de informacin sobre todos los efectos
123
realmente producidos y su duracin en el tiempo. Adems, dado que la comunicacin de los resultados de la intervencin es esencial desde la ptica
de la transparencia, ex post ser cuando ms a menudo se aborde dicho
criterio.
Ahora bien, hay que tener tambin presente que en principio cualquier aspecto de la intervencin puede evaluarse en cualquier momento, es decir,
que la recomendacin de focalizarse en ciertos criterios segn se trate de
una evaluacin ex ante, intermedia o ex post es solamente eso, una recomendacin. Esto es especialmente cierto en el caso de las evaluaciones ex
post, donde la intervencin ya ha pasado por todas sus fases y podemos
decir que, por difcil que sea de obtener, existe informacin relevante para
valorar todos los criterios (en cambio desde una perspectiva ex ante, y por
mucha evidencia o anlisis previos de los que se disponga, siempre hay una
cierta incgnita sobre cul ser realmente el desempeo de la intervencin);
adems, abordar una evaluacin integral de la intervencin que retome el
anlisis de su pertinencia, coherencia, etc., cuando sta ya ha terminado
contribuye a reforzar las funciones evaluativas de mejora de futuras intervenciones y rendicin de cuentas.
Con todo, y como se ha indicado en la introduccin, los captulos 3 y 4
de este trabajo se estructuran siguiendo la lgica que relaciona los criterios
de evaluacin con el momento en que sta se realiza. Se ha optado por esta
disposicin con el fin de amenizar la lectura del documento, evitando una
estructura ms farragosa que abordase una por una todas las posibles combinaciones de criterios y tipos de evaluacin. Sin embargo, ello no significa
que el apartado donde se trata cada criterio (segn est en el captulo 3 o
4) implique que el criterio se aborda exclusivamente desde esa perspectiva,
sino que se tiene tambin en consideracin aquellos elementos que son relevantes cuando dicho criterio se evale desde otra que no es la habitual.
Adems, para aquellos casos en los que se pueden presentar dificultades o
requerimientos especficos, ello se ha tratado en un apartado independien-
124
te (como en el caso del anlisis del impacto y del criterio de efectividad desde una perspectiva ex ante).
3.2. VALORAR EL DISEO DE LOS PROGRAMAS: LOS CRITERIOS

DE PERTINENCIA, COHERENCIA Y COMPLEMENTARIEDAD
Una vez que hemos visto qu aspectos suelen evaluarse ex ante, nos
centramos en aquellos criterios ms comnmente analizados en este tipo de
evaluaciones: la pertinencia, la coherencia y la complementariedad.
Antes de tratar cada uno en detalle conviene sealar que estos criterios
de evaluacin son de los que suelen implicar mayor dificultad y consumo de
tiempo, ya que se trata de una tarea compleja y con una alta dosis de abstraccin. Por ello, en algunos casos puede resultar una buena prctica dejar el anlisis de estos criterios para el final, cuando el equipo de evaluacin
ya ha adquirido un conocimiento profundo de la intervencin.
Pertinencia
Como ya se ha sealado en el apartado 2.5, donde se defina cada criterio, valorar la pertinencia implica analizar el grado de adecuacin de una
determinada intervencin al contexto en el que se enmarca. Es adems conveniente recordar que, cuando hablamos del contexto de la intervencin, nos
referimos al de todos los componentes de sta, es decir al de sus objetivos,
pero tambin al de su estructura, sus procesos y sus resultados.
Un ejercicio preliminar en el anlisis de la pertinencia ser pues tratar de
determinar ese contexto y su relacin con los componentes de la intervencin.
Deberemos verificar si en la formulacin del proyecto o programa aparece adecuadamente explicitada la realidad social a la que se trata de afectar, compro-
125
bando si estn claramente recogidas las variables que definen esa realidad y
si se aporta informacin suficiente. Igualmente se puede tambin valorar la
calidad de esa informacin, verificando si es completa, fiable y ajustada, y si
los datos aportados se corresponden con la mejor evidencia disponible.
Por ejemplo, en el caso de que nos encontremos evaluando un programa de formacin ocupacional para personas con discapacidad en un determinado municipio, deberemos empezar comprobando si el diagnstico recoge suficientes datos de contexto, o de no ser as recopilarlos el propio equipo
de evaluacin:
Cunta poblacin con discapacidad reside en el municipio, por edad,
por sexo34, por nivel formativo, etc.
Tasa de paro, de ocupacin y tasa de actividad de este grupo de poblacin, desagregada por sexo y comparndola con la de la poblacin
general.
Diagnstico de la realidad econmica del municipio: sectores principales, demografa empresarial, etc.
En qu sectores productivos se considera adecuado focalizar el esfuerzo de formacin.
Oferta formativa existente, en qu materias y qu resultados en trminos de insercin ya se estn obteniendo.
Problemas particulares a los que se enfrenta la poblacin con discapacidad del municipio en su acceso al empleo y en su acceso a la formacin que existe.
34
Como criterio general es conveniente la desagregacin de los datos por sexo, con el fin
de abordar las diferentes situaciones de las mujeres y los hombres con discapacidad. En el
apartado siguiente se realiza un anlisis detallado sobre la incorporacin de la perspectiva de
gnero en la evaluacin.
126
Seguidamente, el anlisis de la pertinencia de la intervencin deber empezar profundizando en cul es realmente el problema o la necesidad que
quiere abordar la intervencin. En el ejemplo que estamos utilizando, hay
que darse cuenta de que una menor tasa de ocupacin de la poblacin con
discapacidad no es, por s mismo, un problema o una necesidad (del mismo modo que una menor tasa de ocupacin entre las personas menores de
18 aos o mayores de 65 tampoco es, a priori, un problema); consideraremos que la menor ocupacin es un problema sobre el que intervenir si es
fruto de la discriminacin, o si es debido a que las personas con discapacidad tienen dificultades aadidas para demostrar sus cualidades en las entrevistas de trabajo, etc.
Igualmente, conseguir un trabajo en el mercado laboral ordinario tambin
es posible que, por s mismo, no sea la necesidad principal de las personas
con discapacidad de ese municipio, y puede que sea prioritario asegurarles
una fuente estable de ingresos mnimos (para erradicar el riesgo de caer en
la pobreza si se quedan en paro), o por el contrario puede que sea ms necesario que participen en actividades que maximicen su integracin e inclusin social.
El equipo de evaluacin deber, pues, explorar este tipo de cuestiones,
tratando especialmente de localizar la causa (explcita o implcita) del problema que pretende abordar la intervencin. Por lo que sabemos, la menor tasa de ocupacin es fruto de la discriminacin por parte de las empresas, o de un desajuste entre la formacin que recibieron las personas con
discapacidad y los puestos de trabajo disponibles?
Con todo, el objetivo ltimo del anlisis de la pertinencia no debe ser juzgar la oportunidad o la necesidad de la propia intervencin (la discriminacin es una lacra y hay que erradicarla)35, sino ver si su planteamiento se
35
Como vimos en el apartado 2.5 cuando se explic el criterio de pertinencia, eso corresponde al mbito de la negociacin poltica, no al de la evaluacin.
127
corresponde con las necesidades de la poblacin a la que se dirige: cuanto

ms claramente pueda trazarse ese vnculo entre justificacin de la intervencin y realidad observada, mayor ser la pertinencia de la misma. As, en el
ejemplo anterior, si la intervencin se basa en que existe discriminacin por
parte de las empresas y la evaluacin encuentra evidencia al respecto, la intervencin ser pertinente, independientemente de lo que se piense en cuanto a la necesidad de luchar e invertir recursos contra la discriminacin.
En general, en el mbito de la discapacidad y de las intervenciones consideradas en este trabajo raramente se dan situaciones en las que una intervencin trate de abordar problemas o necesidades inexistentes, ya que
la situacin de desventaja y vulnerabilidad de las personas con discapacidad est suficientemente estudiada y constatada. Sin embargo, donde s es
previsible que aparezcan problemas relacionados con la pertinencia es cuando analizamos si ese tipo de intervencin es la mejor opcin para abordar
ese problema o necesidad. Retomando de nuevo el ejemplo anterior, si el
diagnstico de la propia intervencin (o del equipo de evaluacin) apuntase
a que la baja tasa de ocupacin es debida a la discriminacin por parte de
las empresas, parece claro que un curso de formacin ocupacional para las
personas con discapacidad no es la mejor forma de abordarlo, y por lo tanto la intervencin tendra un serio problema de pertinencia.
Debido a la multiplicidad de factores que intervienen en los fenmenos sociales relacionados con la discapacidad, este tipo de desajuste se dar con frecuencia pero no ser fcil de detectar, por lo que el equipo de evaluacin debe
prestarle especial atencin. Adems, la diversidad de grados y tipologas de
discapacidad que se dan aumenta todava ms la dificultad para ajustar a cada
problemtica o necesidad concreta el mejor tipo de intervencin posible.
Hasta ahora, pues, el equipo de evaluacin deber haber analizado, primero, la existencia y adecuada definicin de un problema o una necesidad, y, segundo, que se haya elegido un tipo de intervencin consecuente con ello.
128
Respecto a la primera cuestin, una de las mejores fuentes de informacin donde puede acudir el equipo de evaluacin son los propios actores
implicados y, muy especialmente, las personas con discapacidad cuando se
trate de precisar sus necesidades36. Respecto a la segunda, se tratar de
estudiar qu otras intervenciones alternativas pueden ser ms aconsejables,
con lo que una tcnica adecuada es el denominado benchmarking: buscar
ejemplos (en otros pases o mbitos geogrficos, en otros momentos del
tiempo) donde se ha conceptualizado el problema de forma parecida y para
un contexto similar, pero en cambio se ha elegido una intervencin de naturaleza distinta porque se considera ms probable que tenga xito.
Un ejemplo de la utilizacin del benchmarking para valorar la pertinencia
lo podemos encontrar en la disyuntiva entre empleo protegido y empleo con
apoyo. En Espaa, fruto de la Ley 13/1982 de 7 de Abril, de Integracin Social de los Minusvlidos, se ha apostado tradicionalmente por el desarrollo
y la regulacin de los Centros Especiales de Empleo (CEE), es decir, por el
empleo protegido. Pero los ltimos aos la prioridad en la Unin Europea
ha evolucionado hacia el empleo con apoyo como mejor estrategia de inclusin social, con iniciativas como el Proyecto Leonardo Working for all (gestionado por EUSE, European Union of Supported Employment).
El proyecto comenz en 2010 teniendo como objetivo compartir conocimientos y experiencias de empleo con apoyo aplicado a colectivos en riesgo de exclusin, y dos de los pases participantes, Irlanda y Noruega, han
desarrollado ya importantes iniciativas de empleo con apoyo (mientras que
los otros dos, Portugal y Espaa, han iniciado el proceso para hacerlo). As,
los resultados y la experiencia extrada de las intervenciones que ya se hayan llevado a cabo en Irlanda y Noruega podran servir de marco comparativo para valorar la pertinencia de intervenciones similares en Espaa (que
36
Aunque no debe confundirse esta fuente de informacin con la valoracin del criterio de
participacin, detallado en el apartado 2.4.
129
hayan identificado el mismo problema o las mismas necesidades), pero que

siguen apostando por el empleo protegido.
La segunda parte del anlisis de la pertinencia deber centrarse en el
anlisis de la adecuacin del resto de elementos de la intervencin (estructura, procesos y resultados previstos) a su contexto. Podemos definir la estructura como los elementos que se necesitan para que los procesos puedan funcionar (Ligero, 2011, p. 28); stos seran, entre otros, los recursos
econmicos, humanos y la infraestructura tecnolgica e institucional, ya que
su especificacin es una condicin previa a la ejecucin propiamente dicha
de la intervencin.
Un proceso, por su parte, representa una secuencia de actividades que
generan un valor para los beneficiarios respecto a una determinada situacin inicial (Ligero, 2011, p. 25). Siguiendo con el ejemplo anterior del programa de formacin ocupacional, un posible proceso sera la captacin de
potenciales asistentes a los cursos, siendo necesario identificar las diferentes actividades secuenciadas que llevaran a que una persona se incorporase al programa (se identifican los lugares o espacios donde se har difusin, se definen y elaboran los soportes, etc.).
Por ltimo, los resultados esperados son todo el conjunto de cambios en
la realidad que se espera que produzca la intervencin, incluyendo los objetivos finales de la misma. De nuevo en el caso del programa de formacin
ocupacional, se tratara de que sus participantes acaben finalmente logrando un empleo, pero tambin de que antes adquieran una serie de habilidades laborales, e incluso en primera instancia que se activen y decidan que
asistirn al programa porque quieren encontrar un trabajo37.
37
Esta primera distincin entre estructura, procesos y resultados ser tambin til para el
anlisis de la coherencia, y posteriormente se desarrolla con mayor profundidad en los apartados 4.1 y 4.2 correspondientes a la evaluacin intermedia.
130
De nuevo, valorar la pertinencia consiste en cotejar estos tres componentes (estructura, procesos y resultados) con la realidad a la que se supone
va a dar respuesta la intervencin, estableciendo si hay desajustes patentes. Si volvemos al ejemplo inicial y a la descripcin del contexto del programa de formacin ocupacional, se podra analizar aspectos como los siguientes:
Si existen en el municipio espacios adecuados (accesibles) donde llevar a cabo los cursos, o si tal vez el lugar ideal estara en un municipio vecino.
Si tal como se ha propuesto el programa ste se adeca a la correspondiente normativa municipal, o sera ms aconsejable otro tipo de
programa.
Si la formacin propuesta se corresponde con sectores para los que
existe una demanda de trabajadores/as en ese municipio, y si dicha demanda es previsible que se mantenga a largo plazo.
Si la evidencia sobre la oferta formativa previa y sus resultados en
ese municipio nos permite intuir cmo puede funcionar el nuevo programa.
Si las personas con discapacidad (y sus familias) de ese municipio estn realmente interesadas en activarse y buscar trabajo en el mercado
laboral ordinario, o si es necesario hacer antes una labor de concienciacin en ese sentido.
Tras estas orientaciones generales para llevar a cabo el anlisis de la pertinencia, proponemos a continuacin una batera de ejemplos de preguntas
e indicadores de evaluacin que permitiran proceder a su enjuiciamiento.
Sin embargo, y como se vio en el apartado 2.5 sobre los criterios, preguntas de evaluacin e indicadores, en el caso tanto de los criterios de perti-
131
nencia como de los de coherencia y complementariedad es muy difcil la formulacin de indicadores cuantitativos, y suele utilizarse en su lugar el llamado juicio interpretativo, el cual trata de hallar piezas de evidencia que
refuerzan o debilitan el criterio en cuestin
Preguntas e indicadores
La informacin de diagnstico aportada por la intervencin resulta
completa y actualizada?
Indicador: variedad y calidad de los datos aportados para realizar el
diagnstico.
Indicador: cantidad de datos o evidencia que el equipo de evaluacin
puede verificar por otras fuentes.
Ha quedado fuera del diagnstico de la intervencin algn elemento
que puede afectarla sensiblemente?
Indicador: cantidad de aspectos del contexto que se considera que han
quedado fuera del diagnstico, y relevancia de los mismos.
Partiendo de cul es la causa del problema que motiva la intervencin,
hay evidencia de que existe realmente all donde va a intervenirse?
Indicador: cantidad de datos que refuercen la hiptesis de que esa es
la causa del problema en cuestin.
En qu medida los objetivos de la intervencin se corresponden con
una necesidad real de las personas que se vern afectadas por ella?
Indicador: cantidad y calidad de la evidencia sobre las necesidades de
dichas personas que se incorpora en el diagnstico y la justificacin de
la intervencin.
132
Si existen otras intervenciones similares en otros pases o regiones que

hayan abordado este mismo problema, lo han hecho de forma similar? Los resultados alcanzados se corresponden con los que se propone ahora la intervencin?
Indicador: cantidad de otras intervenciones que puedan ser un referente (porque hayan abordado el mismo problema de la misma forma), o
existencia de intervenciones que lo hayan hecho de forma radicalmente distinta.
Indicador: grado de correspondencia entre los resultados que pretende alcanzar la intervencin y los que ya alcanzaron intervenciones similares.
Si penssemos en un proyecto de formacin ocupacional como el que hemos venido utilizando de ejemplo, se podra utilizar preguntas especficas
como las siguientes:
La formacin propuesta se corresponde con sectores para los que
existe una demanda de trabajadores/as en ese municipio?
Indicador: tipologa de sectores con presencia en la zona en relacin
con sus niveles de demanda de trabajadores/as.
Indicador: nmero de nuevas contrataciones anuales en los sectores
en los que se va a centrar la formacin ocupacional, en relacin al nmero de personas con discapacidad que se espera formar.
Las especialidades impulsadas con este programa, tendrn demanda
en el medio/largo plazo?
Indicador: existencia de anlisis de tendencias econmicas que muestran demanda futura en las especialidades propuestas.
Se adecuan las propuestas curriculares a las demandas del mercado
laboral?
133
Indicador: similitud entre las propuestas curriculares del programa y los

currculos de las personas que ya se estn contratando en esos sectores.
Por ltimo, respecto a las tcnicas que se propone utilizar, las herramientas bsicas para este tipo de anlisis van a ser la revisin documental y el
anlisis de datos secundarios, tanto los procedentes de la propia intervencin (en forma de prlogos justificativos, informes de diagnstico, etc.), como
otros que nos permitan acercarnos a la realidad sobre la que se desarrollar: estadsticas, informes socioeconmicos, etc. Asimismo, las fuentes secundarias sern tambin de utilidad para realizar anlisis de benchmarking,
comparando la intervencin y su contexto con otras similares.
Como ya se ha sealado, otra fuente de informacin que resultar de gran
utilidad es la de preguntar a las propias personas beneficiarias de la intervencin; en ese caso se pueden disear entrevistas, grupo de discusin o
talleres para canalizar su participacin. Adems, si estas herramientas se
hacen extensivas al resto de actores implicados, pueden utilizarse tambin
para reforzar el benchmarking (ya que en ocasiones los beneficiarios sern
quienes mejor sepan qu otras intervenciones similares existen).
Coherencia
La coherencia es otro criterio clave que resultar de inters evaluar ex
ante. Para hablar del anlisis de la coherencia (interna) de una intervencin,
nos va a resultar de gran utilidad recordar la Figura 2.1 en el apartado 2.2,
que ilustra la lgica de la intervencin, ya que reconstruir esa lgica ser la
primera tarea del equipo de evaluacin (como se ha visto en el apartado 2.5
cuando se ha explicado el criterio de coherencia).
El anlisis deber tomar como punto de partida, por una parte, la constatacin de la existencia de un problema o una necesidad, y, por otra, la cer-
134
teza de que la intervencin evaluada est justificada teniendo en cuenta su

propio contexto (ya que ambos aspectos se tratan en el anlisis del criterio
de pertinencia). Seguidamente, se procede a reconstruir el resto de la lgica de la intervencin, con suficiente grado de detalle. Por ejemplo, retomando el programa de formacin ocupacional del apartado anterior, ste podra
tener la siguiente forma (Cuadro 3.1).
El primer aspecto que debe considerarse es si los objetivos de la intervencin (o el impacto esperado) estn en consonancia con la magnitud del
problema, tratando de valorar la consistencia entre la situacin de partida
que ha motivado la intervencin y la situacin final a la que se quiere llegar
tras los recursos invertidos y los cambios producidos por la misma. As, habra que analizar si el total de 250 personas que se espera que vayan a recibir la formacin o a obtener el certificado acreditativo est en lnea con el
nmero de personas con discapacidad que estn en paro (y se considera
que no deberan estarlo), ya que si el problema del paro afectase a, digamos, 10.000 personas, habra una clara incoherencia entre la magnitud del
problema detectado y la de la intervencin que pretende atajarlo.
Este primer anlisis de cul es el grado de cobertura de la poblacin de
inters que se espera alcanzar con la intervencin es ampliamente utilizado, y se lleva a cabo en casi todas las evaluaciones, por lo que en algunos
casos se conceptualiza como un criterio en s mismo, el criterio de cobertura. Sin embargo, en el mbito de la discapacidad las intervenciones suelen
operar bajo una lgica de evidente infradotacin de recursos, tratando de
maximizarse la cobertura pero sabindose de antemano que no se llegar
al total de la poblacin potencialmente beneficiaria. Por ese motivo el anlisis de la cobertura no proporcionar en general demasiada nueva evidencia en cuanto a la coherencia de la intervencin.
A partir de ah, no hay una nica forma de proceder con el anlisis, ni
pautas o reglas uniformes. En general, se deber tratar de buscar contra-
135
CUADRO 3.1
Ejemplo de reconstruccin de la lgica de la intervencin
PROBLEMA
Elevada tasa de paro de la poblacin con discapacidad en la ciudad de Murcia - debida a un dficit de
formacin
RECURSOS
300.000 euros de financiacin anual
2 locales con aulas, equipos informticos
Un equipo tcnico de 3 personas
Un equipo docente de 10 personas
ACTIVIDADES
Captacin de alumnado
Organizacin de las clases
Imparticin
Campaas publicitarias de lucha contra la discriminacin
Bsqueda de empresas para realizar prcticas
Diseo del currculum
Firma de convenios de colaboracin
Coordinacin pedaggica de las prcticas
Seguimiento de las personas formadas
PRODUCTOS (outputs)
250 personas asisten a las acciones formativas
200 personas certifican la obtencin de las competencias
Alumnado adquiere habilidades para el desarrollo profesional en un determinado sector
Alumnado dispone de habilidades para el desarrollo de entrevistas de trabajo
Alumnado realiza prcticas remuneradas en empresas
10 campaas publicitarias realizadas
IMPACTOS (outcomes)
Un cierto nmero de participantes encuentran trabajo - mnimo 150 (un 60%)
Quienes encuentran trabajo mejoran su calidad de vida y la de sus familias
El empresariado y la sociedad rompe sus estereotipos sobre las posibilidades laborales de las personas con discapacidad
136
dicciones entre las distintas partes de la intervencin, o detectar hiptesis

de la misma que primero se asumen pero ms tarde, al desarrollar o planificar la intervencin, se acta como si esa hiptesis no fuese cierta. Siguiendo con el ejemplo anterior, en el cuadro 3.1 se ha sealado en cursiva aquellos aspectos que podran reflejar posibles contradicciones:
Se espera producir un impacto en el conjunto del empresariado y la
sociedad, pero la cantidad de personas que finalmente se espera que
se beneficien de la intervencin (el 60% de las 250 personas formadas) no parece ser lo bastante significativa para generar efectos de
esa magnitud.
Como producto de la intervencin se espera que el alumnado adquiera habilidades para el desarrollo de entrevistas de trabajo, pero no hay
ninguna actividad especfica para ello (ya que la formacin ocupacional en principio no contempla este tipo de capacitacin).
La intervencin planifica la realizacin de 10 campaas de lucha contra la discriminacin, pero en el diagnstico efectuado se argumenta
que la causa de la menor ocupacin es el dficit de formacin, no la
discriminacin. Por lo tanto el programa debera centrar sus recursos
en la formacin, y no en campaas de sensibilizacin.
Con todo, es habitual incluir bajo el criterio de coherencia cualquier problema que se identifique en el diseo de la intervencin. En este sentido, encontramos como problemas habituales en las intervenciones vinculadas con la dependencia el que los objetivos resultan excesivamente ambiciosos para los
recursos que se han habilitado y/o para el tiempo previsto, o que estn formulados de forma excesivamente genrica, lo que no permite hacer un seguimiento de avances ni acometer una evaluacin de su grado de cumplimiento.
A la hora de disear las preguntas de evaluacin e indicadores, el criterio de coherencia es posiblemente el que requiere de un mayor esfuerzo in-
137
terpretativo, habiendo muy pocas preguntas para las que pueda disearse
un indicador cuantitativo. Para facilitar su exposicin, en este caso las preguntas e indicadores propuestos se han vinculado directamente con el ejemplo que se ha ido desarrollando en todo este apartado.
Preguntas e indicadores:
El porcentaje de alumnado que se espera que consiga trabajo (un
60%) es realista respecto a la evidencia disponible sobre otros programas parecidos?
Indicador: diferencia respecto al porcentaje de xito de otros programas parecidos.
Para aquellas personas que consigan un trabajo gracias al programa,
es slida la hiptesis de que tambin aumentar su calidad de vida?
Indicador: diferencia en calidad de vida respecto a personas con discapacidad que ya tienen trabajos parecidos.
En qu medida son imprescindibles las prcticas en empresas para
encontrar trabajo? En cualquier caso, habr suficientes prcticas para
maximizar la posibilidad de lograr trabajo de todos los participantes?
Indicador: diferencia entre la probabilidad de conseguir un trabajo con
o sin prcticas, puesta en relacin con la cantidad de participantes que
van a poder realizar las prcticas.
Las distintas actividades y procesos contemplados son suficientes
para la obtencin de los resultados?
Indicador: nmero de alumnos por curso y por docente, nmero total
de cursos.
138
Los perfiles del equipo son adecuados para el tipo de intervencin

propuesta?
Indicador: adecuacin de perfiles del equipo en relacin con las actividades planteadas.
Los recursos previstos para la intervencin (econmicos, humanos,
infraestructura) resultan adecuados para el proyecto?
Indicador: adecuacin de los recursos en relacin con las actividades
planteadas.
Se han identificado con claridad las personas a las que debe llegar la
intervencin? Se han habilitado los mecanismos adecuados?
Indicador: grado de precisin en la identificacin de personas destinatarias.
Indicador: nmero y adecuacin de las actividades de captacin.
Complementariedad
El criterio de complementariedad puede denominarse tambin de coherencia externa (en contraposicin a la coherencia interna de la intervencin)
y su anlisis consiste en valorar el encaje de la intervencin que proponemos con el resto de polticas y programas con los que se puede relacionar.
Por ejemplo, una intervencin de formacin ocupacional para personas con
discapacidad no puede ignorar otras intervenciones formativas que se estn
llevando a cabo en el mismo mbito geogrfico, estn dirigidas o no al mismo grupo poblacional. Asimismo, tampoco puede ignorar toda la poltica de
empleo de los diferentes niveles legislativos que condicionan el marco general en el que la intervencin se va a desarrollar.
De nuevo en esta ocasin, una tcnica interesante que nos puede resultar muy til para la valoracin de este criterio es el benchmarking que, como
139
comentbamos antes, consiste en comparar nuestra intervencin con otras

que se estn desarrollando en otros lugares. En este sentido, la idea pasa
por identificar en otros mbitos cul es la combinacin de programas y polticas que se han aplicado para dar respuesta a una determinada realidad
y cules son las sinergias o los efectos contrapuestos que se estn generando.
Otra fuente de informacin esencial para lograr identificar ese conjunto de
polticas y programas complementarios es acudir a la poblacin beneficiaria, para conocer en qu otras intervenciones estn participando o les estn
afectando. De hecho, considerar la singularidad individual y el conjunto de
necesidades de una persona especfica como el eje sobre el que disear
las intervenciones (en lugar de que en una misma persona se solapen diversas actuaciones que van en realidad dirigidas a grupos), est en lnea
con los principios de una mejor gobernanza, de modo que la contribucin
de la evaluacin en este sentido puede ser importante. Esto es adems de
especial relevancia en el caso del mbito de la discapacidad, donde las personas acumulan la pertenencia a grupos y categoras que en realidad tienden a desvirtuar la correcta apreciacin de sus necesidades.
En general tambin resultar de mucha utilidad al equipo de evaluacin
acudir a los propios gestores de las intervenciones, por su conocimiento sobre el mbito especfico en el que se enmarcan y sobre el contexto institucional de las mismas. Esta ltima estrategia permitir adquirir una visin ms
clara de los espacios de interconexin que existen entre diferentes iniciativas (en el caso de que existan) o de la necesidad de que se generen, y proponerlos para la intervencin que estamos evaluando, en el caso de que se
identifique que la falta de referencia a los mismos estn generando problemas en la marcha de las intervenciones.
Por otro lado, hay que recordar que la complementariedad es un criterio
que se trabaja en dos direcciones. Por una parte ser necesario identificar,
140
del conjunto de polticas complementarias a la nuestra, cules pueden obstaculizar el desarrollo de la intervencin (y no se han tenido en cuenta), mientras que posteriormente se analizar qu otras polticas que no se haban
tenido en cuenta en el diseo pueden reforzarla.
Sigamos con el ejemplo de una intervencin en materia de formacin para
el empleo de personas con discapacidad, llevada a cabo en un determinado municipio y para la que se contempla la realizacin de prcticas en empresas. En la formulacin est previsto que los primeros meses de desarrollo de la intervencin se emplearn, entre otras cuestiones, para contactar
con las empresas donde se realizarn las prcticas. Sin embargo, cuando
se lleva a cabo el anlisis del criterio de complementariedad, descubrimos
que el propio ayuntamiento est desarrollando una intervencin en el mismo sector laboral, habiendo firmado un convenio de colaboracin con las
principales empresas de la zona para la realizacin de prcticas remuneradas. En consecuencia, esta otra intervencin no prevista seguramente obstaculizar el desarrollo exitoso de nuestro proyecto.
En cambio, en el mismo ejemplo puede que descubramos que se ha aprobado un plan de empleo en el municipio que contempla la posibilidad de que
entidades sociales firmen acuerdos de colaboracin con el ayuntamiento
para el desarrollo de prcticas remuneradas en servicios municipales. Si la
intervencin hubiese considerado esta posibilidad y valorado la oportunidad
de aprovecharla, podra reforzar los objetivos que tena planteados.
Finalmente, la valoracin del criterio de complementariedad desde una
perspectiva ex ante puede resultar tambin de utilidad en el caso de que
vayamos a hacer una evaluacin de impacto posterior, porque contribuir a
la identificacin de los posibles efectos de otras iniciativas en nuestros objetivos. En caso contrario, podramos estar atribuyendo unos logros a nuestra intervencin que tienen que ver ms con el concurso de otras iniciativas
paralelas que con el desarrollo de nuestro proyecto.
141
Existen otros proyectos similares en el municipio que puedan influir
positivamente/negativamente en nuestra intervencin?
Indicador: tipologa y nmero de otros proyectos de la zona que pueden multiplicar los efectos y resultados de nuestra intervencin.
En qu medida encaja nuestra intervencin en la poltica general de
empleo, formacin e insercin laboral del municipio / Comunidad Autnoma / Estado?
Indicador: grado de correspondencia entre las variables clave de nuestra intervencin y la regulacin o las otras polticas sobre la materia
En qu medida se han desarrollado mecanismos de coordinacin con
otros proyectos similares para generar posibles sinergias?
Indicador: nmero y grado de adecuacin de los mecanismos de coordinacin previstos.
3.3. INCORPORACIN DE UN ENFOQUE DE GNERO

Discapacidad y gnero: la doble discriminacin
Tradicionalmente, la consideracin de las variables de discapacidad y gnero no se ha producido de una manera articulada sino que, por el contrario, el
abordaje de ambas realidades se ha llevado a cabo en paralelo, sin buscar las
interconexiones y efectos conjuntos de ambos factores en la vida de las mujeres con discapacidad. Esta ausencia de articulacin ha sido un fenmeno repetido tanto en los procesos de institucionalizacin y desarrollo normativo, como
en el diseo e implementacin de intervenciones, circunstancia que ha dificultado hasta pocas muy recientes una mayor comprensin de esta realidad.
142
Por una parte, desde el mbito de la discapacidad ha existido una tendencia a ver a las personas con discapacidad como un grupo unitario que
comparta una serie de dificultades y obstculos sobre los que se deba intervenir. Asimismo, el movimiento feminista y de mujeres a lo largo de la historia ha venido considerando al conjunto de las mujeres como un grupo relativamente homogneo que comparta un conjunto de desigualdades y
discriminaciones a partir de las que se articulaba la lucha por la igualdad.
Sin embargo, ya desde la dcada de 1980 desde diferentes corrientes se
empieza a poner de manifiesto que esa uniformidad del colectivo en cuestin dista mucho de ser real, siendo necesario un enfoque centrado en las
caractersticas individuales de cada persona (y que en trminos analticos,
se traducirn en variables que condicionan y provocan la generacin de subgrupos de poblacin con necesidades especficas).
As pues, como resultado de esa ausencia de una consideracin especfica de las necesidades y problemas que sufren las mujeres con discapacidad en las distintas intervenciones dirigidas a este grupo de poblacin, en
ocasiones se ha producido una profundizacin de las discriminaciones y
desigualdades previas. Con el objetivo de solventar esta situacin surge el
denominado enfoque mltiple o interseccional de la discriminacin, que se
da cuando (la discriminacin) resulta de la interaccin de varios factores que,
unidos, producen una forma de discriminacin especfica y diferente de cualquier otra discriminacin de un slo tipo (CERMI, 2012, p. 36).
El enfoque mltiple tiene en cuenta todo el conjunto de elementos de tipo
social, histrico, poltico y cultural y, sobre todo, las consecuencias que su
efecto conjunto genera en los distintos grupos de mujeres con discapacidad.
Por tanto, la idea que subyace a este planteamiento es que podemos encontrar una multiplicidad de situaciones de discriminacin en el caso de las
mujeres con discapacidad, ya que estas pueden compartir entre s los procesos de exclusin o puede ocurrir en otros casos que solo haya un factor
determinante de la situacin de discriminacin (por ser mujer, o por ser una
143
persona discapacitada) y no una confluencia de ellos. Adems, la existencia de otros elementos como la edad, la condicin de inmigrante, el lugar
de residencia rural, entre otros aspectos, pueden contribuir a incrementar la
vulnerabilidad de estos grupos.
Desde el mbito legislativo, la Convencin Internacional sobre los derechos
de las personas con discapacidad de diciembre de 2006 aparece como un primer instrumento jurdico esencial que va a tratar de articular ambos tipos de
discriminacin. Conviene resaltar en este documento su artculo 6, que reconoce la mltiple discriminacin sufrida por la mujer con discapacidad e impone la obligacin de adoptar todas aquellas medidas que sean necesarias para
asegurarle el disfrute pleno y en igualdad de condiciones de todos los derechos humanos y libertades fundamentales (CERMI, 2012, p. 45).
Esta situacin general de no considerar la doble discriminacin que sufren las mujeres con discapacidad se reproduce cuando nos referimos al mbito del empleo y la insercin laboral. La ausencia histrica de un abordaje
conjunto de ambos problemas ha tenido como resultado que las mujeres con
discapacidad estn en peor situacin que las mujeres sin discapacidad, pero
tambin que su participacin en el mbito de la formacin y el empleo sea
ms limitada que la de los hombres con discapacidad. As por ejemplo, se
constatan tasas de actividad y empleo inferiores y una tasa de paro ms
elevada que en los dos grupos anteriores, hacindose patente la doble discriminacin (CERMI, 2012, p. 345):
Segn el Informe Mundial sobre la Salud las tasas de empleo son menores entre los hombres y mujeres con discapacidad (53% y 20% respectivamente) que entre los hombres y mujeres sin discapacidad (65%
y 30%, respectivamente). En los pases de la Unin Europea, el 49%
de las mujeres con discapacidad y el 61% de los hombres con discapacidad tienen empleo, frente al 64% de las mujeres sin discapacidad
y el 89% de los hombres sin discapacidad.
144
En Espaa, segn los datos de EDAD-2008 (INE), la tasa de actividad es menor entre los hombres y mujeres con discapacidad
(40,3% y 31,2% respectivamente) que entre los hombres y mujeres sin discapacidad (84,7% y 65,3%, respectivamente); lo mismo
ocurre con la tasa de empleo, los hombres y mujeres con discapacidad tienen una tasa de empleo inferior (33,4% y 23,7%, respectivamente) que los hombres y mujeres sin discapacidad (77,4%
y 56,6%, respectivamente). Por el contrario, haciendo uso de datos de 2008, los hombres y mujeres con discapacidad presentan
una tasa de paro (17,2% y 24%, respectivamente) superior a la
tasa de paro de los hombres y mujeres sin discapacidad (8,6% y
13,4%, respectivamente).
Ms recientemente, el informe del INE El empleo de las personas
con discapacidad, basado en datos de la Encuesta de Poblacin Activa y de la Base Estatal de Personas con Discapacidad, confirma
esta situacin. Segn tales datos, referidos al ao 2010, la tasa de
actividad de los hombres y mujeres con discapacidad (40,4% y 31%)
siguen siendo menores que las de los hombres y mujeres sin discapacidad (83,6% y 68,1%); respecto a la tasa de empleo, los hombres y mujeres con discapacidad tienen tambin una tasa de empleo inferior (31,4% y 23,3%, respectivamente) que los hombres y
mujeres sin discapacidad (67,1% y 54,1%, respectivamente); por ltimo, los hombres y mujeres con discapacidad presentan una tasa
de paro (22,3% y 24,9%, respectivamente) superior a la tasa de paro
de los hombres y mujeres sin discapacidad (19,8% y 20,5%, respectivamente).
Pero cmo introducir la perspectiva de gnero cuando nos enfrentamos
a la evaluacin de intervenciones en el mbito de la formacin, el empleo y
la insercin laboral para poblacin con discapacidad?
145
La perspectiva de gnero en el proceso evaluativo

En primer lugar podemos encontrarnos una primera categora de intervenciones cuyo objetivo esencial tiene que ver con el tratamiento de las diferencias de gnero en el mbito de la discapacidad y el empleo, o que directamente estn dirigidas en exclusiva a mujeres con discapacidad. A modo
de ejemplo, y atendiendo a las dificultades de acceso de las mujeres con
discapacidad a los servicios de orientacin profesional, podemos encontrarnos intervenciones cuya propuesta sea la reorientacin de dichos servicios
adaptndolos a las particularidades de este grupo de mujeres.
Si nos encontramos ante una intervencin de este tipo, donde su justificacin y programacin ya incorpora la perspectiva de gnero, la evaluacin
ya incorporar los aspectos necesarios para su desarrollo bajo los parmetros que se establezcan, de tal forma que una evaluacin ex ante podra valorar, por ejemplo, si la intervencin responde adecuadamente al diagnstico realizado (que en este caso ya deber contemplar la situacin diferencial
de hombres y mujeres), o una evaluacin ex post podra analizar la eficacia
analizando en qu medida se ha reducido la doble discriminacin.
Sin embargo, y siguiendo a Bustelo (2004), si bien puede haber intervenciones que no expliciten la incorporacin de un enfoque de gnero, no hay
intervenciones neutrales al gnero (como tampoco a los derechos humanos), ya que prcticamente todas tienen efectos (ya sean positivos o negativos) sobre estos mbitos. Por ello, el resto de intervenciones, aquellas que
se dirigen a aspectos no directamente relacionadas con la discriminacin de
gnero, casi siempre van a conllevar efectos sobre las relaciones de gnero (tanto en sentido positivo como negativo), por lo que tambin pueden ser
evaluadas en ese sentido.
En este segundo caso, lo primero que debe comprobar el equipo de evaluacin es si la propia intervencin plantea que va a tratar de introducir la
146
perspectiva de gnero durante las diferentes fases de la misma. Esta introduccin transversal de la perspectiva de gnero en intervenciones con otros
objetivos es cada vez ms de obligado cumplimiento, y con el tiempo debera convertirse en habitual. As, un ejemplo podra ser el de un programa de
formacin ocupacional que propone itinerarios personalizados de insercin,
los cuales combinan orientaciones dirigidas de forma general al conjunto de
personas con discapacidad, con aspectos relativos a las situaciones particulares de mujeres y hombres.
Ante una intervencin de este tipo, en general la evaluacin se centrar
en primer lugar en analizar cmo se ha introducido esa perspectiva de gnero transversal, bsicamente a travs de los criterios de pertinencia, coherencia y complementariedad:
Pertinencia: Las diferencias de tratamiento de mujeres y hombres se
basan en evidencias y en una necesidad bien diagnosticada? (se ha
realizado un anlisis adecuado de la situacin de partida diferencial
de mujeres y hombres con discapacidad).
Coherencia: Son coherentes los aspectos de gnero con el resto de
la intervencin? (en las diferentes lneas de accin, objetivos y actividades se ha tenido en cuenta esas diferencias iniciales).
Complementariedad: Se han tenido en cuenta el resto de intervenciones relacionadas con la discriminacin de gnero que pueden estar actuando a la vez sobre las mismas personas? (siguiendo el principio de intervenir segn las caractersticas individuales de cada
persona, y no sobre grupos que pueden estar solapndose).
Posteriormente, el resto de aspectos de la evaluacin pueden ejecutarse de forma habitual, ya que la propia intervencin debera estar estructurada de modo que su anlisis refleje automticamente la cuestin de las
147
diferencias de gnero. As, al analizar la efectividad del programa de formacin ocupacional que hemos mencionado anteriormente, obtendremos
de forma natural un indicador para los itinerarios de mujeres, y otro para
el de los hombres, que nos permitirn valorar la reduccin de la doble discriminacin.
Un ltimo caso que podemos encontrar es aqul en el que la perspectiva de gnero no aparece en absoluto reflejada explcitamente en la intervencin (o que se menciona testimonialmente, pero que en la prctica no
se aplica). En este caso, el equipo de evaluacin deber introducir l mismo el anlisis ad hoc de la perspectiva de gnero, en todos los aspectos de
la intervencin que vaya a evaluar.
Deber investigar por su cuenta (ya que en el diseo y aplicacin de la
intervencin no se habr hecho) qu diferencias de gnero existen en el mbito de la discapacidad que puedan ser relevantes para ese tipo de intervencin, teniendo en cuenta que aunque el punto de partida deben ser las
propias diferencias de gnero que existen en cualquier otro mbito, es posible que en el de la discapacidad stas sean diferentes. Por ejemplo, mientras la tradicin de las familias de no proporcionar educacin superior a las
mujeres ha casi desaparecido para la mayora de la poblacin (y ya no constituye una diferencia de gnero en pases desarrollados), en el caso de las
mujeres y hombres con discapacidad sigue siendo una diferencia relevante.
Para ello, entre las intervenciones que ignoran la perspectiva de gnero es
til diferenciar entre tres posibles escenarios:
a) La intervencin ignora y reproduce diferencias de gnero preexistentes o de otros mbitos, que afectan tanto a las mujeres discapacitadas como al resto. Por ejemplo, el programa de formacin ocupacional se centra en tipos de trabajos donde, en el momento de la
contratacin, se discrimina sistemticamente a las mujeres, y por lo
tanto todas ellas logran menos empleos tras la formacin.
148
En este caso la intervencin contribuye al fenmeno de la doble discriminacin, pero en la misma medida que ste ya exista, y no fomenta ninguna nueva fuente de discriminacin de gnero exclusiva
del mbito de la discapacidad.
b) La intervencin incorpora sus propias diferencias de gnero especficas del mbito de la discapacidad, que no existen cuando se trata del
resto de mujeres Por ejemplo, el programa de formacin ocupacional
no prev la menor disposicin de las familias a dar educacin a las
mujeres con discapacidad (un fenmeno exclusivo de ese mbito).
En este caso la intervencin puede estar generando por ella misma
mayores diferencias de gnero, profundizando el grado de discriminacin existente al incorporar una nueva fuente de discriminacin
c) Por ltimo, es posible que dada la naturaleza de la intervencin, aunque sta ignore la perspectiva de gnero consiga no reproducir ni contribuir a ningn tipo de discriminacin. Sin embargo en el mbito que
nos ocupa esta situacin sera de las ms excepcionales (ya que tanto en el campo de la formacin como en el del empleo las diferencias
de gnero suelen estar muy presentes).
Sin pretensin de exhaustividad, a continuacin se enumeran algunos
de los casos ms habituales de doble discriminacin que pueden tenerse en cuenta al evaluar una intervencin (adaptacin de CERMI, 2012,
pp. 249-350):
Dificultad de acceso de las mujeres a los procesos de orientacin profesional e inadecuacin de los servicios a sus necesidades, lo que provoca situaciones de desencuentro entre las capacidades, competencias y expectativas laborales de las mujeres con discapacidad y las
expectativas, necesidades y tendencias del mercado laboral.
149
Las tradiciones y estereotipos respecto a las mujeres con discapacidad, que influyen en la eleccin de la educacin, en generar situaciones de mayor sobreproteccin, en la desmotivacin que genera la
resignacin a las situaciones de inactividad, ausencia de autonoma
en la toma de decisiones, etc.
Segregacin horizontal: los empleos que ocupan las mujeres con discapacidad se concentran en un nmero muy limitado de sectores y
profesiones. Adems, estos empleos suelen estar, por lo general, menos valorados socialmente.
Segregacin vertical: las mujeres con discapacidad ocupan principalmente puestos peor remunerados, de menor responsabilidad y, adems, encuentran mayores obstculos en su desarrollo y promocin
profesional.
Nivel educativo y/o formativo escaso y poco ajustado a las demandas
del mercado de trabajo.
Muy baja expectativa en cuanto a las posibilidades profesionales.
Dificultad para el acceso a los mecanismos de bsqueda de empleo
y la utilizacin de los sistemas de intermediacin laboral, as como a
los servicios de informacin, orientacin y formacin profesional.
Menor autoestima y mayor influencia de los estereotipos sociales en
la propia imagen como mujeres.
Conflicto entre el rol tradicional asignado por su condicin de mujer y
la negacin de la propia sociedad para que en la prctica pueda desarrollarlo.
Sobreproteccin del entorno familiar y mayor aislamiento social, lo que
conlleva una falta de oportunidades.
150
Por ltimo, en trminos generales para que una evaluacin sea sensible
al gnero, es necesario tratar de incorporar esa sensibilidad desde el momento mismo del encargo y diseo de la evaluacin. As, una buena prctica ser tratar de garantizar que esa mirada de gnero se encuentre incorporada en el equipo de evaluacin (a priori, recogido como requisito del
encargo, o bien a posteriori, generando o potenciando esta sensibilidad mediante el desarrollo de actividades de sensibilizacin o formacin) y/o en la
propia entidad ejecutora de la intervencin. Igualmente, el diseo metodolgico ha de buscar tambin orientar de una forma explcita el proceso de una
manera sensible, de tal forma que si las diferentes fases se realizan de la
manera prevista, se garantice la incorporacin del enfoque de gnero durante la evaluacin (Ligero et al., 2012).
Preguntas e indicadores relativos a la perspectiva de gnero

Para disear correctamente la parte de la matriz de evaluacin (preguntas e indicadores) que va a incorporar la perspectiva de gnero, es necesario en primer lugar tener presente cul es el eje y la finalidad de esa evaluacin en concreto. En el caso de que se est valorando el diseo de la
intervencin (generalmente desde una perspectiva ex ante), el objetivo ser
el de evitar las consecuencias negativas no intencionales de las acciones
de la intervencin, promover unos efectos equivalentes en mujeres y hombres y potenciar la transversalidad de las polticas de gnero (adaptado de
Espinosa, 2011, p. 154). Si, en cambio, el foco de la evaluacin es valorar
la efectividad de la intervencin (desde una perspectiva ex post), se tratar
de identificar la situacin de partida de hombres y mujeres y estimar los posibles impactos (no previstos) de la accin, de acuerdo con la lgica que
subyace a la intervencin propuesta (Comisin Europea, 1997)38.
38
La cuestin del impacto de gnero se aborda con mayor detalle en el apartado 4.6.
151
Centrndonos en los aspectos del diseo de la intervencin, en cuanto a

las preguntas de evaluacin e indicadores asociados es necesario recordar
que deben formularse de tal manera que nos permitan, en primer lugar, determinar si se han tenido en cuenta las diferencias generales existentes entre mujeres y hombres, pero seguidamente ver tambin si se han identificado y valorado los obstculos y discriminaciones especficas de las que
pueden estar siendo objeto las mujeres con discapacidad.
As, algunas preguntas e indicadores de inters para una evaluacin seran, a modo orientativo y sin nimo de exhaustividad, las siguientes:
Respecto a la participacin en el proceso de definicin y formulacin
del programa (criterio de Participacin).
Se ha contado suficientemente con mujeres en la definicin del problema y en la propuesta de solucin?
Indicador: porcentaje de mujeres que han participado en la definicin
del problema y perfil de las mismas.
Se han diseado mecanismos especficos para tratar de garantizar la
participacin de las mujeres en el diseo de la intervencin?
Indicador: nmero y tipos de mecanismos implementados para garantizar el acceso de las mujeres a las diferentes actividades de diagnstico propuestas.
Respecto a la elaboracin del diagnstico (criterio de Pertinencia).
El diagnstico de la intervencin recoge suficiente informacin desagregada por sexos?
Indicador: existencia y nmero de variables de diagnstico que estn
desagregadas por sexo.
152
Indicador: calidad de la informacin desagregada por sexo.

Existe reconocimiento de la existencia de problemas especficos de
mujeres y hombres que son resultado de las relaciones de gnero existentes?
Indicador: en el diagnstico de situacin elaborado y respecto al problema detectado, existencia y nmero de referencias a la especificidad
del mismo en las mujeres, as como a los obstculos a los que estas
se deben enfrentar para incorporarse al programa propuesto y aprovecharlo con xito.
En el anlisis del problema, se considera el papel de los diferentes
roles reproductivo, productivo y comunitario de mujeres y hombres?
Indicador: existencia en el diagnstico de referencias explcitas a los
diferentes roles asignados a las mujeres, y de las consecuencias que
esto tiene para su participacin en programas de esta naturaleza y para
el xito de los mismos.
Respecto a la formulacin de la intervencin (criterio de Coherencia).
Partiendo de cul es la poblacin beneficiaria de la intervencin (mujeres, hombres o ambos), se llega por igual a mujeres y hombres?
se benefician por igual mujeres y hombres? salen perjudicadas en
algn sentido las mujeres?
Indicador: se ha identificado adecuadamente tipos de perfiles o grupos
potencialmente beneficiados y perjudicados por la misma.
Indicador: se ha identificado y propuesto soluciones para los mecanismos que pueden impedir que la intervencin llegue a las mujeres.
La intervencin toma medidas para tener en cuenta la incidencia de los
diferentes roles (productivo, reproductivo y comunitario) de las mujeres?
153
Indicador: existencia y nmero de caractersticas de la intervencin que

se han adaptado explcitamente (por ejemplo los horarios de un curso
de formacin, acompasados con los horarios infantiles) y que se vinculan directamente con sus diferentes roles.
Se tiene en consideracin los distintos usos del tiempo de mujeres y
hombres?
Indicador: existencia de informacin relevante sobre los diferentes usos
del tiempo entre mujeres y hombres en el mbito especfico estudiado,
y relacin de esta informacin con las medidas contempladas en la intervencin.
Se ha tomado en consideracin la posibilidad de que existan discrepancias en el seno de las familias para permitir la participacin de las
mujeres en el programa? Cmo se prev abordar esa cuestin en el
mbito familiar?
Indicador: tipos de medidas contempladas para intervenir sobre las relaciones de gnero en las relaciones familiares y sus consecuencias
para la participacin de las mujeres en el programa.
Se explicita una estrategia transversal para impulsar la igualdad de
gnero? Se identifican objetivos referidos a cambios en las relaciones
de gnero? Y objetivos dirigidos a actuar sobre problemas especficos de mujeres y hombres?
Indicador: tipos y nmero de medidas contempladas que tienen como
objetivo explcito un impulso de la igualdad entre mujeres y hombres,
y alcance previsto de las mismas.
Respecto a la relacin con otras intervenciones (criterio de Complementariedad).
Se ha analizado qu otras intervenciones en el mbito de la lucha
contra la discriminacin de gnero pueden estar afectando a la mis-
154
ma poblacin beneficiaria? Se toman medidas para evitar solapamientos?

Indicador: nmero de referencias a otras intervenciones, tipos y nmero de mecanismos de coordinacin para evitar solapamientos.
Se atiende a la relacin de la desigualdad de gnero con otros tipos
de desigualdades vinculadas a la etnia, la orientacin sexual, la casta,
etc.?
Indicador: tipos y nmero de mecanismos recogidos en el diseo que
toman en consideracin otras medidas existentes en dichos mbitos.
En cuanto a las tcnicas de recogida de informacin, no existe una batera especfica para la incorporacin de la perspectiva de gnero en la intervencin. En general, una regla orientativa a seguir es en cada caso escoger aqullas que mejor permitan obtener informacin desagregada por
sexo, tenindose en cuenta aspectos como el nivel de la intervencin (macro / micro), la informacin disponible, los recursos que estn previstos
para la evaluacin y el tipo y naturaleza de las preguntas e indicadores diseados.
A modo de ejemplo, y conectando con los indicadores propuestos anteriormente, en algunos casos slo se podr obtener un buen anlisis diferenciado por sexo mediante la revisin documental de estudios y bibliografa
especializada, mientras que en otros bastar con acudir a las memorias, actas de reuniones y talleres realizados (analizando la composicin de los diferentes rganos, las expresiones utilizadas, etc.). En otras ocasiones ser
mejor utilizar alguna tcnica de investigacin de tipo cualitativo, como entrevistas en profundidad, grupos de discusin o focales y talleres participativos,
mientras que se podr emplear encuestas siempre que en ellas est correctamente especificada la variable de sexo.
155
3.4. LA CUESTIN DE LA GOBERNANZA: EL CRITERIO DE

PARTICIPACIN
Una primera tarea esencial cuando empezamos a disear una evaluacin
consiste en la identificacin de los principales actores implicados (stakeholders) en el programa y la determinacin de su papel en relacin con la intervencin. Esta actividad nos va a permitir dibujar un mapa de actores de
gran utilidad para todas las fases de la evaluacin: por una parte, nos va a
servir de base para el anlisis del criterio de participacin, mientras que por
otro lado nos facilitar, durante la fase de diseo de la evaluacin, la elaboracin de indicadores y la definicin de tcnicas y fuentes de informacin39.
Con todo, la concrecin de esta primera batera de actores no significa que
todos vayan a participar en el proceso, ni que su incorporacin tenga el mismo peso e importancia.
Respecto al abordaje del criterio de participacin, el anlisis nos llevar
a tratar de determinar cules de los actores son claves y deberan haber estado en el proceso de diagnstico, formulacin, implementacin y seguimiento, ya que no necesariamente es importante que estn todos en todas y cada
una de las fases. Igualmente, desde el punto de vista del diseo de la evaluacin tambin deberemos determinar, en funcin de nuestras preguntas
de evaluacin e indicadores, cules de ellos tienen un papel relevante para
responder a las necesidades informativas que se planteen.
Para ilustrar la construccin de un mapa de actores tomaremos como
ejemplo el plan de actuacin 2002/03 del S.U.P.E (Servicio de la Unidad de
39
Es interesante rescatar aqu la distincin hecha en el apartado 2.4 entre:

a) Valorar la participacin de actores en la intervencin (criterio de participacin).
b) Incluir a los actores en la toma de decisiones sobre el diseo de la evaluacin (evaluacin participativa).
c) Acudir a los actores como una fuente de informacin para la evaluacin (evaluacin
pluralista).
156
Programas Educativos) de la Direccin de rea Territorial (D.A.T) de Madrid

Sur. Dicho plan abord la necesidad de mejorar la informacin disponible en
los centros de secundaria sobre los recursos de insercin laboral a los que
pueden acceder las personas con discapacidad, as como la necesidad de
mejorar la capacitacin de esas personas en esa etapa (actitudes, hbitos
y habilidades) preparndolas para el posterior acceso al mbito laboral. Este
escenario nos permite proponer un rico mapa de actores que habran sido
de inters ante una eventual evaluacin de ese plan de accin:
Poblacin con discapacidad susceptible de participar en la intervencin,
en este caso el alumnado con discapacidad de los centros de educacin secundaria en la zona de Madrid Sur.
Resto de alumnado de educacin secundaria de Madrid Sur.
Familiares de ambos grupos de alumnado.
Centros de Educacin Secundaria financiados con fondos pblicos de
la D.A.T. Madrid Sur.
Resto de Institutos de Educacin Secundaria de Madrid Sur.
Profesionales, asociaciones y entidades del tercer sector:
Equipos de Orientacin Educativa y Psicopedaggica
Fundacin Sndrome de Down (proyecto Stela)
Servicio de Intermediacin Laboral para personas sordas. Asociacin de sordos de Madrid - SILPES Madrid ASM
AFANIASLabor 3- Centro de Insercin Laboral
Fundacin ONCE
COCEMFE
Centros Especiales de Empleo (CEE)
157
Federacin de Enseanza de CCOO de la Comunidad de Madrid

FETE-UGT Madrid
Administracin Pblica Estatal (con el fin de analizar posibles complementariedades):
Ministerio de Sanidad y Poltica Social:
Direccin General de Poltica de Apoyo a la Discapacidad
Oficina Permanente Especializada OPE del Consejo Nacional de
Discapacidad
Ministerio de Empleo y Seguridad Social:
Unidad Administradora del Fondo Social Europeo
Administracin Autonmica o Municipal:
Servicio de la Unidad de Programas Educativos (S.U.P.E.) de la Direccin de rea Territorial (D.A.T.) Madrid Sur (entidad ejecutora)
Direccin General de Servicios Sociales de la Comunidad de Madrid
Consejera de Sanidad de la Comunidad de Madrid
Consejera de Educacin de la Comunidad de Madrid
En general, el mapa de actores final variar en cada evaluacin, dependiendo tanto del objeto de evaluacin de que se trate (programa, proyecto o poltica, en un determinado mbito geogrfico o administrativo),
como de las caractersticas de la propia evaluacin (especialmente de
cules sean su foco y su alcance). Con todo, en el mbito de la discapacidad es importante sealar el peso especfico que el movimiento asociativo ha tenido en el traslado a la agenda poltica de la realidad de las per-
158
sonas con discapacidad, as como en la exigencia de responsabilidad pblica en cuanto a la atencin a sus necesidades; del mismo modo, las
asociaciones han tenido un papel muy relevante a la hora de brindar servicios a las personas y familias con discapacidad (y lo siguen teniendo en
muchos casos), habitualmente antecediendo la actuacin de la propia administracin.
Por todo ello, cuando se evalen intervenciones relacionadas con la discapacidad el equipo de evaluacin debera prestar especial atencin a los
actores del tercer sector, independientemente de la relevancia que se otorgue al papel de la administracin pblica (evitando que, cuando se trate de
intervenciones pblicas, la atencin se centre exclusivamente en los gestores o cargos de la administracin). As, sern tiles sus valoraciones en torno a la identificacin de los problemas sociales, la definicin de los objetivos y, muy especialmente, los motivos de su frecuente sobreestimacin, que
ha conllevado un sistemtico incumplimiento de metas excesivamente ambiciosas.
Desde una perspectiva ms pragmtica, el movimiento de la discapacidad ha gozado tradicionalmente de una slida organizacin, que normalmente ha venido acompaada de una buena comunicacin entre las diferentes
entidades que lo componen, as como de un elevado potencial de movilizacin. Todo ello constituye una serie de ventajas que puede aprovechar el
equipo de evaluacin, ya que la consolidacin de alianzas con estos actores durante la ejecucin de la evaluacin y su participacin en el propio proceso pueden facilitar enormemente el acceso a los datos y a las personas
informantes (por ejemplo en trminos del tiempo invertido en localizar a las
personas o instituciones clave). Es ms, normalmente las asociaciones disponen de informacin relativamente concentrada y ya procesada, lo que no
slo nos facilitar su utilizacin y anlisis sino que tambin permitir destinar tiempo y recursos a ponerse en contacto con informantes o acceder a
las poblaciones que queramos entrevistar.
159
En trminos de la utilizacin de las evaluaciones, la implicacin de las entidades no solo como informantes sino como participantes en el proceso de
toma de decisiones sobre la evaluacin (en el contexto de las evaluaciones
participativas), seguramente aumente las posibilidades de apropiacin del
proceso por su parte y se traduzca en una mayor implicacin en su difusin.
Su participacin en los debates en torno a los resultados y en la determinacin de conclusiones y recomendaciones puede incluso derivar en una aplicacin mayor de las mismas, ya que como se dijo en muchos casos el tercer sector est parcial o totalmente implicado en la ejecucin de las
intervenciones (vase por ejemplo la Evaluacin final del Plan de Accin
para Personas con Discapacidad 2005-08 de la Comunidad de Madrid).
Por ltimo, a pesar de todas las ventajas que hemos identificado derivadas de la presencia y fortaleza del movimiento asociativo, ello tambin puede conllevar alguna dificultad debido a las rigideces que toda institucin de
largo recorrido tiende a consolidar. En el mbito de la discapacidad, ello se
traduce en una cierta inercia a replicar las intervenciones y automatizar su
reedicin, lo que en la prctica puede dificultar la incorporacin de nueva
evidencia sobre los cambios que estn sucediendo en la realidad diaria de
las personas con discapacidad. En los procesos de evaluacin ser pues
recomendable tratar de incorporar de forma directa las voces de las propias
personas con discapacidad y sus familiares, con el objetivo de ayudar a que
esa informacin se acabe trasladando eficazmente al diseo de futuras intervenciones.
Asimismo, debemos tener en cuenta la importancia de la diversidad en el
fenmeno que estamos tratando: la discapacidad. No estamos ante una realidad homognea, sino que la discapacidad presenta contornos y necesidades especficas segn el tipo de que se trate, siendo el caso ms evidente
el de la diferencia entre una discapacidad fsica y una intelectual. Por tanto, se deber tener especial cuidado a la hora de identificar a los actores
segn cul sea el colectivo especfico al que se dirige la intervencin.
160
Un ejemplo que resulta ilustrativo sobre la toma en consideracin de diferentes aspectos de la participacin en un proceso evaluativo es la Evaluacin del Valor Aadido Comunitario del Programa Operativo de Lucha contra la Discriminacin gestionado por la Fundacin ONCE (Fundacin ONCE,
2011). En esta evaluacin podemos destacar dos aspectos relevantes: 1)
una rica seleccin de actores que dio lugar a que se cubriese adecuadamente el espectro de necesidades informativas, y 2) esta evaluacin tambin representa un ejemplo de evaluacin participativa en la que los actores no solo han participado como informantes, sino que tambin se
implicaron en el ajuste final del trabajo de campo, en el anlisis de resultados y la emisin de conclusiones y recomendaciones. El proceso de participacin se estructur mediante una tcnica denominada Talleres 5 X 5, la
cual se detalla en el Cuadro 3.2.
CUADRO 3.2
Los talleres 5 X 5 en la Evaluacin del Valor Aadido Comunitario
del Programa Operativo de Lucha contra la Discriminacin gestionado por la Fundacin ONCE
Los talleres 5x5 se caracterizan por trabajar con los principales grupos que
afectan o son afectados por el programa, y que en este caso eran las propias
personas con discapacidad, sus familias, los empresarios y empresarias que les
contratan, los tcnicos y tcnicas de los programas de empleo y lo que hemos
denominado la sociedad, normalmente a travs de representantes de asociaciones de la discapacidad y responsables de la administracin pblica. Se ha trabajado con 5 personas de cada uno de los 5 perfiles de ah la denominacin 5x5
en varios momentos en el desarrollo de la evaluacin. Y ello se ha hecho, adems, en cada una de las regiones que haban sido seleccionadas en razn del
nmero de participantes del programa procedentes de esos lugares, intentando,
adems, que representasen la variedad geogrfica y econmica de Espaa: Andaluca, Catalua, Galicia, Madrid y Comunidad Valenciana.
161
El proceso participativo cuenta con tres momentos especialmente relevantes:

dos rondas en las que participan las mismas personas y un tercer taller, donde
participa una representacin de todos los dems. Todo ello se ilustra en la siguiente figura. En ese momento se aprovech para definir con mayor precisin el
trabajo de campo, se presentaron y discutieron los resultados iniciales y, finalmente, se generaron algunas de las conclusiones y recomendaciones.
Estructura del proceso participativo
Fuente: Evaluacin del Valor Aadido Comunitario del Programa Operativo de Lucha contra la
Discriminacin gestionado por la Fundacin ONCE.
Finalmente, proponemos a continuacin una lista de posibles preguntas de

evaluacin relativas a la participacin y sus correspondientes indicadores, seguidas de un breve comentario sobre las tcnicas de recogida de la informacin.
162
En qu medida han participado los actores en la formulacin de la intervencin?
Indicador: cantidad de actores que participaron en el diseo y la formulacin de la intervencin, por tipo de actor y medio de participacin (entrevistas, grupos de trabajo, etc.).
Indicador: intensidad de la participacin de los actores, nmero de reuniones, proporcin de propuestas hechas por los actores que se han
incorporado.
En qu medida han participado los actores en la implementacin y
puesta en marcha de la intervencin?
Indicador: cantidad de mejoras aplicadas a la implementacin de la intervencin que fueron propuestas por los actores.
Han participado todos los actores relevantes?
Indicador: grado de correspondencia entre el mapa de actores relevantes y los que realmente han participado en la intervencin.
Han funcionado adecuadamente los mecanismos diseados para canalizar la participacin de los actores en las diferentes fases?
Indicador: satisfaccin de los diferentes actores con los mecanismos
empleados para canalizar la participacin, por tipo de actor y tipo de
mecanismo.
En qu medida se han tomado en consideracin las aportaciones de
los actores?
Indicador: satisfaccin de los diferentes actores con la toma en consideracin de sus opiniones, por tipo de actor y fase del proceso.
163
Ha habido una proporcin equilibrada de mujeres y hombres en los

procesos participativos?
Indicador: porcentaje de participantes en la intervencin segn sexo y
grupo de referencia.
Indicador: existencia de diferencias entre mujeres y hombres en la valoracin de los diferentes mecanismos de participacin.
Se han tenido en cuenta las dificultades especficas de algunos grupos para garantizar su participacin (en el caso, por ejemplo, de la poblacin no organizada)?
Indicador: nmero de actores que pudiendo haber participado, no lo
han hecho por causas ajenas a su voluntad (por ejemplo que desconocan la existencia del programa).
Respecto a las tcnicas de recogida de informacin, existen manuales especficos que detallan todo el abanico de tcnicas disponible (un buen ejemplo sera Bustillos y Vargas, 2002), como pueden ser los talleres 5 X 5, el
metaplan, el flujograma o el DAFO. Con todo, la mejor estrategia para la seleccin final de las mismas consiste en elegir aqullas que mejor permitan
canalizar la participacin de grupos heterogneos de actores, facilitando
abordar el debate y la discusin con el objeto de intentar alcanzar consensos (sobre todo cuando estamos ante evaluaciones participativas).
3.5. ABORDAR LA MEDICIN DEL IMPACTO DESDE UNA

PERSPECTIVA EX ANTE
Como se vio en el apartado 2.4, el eje sobre el que gira el criterio de efectividad es la medicin del impacto de la intervencin, en tres dimensiones
posibles: el impacto neto (imputable a la intervencin tras descartar la in-
164
fluencia del contexto), el impacto a largo plazo, y el impacto sobre otras personas o mbitos sociales.
En el captulo 4 se ver en profundidad cmo abordar estas tres posibilidades cuando se dispone de informacin sobre los resultados de la intervencin, que es cuando habitualmente se querr medir el impacto. Sin
embargo, en ocasiones ser de inters analizar el impacto esperado de
una intervencin, tratando de discernir esas tres dimensiones del impacto (o alguna de ellas) con anterioridad a que la intervencin se ponga en
marcha.
Medir con cierta fiabilidad el impacto esperado es una tarea compleja, que
deber empezar por estimar los resultados previstos de la intervencin, para
luego incorporar aproximaciones sobre qu elementos contextuales pueden
condicionar esos resultados (para discernir el impacto neto), qu aspectos
cambian a lo largo del tiempo (para considerar el largo plazo), o qu otras
personas es posible que se vean afectadas por la intervencin. Habitualmente se tratar pues de un ejercicio especulativo y que se ver obligado
a incorporar numerosas suposiciones, de modo que es recomendable que
los equipos de evaluacin sean prudentes y solamente aborden esta cuestin cuando sea estrictamente necesario40, o cuando est muy claro que la
informacin que se va a obtener ser de utilidad.
A continuacin se proponen dos posibles aproximaciones que son utilizadas con cierta asiduidad, si bien la cuestin del impacto esperado es una
de las que siguen ms abiertas en el mbito de la evaluacin, y sobre las
que se realiza avances y nuevas aportaciones constantemente.
40
La Comisin Europea por ejemplo exige que las evaluaciones ex ante de los Programas
de Desarrollo Rural financiados con cargo al fondo FEADER midan el impacto esperado, si bien
suele ofrecer total libertad a los equipos de evaluacin para que elijan la metodologa (ver el
Marco Comn de Seguimiento y Evaluacin del periodo 2007-2013, Nota J).
165
La utilizacin de modelos formales

Una primera posibilidad es la utilizacin de modelos formales que en cierta forma son reproducciones a escala de cmo funciona la realidad. Generalmente se trata de estructuras matemticas (grupos de ecuaciones) en
las cuales una de las variables en juego es la que va a ser afectada por la
intervencin (por ejemplo la bonificacin de las cuotas a la Seguridad Social que las empresas pagan por las personas con discapacidad que tienen
empleadas), mientras que el resto de variables tratan de capturar de forma
sinttica todas aquellas interacciones que ocurrirn una vez la intervencin
haya finalizado. Entre los ejemplos ms conocidos estn los modelos macro y microeconmicos, los modelos basados en regresiones multivariable,
las tablas input-ouput, etc.
La gran mayora de estos modelos se basan en la incorporacin de informacin estadstica a gran escala, por lo que ser recomendable utilizarlos
cuando se est evaluando macro-polticas o planes de gran alcance, mientras que en el caso de pequeos programas de mbito local es cuando menos tiles van a ser (ya que rara vez habr en el modelo una variable adecuada que recoja el tipo de cambios que la intervencin va a producir).
Adems, muchos de ellos habrn sido diseados para analizar intervenciones de naturaleza econmica, de modo que permitirn medir solamente ese
tipo de impactos y siempre de manera cuantitativa; en el caso del mbito de
la discapacidad pues, estos modelos sern de utilidad para evaluar polticas
de empleo, y medir el impacto esperado en indicadores como el nmero de
personas contratadas, o el incremento en el salario medio.
Por otro lado, se trata de herramientas que casi siempre alguien ya ha
desarrollado previamente, generalmente una institucin o un grupo de investigacin, y que en cada caso estarn pensadas para reflejar una realidad
social determinada (por ejemplo el mercado de trabajo de una Comunidad
Autnoma). Su funcionamiento prctico podra ilustrarse con el siguiente
166
ejemplo: supongamos un plan estatal de fomento del empleo de personas

con discapacidad, que consiste en un paquete de incentivos a todas las empresas de la Comunidad, de modo que la contratacin resulte ms barata;
en ese caso podra utilizarse un modelo del mercado laboral de dicha Comunidad, que entre sus caractersticas estuviese la de permitir calcular especficamente en cunto aumenta la contratacin de un grupo de trabajadores cuando su coste de contratacin relativo disminuye (respecto al resto de
colectivos). As, el modelo estara incluyendo en su propia estructura todas
las caractersticas distintivas del mercado laboral de esa Comunidad, de
modo que sera una especie de rplica del mismo y slo servira para intervenciones en dicho mbito.
La principal ventaja que tienen este tipo de modelos es que, por la propia forma en que se construyen, se asume que capturan completamente
todo el conjunto de interacciones y efectos contextuales que se producen,
tanto en el corto como en el largo plazo. Por lo tanto, desde el punto de vista de la evaluacin la utilizacin de esta herramienta es aconsejable que se
plantee como una cuestin de todo o nada: si se opta por usar un determinado modelo, se tomarn sus resultados como una estimacin final (seguramente la mejor posible) del impacto esperado, pero sin tratar de modificarlos, refinarlos o analizarlos con otras tcnicas. Igualmente, excepto en
el caso de que en el equipo de evaluacin haya alguien muy familiarizado
con el modelo que se est utilizando, se desaconseja que se realicen cambios o adaptaciones del mismo exclusivamente para usarlo en la evaluacin
(ya que habitualmente es ms probable que se traduzcan en distorsiones o
sesgos en lugar de en mejoras).
Respecto a sus limitaciones, la primera y ms importante es la enorme complejidad tcnica que conllevan. Su utilizacin requerir en la mayora de los casos la participacin en la evaluacin de una persona especialista en ese campo, y ser necesario entender primero y explicar despus las numerosas
hiptesis y suposiciones de las que parten. Adems, como se ha visto, rara-
167
mente permiten capturar aspectos que no sean cuantitativos y de naturaleza

econmica, y si bien capturan alguno de los posibles impactos en otras personas que no participan en la intervencin (como por ejemplo el resto de trabajadores que no tienen ninguna discapacidad pero compiten por esos mismos
puestos de trabajo), ello es todava ms complejo de manejar tcnicamente.
Existencia de evidencia previa
La segunda posibilidad que tiene un equipo de evaluacin que quiera valorar el impacto esperado es recabar evidencia previa (trabajos de investigacin, otras evaluaciones, etc.) sobre el impacto que han tenido otras intervenciones similares, o bien sobre aspectos parciales que en general
suelen ser relevantes de cara a medir el impacto (como por ejemplo un estudio que constate que la formacin ocupacional en determinado sector suele quedar obsoleta transcurrido poco tiempo, lo que sera importante de cara
a estimar el impacto a largo plazo).
En el caso de la informacin sobre otras intervenciones, ser til tanto si
se trata de intervenciones muy parecidas a la que se evala pero que se
han llevado a cabo en otro mbito territorial (en otro pas, en otra regin),
como si son intervenciones algo distintas pero que aportan informacin sobre la misma realidad social que ahora se va a afectar (por ejemplo si estamos evaluando un programa de orientacin laboral dirigido a personas con
discapacidad que buscan empleo en un determinado municipio, y disponemos de informacin sobre la actitud hacia esta cuestin de las empresas
ubicadas en ese mismo municipio).
Este tipo de aproximacin indirecta puede resultar de gran utilidad en muchas evaluaciones, ya que es relativamente poco costosa (especialmente en
comparacin con la utilizacin de modelos formales) y permite adems acumular mltiple evidencia que apunte en una misma direccin, reforzando la
fiabilidad de la estimacin del impacto esperado.
168
En cambio su principal dificultad es que requiere tener una comprensin

muy clara de qu factores pueden afectar el impacto de una intervencin,
especialmente en el caso de aqullos que no estn directamente presentes
en ella41. As por ejemplo, para prever como parte del impacto esperado los
cambios de actitud que puede haber en las familias de las personas discapacitadas cuando stas encuentran trabajo por primera vez, ser necesario
que el equipo de evaluacin se haya topado con alguna evidencia a este
respecto; en este sentido, un trabajo inicial de consulta con los actores sociales interesados en la intervencin ser la mejor forma de orientar la bsqueda de evidencia til para estimar el impacto esperado.
3.6. LA UTILIDAD DE ESTABLECER A PRIORI UN BUEN SISTEMA

DE SEGUIMIENTO Y EVALUACIN CONTINUA
El seguimiento consiste en recopilar, sistemtica y peridicamente, informacin relevante sobre el progreso en la ejecucin de una intervencin. Un
sistema de seguimiento es por lo tanto un proceso continuo de observacin
y anlisis de la ejecucin de una intervencin, destinado a asegurar que sta
se desarrolle como estaba previsto y avance en la consecucin de sus objetivos. En principio, todo sistema de seguimiento debera definir adecuadamente los siguientes tres elementos:
Qu informacin es relevante para nosotros (indicadores)
Cmo debera ser recolectada y analizada (mtodos/fuentes de informacin)
Quin se involucrar en cada fase (competencia/responsabilidad)
41
En el apartado 4.5 se profundiza en el criterio de efectividad y en los aspectos ms importantes para medir las distintas dimensiones del impacto y los factores que entran en juego.
169
La principal funcin de los sistemas de seguimiento, cuando no se implementan solamente para cumplir con un requisito formal de obligatoriedad,
es facilitar y mejorar la correcta ejecucin y gestin de una intervencin.
Adems, un buen sistema de seguimiento puede resultar de gran relevancia para garantizar el xito de la misma, ya que permite ir recabando informacin de forma regular y generar seales sobre la direccin que va tomando y el grado de consecucin de sus objetivos.
En el mejor de los escenarios posibles, el seguimiento debera incluso llegar a servir para tomar decisiones informadas de reorientacin de la intervencin: si nos desviamos del camino marcado, podremos establecer rectificaciones a tiempo que reduzcan las posibilidades de fracaso. Por ejemplo,
imaginemos un proyecto de insercin laboral de poblacin con discapacidad
que contempla la realizacin de formacin ocupacional. Los indicadores de
seguimiento nos pueden avisar de que la poblacin que se forma en determinados sectores profesionales no se est insertando; esta informacin puede iniciar una reflexin sobre la pertinencia de formar en esos sectores de
actividad y no en otros que estn mejor ajustados al contexto econmico local, acometindose luego las medidas correctoras que sean necesarias.
En definitiva, desde la ptica de la gestin la importancia del establecimiento de un sistema de seguimiento radica en que permite:
Obtener la informacin con la calidad, organizacin y estructura suficientes, de modo que se facilite su anlisis y evaluacin tanto en su inicio, como durante su ejecucin o una vez sta haya finalizado.
Describir la evolucin de las actividades, el desarrollo de la intervencin
y el progreso en la consecucin de objetivos, identificando los puntos
crticos y permitiendo detectar problemas, alertar a los responsables sobre posibles desviaciones y facilitar la toma de decisiones.
Conocer quin hace qu y cmo, junto con la organizacin y los procedimientos que se han establecido para la gestin de la intervencin, as
170
como para la coordinacin de distintos niveles en el caso de planteamientos estratgicos.

Adems de la importancia del seguimiento como herramienta de gestin
y toma de decisiones, desde el punto de vista de la evaluacin ste jugar
un papel fundamental como fuente de informacin.
Utilizar el seguimiento para evaluar

El seguimiento y la evaluacin son conceptos sumamente interrelacionados y complementarios, pero no son sinnimos. Mientras que el seguimiento es un proceso continuo y permanente (todos los das, semanas, meses,
a lo largo de la ejecucin de la intervencin), la evaluacin se realiza en perodos establecidos y entre lapsos de tiempo ms largos; mientras que el
seguimiento aporta informacin descriptiva y queda en manos del equipo
gestor el cmo analizarla y utilizarla, la evaluacin avanza la formulacin de
conclusiones y recomendaciones acerca de lo que se observa, en general
a una escala mayor y sobre aspectos tales como el diseo, los resultados
o el impacto de la intervencin.
En el espacio intermedio, y sufriendo ciertos problemas de indefinicin,
se encuentra la llamada evaluacin continua. La evaluacin continua concentra sus procesos de valoracin y enjuiciamiento en el mbito de la gestin de la intervencin, especialmente cuando la gestin est orientada a resultados, reforzando especialmente las funciones de rendicin de cuentas
por el uso de los recursos empleados y de aprendizaje de la experiencia.
La evaluacin continua trata de integrar el ejercicio de la evaluacin como
herramienta clave para la planificacin y ejecucin de intervenciones. Sin
embargo, a diferencia de la evaluacin clsica se considera que la evaluacin continua debe presentar un carcter interactivo (asemejndose en este
171
sentido al seguimiento), ocupando un espacio intermedio entre el seguimiento de la planificacin y la gestin y la evaluacin global de toda la intervencin. De este modo los resultados de la evaluacin continua primero
retroalimentan la ejecucin y programacin, para posteriormente informar las
evaluaciones intermedia y final.
El proceso de evaluacin continua puede empezar en las fases ms tempranas de diseo y planificacin de la intervencin, y a partir de ah ir incorporando en forma de recomendaciones las lecciones aprendidas, durante
todo el desarrollo de la intervencin y hasta la finalizacin de la misma. Asimismo, suele enfocarse de una de estas dos formas:
Midiendo los progresos alcanzados hasta la fecha de referencia por el
conjunto de la intervencin, e incorporando las mejoras con respecto
a las debilidades o dificultades detectadas.
Centrndose en realizar estudios temticos sobre reas de especial
inters durante el proceso de implementacin de la intervencin, realizando estudios temticos que contribuyan de forma especfica a la
consecucin de sus objetivos.
Con todo, el aspecto de mayor inters sobre la relacin entre seguimiento
y evaluacin (tal y como la hemos venido explicando en todo ese trabajo), es
la utilizacin del primero como fuente de informacin para la segunda. La existencia de buenos sistemas de seguimiento puede facilitar enormemente los
procesos de evaluacin, debido a que uno de sus elementos ms costosos
suele ser la recopilacin de informacin sobre la intervencin (cuando sta
existe, ya que en el peor de los casos posibles el equipo de evaluacin deber encargase de generarla l mismo). En este sentido, los sistemas de seguimiento que funcionan correctamente contribuyen enormemente a la evaluabilidad de las intervenciones, pudiendo en ocasiones ser determinantes
para la toma de la decisin final sobre si evaluar o no una intervencin.
172
Sin embargo, es frecuente que los sistemas de seguimiento no se hayan

implementado desde el principio, sino que hayan ido emergiendo en paralelo a medida que se le ha ido requiriendo informacin a la unidad de gestin. Adems, existe una tendencia a recordar la necesidad de recabar informacin cuando la intervencin ya lleva tiempo implementndose, o bien
al final de la misma, cuando llega el momento de evaluar. La consecuencia
de ello tiende a ser que se fragmenta la informacin o, en el peor de los casos, se reduce enormemente su fiabilidad, lo que en la prctica limita mucho su utilidad para la evaluacin; es pues esencial enfatizar la necesidad
de concebir el seguimiento o la eventual evaluacin continua desde el mismo momento del diseo de la intervencin.
Cuando un sistema de seguimiento funcione adecuadamente, los beneficios para la actividad evaluativa sern mltiples. No slo proveer al
equipo de evaluacin de informacin til para el diseo y medicin de indicadores, sino que en general sta le llegar adecuadamente organizada, desagregada y periodizada.
Pero sin duda la mayor ventaja de los buenos sistemas de seguimiento
es que abaratan enormemente la posibilidad de realizar evaluaciones sobre
esa intervencin. En este sentido, se pueden acometer procesos evaluativos muy focalizados, de corto alcance y sobre aspectos especficos, sin tener que comprometer un gran volumen de recursos; en cambio en ausencia de un sistema de seguimiento el presupuesto de las evaluaciones puede
crecer enormemente como resultado de la falta de informacin o del poco
procesamiento de la misma, siendo necesario invertir una gran cantidad de
tiempo y otros recursos en esta tarea.
En lo que sigue de este apartado se definir cmo tiene que ser un buen
sistema de seguimiento y evaluacin continua, y posteriormente se describir cul es la situacin actual respecto a esta cuestin en el mbito de las
intervenciones en discapacidad. En cuanto a cmo utilizar, desde una pers-
173
pectiva prctica, la informacin de seguimiento para realizar evaluaciones

(por ejemplo qu hacer exactamente con los indicadores de seguimiento),
ello se tratar en el apartado 4.4 titulado El desarrollo del seguimiento y evaluacin continuos, y el papel clave de los gestores pblicos.
Caractersticas de un sistema de seguimiento til a la evaluacin

Para definir qu entendemos por un buen sistema de seguimiento y evaluacin continua, no slo son relevantes los aspectos generales que hemos
visto hasta el momento, sino que tambin es importante tener en consideracin aquellos aspectos que harn del sistema una herramienta especialmente til para posteriores evaluaciones. Para ello el sistema debe reunir,
en cada uno de los distintos elementos de los que se compone, ciertas caractersticas deseables42:
a) Ya hemos destacado en otros apartados de este trabajo la importancia
de una buena definicin de la poblacin objetivo, as como de su implicacin en las diferentes fases de la intervencin. Esa importancia debe
trasladarse pues al sistema de seguimiento, de modo que permita ir verificando progresivamente el grado de cobertura de la poblacin, las caractersticas de la misma y la adecuacin de sta al diseo del proyecto.
b) Con el fin de evaluar adecuadamente la coherencia, la eficacia y la
eficiencia de la intervencin, resulta clave contemplar la distincin entre la realizacin de actividades (por ejemplo, la realizacin de un nmero determinado de cursos de formacin ocupacional), el logro de
outputs (que entre los asistentes, una proporcin adquiera las habilidades adecuadas y obtenga la correspondiente certificacin), y la ge42
Para una exposicin detallada y exhaustiva de cmo deben ser los sistemas de seguimiento y qu funciones deben cumplir, ver DGPOLDE (2007) e IDR (2000).
174
neracin de un impacto materializado en los resultados de la intervencin (que de entre el alumnado que se ha formado satisfactoriamente, un porcentaje encuentre trabajo).
c) Para abordar los dimensiones de pertinencia, complementariedad e
impacto ser de ayuda incorporar informacin sobre la evolucin del
contexto socioeconmico (incluido el cumplimiento de la normativa legal y los requerimientos formales) donde se desarrolla la intervencin.
d) En cuanto a la responsabilidad y periodicidad del seguimiento, en general se recomienda que las tareas de seguimiento sean realizadas
internamente por la propia unidad de gestin del programa, ya que el
seguimiento casi siempre constituye una tarea propia e inseparable
de la gestin. Pero desde la perspectiva de resultar lo ms til posible a la evaluacin, ser tambin necesario clarificar al mximo la cadena de responsabilidades sobre la recopilacin de informacin, as
como su periodicidad (considerando aspectos como los plazos fijados
por la propia ejecucin presupuestaria).
En este sentido, es de utilidad el establecimiento de momentos clave (a veces denominados hitos) y de una estructura organizativa para
el propio sistema de seguimiento, siendo la formulacin ms utilizada
la de los comits de seguimiento, los cuales tienen competencias para
afrontar desviaciones en la ejecucin y se renen peridicamente para
analizar los informes de seguimiento. Esta estructura organizativa deber adems velar por la coordinacin de todos los agentes que recopilan informacin para el sistema de seguimiento, evitando que se
dupliquen tareas y fomentando un intercambio de informacin fluido
(siguiendo con el ejemplo anterior, el comit de seguimiento debera
ponerse en contacto con todas aquellas entidades que puedan proporcionar valor e informacin al sistema, como puede ser el Servicio
Pblico de Empleo Estatal).
175
e) Dado que el principal instrumento sobre el que se edifican los sistemas de seguimiento son los indicadores, stos deberan disearse en
los primeros momentos de la intervencin y contemplarse una gama
lo suficientemente rica de ellos, considerando tanto indicadores cuantitativos como cualitativos. Por ejemplo, si abordamos un programa de
orientacin laboral para personas con discapacidad que contemple actividades de informacin y asesoramiento, acompaamiento a la insercin, etc., algunos indicadores cuantitativos y cualitativos podran
ser, respectivamente:
Nmero de personas que acuden al servicio por edad, sexo, formacin previa, origen, municipio de origen, tipo de discapacidad y
particularidades. Esto nos va a permitir analizar la cobertura de la
intervencin y detectar posibles sesgos.
Descripcin de las inserciones, de tal forma que podamos ir obteniendo informacin sobre la calidad del empleo generado en trminos de tipologa de contratos, sector, etc.
En este sentido, se deben tratar de buscar indicadores sencillos, rpidos de recopilar y, si es posible, que nos permitan realizar comparaciones con otros mbitos y contextos. Dependiendo de las posibilidades de la intervencin y si resulta necesario, se pueden utilizar
herramientas especficas para la recopilacin peridica de informacin
destinada a alimentar al sistema de indicadores, como por ejemplo la
realizacin de una encuesta ad hoc.
f)
Un ltimo aspecto importante es cuidar la adecuada vinculacin de

los objetivos de la intervencin con los indicadores de seguimiento,
evitando que se confundan unos con otros. En general se debe tratar
de concretar lo ms posible lo que se pretende lograr, definiendo los
objetivos en trminos de sus tiempos, poblaciones objetivo, ubicacio-
176
nes geogrficas, etc., y trasladando la misma estructura a los indicadores. Ello se har siempre teniendo en cuenta el alcance de la intervencin y tratando de no incrementar en exceso la carga para los equipos de trabajo.
El seguimiento en la prctica actual de las intervenciones

en discapacidad
En el mbito que nos ocupa de las intervenciones en discapacidad, los
ltimos aos se ha empezado a observar un creciente inters por el seguimiento, y parece que los sistemas de seguimiento y evaluacin continua se
ven cada vez ms como elementos centrales y tiles para la propia gestin,
siendo muchas veces las propias unidades de gestin quienes los demandan expresamente.
No obstante, y a pesar de que se han dado avances, una de las principales limitaciones es que el diseo de indicadores de seguimiento se ha focalizado en aspectos macro o excesivamente vinculados a objetivos estratgicos, los cuales en la prctica no proporcionan informacin til ni
suficientemente detallada. Adems, los propios objetivos de las intervenciones sufren de un elevado grado de indefinicin as como de exceso de ambicin, en general tendindose a confundir entre las grandes aspiraciones
estratgicas de transformacin social a largo plazo y la realidad del alcance y los recursos de las intervenciones.
Por otro lado, tradicionalmente se ha venido sufriendo una seria carencia
de estadsticas y fuentes de informacin especficas43, la cual ha hecho difcil la medicin de aspectos complejos como el de las necesidades de la
43
Si bien en los ltimos aos la situacin ha mejorado ligeramente con la posibilidad de acceder a bases de datos como EDAD-08 o los paneles de hogares como EU-SILC.
177
poblacin con discapacidad, produciendo una cierta tendencia a abusar de

los indicadores cuantitativos en detrimento de los aspectos ms cualitativos
(como el grado de verdadera integracin social logrado mediante la insercin laboral). Igualmente, tampoco suelen estar lo suficientemente bien trabajadas la correcta definicin de indicadores y su homogeneizacin, o el reparto de tareas y responsabilidades en cuanto a la recopilacin de los
mismos.
Sin embargo el aspecto donde claramente hay un mayor dficit de informacin es el de los efectos a largo plazo de las intervenciones, especialmente en el caso de la inclusin laboral (mientras que sobre las actividades
de formacin previas el grado de conocimiento que se tiene de las mismas
s es bueno). Saber lo que les pasa a las personas con discapacidad un
tiempo despus de haber terminado su participacin en las intervenciones
es posiblemente una de las grandes asignaturas que siguen pendientes.
Finalmente, a ttulo ilustrativo hemos elegido dos ejemplos de intervenciones que se considera hicieron un esfuerzo para incorporaron un sistema
de seguimiento til a la evaluacin. En primer lugar tenemos el Plan de Empleabilidad para las personas con Discapacidad en Andaluca 2007-2013
(Junta de Andaluca, 2007), en el que se incluyen indicadores de cada una
de las medidas contempladas. La utilidad de los mismos es limitada, ya que
se centran en aspectos cuantitativos de ejecucin (especialmente gasto y
nmero de participantes o acciones realizadas), pero el plan tambin contempla determinados hitos para el seguimiento y la evaluacin (intermedia
y final), as como la creacin de un comit de seguimiento.
Otro ejemplo similar es la Gua de responsabilidad social empresarial y
discapacidad de la Fundacin ONCE (Fundacin ONCE, 2009), donde adems destacamos la utilizacin de indicadores compuestos que, en general,
suelen resultar mucho ms informativos (por ejemplo, el porcentaje de actuaciones de sensibilizacin y/o formacin en materia de no discriminacin
178
o gestin de la diversidad que hayan incluido el tratamiento de la discapacidad, sobre el total de las actuaciones de sensibilizacin y/o formacin en
esas materias).
3.7. EL CASO DE LA EVALUACIN DE IMPACTO NORMATIVO (EIN)

La Evaluacin de Impacto Normativo (EIN) surge al amparo del debate y
la preocupacin por mejorar la calidad normativa de la regulacin que producen los parlamentos y el resto de rganos con capacidad legislativa que
existen. Las polticas de mejora de la regulacin han venido jugando un papel cada vez ms importante dentro de la nocin de buen gobierno, tratando de incorporar una serie de criterios de calidad a la hora de elaborar
nueva regulacin, lo que en la prctica se traduce en la utilizacin de tres
tipos de herramientas: la simplificacin de legislacin ya existente, la reduccin de cargas administrativas, y la evaluacin de impacto normativo. As,
mientras las dos primeras de estas herramientas han venido creciendo gradualmente en su utilizacin por parte de los cuerpos legislativos, la EIN es
todava relativamente desconocida, si bien posiblemente sea la que presente un mayor potencial de mejora en la calidad normativa de las nuevas normas que se aprueban.
En el marco europeo quin ms ha impulsado la utilizacin de la EIN ha
sido la Comisin Europea, principalmente a travs de su programa Legislar
Mejor (Comisin Europea, 2006b) cuyo primer reto fue mejorar la calidad
de las evaluaciones de impacto y utilizar este instrumento para elaborar y
adoptar legislacin, si bien antes de ser adoptada como una prioridad europea la EIN ya se practicaba sistemticamente en los EE.UU. y el Reino
Unido (Pinilla, 2008, p. 10).
Antes de proseguir con la exposicin sobre la EIN conviene hacer sin embargo un parntesis para subrayar la distincin entre polticas (lo que en este
179
trabajo hemos venido denominando intervenciones) y normativa. Lo primero son actuaciones que lleva a cabo tpicamente un rgano ejecutivo (en Espaa puede ser el Gobierno central, un gobierno autonmico o incluso una
diputacin o un ayuntamiento), mientras lo segundo es el producto de la actividad legislativa que llevan a cabo los distintos parlamentos sobre sus competencias (desde el Parlamento Europeo hasta las cmaras legislativas de
las Comunidades Autnomas). Las polticas (y su desagregacin en planes,
programas y proyectos) son herramientas del poder ejecutivo para llevar a
cabo una agenda de transformacin de la realidad, y su aplicacin depende exclusivamente de la voluntad del rgano ejecutivo en cuestin; en cambio la normativa (con las leyes como su mxima expresin) persigue dictaminar qu se puede o no se puede hacer, y una vez aprobada tiene
consecuencias que escapan al rgano legislativo que la promulg, ya que
desde ese momento es el poder judicial quien vela por su aplicacin.
Para ilustrarlo en el mbito de la discapacidad, podemos tomar dos ejemplos extremos. En el caso de las polticas (las intervenciones), podramos
incluir todos los programas de formacin ocupacional que se llevan a cabo
para mejorar la empleabilidad de personas con discapacidad: el programa
nace de la voluntad poltica de la institucin que lo ponga en marcha, y se
prolongar (o tendr ms o menos xito) en la medida en que dicha voluntad se mantenga. En cambio, entre la normativa encontraramos las sanciones vinculadas al despido improcedente en caso de que se est discriminando a una persona por su discapacidad: una vez aprobado en el
parlamento el rgimen que regular dichas sanciones, son los juzgados quienes se encargarn de dirimir cada caso.
Con todo, si bien se trata de una distincin cannica en el mbito de las
ciencias polticas, en la prctica no siempre es fcil trazar una lnea divisoria. En el caso de la discapacidad, por ejemplo, la cuota de reserva del 2%
a favor de la contratacin de personas discapacitadas que deben respetar
las empresas de ms de 50 trabajadores es una disposicin aprobada por
180
Ley (por lo que se tratara de una normativa), si bien su objetivo es claramente de transformacin de la realidad y tanto la forma en la que est redactada como el tratamiento que se le da son ms propios de una poltica
pblica (de discriminacin positiva en apoyo de la igualdad de oportunidades). Este potencial solapamiento entre polticas y normativa se traduce en
que las directrices relacionadas con la prctica de la EIN se acaben pareciendo mucho a las que tiene que ver con la evaluacin de polticas, si bien
no son exactamente lo mismo.
Retomando las consideraciones sobre la EIN, sta se organiza como un
conjunto de pasos o etapas que deben realizarse durante la preparacin de
cualquier nueva normativa, pues si su funcin es la de mejorar la regulacin, la EIN debe empezar a llevarse a cabo tan pronto como surja la idea
de elaborar o modificar una norma (Pinilla, 2008, p. 15). Se trata de un proceso que va a intentar identificar con precisin los objetivos que persigue la
nueva normativa, qu problemas puede tener y, en ltima instancia, qu cambios (qu impacto) se cree que puede producir en la sociedad. En cierto sentido, la EIN puede asimilarse a la valoracin ex ante y conjunta de lo que
aqu hemos definido como los criterios de pertinencia, coherencia y efectividad, si bien esta terminologa no es directamente trasladable.
La Comisin Europea elabor en su momento unas directrices (Impact
Assessment Guidelines) para la aplicacin de la EIN, las cuales fueron revisadas y actualizadas recientemente (Comisin Europea, 2009b) y configuran el llamado sistema de evaluacin de impacto de la CE. Entre los principales objetivos de la EIN, se encuentran:
Ayudar a las instituciones de la Unin Europea a disear mejores polticas y leyes.
Promover un proceso de toma de decisiones legislativas mejor informado.
Asegurar la coordinacin con la Comisin desde el principio del proceso legislativo.
181
Tomar en consideracin las aportaciones de una amplia gama de actores sociales, en lnea con la poltica de la Comisin de transparencia y
apertura hacia las instituciones y la sociedad civil.
Contribuir a asegurar la coherencia entre las polticas de la Comisin y los
objetivos de los Tratados o de las Estrategias globales que se aprueben.
Mejorar la calidad de las propuestas legislativas que se hagan, haciendo pblicos los beneficios y costes de distintas alternativas y ayudando
a que las intervenciones de la UE sean lo ms simples y eficaces posible.
Ayudar a que se respeten los principios de subsidiariedad y proporcionalidad.
Explicar por qu una intervencin propuesta es necesaria y apropiada.
Por ltimo, una caracterstica distintiva de la EIN es su foco en mejorar
el diseo de la normativa, de modo que siempre requiere la formulacin de
opciones alternativas y la estimacin del impacto esperado de cada una de
ellas, tratando de ofrecer un men de alternativas sobre las que legislar.
Sin embargo, es importante sealar que la decisin ltima debe ser poltica
y la EIN no puede sustituirla, sino que solamente se trata de informar y apoyar el correspondiente proceso de debate y negociacin. En este sentido,
existe un acuerdo generalizado de que precisamente para garantizar que el
proceso de decisin ltimo se lleva a cabo en el marco de las prioridades
polticas y no en el de las consideraciones tcnicas, se recomienda que la
EIN sea llevada a cabo por el propio funcionariado que habitualmente asesora y apoya la actividad legislativa.
182
Captulo IV
Evaluar intervenciones que ya estn en funcionamiento:

la evaluacin intermedia y la perspectiva ex post
4.1. ANALIZAR EL PROCESO DE IMPLEMENTACIN COMO

ELEMENTO CLAVE PARA PROPONER MEJORAS
Cuando se aborda la evaluacin de una intervencin que ya est en marcha, un elemento que va a ser indispensable analizar es el proceso de implementacin y ejecucin de la misma. Las conclusiones de dicho anlisis
no permiten enjuiciar directamente ningn criterio de evaluacin propiamente dicho (no se valora la buena o mala ejecucin de las acciones previstas, sino que solamente se constata), pero sirven como antesala de la valoracin del criterio de eficacia. Por ejemplo, si solamente se ha llevado a
cabo la mitad de los cursos previstos en un programa de formacin ocupacional, casi con toda seguridad los resultados (alumnado que termina con la
adecuada capacitacin) se vern mermados en la misma proporcin.
La verdadera importancia de estudiar el proceso de implementacin y el
avance en la ejecucin de las acciones previstas es que las conclusiones,
siempre y cuando lleguen a tiempo, pueden convertirse en una herramienta muy til para los rganos de gestin, permitiendo introducir mejoras y reprogramar o reconducir la intervencin. Adems, el anlisis de la implementacin puede tambin contribuir a poner de manifiesto incoherencias en el
183
diseo o complementariedades que de otro modo se habran pasado por

alto al abordar los respectivos criterios.
La mejor forma de empezar el anlisis de la implementacin es comprobar si la propia intervencin incorpora un plan de accin o similar (puede
constar de diversos documentos y tener varias denominaciones, llamndose plan estratgico, o directamente plan operativo). De ser as, el punto de partida debe ser el estudio de ese material y el anlisis de si efectivamente se est llevando a cabo lo previsto en l, tenindose en cuenta
sin embargo que no siempre la estrategia global y sus distintos componentes se encuentran claramente definidos, o que la misma puede ser fruto de la suma de varios documentos o reglamentaciones independientes
(en cuyo caso el equipo de evaluacin deber reconstruirla como paso previo a su anlisis).
En cualquier caso, cuando hablamos de la implementacin y ejecucin de
una intervencin tenemos que contemplar siempre los siguientes aspectos
de la misma:
Qu se quiere hacer?
Objetivos estratgicos: son los efectos finales (equivalentes a los outcomes) de la intervencin, es decir los objetivos ltimos que se pretende abordar con la misma, vinculados a su justificacin y al diagnstico
que se haya hecho de la realidad.
Objetivos operativos: son los resultados intermedios (equivalentes a los
outputs) que se pretenden alcanzar con la intervencin, y que constituyen pasos previos para llegar a los objetivos estratgicos.
Cmo se va a hacer?
Acciones o actividades: se debe detallar lo que se va a hacer exactamente para conseguir los objetivos operativos y estratgicos.
184
Evaluar intervenciones que ya estn en funcionamiento: la evaluacin intermedia
Personas responsables de su ejecucin: se debe definir la persona, rgano u entidad que se responsabiliza de la ejecucin de las acciones
o actividades.
Recursos: se debe desglosar y cuantificar los recursos que se van a
destinar a la intervencin, tanto los fsicos como los financieros.
Las acciones o actividades son el eje sobre el que debe girar todo el anlisis de la implementacin. Por un lado, debe comprobarse no solamente su
correcta ejecucin, sino tambin que mantienen su coherencia respecto al
sistema de objetivos (estratgicos y operativos), ya que no es extrao que
durante el proceso de puesta en marcha de una intervencin se alteren aspectos sustanciales respecto a su diseo inicial. Por el otro, es necesario
verificar que las acciones se asientan sobre una adecuada dotacin de recursos y una clara estructura de responsabilidades y funciones.
Sin embargo, no siempre encontraremos que la transicin entre el nivel
estratgico y el operativo est bien resuelta, de modo que las actividades
previstas as como las personas responsables de ejecutarlas y sus funciones puede que no estn suficientemente definidas. Un ejemplo de esta situacin podra ser la Estrategia Espaola sobre Discapacidad 2012-2020
(Ministerio de Sanidad, Poltica Social e Igualdad, 2012).
Si bien es cierto que al ser un documento estratgico su prioridad es sealar las grandes lneas a seguir, el hecho de que no haya un posterior desarrollo de las actividades que es necesario ejecutar impide poder llevar a cabo
un anlisis de implementacin til en una eventual evaluacin. En concreto,
el apartado denominado Plan de Accin es el que trata de especificar las
acciones a emprender, pero no logra alcanzar un grado suficiente de detalle; as por ejemplo, en el apartado 6.3 sobre empleo encontramos las siguientes medidas estratgicas (Ministerio de Sanidad, Poltica Social e Igualdad, 2012, p. 33):
185
1. Impulsar el desarrollo de la empleabilidad de un nmero creciente de

personas con discapacidad para garantizar el cumplimiento del objetivo general de empleo del Programa Nacional de Reformas de Espaa 2011.
2. Incorporar en la futura Estrategia Espaola de Empleo el factor discapacidad manteniendo los avances normativos en vigor y mejorando stos garantizando mnimos comunes entre las diferentes Comunidades
Autnomas.
3. Promover las actuaciones precisas para fomentar y desarrollar la Nueva economa de la Discapacidad.
4. Promover actuaciones especficamente dirigidas a impulsar la incorporacin de las mujeres con discapacidad al mercado laboral, en igualdad de oportunidades.
Como podemos observar, estas actuaciones podran entenderse como
subprogramas enteros en s mismas, de modo que hasta que no se desarrollen con mayor profundidad (completando la parte operativa de la Estrategia) no se podr acometer un anlisis de su implementacin y ejecucin.
La problemtica ms habitual en la ejecucin de intervenciones

Cuando el equipo de evaluacin se disponga a analizar la ejecucin de
la intervencin que est evaluando, existe una serie de problemticas y situaciones habituales que se repiten en la mayora de intervenciones, y que
por lo tanto vale la pena describir aqu y comentar brevemente.
En primer lugar, no siempre es fcil identificar a la persona responsable
de ejecutar cada una de las actividades, especialmente cuando se trata de
actividades transversales o que no tiene un papel central en la planificacin
186
operativa. Casi siempre la atribucin de responsabilidades s est, en ltima instancia, bien delimitada en trminos de la normativa que rige la intervencin (ya que de no ser as habra un riesgo serio respecto a los correspondientes rganos de auditora e inspeccin), pero ello no significa que al
equipo de evaluacin le vaya a ser fcil establecerla ni, sobre todo, que sea
pblica: no es raro que entre las distintas personas que componen las unidades de gestin no se sepa con seguridad quin est a cargo de qu.
En la misma lnea, tampoco es extrao que no todas las personas implicadas en la ejecucin de la intervencin conozcan los objetivos de sta (tanto los estratgicos como los operativos), o que se confundan e interpreten
de maneras muy distintas, de modo que los hitos previstos en la ejecucin
de la intervencin no quedan lo suficientemente claros como para identificar
y familiarizarse con los requerimientos necesarios para su consecucin.
Otra fuente de dificultades suele ser la falta de informacin de contexto
necesaria para la ejecucin de la intervencin. Ello puede referirse tanto a
problemas para saber quines son exactamente las personas a las que va
destinada la intervencin, dnde se encuentran o cmo llegar a ellas, como
para determinar con exactitud quin ha participado ya en la intervencin y
quin no, etc. En el mbito de la discapacidad, este problema se manifiesta habitualmente en forma de contabilizacin mltiple de las personas que
participan de diversas intervenciones, por tener ms de una discapacidad o
por formar parte simultneamente de ms de un grupo de vulnerabilidad (por
ejemplo si se trata de una persona de etnia gitana con discapacidad).
Por ltimo, es habitual que se generen dos tipos de ineficiencias organizativas: cuellos de botella en el rbol de procesos de una o varias actividades, o bien la generacin de duplicidades entre distintas unidades de gestin de la misma organizacin o entre distintas instituciones (incluidos los
departamentos de la administracin pblica). De nuevo, el problema de la
generacin de duplicidades y de falta de coordinacin tiene especial inciden-
187
cia en el mbito de la discapacidad, traducindose muchas veces en una

elevada carga burocrtica para las propias personas beneficiarias de las intervenciones. En este sentido, el equipo de evaluacin deber valorar positivamente los esfuerzos y avances en la homogeneizacin de procedimientos y la simplificacin administrativa.
Herramientas de anlisis del proceso de implementacin

Desde una perspectiva metodolgica, aparte de llevar a cabo su propia investigacin, el equipo de evaluacin dispone tambin de un conjunto de herramientas y tcnicas estandarizadas, destinadas a analizar, medir y valorar
procesos y estructuras organizativas. Se puede aplicar, por ejemplo, el conocido modelo EFQM de excelencia y calidad, o tcnicas ms simples como el
anlisis de diagramas de flujo, pero siempre con el objetivo de agilizar la parte de la evaluacin destinada al estudio y anlisis del proceso de implementacin (de modo que si la aplicacin de una determinada herramienta puede
conllevar demasiado tiempo y recursos, es mejor descartarla).
Como se observa, este tipo de modelo agrupa y define en sus distintos
componentes aspectos similares a los que se ha de identificar en una intervencin, tal y como se ha apuntado en los apartados anteriores. Aunque no
se va a detallar su funcionamiento (las cifras de la figura son meramente
ilustrativas, y representan la relevancia que la propia organizacin otorga a
cada elemento), se observa por ejemplo que en la primera fase denominada agentes facilitadores se efecta una identificacin del personal implicado, as como de la estrategia y los recursos utilizados; en un segunda etapa se aborda los procesos desarrollados, lo que en general equivaldra a la
identificacin de las actividades que se expona con anterioridad. Y por ltimo, los aspectos referidos a los resultados que se obtienen en diversos
mbitos.
188
FIGURA 4.1
Sntesis del modelo de calidad europeo EFQM
Fuente: Fundacin Luis Vives (2007, p. 8).
Sin embargo, hay que tener muy claro que aunque estas herramientas
suelan llamarse de evaluacin (de organizaciones o de procesos), en el
marco de este trabajo se deben utilizar solamente como tcnicas de anlisis, recordando que sus resultados no son directamente trasladables a los
de la evaluacin de la intervencin (la cul debe seguir basndose en la matriz de preguntas e indicadores).
Cmo trasladar el anlisis de la implementacin a las preguntas

de evaluacin?
Aunque no existe propiamente una dimensin de la intervencin que se
valore cuando se analiza la implementacin, los resultados de dicho anli-
189
sis generalmente sirven para aportar nueva evidencia a las preguntas de

varios de los criterios de evaluacin, muchas veces tomando la forma de
otro indicador ms que complete la respuesta a esa pregunta.
Por ejemplo, una posible pregunta vinculada al criterio de coherencia (y
por lo tanto a la valoracin del diseo de la intervencin) podra ser:
En qu medida estn correctamente identificadas las actividades a realizar dentro de la estrategia global de la intervencin?
Lo habitual en un primer momento ser responder a esta pregunta estudiando la documentacin sobre la intervencin y el diseo en abstracto de
la misma; sin embargo, una vez se pueda acometer el anlisis de la implementacin, ser posible responderla tambin mediante nueva evidencia, por
ejemplo constatando que la mayora de las personas encargadas de la gestin no saban cules eran ni en qu consistan las actividades que eran responsabilidad de los dems.
As, la informacin sobre ejecucin se utilizar especialmente para construir indicadores (a veces siendo los principales, otras veces con un carcter complementario) principalmente de las preguntas correspondientes a los
criterios de coherencia, complementariedad, eficacia y eficiencia (aunque en
ocasiones el anlisis pueda revelar tambin datos importantes para el resto de criterios).
4.2. LOS PRIMEROS EFECTOS Y EL RESULTADO A CORTO PLAZO:

EL CRITERIO DE EFICACIA
El criterio de eficacia es, en cierto sentido, el ms fcil de analizar y valorar, ya que recoge la nocin ms comn por la que suele juzgarse una intervencin: comprobar si ha conseguido o no aquello que se propona. Por
lo tanto, para enjuiciar la eficacia se deber partir de los objetivos de la in-
190
tervencin (aquello que se quiere conseguir), y proceder a su comparacin

con los resultados que sta haya producido (es decir, lo que realmente se
ha conseguido). Sin embargo, tanto respecto a los resultados alcanzados
por la intervencin como a la definicin de sus objetivos hay una serie de
cuestiones preliminares que es importante tener presentes.
Objetivos estratgicos con un elevado grado de abstraccin

El criterio de eficacia resultar ms fcil de abordar cuanto ms detallada y precisa sea la conexin entre los objetivos estratgicos (de gran alcance) y los objetivos operativos, especialmente cuando estos ltimos se traduzcan en unos resultados esperados cuantificables de alguna u otra forma.
De este modo, si la intervencin establece una cadena causal clara y lgica entre unos y otros, as como una estructura jerrquica o de prioridades
(algo que la evaluacin deber considerar explcitamente bajo el criterio de
coherencia), el anlisis del alcance logrado en los objetivos de menor rango se podr trasladar directamente al de los objetivos estratgicos. El siguiente ejemplo ilustrara una estructura de objetivos adecuada (Figura 4.2).
La figura muestra una estructura de objetivos donde se est explicitando
que para alcanzar el objetivo estratgico, se debe eliminar la discriminacin
en los procesos de contratacin, lo que se conseguir cuando se reduzca
un 3% el diferencial en la tasa de empleo y aumente la diversidad de empleos que encuentran las personas con discapacidad.
Este tipo de estructuras son habituales en intervenciones que incorporan
un buen plan estratgico. En ellas, como se seal antes, valorar la eficacia global resulta sencillo, ya que los avances conseguidos en los objetivos
operativos son directamente trasladables a los estratgicos: si se considera
que la intervencin ha sido eficaz en reducir el diferencial de empleo y
aumentar la diversidad de empleos conseguidos, ello puede traducirse en
191
FIGURA 4.2
Ejemplo de estructura jerrquica de objetivos
Fuente: elaboracin propia.
que la intervencin es igualmente eficaz en aumentar la igualdad de oportunidades.

Ahora bien, en la mayora de los casos los equipos de evaluacin se toparn con lo contrario: los objetivos operativos se encuentran desvinculados de los estratgicos, de modo que estos ltimos no est claro cmo se
ven afectados por los resultados materiales conseguidos por la intervencin.
En el mbito de la discapacidad ello ocurrir a menudo con objetivos estratgicos que implican un alto grado de abstraccin, como son los conceptos
de igualdad de oportunidades o de inclusin social. En estos casos, el propio equipo de evaluacin deber invertir el tiempo necesario para recons-
192
truir la lgica de la estructura de objetivos y su jerarquizacin, para en ltima instancia poder valorar la eficacia respecto a sus objetivos estratgicos.
Logro de resultados previstos versus eficacia externa

de la intervencin
Una segunda cuestin importante a tener en cuenta es el grado de especificacin que hace la propia intervencin sobre qu pretende conseguir, es
decir, si indica cules son sus resultados previstos y, sobre todo, los cuantifica cuando sean susceptibles de ello. En ese caso, una primera dimensin
de la eficacia consistir en analizar en qu medida se ha logrado alcanzarlos, utilizando generalmente los propios indicadores de seguimiento de la intervencin, y complementndolo con indicadores cualitativos y juicios interpretativos cuando sea necesario.
Esta tarea, que a priori parece sencilla e inmediata, en ocasiones puede
ser suficiente por ella misma para consumir la mayora de los recursos de
una evaluacin. Esto sucede, por ejemplo, cuando se da el caso de que para
algunos de los resultados previstos ms importantes la intervencin no ha
dispuesto ningn mecanismo de recopilacin de informacin, de modo que
tenga que ser el equipo de evaluacin el que se encargue de ello. As, por
ejemplo, ante un programa de formacin ocupacional para personas con discapacidad que tenga como resultados previstos formar como mnimo a 100
personas y que al menos el 50% de ellas encuentre un trabajo en el mercado ordinario, una vez concluida no siempre ser fcil saber cuntas de las
personas que participaron finalmente consiguen encontrar un trabajo.
Esta dimensin de la eficacia (la de comparar los resultados previstos con
los obtenidos) puede adems extenderse a toda la cadena de procesos que
formaron parte de la implementacin de la intervencin, desde la realizacin
de las acciones previstas por la misma hasta el efectivo desembolso de los
193
fondos presupuestados. De esta forma, si un plan nacional de incentivos tena presupuestados 2 millones de euros y, entre otras cosas, iba llevar a cabo
una serie de campaas de difusin entre las empresas, comprobar si se ha
gastado lo previsto y si las campaas han sido ejecutadas (y de qu calidad
eran) podr considerarse tambin como parte de la valoracin de la eficacia.
Por otro lado, un segundo aspecto que tambin debe considerar el criterio de eficacia es el alcance de los resultados obtenidos respecto de la
necesidad o del problema social detectado, lo que en ocasiones suele denominarse como eficacia externa. Este enfoque est inevitablemente entrelazado con los criterios de pertinencia y coherencia: si se ha detectado una
necesidad realmente existente y se han planteado unos objetivos acordes
con ella, en la medida en que stos se alcancen se estar atajando por igual
la necesidad detectada, por lo que la comparacin entre resultados previstos y resultados logrados en general ser suficiente. Pero si la necesidad
ha sido mal diagnosticada o los objetivos mal dimensionados, habr que ver
hasta qu punto los resultados que se obtengan con la intervencin contribuyen realmente a solventar una problemtica determinada.
La cuestin de la eficacia externa ser, pues, de mxima relevancia cuando la intervencin no especifique ningn objetivo claro o stos no se traduzcan en unos resultados previstos, ya que entonces sta ser la nica forma
de abordar el criterio de eficacia; sin embargo, y como acabamos de indicar, aunque la intervencin s especifique cules son sus resultados previstos, considerar la eficacia externa puede aadir otra perspectiva interesante de cara a valorar el criterio de eficacia. Para ilustrar la distincin tomemos
el siguiente ejemplo44:
Se est evaluando la poltica de incentivos a la contratacin de personas
con discapacidad, la cual tiene entre sus objetivos estratgicos lograr redu44
Vase Rodrguez, Garca y Toharia (2009) para un ejemplo real muy clarificador.
194
cir la brecha de ocupacin entre personas discapacitadas y personas que

no lo son. Para simplificar el ejemplo, supondremos que esa brecha es de
15 puntos porcentuales, es decir la tasa de ocupacin de las personas con
discapacidad es 15 puntos menor que para el resto de la poblacin. Por otro
lado, entre los objetivos operativos de la poltica para 2013 se ha especificado que el sistema de incentivos se espera que genere al menos 2.000
nuevos empleos de personas con discapacidad en todo el pas.
Transcurrido un ao, en 2014, se evala la poltica, y se decide poner especial atencin en el criterio de eficacia. Para ello, en primer lugar se constata que las empresas que se han acogido al sistema de incentivos han
creado un total de 1.500 nuevos puestos de trabajo para personas con discapacidad, lo que si se compara con los 2.000 previstos apunta hacia una
eficacia elevada (aunque queda para el criterio de efectividad y el anlisis
del impacto el ver cuntos de esos empleos son imputables realmente a la
poltica de incentivos).
Sin embargo, el equipo de evaluacin decide analizar tambin la eficacia
externa, por lo que una forma de hacerlo es comprobar cuantos nuevos empleos deberan crearse para reducir completamente esa brecha de 15 puntos. Al hacerlo, se descubre que aproximadamente se tratara de unos 50.000
empleos, por lo que en trminos de la necesidad o el problema social que
la poltica quiere atajar los 1.500 empleos creados seran ms bien un indicador de una eficacia reducida (lo que, como dijimos, entroncara con el
hecho de que el objetivo operativo de crear 2.000 nuevos empleos seguramente estaba mal dimensionado, lo que en trminos de la evaluacin correspondera al criterio de coherencia).
Con todo, en la prctica no ser fcil establecer indicadores respecto a
la eficacia externa de las intervenciones, ya que no suele ser evidente ni haber acuerdo sobre cul es exactamente la situacin ideal en la que la necesidad ha quedado cubierta o el problema solucionado. En este sentido, el
195
equipo de evaluacin podr recurrir a la comparacin con otras intervenciones similares llevadas a cabo tanto en la misma rea de actuacin (regin,
pas), como en otra distinta, recurriendo a juicios interpretativos para localizar elementos de evidencia que permitan determinar el grado de avance
que se ha logrado con la intervencin.
La cobertura de la poblacin objetivo

Hay un aspecto de la valoracin de la eficacia al que conviene dedicar una
consideracin especial, por su probada relevancia en la prctica evaluativa y
por ser de especial inters en el caso del mbito de la discapacidad abordado en este trabajo. Se trata del anlisis del grado de cobertura de la poblacin objetivo, el cul ser determinante siempre que se aborden intervenciones con unos objetivos y unos efectos dirigidos a grupos de personas o
entidades concretas (como es el caso de las polticas y programas de educacin, formacin ocupacional y empleo para personas con discapacidad).
El anlisis de la cobertura se centra en determinar si la intervencin finalmente se ha dirigido y ha alcanzado a las personas para las que estaba
destinada, y qu parte del conjunto de todo el grupo o colectivo se ha beneficiado efectivamente de la misma. Esta cuestin ha llegado a cobrar tal
relevancia en el mbito de la evaluacin que en ocasiones se suele hablar
de un criterio de cobertura, si bien dada la estructura conceptual que se ha
adoptado en este trabajo es ms conviene considerarlo como una parte (o
dimensin) del criterio de eficacia.
En trminos prcticos, para considerar el grado de cobertura de la intervencin el equipo de evaluacin enfrentar habitualmente una de las siguientes tres situaciones:
1) La intervencin delimita adecuadamente hasta dnde llega la poblacin objetivo, de modo que simplemente se tratar de ponerlo en re-
196
lacin con el alcance que efectivamente se ha logrado. As por ejemplo, si la poblacin objetivo de un programa de formacin ocupacional
son todas las personas con discapacidad y desempleadas en el municipio de Barcelona, analizar la cobertura se traducir simplemente en
investigar cuntas de ellas participaron en el programa o al menos a
cuntas les lleg la informacin sobre su existencia.
2) La intervencin menciona cul es la poblacin objetivo, pero sin delimitarla ni especificar a cuantas personas o entidades se quiere realmente afectar. En ese caso, el equipo de evaluacin deber llegar a
un compromiso sobre cul es la cobertura deseable, generalmente partiendo de evidencia previa existente. Si, por ejemplo, estamos evaluando una poltica nacional de incentivos a la contratacin de personas
con discapacidad destinada a las empresas con ms de 50 trabajadores, se deber buscar informacin previa y de contexto para saber qu
porcentaje de esas empresas es habitual que se acoja a este tipo de
incentivos.
3) La intervencin no llega a mencionar ni siquiera cul es la poblacin
objetivo. Por ejemplo un plan de sensibilizacin contra la discriminacin donde no se especifique si se quiere sensibilizar a la ciudadana
en general, a los y las empleadas que trabajan con una persona discapacitada, o los departamentos de recursos humanos de las empresas, etc. Ante esa situacin se deber en primer lugar investigar a
quin est afectando o llegando realmente la intervencin, e inferir a
travs de su contexto normativo e institucional si ese era el colectivo
o grupo al que realmente estaba destinada.
En general, la preocupacin y la profundidad en el anlisis de la cobertura deber ser proporcional a la evidencia o las sospechas que se tengan
de que ese tipo de intervencin puede acabar afectando a grupos o colectivos distintos de los inicialmente previstos, o de que puede que no consiga
197
llegar a ellos, lo que en el mbito de la discapacidad cobrar especial relevancia cuando las personas discapacitadas destinatarias de las intervenciones (o parte de ellas) no tienen un acceso fcil a la informacin o a los recursos necesarios para participar.
A continuacin se propone una batera de posibles ejemplos de preguntas de evaluacin e indicadores para el criterio de eficacia:
En qu medida se ha logrado aumentar la empleabilidad de las personas que han participado en el programa?
Indicador: nmero de personas que han encontrado trabajo respecto al
total que participaron.
En qu medida la reduccin del diferencial en las tasas de empleo
entre personas con y sin discapacidad ha contribuido al aumento de la
igualdad de oportunidades?
Indicador: porcentaje de reduccin alcanzado respecto del total del diferencial que existe entre tasas de empleo.
Se ha conseguido aumentar la diversidad de tipos de empleo a los
que acceden las personas con discapacidad?
Indicador: cantidad de nuevos tipos de empleo a los que han accedido las personas que han participado en la intervencin.
Indicador: calidad de los nuevos tipos de empleo a los que han accedido las personas que han participado en la intervencin.
En qu medida se ha conseguido llegar a toda la poblacin objetivo?
Indicador: nmero de personas participantes en la intervencin sobre
nmero de personas que componen toda la poblacin objetivo.
198
Indicador: nmero de solicitudes de acceso al programa que se quedaron sin plaza, respecto al nmero de plazas habilitadas.
Existe evidencia de que hay grupos o colectivos a los que puede no
haber llegado la intervencin?
Indicador: nmero de personas encuestadas telefnicamente que desconocan la existencia de la intervencin y que podran haber participado.
Se ha ejecutado todo el presupuesto y todas las acciones previstas?
Indicador: presupuesto ejecutado sobre el previsto.
Indicador: nmero de acciones ejecutadas sobre las previstas.
4.3. TENER EN CUENTA LOS COSTES DE LA INTERVENCIN:

LOS CRITERIOS DE EFICIENCIA Y SOSTENIBILIDAD
Si conocer los resultados logrados por una intervencin (la eficacia) es lo
que se suele considerar ms importante cuando se la evala, conocer los
costes de la misma es la siguiente cuestin que habitualmente despierta
ms inters. Sin embargo, la fiscalizacin del gasto realizado (saber cunto se ha gastado exactamente y en qu) es en realidad funcin de la auditora, mientras que en el mbito evaluativo el anlisis de los costes se lleva
a cabo a travs de los conceptos de eficiencia y sostenibilidad, que se traducen en sus respectos criterios de evaluacin.
Como se vio en el apartado 2.5, y centrndonos en la sostenibilidad financiera45, se trata adems de dos criterios que generalmente suelen estar
estrechamente relacionados, ya que una intervencin ms eficiente ser a
45
En el mismo apartado 2.5 se argument que la sostenibilidad ambiental no se abordar
en este trabajo, por su escasa relevancia en las intervenciones en educacin, formacin ocupacional y empleo en el mbito de la discapacidad.
199
su vez ms sostenible, y muchas veces ocurrir tambin lo contrario. A continuacin revisaremos en profundidad cada uno de estos criterios.
El criterio de eficiencia
Retomando la exposicin que se hizo sobre este criterio en el apartado
2.5, una primera consideracin a tener presente es la distincin entre eficiencia interna y externa: la primera valora la relacin entre los costes y los
resultados conseguidos directamente por la intervencin (outputs), mientras
que la segunda tambin incorpora el anlisis de todos los efectos indirectos
y de largo plazo (outcomes) que puede haber producido la intervencin y
que son susceptibles de cuantificarse.
Ahora bien, dada la considerable complejidad tcnica que requiere el estudio de la eficiencia externa, slo es aconsejable abordarlo en una evaluacin
cuando se disponga de personas especialistas en el equipo y de suficiente
tiempo y recursos, o bien cuando exista evidencia previa muy especfica al
respecto que adems ataa directamente a la intervencin evaluada. En lo tocante al resto de este apartado pues, se considerar solamente la eficiencia
interna como el eje principal sobre el que valorar este criterio.
A la hora de analizar la eficiencia de una intervencin conviene tambin
recordar que debe hacerse desde una perspectiva comparativa, es decir,
mediante consideraciones del tipo la intervencin ha sido menos eficiente
que, o podra haber sido ms eficiente si. Para ello, se deber prestar
atencin a dos aspectos distintos:
Primero, si se podra haber reducido los costes de la intervencin pero
sin afectar sustancialmente al resultado46.
46
Cuando se trate de intervenciones pblicas la cuestin de la reduccin de costes ser
en la prctica bastante menos relevante, debido a la dinmica de asignacin presupuestaria
200
Segundo, si se podra haber mejorado los resultados de la intervencin pero sin aumentar sustancialmente los costes.
El primer sitio donde investigar en busca de evidencia sobre cualquiera
de esas dos posibilidades es en la propia implementacin y ejecucin de la
intervencin (en los trminos en los que se ha descrito en el apartado 4.1):
los cuellos de botella, la indefinicin en los procesos, los retrasos debidos
a parlisis en la toma de decisiones todo ello son ejemplos de problemas
potencialmente generadores de ineficiencia, ante los cuales generalmente
se podr argumentar que una configuracin organizativa distinta conllevara
una menor utilizacin recursos, o bien una mejora en los resultados producidos por la intervencin.
Una segunda posibilidad es la consideracin de cambios en alguno de los
aspectos fundamentales del diseo de la intervencin, que tpicamente pueden permitir una mejora sustancial en los resultados sin afectar sensiblemente al coste. Ejemplos en el mbito de la discapacidad podran ser los
currculos de los cursos de formacin ocupacional, los cules darn unos u
otros resultados segn estn mejor o peor adaptados a las necesidades reales tanto del mercado laboral como de las personas que participan en el curso; o la cuanta y las condiciones de acceso de los incentivos a la contratacin de personas con discapacidad, donde una menor cantidad de ayudas
pero de mayor cuanta (o viceversa) puede generar respuestas de las empresas muy diferentes.
Por ltimo, es posible explorar hasta qu punto otro tipo de intervencin
(totalmente distinta) podra haber resultado, en su conjunto, ms eficiente,
es decir, si podra haber logrado resultados similares con menos recursos o
mejores resultados con los mismos. En el mbito de la discapacidad este
y gestin de partidas no gastadas que existe en la administracin pblica, la cual incentiva la
utilizacin de todos los recursos disponibles.
201
sera el caso de la disyuntiva entre empleo con apoyo o empleo protegido,

donde existe un debate abierto sobre si el primero puede lograr unos resultados similares en cantidad de puestos de trabajo proporcionados pero con
un coste total menor (e independientemente de consideraciones respecto a
la inclusin social).
En cualquier caso, el criterio de eficiencia resulta especialmente apto para
incorporar nueva evidencia surgida durante el proceso de investigacin de
la propia evaluacin, y con la que no se contaba al principio. Generalmente, ser a travs de las entrevistas o los grupos de discusin con el personal que trabaja en la intervencin, o con los diversos actores implicados,
como aparecern indicios de posibles alternativas que habran abaratado los
costes sin afectar a los resultados (o viceversa).
El criterio de sostenibilidad
Lo primero que debe tenerse presente al abordar el criterio de sostenibilidad es que al igual que ocurra con el de eficiencia, y especialmente en el
mbito de la discapacidad, ste debe analizarse en trminos comparativos
o relativos, enfocndolo hacia el anlisis de si las intervenciones hacen avances para ser cada vez ms sostenibles47. Es en este sentido en el que,
desde la ptica estrictamente financiera, una intervencin ms eficiente ser
casi siempre una intervencin ms sostenible, ya que la mejora en eficiencia debera poder traducirse en disponer de ms recursos para prolongar su
duracin, o para abordar su reedicin (sin embargo, y como veremos a con47
En el origen del criterio de sostenibilidad ste se aplicaba a intervenciones de naturaleza
productiva en el mbito de la ayuda al desarrollo. En este contexto s se trabaja con la nocin
de que una intervencin pueda ser totalmente sostenible, cuando sta permita poner en marcha una estructura productiva que garantice su continuidad mediante la generacin de nuevos
recursos. Sin embargo, en el caso de la discapacidad hay acuerdo en que este extremo es, en
la gran mayora de los casos, irrealizable.
202
tinuacin, una intervencin ms sostenible no tiene porqu conllevar siempre un ahorro de recursos y ser por lo tanto ms eficiente).
Sin embargo, un segundo enfoque para analizar la sostenibilidad, de mayor inters para este trabajo y que entronca con la referencia al impacto a
largo plazo que se mencion en la descripcin de este criterio del apartado
2.5, es la cuestin de la capacitacin o generacin de capacidades (capacity
building). Se trata de un concepto heredado tambin de la cooperacin y la
ayuda al desarrollo, pero que en el mbito de la discapacidad es fcilmente
trasladable y permite dotar de mayor relevancia al criterio de sostenibilidad.
La capacitacin que produce una intervencin consiste en el grado en que
sta dota a quines participaron en ella de herramientas o habilidades (capacidades) para seguir manteniendo en el tiempo los efectos beneficiosos
que se han generado con la misma. Por ejemplo, si un programa de asesoramiento y orientacin profesional para personas con discapacidad intenta
ayudarles a conseguir trabajo, ste tendra un mayor potencial capacitador
si las personas que participan aprenden adems habilidades para buscar
por su cuenta trabajo en el futuro, en situaciones o coyunturas laborales distintas de las que exista en el momento en que se lleva a cabo el programa.
La nocin de capacitacin puede enlazarse directamente con la de sostenibilidad, de modo que una intervencin con mayores elementos capacitadores ser tambin ms sostenible. Adems, es habitual extenderla tambin a
las organizaciones o grupos de personas destinatarias de la intervencin: muchas veces el mero hecho de proporcionar mecanismos para organizarse y
consolidar alianzas en el denominado tercer sector es ya una primera forma
en la que una intervencin puede estar contribuyendo a su propia sostenibilidad o a la de sus efectos. Para ello, se deber analizar qu aspectos propios
de la actividad organizativa promueve o refuerza la intervencin, por ejemplo:
La toma de conciencia de la propia situacin, de la necesidad cubierta por la intervencin y de sus ventajas e inconvenientes.
203
La adopcin o el desarrollo de un marco conceptual, un vocabulario, etc.

La fijacin de objetivos y de una estrategia.
El establecimiento de una estructura organizativa.
La especificacin de qu capacidades organizativas se necesitan para
poder proseguir la actividad de forma autnoma.
Para terminar, a continuacin se propone una lista de ejemplos de preguntas e indicadores de evaluacin relacionados con estos dos criterios.
Respecto a la unidad de gestin que ejecuta la intervencin, existen
posibles cambios en su funcionamiento que produciran mejores resultados?
Indicador: propuestas hechas por sus miembros al participar en un grupo de discusin sobre este tema.
Indicador: resultados de un anlisis de procesos realizado externamente.
Se ha detectado actividades cuyo coste estuviese sobredimensionado?
Indicador: existencia de excedente presupuestario no gastado en algunas actividades.
Indicador: en algunos casos se ha realizado ms actividad de la necesaria para consumir todo el presupuesto.
Se ha detectado posibles modificaciones en el diseo de la intervencin que podran mejorar los resultados?
Indicador: evidencia indirecta sobre diseos alternativos que conllevan
mejores resultados en trminos cuantitativos.
204
Indicador: respuestas en una encuesta a las personas beneficiarias de

la intervencin que indican cambios en el diseo que la mejoraran cualitativamente.
En qu medida una intervencin alternativa (de naturaleza distinta)
podra lograr resultados similares con un menor coste?
Indicador: datos sobre evaluaciones de otras intervenciones que indican resultados similares con un gasto menor.
En qu medida la intervencin incorpora elementos que aumenten las
capacidades de las personas participantes?
Indicador: ejemplos de fuentes secundarias sobre intervenciones parecidas que explicitan ese tipo de elementos.
Indicador: sugerencias al respecto obtenidas en las entrevistas hechas
a personas que participaron en la intervencin.
La intervencin ha desencadenado o potenciado algn tipo de proceso de capacitacin organizativa?
Indicador: deteccin de evidencia sobre la generacin de procesos
como la fijacin de objetivos, creacin de estructuras organizativas, etc.
4.4. EL DESARROLLO DEL SEGUIMIENTO Y EVALUACIN

CONTINUOS, Y EL PAPEL CLAVE DE LOS GESTORES
PBLICOS
Cuando se aborde la evaluacin de una intervencin que tiene incorporado un sistema de seguimiento y/o evaluacin continua, una de las primeras cosas que deber hacer el equipo de evaluacin es estudiarlo con detenimiento, y comprobar en qu medida se utiliza y funciona correctamente.
Sin embargo, a priori ni la mera existencia de un sistema de este tipo ni lo
205
bien que funcione son, desde la ptica de la evaluacin, virtudes o defectos

de la intervencin; y es que no es extrao que intervenciones sin mecanismo de seguimiento alguno hayan acabado logrando un buen desempeo en
trminos de su coherencia, eficacia o cualquier otro criterio de evaluacin.
Del mismo modo, el que se aplique un sistema de seguimiento no es condicin sine qua non para poder realizar una evaluacin, ya que sta va a
establecer sus propios indicadores independientemente de la existencia o
no de un sistema de seguimiento. Sin embargo, un sistema de seguimiento
s puede ser una herramienta muy valiosa para el equipo de evaluacin, en
al menos dos sentidos: como fuente de informacin para obtener y calcular
indicadores que respondan a las preguntas de evaluacin, o en s mismo
como causa explicativa del buen o mal desempeo de la intervencin (cuando la razn ltima de que no se alcancen los resultados previstos es el mal
funcionamiento del propio sistema de seguimiento, lo que provoca la toma
de malas decisiones de gestin).
Cmo incorporar a la evaluacin la informacin de seguimiento

La idea central que debe guiar al equipo de evaluacin cuando se disponga a utilizar el sistema de seguimiento de la intervencin es que el eje
debe seguir siendo la matriz de evaluacin (y no al revs).
Si una intervencin tiene un sistema de seguimiento ste contendr una
batera de indicadores que, si el seguimiento se lleva a cabo correctamente, estarn siendo regularmente calculados por la propia unidad de gestin,
y que por tanto se pueden utilizar inmediatamente en la evaluacin; sin embargo, el equipo de evaluacin debe evitar la tentacin de trasladar directamente los indicadores de seguimiento a la matriz. La forma de proceder correcta es la inversa: se debe disear la matriz de evaluacin en primer lugar
y de forma independiente, pensando y ajustando con precisin qu indica-
206
dores responden mejor a las preguntas de evaluacin, y solamente cuando

esta tarea est suficientemente desarrollada se debe establecer qu indicadores del sistema de seguimiento se pueden aprovechar. Sin duda ser
inevitable que los indicadores de seguimiento puedan servir de inspiracin
para proponer los de la matriz de evaluacin, pero donde se debe tener especial cuidado es en no reformular sistemticamente las preguntas para que
stas encajen con los indicadores de seguimiento, ya que en ese caso corremos el peligro de sesgar seriamente los resultados de la evaluacin.
En general, la principal utilidad de los indicadores de seguimiento tender a ser informar los indicadores de la matriz que correspondan a los criterios de eficacia y eficiencia, es decir que valoran la ejecucin e implementacin de la intervencin, ya que habitualmente muchos de los indicadores
necesarios para dar respuesta a esas preguntas de evaluacin se obtienen
como indicadores compuestos que se basan en alguno de los de seguimiento. As, la informacin que proporcionan indicadores como el nmero de cursos realizados sobre los previstos, el gasto por alumno/a, etc., s es fcilmente trasladable a la matriz de evaluacin.
Pero tambin es posible que el seguimiento informe otros criterios como
los de coherencia o complementariedad, ya que la realidad de la ejecucin
de la intervencin puede poner en evidencia problemas de diseo que a priori no eran fciles de detectar. Por ejemplo, si el nmero de personas que finalmente acuden a un servicio de asesoramiento y colocacin para personas con discapacidad es muy superior al previsto inicialmente, ello puede
estar indicando un problema de coherencia entre la realidad social abordada y los objetivos que se propuso la intervencin.
Una ltima posibilidad es la de utilizar la informacin de seguimiento en
la valoracin del criterio de efectividad, es decir en el anlisis del impacto
del programa. En general, si no se han establecido medios de seguimiento
desde el inicio mismo de la intervencin, luego es realmente complicado po-
207
ner en prctica algn modelo que permita estimar el impacto a largo plazo
que esa intervencin ha producido. Pero si disponemos de un buen sistema
de seguimiento que recopila datos sobre las personas beneficiarias, podremos optimizarlo para la medicin del impacto si incorpora en mayor o menor medida alguna de las siguientes dos caractersticas:
Recoge informacin sobre personas que no participan en la intervencin pero que tienen caractersticas muy parecidas a las que s lo hacen, de modo que puedan considerarse como grupo de control.
Sigue recogiendo informacin ms all de la duracin de la intervencin, de modo que contribuya a medir el impacto a largo plazo.
En la prctica sin embargo, raramente se encontrar un sistema de seguimiento que cumpla con alguna de esas premisas. Pero lo que s puede
hacer el equipo de evaluacin es dedicar parte de sus recursos a dar continuidad al sistema de seguimiento en alguna de esas dos vertientes: replicando los indicadores de seguimiento pero en colectivos que no participaron de la intervencin, o prolongando el seguimiento una vez terminada la
intervencin. Ello posiblemente sea una de las formas ms eficientes de utilizar la informacin de seguimiento como parte del anlisis del impacto.
Analizar y valorar el funcionamiento del propio sistema de seguimiento

Un aspecto totalmente distinto es el anlisis del propio sistema de seguimiento, y la valoracin de su correcto funcionamiento: recoge la informacin
que dice que recoge, los datos estn adecuadamente guardados o procesados, la obtencin de la informacin se hace con tcnicas adecuadas y en
la periodicidad establecida, etc.
Si se va a utilizar la informacin del sistema de seguimiento en la evaluacin, verificar la calidad de esa informacin es un paso previo indispensable,
208
ya que si hay sospechas sobre la misma muchas veces ser aconsejable invertir algo de tiempo en contrastarla o, en el peor de los casos, acabar optando por desecharla. Sin embargo, el buen o mal funcionamiento del sistema de
seguimiento puede tener tambin consecuencias en trminos de las propias
conclusiones de la evaluacin, aunque no es inmediato ver en qu sentido:
a) Una primera posibilidad es que un mal funcionamiento del sistema de
seguimiento sea la causa de una mala ejecucin de la intervencin,
es decir, debido a los problemas de seguimiento se toman decisiones
errneas en cuanto a la gestin. Si el equipo de evaluacin puede establecer claramente este vnculo causal, entonces el buen o mal funcionamiento del seguimiento puede ser un indicador clave para valorar el criterio de eficacia: cuanto peor funcione el seguimiento, peores
resultados se estarn obteniendo48.
b) En segundo lugar, es posible que el sistema de seguimiento se haya
concebido como uno de los principales mecanismos para informar a
los actores y al conjunto de la ciudadana sobre los resultados de la
intervencin. En ese caso el seguimiento juega un papel relevante desde la ptica del criterio de transparencia, y por lo tanto que funcione
mejor o peor es un buen indicador para valorar ese criterio.
c) Finalmente es tambin posible que el seguimiento tenga la funcin de
facilitar la participacin de los actores, incorporndoles en los procesos de clculo de indicadores. En ese caso, ser la utilizacin que se
haga del seguimiento lo que supondr una fuente de evidencia para
valorar el criterio de participacin, ya que si los actores participan a
travs del seguimiento pero luego sus resultados se relegan o se ignoran, en realidad se est minando el proceso participativo.
48
Ntese que, a priori, esto no tendra porqu ser as, ya que no es extrao que las unidades que realizan el seguimiento estn aisladas del resto de la intervencin, y que su actividad
y sus conclusiones no afecten a la gestin ni al devenir de la misma.
209
Con todo, en la prctica el equipo de evaluacin lo que habitualmente encontrar son sistemas de seguimiento que operan razonablemente bien, pero
con algunos problemas especficos a tener en cuenta. El ms habitual de
ellos es que la informacin que aportan es incompleta, o muy poco informativa. Un ejemplo en este sentido podra ser la Estrategia global de accin
para el empleo de personas con discapacidad 2008-2012, del Ministerio de
Sanidad y Poltica Social.
El documento principal de esta estrategia lleva anexados otros dos documentos: 1) un anexo estadstico, principalmente con datos de diagnstico, y 2) el Plan de Accin 2009-10, que especifica las actividades que
estn previstas y el correspondiente seguimiento de las mismas. Sin embargo, de los dos indicadores con los que trabaja el Plan de Accin el primero se refiere a quin tiene la competencia en la ejecucin de la accin
(estableciendo la responsabilidad), y el segundo es un indicador temporal
que controla en qu momento ha de estar iniciada o realizada la accin
(Figura 4.3).
Esta estructura no es incorrecta, pero s sera fcilmente mejorable de la
siguiente forma:
Utilizando la extensa informacin de diagnstico que se expone en el
primer anexo para elaborar algunos indicadores de resultados cuantitativos.
Estableciendo indicadores que permitan conocer el nmero de actividades realizadas frente a las previstas en cada una de las acciones
(por ejemplo el porcentaje de acciones de formacin frente a las previstas).
Cuantificando y presupuestando qu coste va a implicar cada una de
las acciones previstas, creando el correspondiente indicador de control del gasto.
210
FIGURA 4.3
Fragmento del sistema de seguimiento de la Estrategia global
de accin para el empleo de personas con discapacidad 2008-2012
Fuente: extrado de Ministerio de Sanidad y Poltica Social (2008, p. 81).
211
De hecho, una de las mejores herramientas para mejorar y adaptar los

sistemas de seguimiento a los cambios de contexto es la realizacin de evaluaciones continuas. En las evaluaciones continuas generalmente se realiza un anlisis exhaustivo de los mecanismos de seguimiento, y dado que
se proponen recomendaciones es fcil que algunas de ellas vayan dirigidas
a la mejora del seguimiento. Un buen ejemplo en este sentido es el Manual
para la Integracin de Personas con Discapacidad en las Instituciones de
Educacin Superior, editado por la Secretara de Educacin Pblica de Mxico y elaborado por la Asociacin Nacional de Universidades e Instituciones de Educacin Superior.
Este manual incorpora un sistema de evaluacin con un doble anlisis: la
evaluacin a nivel estratgico, orientada hacia la valoracin de los impactos
o efectos de la aplicacin del programa; y en segundo lugar la denominada
evaluacin operativa, que se dirige hacia las acciones, actividades y recursos. Pero esta segunda perspectiva toma en realidad forma de evaluacin
continua, donde las preguntas de evaluacin que concentran el anlisis son:
estamos haciendo lo adecuado? y estamos haciendo las cosas de forma
adecuada?
Aunque en este ejemplo se utiliza de forma imprecisa la denominacin
indicadores para referirse a las acciones, resulta de inters en cuanto est
claramente focalizado en asegurar el conocimiento del avance y el cumplimiento de las acciones previstas, tratando de detectar anomalas en los procesos y poder abordar su correccin de forma gil y eficiente. Por lo tanto
las recomendaciones que se generen en la evaluacin continua sern en su
mayor parte indicaciones muy tiles para la mejora del propio sistema de
seguimiento.
212
Fuente: Secretara de Educacin Pblica de Mxico (2002, p. 63).
Fragmento del sistema de evaluacin continua del Manual para la Integracin

de Personas con Discapacidad en las Instituciones de Educacin Superior
FIGURA 4.4
213
Colaboracin y complicidad de las unidades de gestin

Un ltimo aspecto a tener en cuenta, quizs el ms relevante de todos,
es la necesidad de recordar que detrs de los sistemas de seguimiento
y los indicadores ya calculados estn las personas que se encargan de
recopilar y procesar esa informacin. Adems, en la mayora de casos se
trata de personal de la propia unidad de gestin de la intervencin, que
se encarga de completar las bases de datos, explotarlas, y obtener los
indicadores.
La generacin de informacin confiable respecto a una intervencin no es
una tarea fcil ni agradecida, pero en cambio poner en marcha y disponer
de un buen sistema de seguimiento es un elemento que, como hemos visto, puede jugar un papel fundamental en muchos aspectos. Por ello, el equipo de evaluacin deber abordar su interaccin con las personas encargadas del seguimiento desde una doble perspectiva:
Sensibilizando y responsabilizando a los miembros de la unidad de gestin sobre el rol clave que desempean en la generacin de informacin, vinculndolo adems al objetivo comn de lograr los resultados
previstos.
Tejiendo tambin una relacin de confianza y complicidad con las personas que gestionan la intervencin, respetando sus valoraciones o puntos de vista sobre los indicadores y el conjunto del sistema de seguimiento.
En ltima instancia, no debe olvidarse que quin realmente tiene acceso a la informacin y, lo ms importante, conoce la calidad de la misma
son las personas que la generan; establecer un buen clima de trabajo con
ellas ayudar pues a que el proceso de evaluacin sea mucho ms sencillo y eficaz.
214
4.5. EL IMPACTO FINAL DE LA INTERVENCIN: EL CRITERIO

DE EFECTIVIDAD
En el apartado 2.5 se ha visto como el criterio de efectividad se estructura en torno a la nocin del impacto de la intervencin y de su medicin. Igualmente, el impacto se puede dividir en tres tipos: impacto neto (o realmente
atribuible a la intervencin), impacto a largo plazo, e impacto en otras personas o mbitos distintos de los directamente afectados por la intervencin. En
este apartado se abordar por separado cada una de esas tres posibilidades, profundizando en las implicaciones para intervenciones en el mbito de
la discapacidad, y ejemplificando cmo deben construirse las preguntas de
evaluacin y los indicadores para el criterio de efectividad.
El hecho de que existan esos tres tipos de impacto no significa que deban abordarse siempre todos ellos en la evaluacin de cualquier intervencin. En realidad, el equipo de evaluacin deber haber realizado una investigacin previa sobre la intervencin que le permitir discernir qu tipo
de impacto es ms relevante analizar en ese caso, lo que adems deber
confrontar con el tiempo y los recursos de que disponga. Asimismo, en el
caso de que se pueda analizar diversos tipos de impacto todos ellos se traducirn en preguntas de evaluacin e indicadores correspondientes al criterio de efectividad de la matriz de evaluacin, mientras que el equipo de evaluacin deber decidir, anlogamente a cmo lo hara con cualquier otro
criterio, qu indicadores y qu preguntas tienen una peso o una prioridad
mayor, para acabar combinando la informacin en un enjuiciamiento final del
criterio.
El impacto neto de una intervencin

La idea principal que hay que tener presente para analizar el impacto neto
es la de qu habra pasado en ausencia de la intervencin?, situacin a
215
la que denominaremos contrafactual. El contrafactual es un concepto clave

en el mbito cientfico y experimental, ya que permite establecer la causalidad de un proceso: si sabemos lo que habra pasado en ausencia de un fenmeno, la diferencia entre eso y lo que realmente haya pasado podemos
afirmar que ha sido efectivamente producido por ese fenmeno.
Como ejemplo, tomemos una poltica de incentivos a empresas para la
contratacin de personas con discapacidad en el mercado laboral ordinario.
El sistema de incentivos se pone en marcha, y en el momento en que se
procede a evaluarlo hay 30 personas con discapacidad que han sido contratadas por empresas que recibieron los incentivos. Imaginemos que construimos el contrafactual (cmo hacerlo exactamente se ver un poco ms
adelante), y concluimos que de no haber existido los incentivos, seguramente unas 20 de esas 30 personas habran sido contratadas igualmente; en
ese caso, solamente podremos atribuir al impacto de la poltica 10 nuevos
empleos (los 30 que aparentemente se consiguieron, menos los 20 que se
habran generado igualmente), pero podemos estar muy seguros de que
esos 10 han sido realmente producidos por ella.
Lo que nos va a indicar qu orientacin tiene el contrafactual ser el
contexto en el que se ha desarrollado la intervencin. Si la intervencin se
ha desarrollado en un contexto favorable, donde haba dinmicas o mecanismos que no hemos observado pero que han afectado positivamente a la
intervencin, una parte de los resultados que constatemos habrn sido producidos en realidad por el contexto; es decir, se hubiesen producido igualmente en ausencia de la intervencin49. Por el contrario, si el contexto ha
tenido una influencia negativa (con fuerzas que han operado en la direccin
contraria a la que lo ha hecho la intervencin), entonces el contrafactual puede ser una situacin en la que en ausencia de la intervencin las cosas ha49
En el mbito de la evaluacin aquellos resultados que se habran producido igualmente
suelen agruparse bajo la denominacin de efecto de peso muerto.
216
bran sido incluso peores: en el ejemplo anterior, si el contexto hubiese

sido de fuerte crisis econmica, es posible que la poltica no solamente haya
generado esos 30 empleos sino que haya evitado que se despida a otras
50 personas, de modo que el impacto neto sera en realidad de un total de
80 empleos, entre los creados y los mantenidos.
Sin duda, la clave de todo este planteamiento es la adecuada construccin
del contrafactual, lo que en la prctica es una tarea tcnicamente compleja y
que puede resultar relativamente costosa si se quiere lograr un elevado grado
de precisin. Con todo, a continuacin se presentan dos posibles aproximaciones que habitualmente suelen usarse con xito en el mbito de la evaluacin:
a) La utilizacin de diseos cuasi-experimentales. Se basa en trasladar,
de la mejor forma posible, el mtodo cientfico experimental al mbito de las
ciencias sociales y el estudio de intervenciones. Para construir el contrafactual, se intenta encontrar un grupo de personas que no hayan participado ni
se hayan visto afectadas por la intervencin (o que lo hayan hecho de forma
claramente distinta), pero con un elevado grado de similitud con aqullas que
s lo han hecho (es decir, que en cierto sentido hubiesen sido tambin candidatas a ello) y, adems, que hayan estado sometidas al mismo contexto y
a las mismas influencias. Este enfoque se inspira en los ensayos clnicos de
nuevas terapias o medicamentos, y de hecho adopta la misma terminologa,
denominando grupo de tratamiento al de las personas que han participado
en la intervencin, y grupo de control al de las que no lo han hecho.
El elemento central para utilizar esta aproximacin ser la correcta seleccin de ambos grupos, intentando que el grupo de control se parezca lo mximo posible al de tratamiento antes de que el tratamiento tenga lugar y que
la nica diferencia sea el haber participado o no en la intervencin. En general se trata de una tarea relativamente compleja, que exigir conocer las
principales dificultades tcnicas que se pueden encontrar (como por ejemplo el llamado sesgo de auto-seleccin, presente cuando las personas que
217
han participado voluntariamente en la intervencin son aquellas que claramente estaban ms motivadas para hacerlo), as como cierta dosis de creatividad e inventiva para solventarlas (recordando por ejemplo que no es siempre necesario que el grupo de tratamiento lo constituyan todas las personas
que participaron, y que a veces considerar un subconjunto de ellas puede
ayudarnos a disearles un mejor grupo de control).
Una vez se han establecido los dos grupos, el otro elemento importante es
poder medir las variables que nos interesen tanto antes como despus de la
intervencin, las cuales casi siempre coincidirn con los resultados previstos
por la misma. As por ejemplo, si se trata de un programa de formacin ocupacional y ya hemos delimitado el grupo de tratamiento (los participantes en el
mismo) y el grupo de control (por ejemplo las personas que tambin demostraron inters en participar pero cuando ya no quedaban plazas), nos interesar ver cuntas personas tenan empleo en ambos grupos antes del programa
(en este caso no debera haber ninguna en ningn grupo), y cuntas lo han
encontrado tras el mismo, de modo que la diferencia entre ambos grupos ser
el impacto neto atribuible a la intervencin; es decir, si los resultados previstos
del programa se expresan en trminos de empleos conseguidos, esa ser la
magnitud que deberemos observar y comparar en ambos grupos.
La tcnica de anlisis que recoge esta aproximacin se denomina diferencias en diferencias (dif-en-dif), y consiste precisamente en medir la diferencia que hay en la variable de inters entre el grupo de tratamiento y el
de control antes de la intervencin, y volverla a medir despus, considerndose la diferencia total (una diferencia de diferencias) como un buen estimador del impacto neto del programa. Por otro lado, para asegurar que el
grupo de tratamiento y de control se comparan adecuadamente se puede
usar otra tcnica estadstica denominada propensity score matching, que
analiza las caractersticas individuales de las personas y las empareja de
forma que cada persona del grupo de tratamiento se compara nicamente
con aqullas del grupo de control que ms se le parecen.
218
La utilizacin de diseos cuasi-experimentales y de esta combinacin de

tcnicas se ha venido revelando como especialmente til para la evaluacin
de todo tipo de intervenciones (tanto para programas de alcance local como
para grandes polticas), y en estos momentos sigue creciendo en popularidad y en uso. Adems, en el caso de las intervenciones en el mbito de la
discapacidad, y especficamente las de educacin, formacin y empleo, esta
aproximacin tiene un gran potencial por su foco en el anlisis individualizado y su relativamente bajo coste, si bien en la prctica todava ha sido
muy poco utilizada.
A continuacin, en el siguiente cuadro se presenta un extracto de un ejemplo de utilizacin de esta tcnica en una intervencin relacionada con las
polticas de discapacidad, en este caso un programa de cambio de actitudes ante la discapacidad por parte del alumnado de ESO:
CUADRO 4.1
La utilizacin de un enfoque cuasi-experimental para evaluar
el impacto de programas de cambio de actitudes ante la discapacidad
() Se parte de grupos naturales dentro del entorno escolar que nos prest su colaboracin de manera voluntaria. En consecuencia, la seleccin de las personas participantes se hizo a travs de un muestreo no probabilstico de carcter incidental. El grupo total de personas que participaron se compuso de 83 alumnos de 1 y 2 de la ESO,
concretamente 43 nios y 40 nias, de edades comprendidas entre los 12 y 15 aos, con
una media de 12,77 aos. Todos ellos alumnos de un colegio pblico del Principado de
Asturias, Ro Sella, colegio de integracin de un pueblo asturiano de menos de 10.000
habitantes, Arriondas. En dicho centro educativo ha habido integracin de nios con discapacidad mental, auditiva y motriz.
El grupo experimental estaba compuesto de 23 personas, 18 nios y 5 nias, alumnos que
asistan a clase de tica y que durante ella, con una periodicidad de una hora semanal y en
219
un perodo de tres meses, se les impartira el programa de cambio de actitudes. Dicho grupo
experimental vino seleccionado por parte del colegio, no habiendo posibilidad de otro tipo de
seleccin. Por su parte, el grupo control, 60 personas, se compuso de sus compaeros de 7
y 8 que asistan a clase de religin y, por tanto, no a la de tica, y que slo recibieron un
pretest y tres medidas de post-test, pero no el tratamiento, obviamente. Ya que al resto de las
clases la asistencia es conjunta, se supuso una cierta equivalencia entre los grupos en cuanto a diferentes variables, como clase social, intereses, conocimientos sobre el tema, etc.
Para apreciar tales cambios en las actitudes se aplic la Escala de Valoracin de Trminos Asociados con la Discapacidad, EVT (Aguado y Alcedo, 1999; Aguado, Alcedo y Flrez, 1997; Aguado, Alcedo y Gonzlez, 1998). Se trata de una escala tipo Likert de 20
tems, los cuales son adjetivos referidos a distintas discapacidades que se valoran desde
altamente negativos hasta nada negativos. La consistencia interna de la escala, estimada
mediante el coeficiente Alfa de Cronbach, es de 92, lo que avala su fiabilidad.
()
Los resultados de este estudio indicaron que se puede conseguir un cambio positivo en la
valoracin de trminos referentes a personas con discapacidad y por tanto en las actitudes
hacia ellas, en escolares de 1 y 2 de la ESO, tal y como se afirmaba en la primera de las
hiptesis de trabajo. Dicho cambio se logr en tan slo 7 horas de tratamiento, repartidas en
sesiones de una hora de duracin, y con una cadencia de una por semana. Las tcnicas de
cambio de actitudes utilizadas para lograrlo han sido la informacin directa e indirecta sobre
las personas con discapacidad y el contacto con personas con diferentes discapacidades junto con la informacin y experiencia sobre ayudas tcnicas en sesiones interactivas con discusin guiada. Este tratamiento, por otro lado asequible y de fcil realizacin, se ha mostrado
eficaz y con un cierto mantenimiento temporal, aunque no tan completo como augurbamos
en nuestra segunda hiptesis de trabajo. Las actitudes positivas logradas van decayendo de
modo estadsticamente significativo a lo largo de medidas de seguimiento, aunque el efecto
del tratamiento no llega a desaparecer totalmente, es decir, no se vuelve a las puntuaciones
iniciales. Tanto el estudio tem a tem como el estudio de rutas de probabilidad muestran que,
aunque un ao despus de la aplicacin del tratamiento pierde significacin estadstica la diferencia entre grupo experimental y control, en la cuarta y quinta medida de post-test vuelven
a aparecer las diferencias estadsticamente significativas a favor del grupo experimental.
Fuente: extracto del artculo Programas de cambio de actitudes ante la discapacidad (Aguado,
Flrez y Alcedo, 2004).
220
b) Una segunda posibilidad es el anlisis indirecto del contexto, tratando de hallar elementos de evidencia emprica que permitan estimar qu
habra sucedido igualmente de no haberse implementado la intervencin;
esos elementos pueden provenir de otros estudios o trabajos que hayan
analizado la evolucin del contexto socio-econmico, de comparaciones
con otras localidades o regiones donde no se ha implementado la intervencin, etc.
Dado que el impacto neto en general querr medirse cuantitativamente,
este enfoque tomar los resultados que aparentemente observamos que ha
obtenido la intervencin y los modular segn la evidencia que tengamos
sobre si el contexto ha jugado a favor o en contra. Se trata de una aproximacin que entronca con la utilizacin de juicios interpretativos e indicadores cualitativos que vimos en el apartado 2.5, de modo que si, por ejemplo,
se ha encontrado evidencia de que el contexto ha jugado un papel muy favorable una posible forma que podran tomar las conclusiones del anlisis
del impacto sera del estilo difcilmente ms del 50% del impacto observado habr sido causado por la intervencin.
El tipo de informacin de contexto ms utilizada y que ms fcilmente
puede incorporarse como evidencia indirecta sobre el impacto son los indicadores agregados de naturaleza estadstica, como la evolucin de la
tasa de empleo o el incremento generalizado en las matriculaciones en
formacin reglada. As, si un programa de colocacin ha tenido como resultado que el 30% de las personas participantes han encontrado trabajo, pero en ese mismo periodo la tasa de empleo general ha crecido un
10%, se puede estimar que solamente la diferencia (30 menos 10, es decir un 20%) es imputable al programa. Sin embargo, en el caso de las intervenciones en el mbito de la discapacidad se trata de espacios socioeconmicos con caractersticas muy determinadas, de modo que no
siempre ser fcil ni inmediato discernir el peso que puede haber tenido el contexto.
221
La principal ventaja que tiene esta aproximacin es su sencillez y su reducido coste, de modo que puede ser fcilmente aplicada por cualquier equipo de evaluacin y para la prctica totalidad de las intervenciones. Adems,
es ideal para procesar e incorporar nueva evidencia sobre el contexto que
no se esperaba encontrar, y que ha emergido durante el proceso mismo de
evaluacin.
Por ltimo, independientemente de cul de las dos anteriores aproximaciones se utilice para construir el contrafactual, conviene precisar que en
principio el anlisis del impacto neto podr llevarse a cabo sobre el conjunto de todos los aspectos que se consideren objetivos o resultados de la intervencin. De este modo, si el objetivo de un programa de capacitacin es
dotar a las personas participantes con una serie de habilidades para que
luego encuentren trabajo, se podr analizar qu habra ocurrido en ausencia del programa tanto respecto a la adquisicin de esas habilidades (puede que sus participantes las hubiesen adquirido de todos modos), como respecto a la consecucin de nuevos empleos. Con todo, en la prctica lo
habitual ser poner el foco en aquellos objetivos y resultados de naturaleza
ms estratgica, que dependen menos directamente de la intervencin y estn ms sometidos a la influencia del contexto.
El impacto a largo plazo y la adaptacin de los agentes

En el caso del impacto a largo plazo, la primera cuestin que debe tenerse en cuenta es conceptualmente sencilla, ya que simplemente consiste en
repetir la medicin del mismo transcurrido un cierto periodo de tiempo una
vez finalizada la intervencin, para comprobar si la magnitud del impacto se
mantiene o cambia (decayendo, pero tambin puede que aumentando) con
el paso del tiempo. Ello adems es vlido tanto para el impacto bruto (es
decir, los resultados de la intervencin directamente observados), como para
el impacto neto en los trminos que se ha descrito ms arriba (de modo que
222
se extiende en el tiempo el anlisis de la influencia del contexto, estudiando

lo que habra pasado en ausencia de la intervencin no solamente al finalizar sta, sino tambin un cierto tiempo despus). Si, por ejemplo, para medir el impacto neto de un programa se han comparado sus resultados sobre
un grupo de tratamiento y otro de control, para analizarlo en el largo plazo
hay que repetir la medicin (en ambos grupos) transcurrido un cierto tiempo.
La nica dificultad en este caso ser, pues, elegir cunto tiempo queremos que haya transcurrido, es decir, hasta cundo creemos que deberan
durar los efectos de la intervencin para considerar que sta ha sido efectiva. Para ello en general ser suficiente combinar el sentido comn (si una
persona que ha logrado encontrar empleo gracias a un servicio de orientacin laboral lo pierde 7 aos despus, no tiene mucho sentido decir que por
ello el programa fue menos efectivo), con la disponibilidad de recursos para
poder realizar el seguimiento y las mediciones necesarias.
Por otro lado, puede adoptarse una forma ms sistemtica de decidir dnde situar el largo plazo si se dispone de informacin sobre exactamente
qu mecanismos pueden condicionar o afectar los primeros resultados de
la intervencin, y de cunto tiempo suelen tardar en materializarse. En el
ejemplo anterior del programa de orientacin laboral, es posible que un problema de ese tipo de programas sea que lleven a la consecucin de empleos casi siempre temporales, de modo que transcurridos unos meses se terminan los contratos y las personas vuelven a estar desempleadas. En ese
caso, un buen criterio para decidir cundo realizar de nuevo las mediciones
sobre el efecto del programa podra basarse en la duracin media de un
contrato temporal.
En este sentido, uno de los principales mecanismos que entra en juego ante
cualquier intervencin social y que casi siempre va a tener un papel en sus
efectos a largo plazo es el cambio en el comportamiento del resto de agentes (sean stos personas, empresas, instituciones, etc.) que se ven indirecta-
223
mente afectados por la misma. Un ejemplo en este sentido podra ser la reaccin de las grandes empresas ante el aumento de la cuota obligatoria de
puestos de trabajo para personas con discapacidad; al aumentarse la cuota,
es probable que algunas de ellas creen empleos innecesarios solamente
para cumplir con la legalidad, lo que en trminos del objetivo de integracin
social estara disminuyendo el impacto y la efectividad de esa poltica.
Otro caso importante a tener en cuenta es el del llamado efecto desplazamiento, que cobra importancia cuando se trata de intervenciones en el mbito local o regional: parte de los efectos que est logrando la intervencin se
deben en realidad a que algunos de los agentes implicados estn trasladando su actividad a la localidad o la regin en la que sta se ha desarrollado.
En el caso de las polticas de empleo, por ejemplo, un programa municipal de
incentivos a la contratacin de personas con discapacidad puede hacer que
algunas empresas que ya tenan contratada a una persona de otra localidad,
no le renueven el contrato y pasen a cubrir ese mismo puesto de trabajo con
otra persona discapacitada pero que vive en el municipio de la intervencin.
Con todo, en el mbito de las intervenciones en discapacidad este tipo
de mecanismos de adaptacin a la nueva situacin, donde habitualmente se
van a encontrar es en las familias y el inmediato entorno social de las personas discapacitadas, pudiendo adoptar un signo positivo (si se rompen ciertos tabes en la familia y se potencia los efectos beneficiosos de la intervencin), o negativo (si en realidad no se comparte plenamente los objetivos
de la intervencin y se generan dinmicas de boicot que minen la autoestima de la persona discapacitada).
El impacto en otros mbitos o grupos de personas

La ltima posibilidad que hay que tener en cuenta respecto al criterio de
efectividad es la del impacto que puede tener la intervencin en otros m-
224
bitos o personas, distintos de a los que en principio va destinada. Algunos

de los ejemplos ms conocidos en evaluacin seguramente sean el del impacto ambiental (muy poco relevante en el caso de las intervenciones en
discapacidad que se abordan en este trabajo), el impacto macroeconmico
en el caso de polticas que implican un gran gasto pblico (debido al llamado efecto multiplicador), y el del impacto de gnero (que se tratar en profundidad en el siguiente apartado).
Para saber exactamente qu otros mbitos pueden verse afectados por la
intervencin y pueden por lo tanto ser relevantes para el criterio de efectividad, el equipo de evaluacin deber estudiar con detenimiento la investigacin y la documentacin previa que exista al respecto, a la vez que deber
estar atento a la nueva evidencia que surja durante la propia evaluacin, cuando se descubra que la intervencin est teniendo efectos no esperados o
que simplemente no fueron considerados en el diseo de la intervencin.
En el mbito de la discapacidad, un caso especialmente interesante ser
el de los efectos producidos en las personas que, debido a la intervencin,
entran en contacto por primera vez o de una forma mucho ms intensa
con personas discapacitadas. Se tratara por ejemplo de los y las compaeras de trabajo en una empresa que contrata por primera vez a alguien discapacitado, o del profesorado de una escuela donde se lleve a cabo un programa de sensibilizacin del alumnado. En todos estos casos, difcilmente
la intervencin incorporar en su diseo y en su estructura de objetivos y
resultados previstos los cambios que puedan darse en las actitudes de esas
personas, cuando, sin embargo, ello s es relevante desde la ptica de comprender plenamente el fenmeno de la discapacidad.
La forma de medir este ltimo tipo de impacto es esencialmente la misma que hemos comentado en los dos casos anteriores: se puede recurrir a
un diseo cuasi-experimental si se puede construir un grupo de control y
otro de tratamiento pero esta vez ambos compuestos por las otras perso-
225
nas afectadas por la intervencin, o bien se puede analizar de forma indirecta el contexto en que se encuadra la intervencin. En cualquier caso, esta
dimensin del impacto ser especialmente interesante abordarla mediante
un juicio interpretativo e indicadores cualitativos, ponindose especial nfasis en entender y explicar cul es el mecanismo que lleva a la intervencin
a generar cambios en mbitos distintos al suyo.
En el caso del criterio de efectividad, y como se ha indicado anteriormente, el hecho de medir el impacto se traduce primero en retomar la medicin
de los resultados de la intervencin (es decir, del criterio de eficacia) para
tratar de discernir qu parte es realmente imputable a la intervencin. En
trminos prcticos, ello implica empezar por las mismas preguntas e indicadores que las vinculadas al criterio de eficacia, pero obteniendo los valores
de los indicadores mediante las distintas aproximaciones que se han visto
en este apartado. As, un ejemplo podra ser:
Los resultados efectivamente producidos por la intervencin, en qu
medida se corresponden con los previstos?
Indicador: nmero de empleos efectivamente imputables a la intervencin, sobre nmero de empleos previstos.
Indicador: calidad de los nuevos empleos creados y efectivamente imputables a la intervencin.
Por otro lado, se pueden incorporar preguntas que consideren la magnitud de un aspecto contextual que se ha detectado como relevante y que
puede estar afectando al impacto de la intervencin:
En qu medida las habilidades que proporcion el programa de formacin continua se habran adquirido igualmente en los puestos de trabajo?
226
Indicador: diferencia en las respuestas de las entrevistas hechas a empresas tanto que participaron en el programa como que no.
O bien preguntas que capturen la adaptacin de los agentes o los cambios experimentados por otras personas que en principio seran ajenas a la
intervencin:
Se han detectado cambios estratgicos en la poltica de contratacin
de las empresas para aprovecharse de los incentivos?
Indicador: evidencia de un estudio en profundidad realizado por la universidad transcurridos dos aos desde la intervencin.
El objetivo ltimo de integracin social, en qu medida resulta reforzado por los cambios en la actitud de los compaeros y compaeras
de trabajo?
Indicador: respuestas en cuestionarios hechos a las personas con discapacidad que encontraron trabajo gracias al programa.
4.6. CONSIDERAR EL IMPACTO DE GNERO COMO PARTE

DE LA EFECTIVIDAD
Como se mencion en el apartado 3.3 dedicado a la incorporacin de la
perspectiva de gnero, al disear e implementar intervenciones sobre formacin, empleo e insercin laboral en materia de discapacidad la cuestin
de la incidencia segn el sexo no ha empezado a tenerse en cuenta hasta
muy recientemente, de modo que la consideracin del posible impacto diferencial que una determinada intervencin va a tener sobre las relaciones de
gnero tampoco ha sido estudiada en profundidad, encontrndose muy pocas referencias al respecto.
227
La medicin del impacto de gnero pasa por identificar cules van a ser
los distintos efectos (tanto netos como a largo plazo) de una intervencin
sobre mujeres y hombres, as como sobre las relaciones de gnero existentes entre ellos. Sin embargo, un paso previo ser el de ver si nos encontramos ante una intervencin cuyo objetivo esencial es contribuir a reducir las
desigualdades de gnero o bien nos enfrentamos a una intervencin de cualquier otro tipo; si se trata del primer caso, nuestra medicin del impacto de
gnero no supondr ninguna variacin respecto de la valoracin del impacto que se ha expuesto en el apartado anterior.
En cambio cuando se trate de una intervencin que no est directamente enfocada a reducir las desigualdades de gnero, un primer paso consistir en repetir el anlisis de los resultados de la intervencin simplemente diferenciando por sexo, tanto desde la ptica del criterio de eficacia
(resultados a corto plazo) como del de efectividad (impacto final). As por
ejemplo, si en el caso de un programa de formacin ocupacional para personas con discapacidad se concluye que 30 de ellas han encontrado trabajo, pero que solamente podemos imputar realmente a la intervencin 15,
se deber ver en ambos casos cuntas de esas personas son mujeres y
cuntos hombres.
Una vez realizado el anlisis por sexo, el impacto de gnero depender
de las diferencias que se observen. Como se ha detallado en el apartado
3.3, los datos muestran que existe una situacin de partida de doble discriminacin en el caso de las mujeres discapacitadas, por lo que en general
las diferencias en el impacto de gnero podrn ir en alguna de las siguientes direcciones:
Si la intervencin ha concentrado sus resultados y su impacto (positivo) en los hombres en mayor medida que en las mujeres, la valoracin
del impacto de gnero ser claramente negativa, ya que se estar ahondando todava ms las diferencias previas existentes.
228
Si la intervencin ha tenido unos resultados y un impacto similar en mujeres y hombres, en principio puede concluirse que no ha habido doble
discriminacin y que por tanto el impacto de gnero ha sido neutro. Sin
embargo, si la intervencin o la propia evaluacin adoptan un enfoque
de correccin de las desigualdades (o directamente de discriminacin
positiva), entonces podr considerarse que el impacto de gnero ha sido
negativo, ya que la intervencin no habr contribuido a reducir la discriminacin previa existente.
Si la intervencin ha tenido unos resultados y un impacto concentrado
en mayor medida en las mujeres, entonces s podr concluirse que el
impacto de gnero ha sido positivo.
En una segunda etapa, se deber analizar cmo ha afectado la intervencin a los mecanismos y los procesos que estn detrs de la situacin de
doble discriminacin, tratando de discernir si han sido atenuados o reforzados. La mayora de estos mecanismos sern los mismos que generan una
situacin de discriminacin hacia las mujeres en general (el supuesto injustificado de que su desempeo laboral es menor o de que hay ciertas trabajos ms adecuados para las mujeres, el no contemplar su situacin familiar, la existencia de una distribucin de poder asimtrica entre hombres y
mujeres, etc.), a los que habr que aadir aquellos especficos del caso de
mujeres con discapacidad (por ejemplo la especial reticencia que en ocasiones pueden mostrar sus familias a que se formen e incorporen al mercado
laboral).
Para ello ser necesario avanzar una investigacin de la situacin inicial,
esto es, describir el estado de la cuestin antes de la intervencin. Las tcnicas para acometer esta tarea pasarn por la utilizacin de informacin estadstica disponible, realizar entrevistas en profundidad u otras tcnicas cualitativas, revisar informes y documentos que ofrezcan informacin previa, etc.
El objetivo ltimo ser doble: detectar cambios en la situacin de personas
229
pertenecientes a un sexo en comparacin con el otro y respecto de variables como educacin, trabajo, ingreso, salud o vivienda; pero tambin cambios en la distribucin del poder entre hombres y mujeres a lo largo de su
ciclo de vida, prestando atencin a las transformaciones en los derechos,
obligaciones, oportunidades y roles que tienen por su identidad de gnero
(Volio, 2006).
A continuacin se proponen algunos ejemplos de preguntas de evaluacin e indicadores que pueden utilizarse para medir y valorar el impacto de
gnero como parte del criterio de efectividad:
Cmo ha variado debido a la intervencin la tasa de actividad, empleo y paro de las mujeres con discapacidad respecto a los hombres?
Indicador: impacto neto de la intervencin diferenciado por sexo, respecto al total de personas activas.
Indicador: impacto neto de la intervencin diferenciado por sexo, respecto al total de personas empleadas.
Indicador: impacto neto de la intervencin diferenciado por sexo, respecto al total de personas paradas.
Existen diferencias sustanciales en los sectores laborales a los que
se han incorporado las mujeres y los hombres?
Indicador: diferencia en el porcentaje de mujeres y hombres que encontraron trabajo gracias a la intervencin segn los distintos sectores
laborales.
En qu medida se ha contribuido a reducir el diferencial salarial entre mujeres y hombres?
230
Indicador: diferencia en los salarios de mujeres y hombres que encontraron trabajo gracias a la intervencin, respecto a las diferencias globales.
Indicador: diferencia en la posicin jerrquica de mujeres y hombres
que encontraron trabajo gracias a la intervencin, respecto a las diferencias globales.
Se ha contribuido a un uso ms equilibrado entre mujeres y hombres
de las excedencias y reducciones de jornada?
Indicador: diferencia entre la utilizacin que hacen de las mismas los hombres que participaron en la intervencin, respecto al uso generalizado.
En qu medida se ha reducido la diferencia en la temporalidad de los
contratos entre hombres y mujeres?
Indicador: grado de temporalidad de los contratos conseguidos por las
mujeres respecto del de los hombres.
Indicador: en el caso de trabajos temporales, nmero de ellos que la
razn obedece al rol de gnero (como la necesidad de cuidar a los hijos) diferenciando segn hombres y mujeres.
Se han identificado cambios en las relaciones familiares de las mujeres
tras la intervencin que contribuyan a modificar los roles de gnero?
Indicador: existencia de cambios respecto al control de los recursos
econmicos.
Indicador: existencia de cambios respecto a la distribucin de tareas en
el hogar.
Ha cambiado positivamente la autopercepcin de las mujeres discapacitadas que han participado en la intervencin?
231
Indicador: nmero de respuestas de una encuesta que reflejan mejoras en la autoestima, la autonoma, la independencia y control sobre
sus propias decisiones.
4.7. EL PAPEL ESPECFICO DE LOS ACTORES SOCIALES

Y SU CONTRIBUCIN A LA EFECTIVIDAD DE LAS
INTERVENCIONES PBLICAS
Si bien en este trabajo se ha venido contemplando la evaluacin de intervenciones genricas, que pueden haber sido puestas en marcha tanto por
el sector pblico como por cualquier otro organismo o institucin, conviene
hacer una mencin especfica a la relacin entre la administracin pblica y
el tercer sector, y al papel qu ste puede desempear, desde la ptica de
la evaluacin, en la mejora de las intervenciones pblicas.
El punto de partida que gue la relacin entre los actores sociales y la administracin pblica debera ser una filosofa de aprendizaje mutuo y mejora continua, con el propsito ltimo de contribuir a una mayor calidad de vida
de las personas con discapacidad, junto con su plena integracin en la sociedad mediante la promocin de una igualdad de oportunidades real para
toda la ciudadana. En este contexto, la evaluacin de intervenciones pblicas puede constituir una herramienta de colaboracin entre la administracin y el tercer sector, que acte de nexo y permita generar sinergias y aumentar la efectividad de las actuaciones.
De este modo, un primer elemento a considerar es la articulacin por parte de los poderes pblicos de mecanismos de participacin y coordinacin
de los distintos actores implicados, vinculados al establecimiento de sistemas de seguimiento y evaluacin continua. Este tipo de rganos suelen denominarse comits de seguimiento o mesas de participacin, y podrn estar constituidos tanto por el propio sector pblico y las organizaciones del
232
tercer sector, como por universidades, centros de investigacin, sindicatos

y el sector privado, estos ltimos de especial relevancia en el caso de las
intervenciones de formacin, empleo e insercin social.
La configuracin concreta de estas estructuras de participacin depender del nivel especfico donde estemos desarrollando nuestra labor (puede
ser a nivel municipal, autonmico o estatal, dependiendo de cada caso concreto), y sus principales objetivos van desde la deteccin de necesidades al
conocimiento de la realidad del sector, la articulacin de polticas y programas, o la exigencia de rendicin de cuentas (de la que se hablar en el siguiente apartado). Para que estos rganos resulten de utilidad a la hora de
incrementar la efectividad de las acciones es adems aconsejable que estn acompaados de una planificacin estratgica, que concrete sus objetivos y finalidades y que especifique funciones, responsabilidades y atribuciones, entre las que se debe tratar de incluir el carcter vinculante de
determinadas decisiones que se tomen (justificado por la presencia de representantes del conjunto de actores sociales). As, estos documentos de
planificacin aprobados por la mesa o comit y refrendados por la propia
administracin (que formar parte de sta), se convierten en compromisos
pblicos sobre los que podemos exigir su cumplimiento.
Por otro lado, favorecer estos instrumentos puede tambin reforzar la comunicacin y coordinacin entre las administraciones y las entidades directamente implicadas en la intervencin. Ello va a permitir una mayor fluidez y agilidad
en el intercambio de informacin, mejorndose el propio proceso administrativo (por ejemplo corrigiendo duplicidades que se produzcan en la gestin de actividades y que internamente no sean evidentes). En definitiva, se genera una
red de conocimiento y una dinmica de mejora continua que en la gran mayora de los casos contribuir a la eficacia y efectividad de la intervencin.
Una segunda posibilidad de colaboracin que puede generar grandes
sinergias consiste en la promocin y exigencia de la evaluacin misma.
233
El tercer sector debe insistir en la aprobacin de planes peridicos de

evaluacin de los programas o iniciativas que formen parte de toda poltica de discapacidad. Estos planes de evaluacin pueden ser elaborados
con carcter anual o bianual, y tpicamente contendrn una seleccin de
programas o proyectos que sern evaluados durante el periodo de vigencia del mismo. Ser importante adems que sean aprobados al mximo
nivel de la administracin, de tal forma que vuelvan a convertirse en un
compromiso cuyo cumplimiento los distintos actores podrn exigir. La publicidad y difusin de los resultados de las evaluaciones debe tambin ser
exigible.
Tambin dentro de la lgica de promover la cultura evaluativa (poco desarrollada hasta el momento), el tercer sector puede impulsar la utilizacin de
evaluaciones participativas del tipo descrito en el apartado 2.4. Ello estar
especialmente indicado cuando el propio proceso de evaluacin sea al menos tan importante como los resultados y las conclusiones de la misma, de
modo que se genere una suerte de intercambio auto-formativo en materia
de evaluacin que puede adems potenciarse con sesiones especficas, que
sensibilicen y vayan dotando a los diferentes grupos de conocimientos en
materia de evaluacin.
Cuando se aborde una evaluacin participativa ser imprescindible articular rganos de participacin en la gestin de la misma, de tal forma
que se logre que esta responda a las necesidades de las partes interesadas, se contribuya a evitar que entren en el proceso objetivos contrarios
a la filosofa de la evaluacin, se evite el ocultamiento de los posibles resultados negativos de los ejercicios evaluativos y sirvan de base para un
mayor compromiso de las diferentes partes implicadas en el anlisis de
las intervenciones. Asimismo, se deber velar por la presencia de todas
ellas en estos rganos, as como por la participacin equilibrada de mujeres y hombres, de los propios beneficiarios de las intervenciones, etc., incluyndose cuando se necesario la incorporacin de personas expertas
234
que conozcan metodolgicamente los procesos de evaluacin y tengan experiencia en los mismos.
Una tercera y ltima herramienta que pueden poner en marcha los actores sociales, y que tambin entronca con la evaluacin, es el desarrollo y
promocin de mecanismos que potencien la utilizacin de las conclusiones
y recomendaciones que emanen de los procesos de evaluacin. La razn
es que mientras la necesidad de realizar evaluaciones ha venido percibindose y aceptndose gradualmente durante los ltimos aos, la utilizacin de
sus resultados ha quedado sistemticamente en un segundo plano, de modo
que lo habitual es que se haga poco caso a las conclusiones y todava menos a las recomendaciones. Esta problemtica es adems de especial relevancia en el mbito de la discapacidad, donde se detecta una cierta inercia
a reeditar sistemticamente las intervenciones, de modo que con el tiempo
su diseo y caractersticas han venido quedando obsoletos.
Para contribuir pues a fomentar la utilizacin de las conclusiones y recomendaciones se ha desarrollado un tipo de herramienta especfica denominada Respuestas de Gestin (Management Response), la cual est
siendo cada vez ms empleada como parte del propio proceso evaluativo,
tanto en el contexto internacional como en el estatal (aunque en mucha
menor medida). Ello se traduce en la cada vez ms frecuente exigencia
de que las evaluaciones que se lleven a cabo vayan acompaadas de una
respuesta de gestin, junto con un seguimiento de las acciones recogidas
en stas, exigencia que pueden (y deben) liderar los actores sociales y el
tercer sector.
Las respuestas de gestin son, en la prctica, documentos que incluyen
las recomendaciones del informe de evaluacin y las respuestas que dan
a cada una de ellas los actores destinatarios de las mismas (en general se
suele fijar un tiempo mximo tras el cual se debe oficializar la respuesta). A
travs de este proceso de tener que responder, las partes interesadas revi-
235
sarn las recomendaciones y acordarn las medidas concretas que se comprometen a realizar, fijando unos plazos para poner en marcha las acciones,
especificando responsabilidades y articulando medidas de seguimiento de la
ejecucin de las propuestas de accin50.
Un instrumento de este tipo tiene diversas ventajas. Por un lado, obliga
a los propios equipos de evaluacin a realizar un ejercicio de realismo a
la hora de elaborar las recomendaciones que, con cierta frecuencia, tienen un carcter excesivamente general y resultan difciles de implementar por actores y en contextos concretos. Por otro, interpelan directamente a las administraciones, y las obligan a reflexionar sobre lo que pueden
realmente cambiar para mejorar (y a plantearse llevarlo a cabo). Las respuestas de gestin tambin permiten adems que las partes interesadas
puedan rechazar las recomendaciones que consideran claramente fuera
de lugar o irrealizables; para estas situaciones de rechazo, se exigir aportar informacin detallada que justifique las razones del mismo, lo que enriquecer todava ms el ejercicio de objetividad y transparencia propio de
la evaluacin.
Se ofrece a continuacin un ejemplo de una ficha de respuesta de gestin, en el que se identifican claramente los elementos que hemos ido desgranando en los prrafos precedentes.
50
Para una gua detallada de cmo implementar y utilizar las respuestas de gestin ver
UNEG (2012).
236
237
Plazo
Unidad(es) Responsable(s)
Plazo
Unidad(es) Responsable(s)
Comentarios (acciones)
Estado
Iniciado / No iniciado
Completado
Seguimiento
Fuente: adaptacin de Guidance on preparing Management Responses to UNDAF Evaluations, UNEG (2012).
2.2
2.1
Accin(es) clave
Estado
Iniciado / No iniciado
Completado
Seguimiento
Comentarios (acciones)
Respuesta de gestin: De acuerdo / parcialmente de acuerdo / desacuerdo

(Si la recomendacin es rechazada o aceptada parcialmente, por favor, dar una explicacin)
Recomendacin de Evaluacin 2
1.2
1.1
Accin(es) clave
Respuesta de gestin: De acuerdo / parcialmente de acuerdo / desacuerdo

(Si la recomendacin es rechazada o aceptada parcialmente, por favor, dar una explicacin)
Recomendacin de Evaluacin 1
Ejemplo de ficha de respuesta de gestin
CUADRO 4.2
4.8. LA RENDICIN DE CUENTAS: EL CRITERIO

DE TRANSPARENCIA
Desde una perspectiva de gobernanza pblica, la transparencia se configura como un mecanismo esencial para la defensa y reivindicacin del valor de lo pblico. La gestin de fondos pblicos, no solo por parte de las administraciones sino por todos aquellos actores que reciben u operan con
financiacin de este tipo, conlleva una responsabilidad pblica de transparencia en relacin con el uso que se les da y respecto a las actuaciones que
se emprendan.
Vinculada al concepto de transparencia se encuentra la idea de la rendicin de cuentas (accountability) que, como hemos visto, es una de las funciones esenciales de la evaluacin. La visin tradicional de este concepto
como limitado al control electoral de los gobernantes ha dado paso a una
visin ms compleja y multidimensional, que hace que haya sido extendida
a cuestiones como el papel de la opinin pblica y los medios de comunicacin, la gobernabilidad y la participacin, as como a la gestin y administracin pblicas en trminos de modernizacin, relaciones pblico-privadas,
reforma gerencial, etc. (Jimnez, 2009). Esta creciente preocupacin ha
dado lugar al desarrollo de mltiples estrategias, entre las que los mecanismos de evaluacin ocupan un lugar central como aliados en la difusin de
este principio democrtico.
Sobre esta base, los procesos de transparencia debern tratar de acercar
a la ciudadana la actividad pblica, contribuyendo as a la construccin del
sentido de pertenencia y corresponsabilidad sobre la labor del sector pblico. Un primer paso bsico en este proceso ser la difusin de informacin
en torno a las actividades que las administraciones (y los restantes actores
que se financian con dinero pblico) llevan a cabo y los recursos que emplean para ello; sin embargo, ser tambin de mximo inters conocer los resultados de esas acciones, en relacin con aspectos como la eficacia o la
238
eficiencia de los proyectos y polticas que se llevan a cabo. Es en este segundo aspecto donde la evaluacin puede contribuir firmemente a reforzar
los derechos democrticos de control y supervisin de la accin pblica.
En general, el propio proceso de evaluacin produce una dinmica de
aprendizaje y mejora que por s misma representa un ejercicio de transparencia, de modo que tiene un valor positivo per se, ms all de los resultados obtenidos con la evaluacin y siempre que quede garantizada la independencia y la calidad de la misma. Sin embargo, y en lnea con lo que
comentbamos anteriormente, existe un inters creciente por la determinacin no slo de los resultados de la accin pblica, sino cada vez ms por
conocer tambin aspectos como su impacto final en el conjunto de la sociedad, as como el grado en que se est usando esa informacin para la retroalimentacin y mejora de nuevas intervenciones.
Por otro lado, el desarrollo de evaluaciones debe ir tambin acompaado de su publicidad, ya que sta contribuye no slo a la mejora de los sistemas de control del sector pblico, sino tambin a configurar la percepcin
de la sociedad sobra la responsabilidad de los agentes decisores. Para ello,
un elemento esencial es la publicacin de los resultados y productos de las
evaluaciones, aunque teniendo presente que en muchas ocasiones los resultados de los ejercicios evaluativos suponen informes excesivamente largos, que si bien estn guiados por una pretensin de claridad y concisin
en la prctica ello no siempre se consigue, de modo que ser tambin necesario tener en cuenta las diferentes audiencias a las que los resultados
de las evaluaciones se vayan a dirigir para planificar formatos acordes con
las caractersticas de cada una.
As por ejemplo, si una audiencia est representada por el nivel polticodirectivo para el cual los resultados de una evaluacin deben alimentar el
proceso de decisiones, ser preciso articular formatos breves como el de los
resmenes ejecutivos, que sinteticen las principales conclusiones y reco-
239
mendaciones de los informes (siempre con la idea de orientar de manera

clara los procesos de evaluacin a la utilizacin de sus resultados). Por el
contrario, si la poblacin destinataria de la evaluacin fuese por ejemplo las
propias personas con discapacidad receptoras de una determinada intervencin, se podr realizar una adaptacin de los contenidos del informe recogiendo los aspectos clave de manera sencilla y amena, de tal forma que
sean fcilmente comprensibles (utilizando boletines, adaptaciones a lectura
fcil, etc.).
En definitiva, si bien en primera instancia la transparencia tiene que ver
con la publicacin y difusin de los resultados, un segundo componente que
modula muy directamente este aspecto son las estrategias y los formatos
concretos de difusin por los que se opte, por lo que se deber prestar atencin a todo el abanico de actividades que pueden contribuir a la difusin de
los resultados de distinta forma (como pueden ser la realizacin de seminarios o talleres, en los que se hagan pblicos los principales hallazgos y conclusiones emanadas de los diferentes procesos de evaluacin).
As, mientras una actividad tradicionalmente vinculada con el ejercicio
de la transparencia en el sector pblico ha venido siendo la publicacin en
el Boletn Oficial del Estado (BOE) de las acciones de programacin, contratacin, etc. (vinculando la transparencia con las nociones de concurrencia abierta y de igualdad de oportunidades a la hora de competir para obtener financiacin pblica), con el tiempo han ido apareciendo otras
actividades como la realizacin de ruedas de prensa para presentar el cumplimiento de los objetivos de los planes estratgicos, o la publicacin de
boletines peridicos que dan cuenta del desarrollo de actividades y del logro de resultados.
Un segundo aspecto a tener en cuenta es que al igual que ocurra con la
participacin, es esencial que la transparencia acompae todo el proceso de
intervencin, desde su mismo diseo hasta la propia decisin de si evaluar-
240
la o no. En este sentido, se deber hacer tambin pblica la incorporacin

de los grupos implicados en la fase de diagnstico y formulacin, la generacin de comits de seguimiento, el desarrollo de procesos de contratacin
abiertos y transparentes (en el caso de que estos sean necesarios en algunas fases de la intervencin), la difusin de los informes de seguimiento, de
las evaluaciones o de cualquier otro informe con datos relevantes, etc. Por
tanto, el ejercicio de la transparencia por parte de las administraciones y de
los otros actores receptores de financiacin pblica no supone una actividad
cerrada, ni en su concepcin ni en los mecanismos para implementarla, existiendo una multitud de vas que dependiendo del contexto, del nivel (macro
o micro) de la intervencin, o de la capacidad de los actores implicados, podrn ser empleadas como herramientas para garantizar la transparencia y
la rendicin de cuentas.
Con todo, conviene tambin tener presente que en muchas ocasiones la
calidad misma de las intervenciones puede condicionar enormemente su
transparencia (una vez se haya decidido la difusin de los resultados). Es
decir, solamente si la programacin y el seguimiento de las intervenciones
se realizan con rigor metodolgico y tcnico existir un nexo claro entre los
diferentes elementos de la intervencin, que nos va a permitir comprenderla con claridad; a su vez, esa calidad vendr reforzada por la existencia de
herramientas y soportes informativos que se elaboren de forma peridica, y
que contengan los principales avances o las dificultades encontradas. Estos
elementos, que elevan la calidad de la intervencin, son a su vez instrumentos indirectos de publicidad y difusin, que contribuyen a incrementar la
transparencia de la accin social y de sus resultados.
Por ltimo, en el mbito de la transparencia de las propias entidades del
tercer sector, se han generado en los ltimos aos experiencias con el fin
de lograr generar una mayor confianza hacia las organizaciones sin nimo
de lucro. As, los informes de transparencia que publica la Fundacin Lealtad sobre ONGs del mbito del desarrollo (en los que podemos encontrar
241
algunas entidades relacionadas con la discapacidad) seran un ejemplo de

ellas, junto con su Gua de la Transparencia y las Buenas Prcticas de las
ONG51, que incluye un anlisis comparado de entidades sociales en funcin
de nueve principios de transparencia.
A continuacin se aportan algunos ejemplos de preguntas de evaluacin
e indicadores relacionados con el criterio de transparencia. A este respecto,
y a la hora de medir si la ciudadana en general (adems de los actores implicados) ha sido adecuadamente informada sobre determinadas iniciativas
y medidas, conviene recalcar la utilidad de herramientas que ya estn en
poder de la administracin, como las encuestas que realizan determinadas
instituciones de investigacin como el Centro de Investigaciones Sociolgicas (CIS). Este organismo realiza encuestas trimestrales (barmetros) que
pulsan la opinin general de la poblacin espaola sobre determinados temas fijos, pero que tambin se acompaan de anlisis especficos sobre
cuestiones cambiantes que se consideren de inters en el momento en el
que se elabora cada encuesta, adems de las investigaciones monogrficas
sobre determinados temas de inters (entre los que se podra incluir el de
la discapacidad).
Conocen los principales actores implicados en el programa tanto sus
objetivos como sus resultados (previstos y obtenidos)?
Indicador: respuestas de los propios actores tras entrevistas en profundidad.
Indicador: correlacin entre las respuestas de los actores y la realidad
del programa.
51
http://www.guiatransparenciaong.org
242
Indicador: nmero de actores que efectivamente tiene una percepcin

correcta sobre los objetivos y resultados del programa.
En qu medida conoce la ciudadana en general tanto los objetivos
como los resultados (previstos y obtenidos) de la intervencin?
Indicador: respuestas directas en encuestas.
Indicador: correlacin entre las respuestas de las encuestas y la realidad del programa.
Indicador: nmero y calidad de las referencias en los medios de comunicacin sobre los objetivos y resultados del programa.
Se han desarrollado suficientes actividades de difusin sobre los distintos aspectos de la intervencin?
Indicador: nmero y calidad de las actividades de difusin que se han
realizado, diferenciando segn el contenido y lo aspectos de la intervencin que han abordado.
Indicador: alcance y nmero de participantes en las actividades de difusin, diferenciando segn el contenido y lo aspectos de la intervencin que han abordado.
Se han constituido mesas de participacin o comits de seguimiento
en los que se ha dado cabida a diferentes actores?
Indicador: nmero y composicin de las mesas de participacin o de
los comits de seguimiento.
Indicador: nmero de reuniones realizadas por ao, volumen de asistencia a las mismas, documentos generados (actas, por ejemplo) y
acuerdos alcanzados.
Indicador: porcentaje de representantes de asociaciones de personas
con discapacidad y poblacin con discapacidad no asociada, desagre-
243
gadas por sexo, edad y tipo de discapacidad que participan en estas

mesas o comits.
En qu medida han funcionado los rganos de participacin y/o seguimiento?
Indicador: valoraciones de los propios miembros de cada rgano hechas en grupos de discusin.
Indicador: nmero e intensidad de decisiones de los rganos que han
trascendido y se han aplicado a la intervencin.
Ha existido un plan de comunicacin asociado a la vida de la intervencin y se ha implementado adecuadamente?
Indicador: existencia y grado de elaboracin de un plan de comunicacin.
Indicador: en caso de existir, temporalidad del mismo (desde los momentos iniciales del proyecto, solamente una vez terminada, etc.).
Indicador: en caso de existir, porcentaje y tipos de actividades del plan
que se han llevado a cabo en el marco de un comit de seguimiento o
mesa de participacin.
En caso de existir el plan de comunicacin, se han diseado procesos
y actividades diferenciadas en funcin de las audiencias destinatarias?
Indicador: porcentaje de actividades realizadas en funcin de la audiencia y principales resultados de las mismas
Los informes de seguimiento u otros documentos de difusin de resultados presentan un balance equilibrado sobre las fortalezas y debilidades de la intervencin?
Indicador: resultados de un anlisis de contenidos sobre dichos materiales.
244
Conclusiones
A lo largo de los apartados de este trabajo se han ido desarrollando diversas cuestiones, todas ellas susceptibles de ser tenidas en cuenta cuando se aborde la necesidad de evaluar una intervencin en el mbito de la
discapacidad (sea sta una poltica, un plan, un programa o un proyecto).
Se ha hablado de tipos de evaluaciones y de enfoques, de metodologas y
tcnicas de anlisis, y sobre todo de una coleccin de criterios de evaluacin, con propuestas para sus correspondientes preguntas e indicadores
asociados. En cierto sentido pues, la persona que lea este documento podra llegar a la conclusin de que evaluar una intervencin viene a ser una
tarea herclea, con multitud de aspectos a considerar.
En realidad sin embargo es todo lo contrario. El propsito que ha guiado
la elaboracin de este trabajo ha sido ms bien el de ofrecer un abanico de
posibilidades para evaluar, de modo que en cada caso concreto se pueda
elegir aquella combinacin que mejor se ajuste tanto a las necesidades de
la intervencin evaluada como a la disponibilidad de conocimientos y recursos por parte del equipo de evaluacin. En este sentido, la mejor recomendacin o buena prctica que desde estas pginas se puede hacer a ese hipottico equipo de evaluacin sera la de evaluar poco, pero evaluar bien:
se trata de dedicar el tiempo y el esfuerzo suficiente a elegir adecuadamente qu aspectos considerar, con el objetivo ltimo de lograr emitir un juicio
245
relevante y bien fundamentado sobre cualesquiera que sean los criterios de

evaluacin que se hayan priorizado, aunque solamente se trate de uno o
dos de ellos.
Porque toda insistencia es poca en que lo ms importante de un proceso de evaluacin no es analizar todos y cada uno de los distintos elementos que conforman la intervencin, sino ms bien proporcionar una coleccin de evidencia bien fundamentada y articulada, que permita que cualquier
persona pueda entender por qu se concluye que la intervencin ha sido
eficaz, eficiente, etc.
Para ello, en la medida de lo posible el foco debe ponerse en asegurar
que todos los componentes de la evaluacin realmente capturen las distintas dimensiones que se estn valorando. As por ejemplo, si se ha optado por enjuiciar la pertinencia de una intervencin, se deber repasar insistentemente la evidencia recopilada, el anlisis que se ha hecho al
respecto, los conclusiones que se extraen y las recomendaciones que se
proponen para comprobar si en conjunto conforman una argumentacin lgica y coherente, que en el caso del criterio de pertinencia debera girar
en torno a la cuestin de si la intervencin tiene sentido en ese contexto
y en ese momento. Es decir, se tratara de preguntarse las veces que sea
necesario algo del estilo: esta informacin (o este anlisis, o estas conclusiones) contribuyen realmente a que podamos valorar mejor si la intervencin es pertinente?
Una de las consecuencias prcticas ms importantes de esto es que la
matriz de evaluacin debe convertirse en el eje sobre el que se articule el
resto del trabajo. Si las preguntas capturan adecuadamente aquello que realmente es importante saber para valorar un criterio dado, y los indicadores
permiten darles una respuesta clara, robusta y comprensible, se habrn consolidado unas bases inmejorables para llevar a cabo una buena evaluacin.
No debe tenerse pues reparos en volver a la matriz las veces que haga fal-
246
Conclusiones
ta, incorporando en forma de indicadores o preguntas todo aquello que se

vaya descubriendo sobre la intervencin y que se considere relevante para
comprenderla y enjuiciarla adecuadamente.
Otra cuestin que tambin es importante tener en cuenta es la de evitar
sobredimensionar las evaluaciones intentando abarcar todos los criterios posibles (lo que generalmente ser a costa de una menor profundidad y consistencia en el anlisis de cada uno de ellos). En la prctica es mucho ms
recomendable intentar centrarse solamente en aquellos criterios que realmente se considere importantes, haciendo una seleccin previa bien fundamentada y sin miedo a dejar fuera algunos de ellos, lo que permitir dedicar ms tiempo y recursos a asegurar que el proceso de enjuiciamiento en
su conjunto sea slido y est bien argumentado.
Lgicamente para realizar una buena seleccin de criterios en primer lugar ser necesario estudiar y conocer en profundidad la intervencin, en todos sus mbitos: la documentacin oficial, las investigaciones hechas por
personas expertas en el tema, la opinin de los actores sociales, etc. Entonces, una vez se tenga una idea de los pros y contras que va a implicar
cada criterio, una posible forma de priorizarlos es la siguiente: elegir aquellos en los que haya un consenso claro sobre su relevancia, aunque generalmente sern tambin los que ms se hayan estudiado previamente, y aadir alguno(s) sobre el que haya indicios de que pueden existir problemticas
o fenmenos poco estudiados pero que podra ser importante poner de manifiesto. En otras palabras, se tratara de contribuir equilibradamente a enjuiciar mejor lo que ya sabemos que es importante, y a descubrir aquello
que tambin podra serlo.
Una ltima recomendacin en este sentido consistira en evitar acudir a
tcnicas de anlisis o metodologas de investigacin excesivamente sofisticadas, que habitualmente consumirn una enorme cantidad de recursos del
equipo de evaluacin y, en el mejor de los casos, requerirn un importante
247
esfuerzo pedaggico para que la mayora de las personas puedan ver claramente cmo se ha llegado a las conclusiones. La nica excepcin seran
aquellos casos en los que dichas tcnicas sean imprescindibles para calcular un indicador que se considera fundamental, o bien cuando el propio equipo sea experto en su utilizacin.
En definitiva, en este trabajo se espera haber contribuido a que cualquier
entidad o institucin pueda llevar a cabo, independientemente de los recursos de que disponga, evaluaciones en el mbito de la discapacidad que sean
tiles, metodolgicamente rigurosas y de calidad.
248
Bibliografa
AEVAL (2010): Fundamentos de evaluacin de polticas pblicas. Agencia Estatal de

Evaluacin de las Polticas Pblicas y la Calidad de los Servicios. Madrid: Ministerio de Poltica Territorial y Administracin Pblica.
AGUADO, A.L., FLREZ, M.A. y ALCEDO, M.A. (2004): Programas de cambio de actitudes ante la discapacidad, Psicothema vol. 16, n 4, pp. 667-673.
AICD (2007): Informe de Evaluacin - Formacin Laboral de Jvenes con Discapacidad que son atendidos en los Servicios Educativos Especiales en el mbito Nacional. Pas Coordinador: Nicaragua. Agencia Interamericana para la Cooperacin y el Desarrollo. Organizacin de los Estados Americanos.
ALVIRA, M.F. (2004): La encuesta, una perspectiva general metodolgica, Cuaderno
Metodolgico n 35, Centro de Investigaciones Sociolgicas.
ALVIRA, M.F. (1996) Metodologa de la evaluacin de programas, Cuaderno Metodolgico n 2, Centro de Investigaciones Sociolgicas.
ANUIES (2002): Manual para la Integracin de Personas con Discapacidad en las
Instituciones de Educacin Superior. Asociacin Nacional de Universidades e Instituciones de Educacin Superior (ANUIES). Mxico: Secretara de Educacin Pblica de Mxico.
AUSTRALIAN GOVERNMENT (2012): Evaluation of Disability Employment Services Interim
Report. Reissue March 2012. Department of Education, Employment and Workplace Relations. Canberra: Australian Government.
249
Bibliografa
BAMBERGER, M. y SEGONE, M. (2010): Cmo disear y gestionar evaluaciones basadas en la equidad. Fondo de Naciones Unidas para la Infancia (UNICEF).
BECERRA, M.T. et al. (2008): Evaluacin de un programa de apoyo laboral para trabajadores con discapacidad intelectual en tareas con elevada exigencia cognitiva,
Revista Espaola sobre Discapacidad Intelectual vol. 39 (2), n 226, pp. 63-81.
BUSTELO, M. (2004): La evaluacin de las polticas de gnero en Espaa. Madrid: Ediciones La Catarata.
BUSTELO, M. (1999): Diferencias entre investigacin y evaluacin: una distincin necesaria para la identidad de la evaluacin de programas, Revista Espaola de
Desarrollo y Cooperacin n 4, pp. 9-29.
BUSTILLOS, G. y VARGAS, L. (2002): Tcnicas participativas para la educacin popular.
Madrid: Editorial Popular.
CEA DANCONA, M.A. (1996): Metodologa cuantitativa: estrategias y tcnicas de investigacin social. Madrid: Sntesis.
CERMI (2012): La transversalidad de gnero en las polticas pblicas de discapacidad. Comit Espaol de Representantes de Personas con Discapacidad (CERMI). Madrid: Ediciones Cinca.
CICOUREL, A.V. (2011): Mtodo y medida en sociologa. Coleccin Clsicos Contemporneos. Madrid: Centro de Investigaciones Sociolgicas.
COMAS, D. (2008): Manual de evaluacin para polticas, planes, programas y actividades de juventud. Servicio de Documentacin y Estudios, Observatorio de la Juventud en Espaa. Madrid: Instituto de la Juventud (INJUVE).
COMISIN EUROPEA (2010): Indicative Guidance for the evaluation of interventions combating discrimination within the framework of ESF co-funded programmes 20072013. DG Employment, Social Affairs and Equal Opportunities. Bruselas: Comisin Europea.
COMISIN EUROPEA (2009a): Mid-term Evaluation of the European Action Plan 20032010 on Equal Opportunities for People with Disabilities. DG Employment, Social
Affairs and Equal Opportunities. Bruselas: Comisin Europea.
250
Bibliografa
COMISIN EUROPEA (2009b): Impact Assessment Guidelines. Bruselas, 15 de enero de

2009, SEC(2009) 92.
COMISIN EUROPEA (2008): Study on the relevance and reliability of available information for the ex post evaluation of the European Social Fund (2000-2006). Final
Report. DG Employment, Social Affairs and Equal Opportunities. Bruselas: Comisin Europea.
COMISIN EUROPEA (2007): Responding to strategic needs: reinforcing the use of evaluation. Bruselas, 21 de febrero de 2007, SEC(2007) 213.
COMISIN EUROPEA (2006a): Metodologa de evaluacin de la ayuda exterior de la Comisin Europea: Gua para la evaluacin de un proyecto o programa. Unidad Comn de Evaluacin, Direccin General de Relaciones Exteriores. Luxemburgo:
Comisin Europea.
COMISIN EUROPEA (2006b): El Plan Legislar Mejor: de qu se trata? Comisin Europea.
Luxemburgo: Oficina de Publicaciones Oficiales de las Comunidades Europeas.
COMISIN EUROPEA (1999): Guidelines for systems of monitoring and evaluation of ESF
assistance in the period 2000-2006. Direccin General de Empleo, Relaciones
Laborales y Asuntos Sociales. Bruselas: Comisin Europea.
COMISIN EUROPEA (1997): Gua para la evaluacin del impacto en funcin del gnero. Direccin General de Empleo, Relaciones Laborales y Asuntos Sociales. Bruselas: Comisin Europea.
COMUNIDAD DE MADRID (2009): Evaluacin final del Plan de Accin para Personas con
Discapacidad 2005-2008 de la Comunidad de Madrid. Consejera de Familia y
Asuntos Sociales. Madrid: Comunidad de Madrid.
CORTS, M. et al. (2009): Evaluacin del programa de Atencin a Personas con Discapacidad (PAD), Cuadernos del Consejo de Desarrollo Social n15. Monterrey
N.L.: Consejo de Desarrollo Social de Nuevo Len.
CRISTBAL, V. et al. (2002): Indicadores de exclusin social de mujer con discapacidad. Observatorio de la Discapacidad, Serie catlogos y guas, 5. Barcelona: Associaci Dones No Estndards.
251
Bibliografa
DGPOLDE (2007): Manual de gestin de evaluaciones de la cooperacin espaola.

Direccin General de Planificacin y Evaluacin de Polticas para el Desarrollo
(DGPOLDE). Madrid: Ministerio de Asuntos Exteriores y de Cooperacin.
DUEAS, M.L. (2000): Evaluacin de programas de atencin a nios con discapacidades, Revista de Investigacin Educativa vol. 18, n 2, pp. 601-609.
ELINSON, L. et al. (2005): Evaluation of Disability Employment Policy Demonstration
Programs. Office of Disability Employment Policy. Washington, DC: U.S. Department of Labor.
ESPINOSA, J. (2011): La igualdad de gnero en la evaluacin de la ayuda al desarrollo. Tesis doctoral. Universidad Complutense de Madrid.
FUNDACIN LEALTAD (2012): Gua de la Transparencia y las Buenas Prcticas de las
ONG. Fundacin Lealtad. http://www.guiatransparenciaong.org.
FUNDACIN ONCE (2011): Evaluacin del Valor Aadido Comunitario del Programa
Operativo de Lucha contra la Discriminacin gestionado por la Fundacin ONCE.
Direccin de Relaciones Sociales e Internacionales y Planes Estratgicos de la
Fundacin ONCE. Madrid: Fundacin ONCE.
FUNDACIN ONCE (2009): Gua de responsabilidad social empresarial y discapacidad
de la Fundacin ONCE. Madrid: Fundacin ONCE.
GARCIA I BAR (2007): Avaluaci de la qualitat de vida de les persones amb discapacitat intellectual en els Centres Ocupacionals i Centres Especials de Treball. Tesis doctoral. Universitat Ramn Llull.
IncluD-ed (2011): Criterios para evaluar buenas prcticas en IncluD-ed. European
Network on Inclusive Education and Disability (IncluD-ed).
IVLUA (2009): Gua prctica 1 - Cmo iniciar una evaluacin: oportunidades, viabilidad y preguntas de evaluacin, Coleccin Ivlua de guas prcticas sobre evaluacin de polticas pblicas. Barcelona: Institut Catal dAvaluaci de Poltiques
Pbliques.
JIMNEZ, E. (2009): Reinterpretando la rendicin de cuentas o accountability: diez
propuestas para la mejora de la calidad democrtica y la eficacia de las polti-
252
Bibliografa
cas pblicas en Espaa. Documento de trabajo 145/2009. Madrid: Fundacin

Alternativas.
JORDN DE URRES, F.B. y VERDUGO, M.A. (2010): Evaluation and follow up of Supported Employment initiatives in Spain from 1995 to 2008, Journal of Vocational Rehabilitation 33, pp. 39-49.
JUNTA DE ANDALUCA (2007): Plan de Empleabilidad para las Personas con Discapacidad en Andaluca 2007-2013. Consejera de Empleo. Sevilla: Junta de Andaluca.
KRUEGER, R.A. (1991): El grupo de discusin. Gua prctica para la investigacin aplicada. Madrid: Pirmide.
KYRIAZOPOULOU, M. y WEBER, H. (editores) (2009): Development of a set of indicators
for inclusive education in Europe. Odense: European Agency for Development in
Special Needs Education.
LARUMBE, R. y FERNNDEZ, R. (2007): Evaluacin de un programa intensivo de Educacin Conductiva dirigido a nios con Parlisis Cerebral, MAPFRE Medicina vol.
18, n 2, pp. 134-143.
LIGERO LASA, J.A. et al. (2012): Human Rights and Gender Equality approaches in
evaluation. Steps to integrate both approaches in development evaluation, Comunicacin de la 10 Conferencia Bienal de la Sociedad Europea de Evaluacin,
Helsinki, 1-10 de Octubre de 2012.
LIGERO LASA, J.A. (2011): Dos mtodos de evaluacin: criterios y teora del programa.
Documento de Trabajo n 15 / 2011, Serie CECOD. Madrid: CEU Ediciones.
MEJA, L.B. (2008): Evaluacin del Programa Proyectos Departamentales y Distritales de Atencin Integral de Personas con Discapacidad del Ministerio de Proteccin Social, Colombia Internacional n 68, pp. 108-126.
MINISTERIO DE ASUNTOS EXTERIORES (2001): Metodologa de Evaluacin de la Cooperacin Espaola II. Secretara de Estado para la Cooperacin Internacional y para
Iberoamrica. Madrid: Ministerio de Asuntos Exteriores.
MINISTERIO DE SANIDAD, POLTICA SOCIAL E IGUALDAD (2012): Estrategia Espaola sobre Discapacidad 2012-2020. Madrid: Ministerio de Sanidad, Poltica Social e Igualdad.
253
Bibliografa
MINISTERIO DE SANIDAD Y POLTICA SOCIAL (2008): Estrategia global de accin para el empleo de personas con discapacidad 2008-2012. Madrid: Ministerio de Sanidad y
Poltica Social.
MORENO, J.L. (2007): Gua para la aplicacin del modelo EFQM de Excelencia en entidades de accin social. Cuaderno de gestin 2. Madrid: Fundacin Luis Vives.
NATIONAL COUNCIL ON DISABILITY (2008): Keeping Track: National Disability Status and
Program Performance Indicators. Washington, DC: National Council on Disability.
NORAD (2012): Evaluation of Norwegian support to promote the rights of persons
with disabilities. Evaluation Department. Oslo: Norwegian Agency for Development Cooperation.
ONU (1984): Pautas bsicas para el seguimiento y evaluacin de programas, mimeo FEGS. Caracas, Venezuela.
OSUNA, J.L. y Mrquez, C. (2000): Gua para la evaluacin de las polticas pblicas.
Sevilla: Instituto de Desarrollo Regional (IDR).
PATTON, M.Q. (1997): Utilization-focused evaluation: The new century text. 3 ed. Thousand Oaks, CA: Sage.
PINILLA, R. (2008): Qu es y para qu sirve la Evaluacin de Impacto Normativo.
Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios. Madrid: Ministerio de Poltica Territorial y Administracin Pblica.
PLATAFORMA DE ONG DE ACCIN SOCIAL (2010): Gua de Evaluacin de Programas y
Proyectos Sociales. Madrid: Plataforma de ONG de Accin Social.
RIICOTEC (2010): Seguimiento y medicin de compromisos de Estado en polticas
pblicas en discapacidad. Modelo conceptual y metodolgico. Madrid: Red Intergubernamental Iberoamericana de Cooperacin Tcnica.
RODRGUEZ, G., GARCA, C. y TOHARIA, L. (2009): Evaluacin de las polticas de empleo
para personas con discapacidad y formulacin y coste econmico de nuevas propuestas de integracin laboral. Telefnica y CERMI. Madrid: Ediciones Cinca.
254
Bibliografa
SAN SALVADOR DEL VALLE, R. et al. (2006): Evaluacin de los planes para las personas
con discapacidad como sistema de proteccin social. Anlisis y propuestas de
mejora en el mbito de la inclusin en ocio. Estudios de Ocio. Bilbao: Universidad de Deusto.
SOCIAL DEVELOPMENT CANADA (2004): Evaluation of the Canada Pension Plan Disability
Vocational Rehabilitation Program. Audit and Evaluation Directorate, Strategic Direction. Social Development Canada.
STUFFLEBEAM, D.L. y SHIKFIELD, A.J. (1987): Evaluacin sistemtica. Gua terica y prctica. Barcelona: Centro de Publicaciones del MEC y Paids Ibrica.
TORRES, R.T., PRESKILL, H., y PIONTEK, M. E. (1996): Evaluation strategies for communicating and reporting: Enhancing learning in organizations. Thousand Oaks, CA:
Sage.
UNEG (2012): Guidance on Preparing Management Responses to UNDAF Evaluations. UNEG Task Force on Joint Evaluation. United Nations Evaluation Group.
UNEG (2011): Integrating Human Rights and Gender Equality in Evaluation Towards
UNEG Guidance. UNEG Human Rights and Gender Equality Task Force. United
Nations Evaluation Group.
UNESCO (2008): Equity and Inclusion in Education: Tools to support education sector planning and evaluation. UNGEI - The United Nations Girls Education Initiative.
UNICEF (2010): Cmo disear y gestionar evaluaciones basadas en la equidad. New
York: United Nations Childrens Fund Division of Policy and Practice.
UNICEF (2008): Monitoring Child Disability in Developing Countries. Results from the
Multiple Indicator Cluster Surveys. New York: United Nations Childrens Fund Division of Policy and Practice.
VALLS, M. (1999): Tcnicas cualitativas de investigacin social: reflexin metodolgica y prctica profesional. Madrid: Sntesis.
255
Bibliografa
VOLIO, R. (2006): Gua de indicadores para la evaluacin del impacto de gnero de

las polticas pblicas. rea de Juventud, Educacin y Mujer del Cabildo Insular
de Tenerife. Santa Cruz de Tenerife: Cabildo Insular de Tenerife.
WHOLEY, J.S., HATRY, H.P. y NEWCOMER, K.E. (2004): Handbook of practical program
evaluation. 2 ed. San Francisco: Jossey-Bass.
256
Anexo. Listado de personas entrevistadas
Virgina Carcedo Illera

Secretaria General en FSC Inserta, Fundacin ONCE.
Agustn Huete Garca

Profesor Asociado de Sociologa en la Universidad de Salamanca y miembro del Instituto Universitario de Integracin en la Comunidad (INICO) de esa
Universidad. Director de InterSocial (servicios de consultora).
Antonio Jimnez Lara

Coordinador de Programas del Observatorio Estatal de la Discapacidad.
Gregorio Rodrguez Cabrero

Catedrtico de Sociologa de la Universidad de Alcal. Director de la Revista Espaola del Tercer Sector. Miembro del Grupo de Expertos Independientes en Materia de Exclusin Social de la Comisin Europea.
257
Anexo
Ana Ruz Martnez

Presidenta de la Agencia Estatal de Evaluacin y Calidad (AEVAL).
Victoria Snchez Esteban

Mster en Evaluacin de Programas y Polticas Pblicas por la Universidad Complutense de Madrid y miembro del equipo de expertos de Red2Red
(servicios de consultora).
Josefa Torres Martnez

Directora de la Federacin Empresarial Espaola de Asociaciones de
Centros Especiales de Empleo (FEACEM).
258
LTIMAS PUBLICACIONES DE LA COLECCIN CERMI.ES

N 61 DERECHO Y DISCAPACIDAD
In memoriam Jos Soto Garca-Camacho
Direccin: Rafael de Lorenzo Garca
384 pginas. ISBN: 978-84-15305-35-4
22 IVA incluido
N 60 ACTIVISTAS
15 historias de vida de activistas de la discapacidad
Autor: Juan Antonio Ledesma Heras
232 pginas. ISBN: 978-84-15305-34-7
20 IVA incluido
N 59 EL SECTOR DE LA DISCAPACIDAD: REALIDAD, NECESIDADES
Y RETOS FUTUROS
Direccin: Gregorio Rodrguez Cabrero
300 pginas. ISBN: 978-84-15305-40-8
22 IVA incluido
N 58 LA SITUACIN DE LA DISCAPACIDAD EN LA POLTICA ESPAOLA
DE COOPERACIN PARA EL DESARROLLO
Autora: Beatriz Martnez Ros
268 pginas. ISBN: 978-84-153058-28-6
20 IVA incluido
N 57 HOY EMPIEZA TODO
Breve aproximacin histrica al CERMI como motor de cambio social
(1997-2012)
Autora: Esther Peas
208 pginas. ISBN: 978-84-15305-27-9
18 IVA incluido
N 56 TRATAMIENTO DE LOS JUEGOS PARALMPICOS DE PEKN 2008
EN LOS MEDIOS ESPAOLES
Coordinacin: Josep Solves Almela
276 pginas. ISBN: 978-84-15305-23-1
20 IVA incluido
N 55 2003-2012: 10 AOS DE LEGISLACIN SOBRE NO DISCRIMINACIN DE PERSONAS CON DISCAPACIDAD EN ESPAA
Estudios en homenaje a Miguel ngel Cabra de Luna
Coordinacin: Gloria lvarez Ramrez
468 pginas. ISBN: 978-84-15305-20-0
25 IVA incluido

00-Evaluacion de Programas

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

00-Evaluacion de Programas

Uploaded by

Copyright:

Available Formats

Coleccin

Gua para la evaluacin de programas

CON EL APOYO DE:

Estudio elaborado y editado en el marco del Programa Operativo del FSE de

Reservados todos los derechos.

Grupo Editorial Cinca, S. A.

Gua para la evaluacin de programas

Prlogo, Ana Mara Ruiz Martnez ........................................................

Introduccin: enfoque y alcance de este trabajo .........................

Marco terico y revisin de la literatura ........................................

Gua para la evaluacin de programas y polticas pblicas de discapacidad

Evaluar antes de poner en marcha una intervencin: la perspectiva ex ante .............................................................................

Una reflexin previa: elegir qu evaluar y desde qu perspectiva....................................................................................

Evaluar intervenciones que ya estn en funcionamiento: la evaluacin intermedia y la perspectiva ex post............................

Analizar el proceso de implementacin como elemento clave

El desarrollo del seguimiento y evaluacin continuos, y el

Gua para la evaluacin de programas y polticas pblicas de discapacidad

suadir a responsables polticos y gestores de la utilidad de la evaluacin

Introduccin: enfoque y alcance de este trabajo

Este trabajo nace de la voluntad de la Fundacin ONCE y el CERMI de

Gua para la evaluacin de programas y polticas pblicas de discapacidad

este tipo de intervenciones, de modo que fuese posible ajustar y precisar

Estructura y contenido de este documento

Gua para la evaluacin de programas y polticas pblicas de discapacidad

Seguidamente, los captulos 3 y 4 trasladan lo aprendido en el segundo

Marco terico y revisin de la literatura

2.1. INTRODUCCIN A LA EVALUACIN. FUNCIN,

Gua para la evaluacin de programas y polticas pblicas de discapacidad

Marco terico y revisin de la literatura

Funciones y caractersticas de la evaluacin

Gua para la evaluacin de programas y polticas pblicas de discapacidad

Marco terico y revisin de la literatura

Produccin y acumula- Control y supervisin Mejora de los programas; Rendimiento

Se interesa por un problema en abstracto o

Seleccin, recopilacin Comprobacin de la

Destinatarios Comunidad cientfica Financiador/es

Clientes, administracin; Responsables, profesionales; Actores crticos o

Recomendaciones para la accin y utilizacin de los resultados; Informes (no

Publicacin de resultados; Aportacin a, y reconocimiento de, la comunidad cientfica

Justificacin del gasto

Adaptacin de Bustelo (1999).

Gua para la evaluacin de programas y polticas pblicas de discapacidad

TABLA 2.1 (Cont.)

El motivo o propsito de la evaluacin

Adaptacin de IVLUA (2009).

Marco terico y revisin de la literatura

ponibles antes de una fecha concreta en la que debe tomarse la decisin.

Gua para la evaluacin de programas y polticas pblicas de discapacidad

Marco terico y revisin de la literatura

siones la respuesta estar explicitada en el encargo de evaluacin o vendr

2.2. EL OBJETO DE EVALUACIN Y LA LGICA

Gua para la evaluacin de programas y polticas pblicas de discapacidad

bio en la sociedad5. Para este tipo de objetos se ha desarrollado pues una

La teora del cambio y la lgica de la intervencin (IVLUA, 2009, p. 7)

Gua para la evaluacin de programas y polticas pblicas de discapacidad

prescindible si se quiere llevar a cabo una buena evaluacin. Para ilustrar

Marco terico y revisin de la literatura

man a presentarse a ms entrevistas porque tienen mayor confianza y seguridad)?

Gua para la evaluacin de programas y polticas pblicas de discapacidad

2.3. EL ENCARGO DE EVALUACIN. QU INTERVENCIONES SON

Marco terico y revisin de la literatura

El propsito: qu objetivo se persigue conseguir con la evaluacin,

Gua para la evaluacin de programas y polticas pblicas de discapacidad

Marco terico y revisin de la literatura