Evaluacin de polticas pblicas

Prof. Tamyko Ysa Institut de Direcci i Gesti Pblica (ESADE) Tamyko.ysa@esade.edu

Definicin evaluacin
Joint Committee Standard Education

Recoger y analizar sistemticamente una informacin para poder determinar el valor o mrito de una intervencin

Definicin evaluacin
Xavier Ballart
Produccin de informacin que sirva a los gestores pblicos para tener una idea sobre la calidad de los servicios que estn produciendo, en funcin de lo que se estime como valor. Evaluacin como tcnica que busca producir informacin til a las Administraciones pblicas para mejorar:
Los procesos de decisin y planificacin El funcionamiento y la gestin de las operaciones diarias Los resultados finales en relacin a los recursos invertidos

Propsitos de la evaluacin
Comprensin,ilustracin ilustracin Comprensin, enlightenment) (( enlightenment)

Rendimientode decuentas cuentas Rendimiento accountability) (( accountability)

Mejora Mejora (improvement) (improvement)

Aceptacin por la institucin de la responsabilidad de evaluarse a s misma Garanta y comprobacin de seriedad y eficacia en la utilizacin de fondos pblicos Cmo se gasta+ justificacin en trminos de resultados obtenidos= costo/eficacia Exigencia de responsabilidades (y sanciones) Comparar programas (assessment)

Propsitos de la evaluacin
Ilustracin , comprensin (enlightenment) Ilustrar, aclarar, dar luz, comprender qu est pasando y cmo funciona el programa. La evaluacin suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervencin. La retroalimentacin o mejora (improvement) Es una manera de recibir feedback sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluacin puede ser un proceso de aprendizaje de la propia intervencin. El control de responsabilidades y rendimiento de cuentas (accountability) Rendir cuentas en la acepcin ms flexible del trmino, no se restringe exclusivamente a los aspectos econmicos sino tambin a la responsabilidad social y poltica, especialmente si las actividades llevadas a cabo se financian con fondos pblicos ya que el contribuyente tienen derecho a saber en qu y cmo se est empleando el dinero pblico.

El cliente pblico: el ciudadano

CONTRIBUYENTE

ELECTOR

CIUDADANO CIUDADANIA
USUARIO SBDITO

Serra

Autoavaluaci organitzativa Model conceptual de la qualitat del servei

Servei esperat Avaluaci de Biaix 5 la satisfacci Servei percebut Queixes i suggeriments Biaix 4 Prestaci del servei Biaix 1 Biaix 3 Anlisi de les expectatives Autoavaluaci organitzativa Biaix 2 Percepcions dels directius sobre les expectatives dels usuaris Especificacions de la qualitat del servei Comunicaci externa als usuaris

Cartes de serveis

Modelo para la evaluacin

Fines y objetivos Gestin del programa
Distribucin de servicios

Clientes (principio)
Cambio

Clientes (final) Decisiones polticas EVALUACIN

Mejora continua
Bucle de la calidad (Edward Deming)

BUCLE DE LA MEJORA
M E J O R A Y A P R E N D IZA J E

M e jo ra

P la n ific a c i n

M e d ic i n

A c c i n

E X C E L E N C IA

Anlisis de causalidad
La intervencin procura conseguir cambios PROGRAMA, SERVICIO CAMBIOS EN LA REALIDAD

EVALUACIN

Razones para evaluar

1. Los procesos sociales sobre los que se quiere influir se conocen slo parcialmente 2. La informacin es imperfecta: base de la definicin de problemas y eleccin de alternativas 3. Condicionamientos polticos= bsqueda de consenso y soluciones de compromiso 4. Desviacin de objetivos (ie conocimientos y habilidades de la organizacin) 5. Impactos imprevistos de las polticas

Cmo
capacidad para evaluar
Objetivos claros Medios conocidos Objetivos poco claros

Medios no conocidos

Los objetivos en el mbito pblico

OBJETIVOS
ECONOMIA EFICIENCIA EFICACIA IMPACTO

RECURSOS INPUT

PROCESOS

PRODUCTOS

RESULTADO

OUTPUT

OUTCOME

EFECTIVIDAD
BENEFICIO

VALOR PBLICO

Serra

Diferencia entre OUTCOMES y OUTPUTS

Mejora sociosanitaria de la poblacin

Toma de conciencia Riesgo

Habilidades para la vida

Atencin primaria

Control de epidemias

Fases de la evaluacin: proceso sistemtico

1. MOTIVACIN PARA EVALUAR 2. DEFINCIN DE UNIDAD Y ANLISIS DE CONTEXTO 3. NECESIDADES INFORMATIVAS 4. CRITERIOS DE VALOR, PREGUNTAS RELEVANTES

5. OPERACIONALIZACIN DE CRITERIOS A INDICADORES

6. DISEO METODOLGICO

7. BSQUEDA DE FUENTES Y DISEO DE TCNICAS 8. TRABAJO DE CAMPO 9. DATOS 10. INTERPRETACIONES 11. JUICIOS 12. RECOMENDACIONES 13. COMUNICACIN DE RESULTADOS

Esquema sinttico de efectos de una intervencin

Al menos un objetivo intermedio (output) negativo

+
+ +

Esquema sinttico de efectos de una intervencin

Objetivo final (outcome) negativo y objetivos intermedios (outputs) positivos

+ + +

Esquema sinttico de efectos de una intervencin

Objetivo final (outcome) positivo y objetivos intermedios (outputs) negativos

+ -

Esquema sinttico de efectos de una intervencin Todos los objetivos (outcome y outputs)
positivos

+
+ + +

Esquema sinttico de efectos de una intervencin

Todos los objetivos (outcome y outputs) negativos

Anlisis posibles con la evaluacin

Se ajusta el programa o dispositivo a las necesidades prioritarias de la poblacin. Si no es as cules son las dificultades con las que se encuentra Se explicita el anlisis de causalidad que sustenta la intervencin que a veces est implcito. El programa contribuye a lograr los cambios deseados . Se constata la congruencia del modelo, es lgico? Anlisis de la coherencia interna. Revisin de sus componentes: son necesarios? son suficientes? Implementacin correcta? Recursos adecuados?

Cambio de poltica policy shift?

Policy shift?
Revisin del estado del problema:
Nueva poltica Continuacin de poltica existente Revisin de poltica Terminacin de la poltica

5 tradiciones en evaluacin (X. Ballart) 1-Tradicin filosfica

Idea del juicio de valor Evaluador-juez finalista Evaluar en base a necesidades sociales y no en funcin de los objetivos de la Administracin, (Goal-Free Scriven)
efectos reales y no supuestos: intencionados o no Nivel operativo: identificacin efectos, determinacin criterios, qu necesidades valorar Imposicin encubierta preferencias evaluador

5 tradiciones en evaluacin (X. Ballart) 2-Tradicin positivista

Evaluacin como tcnica para el anlisis de causalidad bsica Evaluador-metodlogo Evaluar efectos/objetivos para los financiadores (en base a diseos que incluyen series temporales antes/despus de la intervencin - y grupos de comparacin).

5 tradiciones en evaluacin (X. Ballart) 3- Tradicin del control de gestin

Idea de gestionar por resultados Evaluador controller interno Evaluar es contar actividad, producto, y su relacin con recursos (en base a indicadores y sistemas de control de gestin)

5 tradiciones en evaluacin (X. Ballart) 4- Tradicin constructivista

Idea de prestar un servicio a los principales actores implicados en un programa o poltica

Evaluador consultor - mediador animador relator Evaluar es compromiso:

Mediar entre las distintas visiones que puedan tener sobre un mismo programa o poltica distintos actores Fortalecer la capacidad de autoevalaucin de los participantes Proporcionar asistencia tcnica Impulsar la capacidad de relaciones pblicas

5 tradiciones en evaluacin (X. Ballart) 5- Tradicin de la evaluacin basada en la teora del programa
Tradicin de la evaluacin basada en la teora del programa Idea de avanzar ms all del positivismo y de los indicadores Evaluador analista Evaluar es comprobar que la teora del programa se realiza en la prctica (en base a recoger datos a lo largo del curso de un programa con el propsito de responder a distintas cuestiones sobre la medida en que se van cumpliendo los pasos necesarios hasta alcanzar el resultado previsto).

Supervisin S Cumplimiento de objetivos e g u i m Seguimiento Acompaamiento Asesoramiento

Control Seguimiento del uso de recursos

Procesos de evaluacin Calidad de la poltica