Serie de Documentos de Trabajo DCE N 20

El Sistema de M&E de Mxico:

Un salto del nivel sectorial al nacional

Manuel Fernando Castro Gladys Lopez-Acevedo Gita Beker Busjeet Ximena Fernandez Ordonez

www.worldbank.org/ieg/ecd

Septiembre 2009 Banco Mundial Washington, DC

Copyright 2009 Grupo de Evaluacin Independiente Comunicacin, Aprendizaje y Estrategia (IEGCS) E-mail: ieg@worldbank.org Telfono: 202-458-4497 Fax: 202-522-3125

La construccin de sistemas de Monitoreo y Evaluacin (M&E) en los pases ayuda a fortalecer la gobernabilidada travs del fortalecimiento de las relaciones de rendicin de cuentas y el incremento de la transparencia en la gestin. Igualmente, impulsa el desarrollo de una cultura del desempeo en la administracin publica capaz de sustenta una mejor formulacin de polticas y una mas eficiente toma de decisiones presupuestarias. Un rea relacionada es la sociedad civil, la cual puede desempear un rol cataltico en cuanto a los aspectos mencionados al proporcionar evaluaciones de desempeo del gobierno. El Grupo de Evaluacin Independiente (GEI) est orientado a identificar estudios de caso y ayudar a los gobiernos a desarrollar enfoques basados en buenas prcticas, a travs de compartir el creciente cmulo de experiencia de dicho trabajo. La Serie Documentos de Trabajo del GEI difunde los avances de diferentes procesos en curso con la intencin de fomentar el intercambio de ideas y experiencias sobre cmo mejorar la efectividad del desarrollo haciendo uso de la evaluacin. Un objetivo de esta serie es lograr que los hallazgos se difundan rpidamente, an cuando sean presentados de manera un tanto informal. Los hallazgos, interpretaciones, opiniones y conclusiones expresadas en este documento son de exclusiva responsabilidad de los autores, y no representan necesariamente las opiniones del Grupo de Evaluacin Independiente o de cualquier otra dependencia del Banco Mundial, sus Directores Ejecutivos, o los pases que ellos representan.

ISBN-10: 1-60244-129-4 ISBN-13: 978-1-60244-129-3

ii

NDICE

Abreviaturas ............................................................................................................................. iv Prefacio ......................................................................................................................................v Resumen Ejecutivo .................................................................................................................. vi Introduccin .............................................................................................................................1 1. Hacia una Gestin Basada en los Resultados en Mxico ..........................................3 1.1 Esfuerzos Dispersos de MyE desde 1970 hasta Principios de 1990 .....................3 1.2 Establecimiento de una Funcin Sistemtica de Evaluacin: 1997-2003 ............3 1.3 Avance hacia un Sistema de MyE a Nivel Gubernamental a partir de 2004 ........5 CONEVAL y la Institucionalizacin de la Evaluacin.............................................6 2.1 Objetivos ...............................................................................................................7 2.2 Estructura Orgnica, Roles y Responsabilidades de las Agencias Involucradas ..........................................................................................................7 2.3 Principales Herramientas y Metodologas de MyE ............................................10 2.3.1 Lineamientos Generales para la Evaluacin de Programas Federales ....10 2.3.2 La Matriz de Indicadores ........................................................................11 2.3.3 Metodologas de Evaluacin de Programas ............................................13 2.3.4 Programa Anual de Evaluacin y Unidades Sectoriales de Evaluacin ..............................................................................................15 2.3.5 Mtodos de Evaluacin de la Reduccin de la Pobreza .........................17 2.4 Utilizacin de la Informacin del Desempeo Generada por el CONEVAL ......18 El Sistema de Evaluacin del Desempeo -SED......................................................21 El Sistema de MyE de Mxico: Fortalezas y Principales Desafos ........................23 4.1 Gestin del Cambio.............................................................................................24 4.2 Desarrollo de Capacidades de Evaluacin ..........................................................25 4.3 Coordinacin Inter-institucional .........................................................................26 4.4 Fortalecimiento de la Funcin de Planeacin Estratgica ..................................27 4.5 Fortalecimiento de la Funcin de Monitoreo ......................................................28 4.6 Fortalecimiento de la Calidad de la Informacin del Desempeo ......................29 Conclusiones y Lecciones Aprendidas .....................................................................30

2.

3. 4.

5.

Bibliografa .............................................................................................................................34 Anexo 1: Anexo 2: Cronologa de Iniciativas y Eventos Clave .........................................................36 Programa Anual de Evaluacin ..........................................................................37

iii

ABREVIATURAS
ASF CEPAL CONEVAL CTMP DF DOF GEI ILPES MyE MI MML OCDE OGP PAE PART PIDER PMG PND PRI PROMAP ROP SAGARPA SECODAM SED SEDESOL SEMARNAT SEP SFP SHCP TR Auditora Superior de la Federacin Comisin Econmica para Amrica Latina Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social Comit Tcnico para la Medicin de la Pobreza Distrito Federal Diario Oficial de la Federacin Grupo de Evaluacin Independiente Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social Monitoreo y evaluacin Matriz de Indicadores Matriz del Marco Lgico Organizacin para la Cooperacin y el Desarrollo Econmico Oficina de Gerencia de Presupuesto Programa Anual de Evaluacin Herramienta de Categorizacin de la Evaluacin de Programas Programa de Inversiones Pblicas para el Desarrollo Rural Programa de Mejoramiento de la Gestin Plan Nacional de Desarrollo Partido Revolucionario Institucional Programa de Modernizacin de la Administracin Pblica Reglas de Operacin Secretara de Agricultura, Ganadera, Desarrollo Rural, Pesca y Alimentacin Secretaria de la Contralora y Desarrollo Administrativo Sistema de Evaluacin del Desempeo Secretara de Desarrollo Social Secretara de Medio Ambiente y Recursos Naturales Secretara de Educacin Pblica Secretara de la Funcin Pblica Secretara de Hacienda y Crdito Pblico Trminos de Referencia

iv

PREFACIO
El apoyo del Banco Mundial para fortalecer los sistemas de MyE en Amrica Latina y el Caribe ha crecido sustancialmente en la ltima dcada. Existe una intensa actividad en temas de MyE en ms de 20 pases de la regin, siendo Mxico uno de los principales. Este documento fue preparado en forma conjunta por el Grupo de Evaluacin Independiente y la Unidad de Pobreza y Genero de Amrica Latina (LCSPP) en la red PREM del Banco Mundial. La preparacin de este documento se basa en la asistencia tcnica coordinada por la LCSPP y proporcionada por el Banco Mundial al Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL) de Mxico entre 2007 y 2008. El documento analiza los esfuerzos del gobierno por institucionalizar las prcticas de evaluacin, en particular el proceso por el cual se reforz la orientacin hacia los resultados en el sector social. Mxico fue pionero en Amrica Latina en el uso de metodologas robustas para evaluar el desempeo de la poltica social, especialmente a partir de 1997, cuando se evalu el programa Progresa/Oportunidades. Dentro de la comunidad de desarrollo, esta evaluacin es considerada como una de las de mayor influencia. Al mismo tiempo, el sector social ha sido un fuerte defensor del uso de evaluaciones en la administracin pblica de Mxico y, en consecuencia, ha ejercido una importante influencia en las recientes reformas de MyE y de la gestin basada en resultados a nivel gubernamental. La evaluacin es hoy una rica y dinmica actividad que contribuye a mejorar la innovacin y la generacin de conocimientos en la administracin pblica de Mxico a tal punto que Mxico se ha convertido en fuente potencial de identificacin de lecciones, mejores prcticas, factores de xito y obstculos en la institucionalizacin de la evaluacin en el gobierno. Por consiguiente, se espera que la difusin de la experiencia de Mxico en esta rea beneficie a los funcionarios que adelantan tareas similares en otros pases. Los principales autores de este documento son Manuel Fernando Castro, Gladys LopezAcevedo, Gita Beker Busjeet y Ximena Fernandez Ordonez. El equipo del Banco Mundial que brind asistencia tcnica tambin incluy a Alejandro Medina Giopp, Gilberto Moncada Vigo, Jonna Lundwall, Rosa Maria Fernandez-Hernandez y Lucy Bravo. Los autores agradecen especialmente los aportes editoriales de Helen Chin. La evidencia emprica para este trabajo se obtuvo a partir de varias misiones del Banco a Mxico, de comentarios y entrevistas con funcionarios del gobierno y evaluadores externos, y de una extensa revisin de documentos del gobierno y del Banco Mundial sobre CONEVAL, la Secretara de Desarrollo Social (SEDESOL), la Secretara de Hacienda y Crdito Pblico (SHCP) y la Secretara de la Funcin Pblica (SFP). Los autores desean expresar su reconocimiento y agradecimiento a todos los funcionarios del gobierno que ofrecieron su respaldo, especialmente al equipo de CONEVAL, incluyendo a Gonzalo Hernndez, Secretario Ejecutivo; Edgar Martnez, Director General Adjunto de Coordinacin; Gabriela Prez, Directora General Adjunta de Evaluacin, y Shakirah Cossens, Directora de Monitoreo de Programas Sociales. Las opiniones expresadas en este documento pertenecen exclusivamente a los autores principales y no representan necesariamente las opiniones del Banco Mundial ni del gobierno de Mxico.

RESUMEN EJECUTIVO
El entusiasmo por la gestin basada en resultados en Mxico es palpable entre las principales agencias y los funcionarios de diferentes niveles de la administracin pblica. Este inters se ha visto estimulado por importantes disposiciones legales y por un nmero creciente de evaluaciones de impacto de los programas sociales ms relevantes . . El reconocimiento nacional e internacional que ha obtenido la evaluacin de impacto del programa Progresa/Oportunidades, sin duda, ha jugado un papel preponderante en ubicar la evaluacin en el foco de atencin de la gestin pblica. En trminos del marco normativo, este diagnstico indica que Mxico ha logrado crear una base slida sobre la cual puede desarrollar su ambiciosa agenda de iniciativas de MyE. Esfuerzos legales clave como la Ley de Responsabilidad Fiscal, las normativas del Programa de Mejoramiento de la Gestin y la Ley de Desarrollo Social han proporcionado un marco que corrige, completa y refuerza normativas de evaluacin preexistentes. Estas resultan extremadamente importantes para la sustentabilidad del sistema en el largo plazo y configuran una de las principales fortalezas del sistema Mxicano de M&E hacia adelante. Este documento presenta un breve anlisis de la transicin progresiva de Mxico desde un sistema de MyE sectorial hacia un sistema de alcance nacional en el gobierno. El trabajo destaca las reformas institucionales ms importantes introducidas, las decisiones de poltica tomadas y los pasos operativos ms importantes que se han dado, teniendo en cuenta el contexto poltico e institucional en el que dichos cambios y decisiones fueron posibles. El documento destaca el rol especfico del Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL) como un agente de cambio que ha promovido la innovacin y la institucionalizacin de la evaluacin, as como el impulso aun enfoque de resultados anivel del gobierno federal mediante su apoyo a la implementacin del Sistema de Evaluacin del Desempeo (SED). El anlisis incluye una rpida revisin de las fortalezas del sistema gubernamental y de los principales desafos para el futuro seguidos, , de la identificacin de lecciones clave para otros pases y algunas conclusiones. Una de las conclusiones de este documento es que tras las reformas de 2005, Mxico ingres en una etapa avanzada de gestin basada en resultados cimentada sobre bases institucionales slidas: las leyes han proporcionado un marco presupuestario moderno, se han desarrollado herramientas y arreglos de MyE adecuados y se han creado condiciones favorables a la rendicin de cuentas y la transparencia que hacen operativamente posibles la mayora de los cambios. No obstante, los autores tambin coinciden en afirmar que una institucionalizacin total an no se ha completado. La sustentabilidad del sistema y las reformas, as como la consolidacin del proceso de implementacin, dependern del modo en que el gobierno enfrente una serie de desafos relacionados incluyendo, entre otros, la asimilacin de las reformas, la mayor utilizacin de la informacin de desempeo, la generacin de mecanismos para impulsar el desarrollo de capacidades en un nivel mas amplio, especialmente en el nivel subnacional, y la armonizacin y racionalizacin del trabajo de evaluacin entre las diferentes dependencias responsables.

vi

INTRODUCCIN
Los intentos por establecer la evaluacin de los programas federales como una prctica del gobierno, datan de mediados de 1970 en Mxico. Sin embargo, solo a fines de los aos 90 las reformas de Monitoreo y Evaluacin (MyE) y de gestin basada en resultados comenzaron a tomar arraigo en la administracin pblica federal. Uno de los catalizadores del proceso de institucionalizacin de la evaluacin fue la creacin del Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL). Las caractersticas nicas del CONEVAL concretamente su independencia, capacidades tcnicas y mandatole han permitido avanzar en la construccin del sistema de MyE del sector social y a la vez ejercer una importante influencia sobre el desarrollo de la gestin basada en resultados en el gobierno federal. Con la creacin de CONEVAL, en 2005, se observ un creciente entusiasmo por la medicin del desempeo y el nfasis en los resultados en Mxico. El inters de las secretaras del sector social, como por ejemplo, la Secretara de Desarrollo Social (SEDESOL) y la Secretara de Educacin, 1 lo mismo que el de dependencias con funciones transversales como la Presidencia, la Secretara de Hacienda y Crdito Publico (SHCP) y la Secretara de la Funcin Pblica (SFP), ha crecido sustancialmente. Como consecuencia, Mxico ha introducido con xito prcticas y herramientas de MyE estandarizadas a nivel gubernamental, as como mandatos para incrementar el foco en los resultados, particularmente en el proceso presupuestario. Luego de una reforma constitucional realizada en 2007, los gobiernos sub nacionales debern emular a la administracin federal en el diseo de sus agencias estatales de evaluacin, la introduccin de mtodos de M&E y la elaboracin de presupuestos basados en resultados. No se puede comprender el camino de Mxico hacia un sistema nacional de MyE sin considerar los cambios polticos que se produjeron a fines del siglo XX. Siete dcadas bajo un rgimen de partido nico fueron reemplazadas gradualmente por una democracia en funcionamiento y un llamado a una mayor rendicin de cuentas del gobierno. La economa y los problemas sociales tambin desempearon un rol preponderante. A principios de esta dcada, el 20% de la poblacin Mxicana se encontraba en la pobreza extrema y el pas an sufra el impacto de dos crisis financieras de gran escala. Fuertes cuestionamientos empezaron a emerger respecto a en qu medida el gasto social estaba contribuyendo a solventar estos problemas. Mxico representa el caso de un pas que logr transitar de un modelo de evaluacin limitadoconcentrado en reas muy especficas de la administracin hacia un sistema de evaluacin cada vez ms sofisticado, que hoy abarca la totalidad del gobierno Federalcon metodologas diferenciadas, capacidades cada vez mayores e injerencia progresiva en la toma de decisiones del gobierno. Igualmente, Mexico es una experiencia de construccin gradual de instituciones de M&E y gestin basada en resultados basada en la experiencia internacional pero con un alto grado de innovacin y desarrollos especficos adaptados a las necesidades del pas. Es por ello que el caso de Mxico aporta valiosos elementos para los profesionales del MyE a nivel nacional e internacional. Este documento ofrece un breve panorama general de la transicin progresiva de Mxico desde un sistema de MyE sectorial, hacia a un sistema de alcance gubernamental en el nivel nacional. Destaca las reformas institucionales introducidas, las decisiones de poltica tomadas
1

En menor medida, la Secretara de Agricultura, Ganadera, Desarrollo Rural, Pesca y Alimentacin (SAGARPA) tambin tuvo un rol importante en este proceso.

y los pasos operativos ms importantes que se dieron, teniendo en cuenta el contexto poltico en el que dichos cambios y decisiones fueron posibles. El documento presta especial atencin al papel jugado por CONEVAL en allanar el camino para estas reformas, en particular la creacin del Sistema de Evaluacin del Desempeo (SED) bajo el liderazgo de la Secretara de Hacienda y Crdito Pblico (SHCP). Se incluye un breve anlisis de las fortalezas y desafos del sistema, seguida de algunas lecciones de inters para otros pases.

1.

HACIA UNA GESTIN BASADA EN LOS RESULTADOS EN MXICO

El camino transitado por Mxico hacia un sistema de gestin basado en resultados puede dividirse en tres perodos. El primer perodo, desde fines de los 70 a los 90, estuvo caracterizado por iniciativas dispersas y ad hoc de evaluacin en sectores especficos, a menudo con el respaldo de agencias internacionales. El segundo perodo, iniciado a fines de los 90 y facilitado por la apertura del sistema poltico, trajo consigo la formalizacin de mecanismos de rendicin de cuentas mediante una oleada de reformas legislativas a favor de la evaluacin de los programas gubernamentales. La formalizacin, sumada a la exitosa e influyente evaluacin de impacto de uno de los programas sociales mas importantes, PROGRESA/OPORTUNIDADES contribuy a marcar el giro de la administracin federal hacia la medicin del desempeo as como al establecimiento de instancias del gobierno responsables de llevar a cabo las evaluaciones. El progreso logrado le permiti a Mxico pasar a una tercera etapa en la que se avanza hacia lainstitucionalizacin de la evaluacin en el sector social, bajo el marco del CONEVAL, y se inicia la transicin y consolidacin del Sistema de Evaluacin del Desempeno- SED a nivel Federal. Este sistema,coordinado por la SHCP, est intrnsecamente ligado a la reforma de presupuesto publico. 1.1 Esfuerzos Dispersos de MyE desde 1970 hasta Principios de 1990

Ya desde los aos 70 Mexico realizaba evaluaciones de programas, a menudo impulsadas por organizaciones internacionales como el Banco Mundial y el Banco Interamericano de Desarrollo. Un buen ejemplo fue el Programa de Inversiones Pblicas para el Desarrollo Rural (PIDER), de hecho una de las primeras intervenciones para la reduccin de la pobreza rural 2. Durante fines de los 80 y principios de los 90 se introdujeron iniciativas ms sistemticas desde el rea del control fiscal. La entonces recientemente creada Contraloraintrodujo los conceptos de medicin de desempeo y de Auditorias Integrales. A principios de los 90 hubo intentos por crear esquemas formales de evaluacin para programas financiados a nivel federal, pero estos no lograron materializarse 3. Hacia mediados de los 90 se haba iniciado una serie de evaluaciones en el sector social tales como las del programa Abasto Social de Leche - Liconsa, el programa Abasto Rural - Diconsa, el Programa Nacional de Solidaridad (PRONASOL) y algunos programas de capacitacin laboral, pero estas continuaron siendo aisladas y, en gran medida, ad hoc. Por otra parte, el Programa de Modernizacin de la Administracin Pblica (PROMAP), creado en 1996, propicio la introduccin de indicadores de desempeo y evaluaciones internas a un nivel ms amplio. Sin embargo, estas iniciativas se centraron principalmente en fortalecer los controles internos y, dado que sus resultados no se hicieron pblicos, los incentivos para la rendicin de cuentas externa fueron muy limitados. 1.2 Establecimiento de una Funcin Sistemtica de Evaluacin: 1997-2003

A fines de los 90, Mxico experimentimportantes cambios en el sistema poltico dirigidos a la profundizacion democratica, que por consiguiente afectaron el carcter de las reformas de la evaluacion en el pas. Antes de este perodo, eran pocas las iniciativas orientadas a la transparencia y la rendicin de cuentas en el sector pblico ya que el pas haba sido gobernado bajo un rgimen de partido nico desde la dcada de 1920. Sin embargo, hacia
2

Ver Cardozo 2006, pg. 155157. Tambin ver IEG-World Bank 1983, PIDER I. http://wwwwds.worldbank.org. 3 Aparentemente, ste fue el caso de la Secretara de Programacin Presupuestaria. Ver Hernandez 2008.

finales de 1990, los acontecimientos polticos propiciaron el fortalecimiento institucional de la rendicin de cuentas del gobierno. Fue durante este perodo, en 1997, que Mxico introdujo la evaluacin de impacto del programa de transferencias en efectivo Progresa/Oportunidades; un innovadora intervencin social acompaada de uno de los primeros esfuerzos de evaluacin rigurosamente planeados y ejecutados. Debido a los slidos resultados de esta evaluacin y a su influencia sobre la poltica social mexicana esta evaluacion la evaluacin, y el programa, rpidamente se convirtieron en un exitoso caso de estudio que impulso el diseo e implementacin de programas similares con sus correspondientes evaluaciones en un creciente numero de pases en desarrollo. 4 La visibilidad nacional e internacional de Oportunidades lleg en un momento poltico crtico. Miembros de la tecnocracia mexicana en el gobierno advirtieron el importante papel que poda tener la evaluacin en la modernizacin de la administracin pblica y la poltica federales, y la experiencia abri el camino para el establecimiento de una funcin de evaluacin ms sistemtica. La Secretaria de Desarrollo Social -SEDESOL fue pionera en los esfuerzos por implementar un sistema de MyE sectorial y en la utilizacin progresiva de informacin de las evaluaciones en la toma de decisiones de poltica social, aspecto que produjo una importante influencia sobre otras secretaras del gabinete y sobre el gobierno federal. En 1998, el Congreso introdujo el requisito de que todos los programas federales que ofrecieran subsidios deban preparar reglas de operacin (ROP), con informacin bsica sobre el diseo del programa, sus objetivos, indicadores de desempeo, poblaciones beneficiarias y mecanismos de operacion. Las ROP mejoraron significativamente la disponibilidad y calidad de la informacin de desempeo, as como las posibilidades de Monitorear y Evaluar sobre algunos parmetros de calidad. Pero fue en 1999 cuando se produjo un hito para la evaluacion cuando el Congreso estableci que todos los programas con reglas de operacin deban ser evaluados anualmente por evaluadores externos. El requisito abarc aproximadamente 2530% del presupuesto federal 5 para programas, y el numero de evaluaciones anuales pas de un solo digito en 1999 a ms de cien evaluaciones en 2001 y en los aos siguientes 6. Otros cambios que contribuyeron a sentar las bases para la evaluacin del desempeo en el gobierno mexicano incluyen: la introduccin de un sistema de Metas Presidenciales 7, la creacin de la Auditora Superior de la Federacin (ASF) 8, la promulgacin de la Ley

Hoyms de 30 pases en desarrollo han incorporado programas similares con transferencia de fondos con sus respectivos componentes de evaluacin. Algunos ejemplos son Colombia (Familias en Accin), Nicaragua (Red de Proteccin Social), Jamaica (Advancement through Health and Education) y Honduras (Asignacin Familiar). 5 Entrevista con Gabriela Prez, ex Directora Adjunta de Evaluacin del CONEVAL, en la sede del Banco Mundial en Washington, DC, Mesas Redondas de Expertos sobre Herramientas de medicin del desempeo, 3 de febrero de 2009. 6 En consecuencia, el gasto en evaluaciones creci en forma significativa y alcanz un promedio de US$15 millones anuales, sin incluir las evaluaciones de impacto para mltiples aos. Extrado de Hernndez 2007b. 7 El sistema de Metas Presidenciales estaba orientado a establecer explcitamente las prioridades del gobierno y monitorear el desempeo. A pesar de que el sistema logr poco, fue un signo del nuevo rol que desempeara la evaluacin de la gestin en la administracin. 8 Este organismo de supervisin fue creado en 2001 para brindar asistencia al poder legislativo en el control del poder ejecutivo.

Federal de Transparencia y Acceso a la Informacin Pblica 9 y la creacin de la Secretara de la Funcin Pblica (SFP) 10. 1.3 Avance hacia un Sistema de MyE a Nivel Gubernamental a partir de 2004

Un mayor avance hacia la institucionalizacin de la evaluacin en Mxico se dio a partir de 2004 con la Ley de Desarollo Social con la cual se se introdujeron mejores prcticas de poltica social y estndares de MyE internacionalmente aceptados 11. Esta ley tambin cre el Consejo Nacional de Evaluacin de la Politica social -CONEVAL, como una institucin tcnicamente autnoma con la misin de medir los resultados nacionales en materia de reduccin de la pobreza y coordinar la evaluacin de los programas sociales en el gobierno federal. La primera visin articulada de un sistema de gestin por resultados a nivel gubernamental fue expresada en la Ley Federal de Presupuesto y Responsabilidad Hacendaria de 2006 12, en particular con la creacin del Sistema de Evaluacin de Desempeo (SED). A diferencia de esfuerzos anteriores 13, esta reforma fue impulsada y dirigida por funcionarios de alto nivel interesados ,entre otros aspectos, en la modernizacion del presupuesto y la evaluacin del gasto pblico. Algunos aspectos importantes de esta reforman incluyen: (i) la institucionalizacin de los vnculos entre planificacin estratgica y el proceso presupuestario, (ii) el lanzamiento de una iniciativa de presupuestacion por resultados, y (iii) la introduccin de herramientas de planificacin y evaluacin a nivel de los programas. Como un aspecto instrumental a la reforma, el SED (bajo la direccin de la Secretara de Hacienda) se integro a dos actividades existentesel Programa de Mejoramiento de la Gestin (PMG), a cargo de la Secretara de la Funcin Pblica (SFP), y las Evaluaciones de Programas Sociales, coordinadas por el CONEVAL. Las evaluaciones de otros sectores deban ser coordinadas por la SHCP u otras dependencias (ver figura 1). La implementacin de un SED integrado comenz a hacerse efectiva en 2007 con el lanzamiento de los Lineamientos Generales para la Evaluacin de los Programas Federales 14. Estos lineamientos fueron en realidad el primer paso hacia la armonizacin y unificacin de las prcticas de evaluacin en todas las dependencias de la administracin federal. Otro paso importante fue la formulacin de Lineamientos Generales para la Programacion del Presupuesto Federal 2008 en los cuales, la Secretaria de Hacienda y Credito Publico estableci los procedimientos bsicos para la implementacin del SED y el presupuesto por resultados.

La Ley Federal de Transparencia y Acceso a la Informacin Pblica (DOF 11-06-2002) destac nuevamente el rol de la evaluacin como fuente de informacin de desempeo. Luego de la sancin de esta ley, todas las evaluaciones externas concluidas estn a disposicin del pblico en los sitios web de los ministerios. 10 Este nuevo organismo reemplaz a la Secretara de la Contralora y Desarrollo Administrativo (SECODAM) en 2003 y se le asign responsabilidad por las auditora de desempeo. 11 DOF 2001 de 2004. La principal dependencia que implement esta ley fue la Secretara de Desarrollo Social (SEDESOL), que a travs de la Subsecretara de Prospectiva, Planeacin y Evaluacin form un equipo tcnico para el desarrollo del sistema de MyE para el sector social a partir de 2001. 12 DOF 30-03-2006. 13 En 1995, la llamada Reforma del Sistema Presupuestario, intento introducir el presupuesto por programas y esbozo por primera vez el Sistema de Evaluacin de Desempeo (SED). La iniciativa fue implementada con poco xito pero influencio el el discurso presupuestal con elementos sobre la direccin estratgica y la transparencia del gasto pblico y contribuyo a una mayor claridad en los conceptos de la gestin del desempeo. Ver Cardozo 2006, p. 121. 14 Lineamientos generales para la evaluacin de los programas federales de la administracin pblica federal (Oficina de Auditora), DOF 30-3-07.

Figura 1: Sistema Federal de Gestin Basada en Resultados

Plan Nacional de Desarrollo

Planeacion Basada en Resultados

Presupuesto Anual
Presupuesto Basado en Resultados

Implementacion de Programas
Implementation Basada en Resultados

Sistema de Evaluacion del Desempeno (SED) Programa Mejor Gestion (PMG)

Secretaria de la Funcion Publica -SFP Secretaria de Hacienda -SHCP

Evaluacion de Politicas y Programas CONEVAL, SHCP, Otros

Grupo Permanente de Coordinacion Gestion Por Resultados y Evaluation (SHCP, SFP, CONEVAL)

-Programa Anual de Evaluacion-PAE -Seguimiento a Recomendaciones

2.

CONEVAL Y LA INSTITUCIONALIZACIN DE LA EVALUACIN

El proceso de transicin hacia la democracia de finales de la dcada de 1990 gener importantes cambios en el ambiente poltico mexicano que contribuyeron al desarrollo de las instituciones de evaluacin y de gestin basada en resultados en la administracin federal. La creacin del CONEVAL fue una respuesta a dichos cambios, tanto desde el punto de vista poltico como administrativo. A nivel poltico, el fin del rgimen de partido nico del PRI (Institutional Revolutionary Party) impuls al Congreso a buscar nuevas formas de control sobre el poder ejecutivo con el fin de garantizar una mayor rendicin de cuentas sobre el gasto,especialmente el gasto social. En esa medida, un importante factor de impulso fue la desconfianza de la naciente oposicin en cabeza del PRI y otros partidos sobre el eventual uso poltico que la nueva administracin le podra dar a la informacin oficial de resultados (por ejemplo, la medicin de la pobreza o laseleccin de beneficiarios de los programas sociales). A nivel administrativo, Mxico tena ya una larga historia de decisiones administrativas dirigidas a cancelar muchos buenos programas de gobierno con el simple argumento de que la nueva administracin, al asumir funciones, deseaba implementar sus propios programas, pero sin contar con la evidencia suficiente sobre los beneficios o costos de 6

tales decisiones 15. Por lo tanto, si el fortalecimiento de la funcin de evaluacin fue visualizado como una oportunidad para l fortalecer la rendicin de cuentas y modernizar los procesos de toma de decisiones del gobierno la creacin del CONEVAL pretendi seruna solucin institucional dirigida a alinear los incentivos polticos y administrativos existentes y hacer sostenible dicho esfuerzo. 2.1 Objetivos

La Ley de Desarrollo Social de 2004 y los decretos reglamentarios que respaldan la creacin del CONEVAL establecen como sus objetivos, los siguientes: (i) Normar, llevar a cabo y/o coordinar la evaluacin de las polticas de desarrollo social a nivel nacional, as como los programas, los fondos y las acciones que ejecuten las dependencias pblicas; y (ii) Establecer los lineamientos y criterios para la identificacin y medicin de la pobreza a nivel del gobierno nacional, estatal y municipal, garantizando la transparencia, la objetividad y el rigor tcnico que requiere dicha actividad. Esta particular combinacin de objetivos convierte a la reduccin de la pobreza en el principal indicador de desempeo de la poltica de desarrollo social; estableciendo por tanto que todas las intervenciones sociales deberan contribuir a ese resultado. Adicionalmente, , al incorporarla dentro del mbito de competencias del CONEVAL, la ley tambin establece que la medicin de la pobreza debe ser asumida como una evaluacin en s misma, haciendo uso de anlisis independientes y de metodologas tcnicamente robustas y crebles. El fundamento estratgico detrs de estos objetivos consisti en contribuir mediante la produccin y la utilizacin progresiva de informacin de MyE a mejorar la eficiencia, la efectividad y la rendicin de cuentas de las polticas de desarrollo social y de las estrategias de reduccin de la pobreza. 2.2 Estructura Orgnica, Roles y Responsabilidades de las Agencias Involucradas

El CONEVAL es el eje del sistema de MyE del sector social de Mxico. Debido a esto, , en la actualidad funciona como una de las dependencias que lideran la implementacin de la gestin basada en resultados a nivel de todo el sector pblico. El CONEVAL coordina las actividades de evaluacin intersectoriales, establece normas y metodologas para la evaluacin de los programas sociales, ofrece asistencia tcnica a los ministerios y dependencias 16 y realiza directamente o gestiona la realizacin de ciertas evaluaciones especficas. Tambin coordina con diferentes organizaciones multilaterales de desarrollo la planificacin y realizacin de trabajos de evaluacin lo cual incluye asistencia tcnica a entidades nacionales y gobiernos subnacionales para la implementacin de sus sistemas de MyE, y capacitacin en metodologas robustas para laevaluacion de programas. Asimismo, el CONEVAL prepara y consolida los informes de evaluacin y difunde los hallazgos al Congreso, las dependencias del gobierno y la sociedad civil. Para llevar a cabo estas tareas, el CONEVAL cuenta con un equipo de 70 profesionales, incluyendo personal administrativo, y en 2008 contaba con un presupuesto anual de

Ver Levy, 2007. Se brinda asesoramiento peridicamente entre dependencias, incluyendo la Oficina del Presidente, el Ministerio de Vivienda y la Secretara de la Funcin Pblica, as como a diversas secretaras del sector social y de otros sectores.
16

15

aproximadamente 120 millones de pesos mexicanos (US$9,2 millones) 17. La estructura institucional se ilustra en la figura 2 18. Una caracterstica que merece atencin es la naturaleza mixta del CONEVAL como agencia del gobierno y como instancia relativamente independiente, con una estructura organizacional autnoma. A pesar de formar parte del poder ejecutivo y de que su director es designado por el gobierno federal, el CONEVAL es dirigido por un organismo colegiado independiente, compuesto por seis acadmicos. Estos seis miembros son elegidos democrticamente 19 del universo de instituciones acadmicas certificadas del pas y ejercen funciones por un perodo de cuatro aos. Los consejeros participan en todas las decisiones del organismo,en la definicin de los proyectos a evaluar y en la revisin de los resultados. Tambin ejercen funciones de decisin sobre la direccin administrativa de la institucin y desempean un papel central en la definicin de las metodologas de evaluacin, incluyendo lamedicin de la pobreza. Una segunda caracterstica es el nfasis particular del CONEVAL en el sector social pues fue concebido como una institucin sectorial y est respaldado legalmente por un mandato sectorial, concretamente la Ley de Desarrollo Social. Figura 2: Estructura orgnica de CONEVAL
Secretara Ejecutiva

Secretara

Consejeros Acadmicos

Direccin General de Administracin

Direccin General de Anlisis de la Pobreza

Direccin General de Evaluacin

rgano de Control Interno

Direccin de Normas y Metodologa de Medicin de la Pobreza

Direccin de Anlisis y Medicin de la Pobreza

Direccin de Muestreo y Estadstica

Direccin de Planeacin y Normativida d de la Poltica de Evaluacin

Direccin de Anlisis y Seguimiento de Resultados

Direccin de Monitoreo de Programas Sociales

Direccin de Evaluacin de Impacto

Otro rasgo distintivo es la integracin de las funciones de evaluacin de los programas sociales y de medicin de la pobreza bajo el mbito de una Secretara Ejecutiva (figura 2). En la mayora de los pases en desarrollo, estas dos actividades generalmente son
Sin embargo, se contratan consultores externos anualmente principalmente para llevar a cabo diferentes tipos de evaluaciones. 18 Oracle Customer Snapshot 2008. 19 Los miembros son elegidos por la Comisin Nacional de Desarrollo Social, un instrumento de coordinacin para establecer las acciones e inversiones del gobierno con el fin de lograr los objetivos de la poltica de desarrollo social.
17

administradas por instituciones diferentes, a pesar de que comparten objetivos tales como la evaluacin de los resultados del gobierno, y requisitos clave en sus funciones, como la independencia y la credibilidad de sus productos. En desarrollo de su mandato el CONEVAL dedica una significativa cantidad de trabajo y personal a la estimacin y el anlisis de la pobreza y a consolidar la informacin su monitoreo y evaluacion. De esta forma, teniendo en cuenta mejores prcticas internacionales, el CONEVAL no slo monitorea las mediciones de ingresos, sino que adelanta estimaciones de la pobreza multidimensional. Estas caractersticas institucionales y el particular mandatodel CONEVAL presenta una serie de ventajas y desventajas 20. Las ventajas surgen del hecho que Mxico ha constituido un valioso ente defensor, responsable del desarrollo de la evaluacin. La experiencia y especializacin de su personal, y la participacin de acadmicos le han permitido al CONEVAL desarrollar metodologas y llevar a cabo y/o comisionar evaluaciones que son tcnicamente confiables y crebles para las partes interesadas, tanto internas como externas. Asimismo, el CONEVAL ha contribuido al uso de la informacin de las evaluaciones y, podra decirse, que su coordinacin y soporte tcnico han propiciado la reduccin de los costos de realizar evaluaciones en las dependencias del sector social. De la misma forma, la integracin de la medicin de la pobreza con la evaluacion de los programas sociales han brindado una ventaja adicional en cuanto que se ha incrementado la utilizacin y el uso compartido de lasencuestas y de la informacin estadstica para medir el desempeo de las intervenciones sociales. Sin embargo, existen tambin algunas desventajas derivadas del modelo CONEVAL. Por un lado, su enfoque restringido al sector social impide al CONEVAL evaluar programas en reas clave del gobierno (por ejemplo, infraestructura, industria, seguridad interna 21) las cuales tienen, sin duda, efectos importante en los resultados sociales. Por otro lado, las restricciones legales tambin impiden al CONEVAL jugar un papel de mayor liderazgo en el impulso y coordinacin de la funcin de evaluacin en todo el universo del sector pblico, incluyendo la provisin de asistencia tcnica a organismos clave del gobierno. Sin instituciones especializadas para brindar apoyo tcnico y supervisin al trabajo de evaluacin en reas del sector pblico que el CONEVAL no puede atender, la brecha de capacidades tcnicas en evaluacion entre el sector social y otras reas de la administracin pblica ha venido creciendo. Las relaciones del CONEVAL con los ministerios y agencias con frecuencia son difciles, en particular cuando las evaluaciones identifican problemas de implementacin y deficiencias en los programas. Sin embargo, la credibilidad y respaldo que ha logrado acumular gracias a su modelo institucional le han permitido adelantar sus labores de forma objetiva y hasta cierto punto independiente. No obstante lo anterior, un aspecto importante es que esta relativa independencia al tiempo que le da credibilidad, lo separa al CONEVAL de los procesos directos de toma de decisiones del gobierno lo que limita, a su vez, su capacidad de hacer exigible el uso de la informacin de las evaluaciones en las decisiones del gobierno (por ejemplo, en el presupuesto y la planificacin), incluso en el sector social. A pesar de estas desventajas, el conocimiento tcnico que proporciona el CONEVAL ha contribuido a mejorar calidad tcnica de las evaluaciones en el sector
Oficialmente, el CONEVAL inici sus operaciones en 2005, cuando se estableci su estructura corporativa en la carta orgnica del Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social y su decreto (DOF 2408-2005). 21 Excepto por los programas que involucran transferencias al nivel subnacional (Ramo 33), en los que el CONEVAL est evaluando actualmente programas relacionados con la infraestructura y la seguridad pblica.
20

social y sus productos y asistencia son apreciados como valor agregado neto en la administracin pblica. Por lo dems, no existe en Mexico otra entidad con la capacidad tcnica y experiencia en evaluacin con que cuenta el CONEVAL. 2.3 Principales Herramientas y Metodologas de MyE

Como responsable de coordinar la evaluacin de los programas sociales y de la medicin de la pobreza el CONEVAL ha desarrollado una serie de herramientas con las cuales ha buscado asegurar el efectivo cumplimiento de sus funciones. Dichas herramientas incluyen, principalmente, lineamientos generales de evaluacin, marcos lgicos para la planificacin y la evaluacin de programas y una serie de metodologas de evaluacin adaptadas a los diferentes fines de la evaluacin del desempeo. Estos instrumentos han sido desarrollados y/o mejorados desde 2005 de acuerdo con los estndares internacionales mas aceptados, y tambin involucran un alto grado de innovacin y adaptacin a la medida, en respuesta a las necesidades especficas de Mxico. Al respecto, es importante destacar que a pesar de que el mandato del CONEVAL est circunscrito exclusivamente al el sector social, la mayora de las herramientas que ha desarrollado han sido adoptadas por el gobierno federal para servir fines ms amplios de MyE, tales como la gestin y el presupuesto basados en resultados. 2.3.1 Lineamientos Generales para la Evaluacin de Programas Federales El desarrollo de una cultura de evaluacin que garantice la adecuada implementacin y el uso de la evaluacin en el gobierno es un esfuerzo complejo y de largo plazo. Con frecuencia, la resistencia de importantes sectores y grupos de funcionarios pblicos interesados en mantener el statu quo, requiere una muy clara y exigible definicin de los cambios que deben adoptar, y los pasos que deben seguir, todas las dependencias, lo mismo que la estandarizacin de los conceptos y la unificacin del lenguaje de la gestin basada en resultados para el conjunto de la administracin. Debido a lo anterior, la asimilacin de las reformas de MyE a menudo conlleva a la adopcin de reglamentaciones formales dirigidas a asegurar el uso sostenido de las prcticas y herramientas de evaluacin a lo largo del tiempo. El CONEVAL asumi el liderazgo en la preparacin de un conjunto formal de lineamientos de poltica. Ninguna otra dependencia pblica contaba en ese momento con la capacidad tcnica y la credibilidad para formulartales lineamientos. Para la SHCP y la Oficina del Presidente loslineamientos planteaban la oportunidad de establecer vnculos formales y operativos mas claros entre la planificacin estratgica y el proceso presupuestario, tal como lo haba establecido la Ley Federal de Presupuesto y Responsabilidad Hacendaria en 2006. En marzo de 2007, el CONEVAL, la SHPC y la SFP lanzaron en forma conjunta los Lineamientos generales para la evaluacin de programas federales. Con estos se introdujeron criterios tcnicos para normar la evaluacin de los programas federales (por ejemplo, los mecanismos para garantizar la calidad y utilizacin), procedimientos estandarizados para mejorar la formulacin de los indicadores de desempeo y los objetivos estratgicos de las dependencias, y se exigio el desarrollo de sistemas de MyE en todas las dependencias del gobierno federal. La primera etapa de la implementacin de los lineamientos se focaliz en el desarrollo de marcos lgicos (matrices de indicadores) y en los anlisis de consistencia y resultados 10

para todos los programas federales con reglas de operacin. La segunda etapa se focaliz en los planes de evaluaciones anuales, incluyendo el rango completo de metodologas de evaluacin diseadas e implementadas por el CONEVAL. Algunos de los logros derivados del proceso de implementacin de los lineamientos generales incluyen: la actual disponibilidad de procedimientos especficos para la definicin de marcos lgicos en todos los programas presupuestarios; la adopcin de un nico lenguaje de MyE y gestin basada en resultados en el gobierno federal; la definicin de metodologas de MyE estandarizadas; y el inicio de un proceso de aprendizaje basado en la aplicacin prctica de instrumentos de MyE en todas las dependencias federales. En conjunto, , los lineamientos integraron y mejoraron todos los mandatos anteriores, impulsaron la evaluacin en el gobierno, contribuyeron a la consolidacin de una base legal slida, y modernizaron el sector pblico al adoptar estandares de MyE internacionalmente aceptados 22. 2.3.2 La Matriz de Indicadores La orientacin hacia los resultados adoptada por la administracin Mxicana produjo una creciente demanda de informacin de desempeo en diferentes niveles del gobierno. Una de las fuentes de dicha demanda ha sido la presin ejercida desde la Presidencia de la Repblica para que el Plan Nacional de Desarrollo (PND) se convierta en un efectivo punto de referencia frente al cual alinear los planes sectoriales, sus programas y metas, y desde luego, medir sus resultados. Otra importante fuente de la demanda por informacin de resultados fue el giro de la SHCP hacia el presupuesto basado en resultados y la implementacin del Sistema de Evaluacion del Desempeno -SED. Fue justamente el giro de la SHCP hacia los resultados lo que reforz la necesidad de mecanismos para mejorar la planificacin de los programas y la medicin de los resultados del presupuesto federal. En respuesta a estas necesidades , el CONEVAL, la SHCP y la SFP impulsaron la adopcin de la metodologa internacional del marco lgico, hoy ampliamente conocida en Mxico como la matriz de indicadores (MI),. Esta matriz fue de hecho establecida y normada por los lineamientos generales de MyE. La introduccin de la matriz en todos los programas represento un importante desafo de implementacin ya que implic la revisin de todos los diseos de los programas y de su lgica interna y externa, lo mismo que la definicin de indicadores de desempeo de buena calidad. Esto, por lo tanto, exigi el desarrollo de capacidades de planeacin y evaluacin en todos los programas y dependencias frente a lo cual, el CONEVAL, con el respaldo de la SHCP y la SFP, desarrollo un intenso programa de capacitacin en la metodologa del marco lgico cuya implementacin fue tambin facilitada por instituciones internacionales y nacionales 23. Ms de 1.620 funcionarios fueron capacitados en 65 talleres, y se establecieron MIs en 389 programas (cubriendo 70% del presupuesto federal) 24.

Las principales leyes que impulsaron la agenda de resultados son: (i) la Ley General de Desarrollo Social (DOF 20-01-2004), (ii) la Ley de Presupuesto y Responsabilidad Hacendaria (DOF 30 - 2006), (iii) la Ley Federal de Transparencia y Acceso a la Informacin Pblica (DOF 06-06-2006), y (iv) la Ley de Presupuesto Anual de 2006, 2007, y 2008. 23 Principalmente, el Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES), la Comisin Econmica para Amrica Latina y el Caribe (CEPAL) e instituciones acadmicas locales. 24 Burgos 2008.

22

11

El uso de MIs se centr inicialmente en programas con reglas de operacin; es decir, en programas que otorgan subsidios. Sin embargo, debido a la elevada demanda, rpidamente se hizo evidente la necesidad de ampliar este objetivo y asegurar que todos los programas presupuestales de la federacin, sin excepcin, contaran con Matrices de Indicadores para 2010 25. El CONEVAL tambin se propuso impulsar talleres de capacitacin con los gobiernos subnacionales, para comenzar a transferir los principios de la MI en el contexto de la gestin basada en en resultados, segn lo requerido por la Ley Federal de Presupuesto y Responsabilidad Hacendaria de 2006. La introduccin de la MI como una de las principales herramientas del sistema trajo consigo mltiples beneficios a la administracin federal, incluyendo: (i) un mtodo operativo para facilitar la transicin de una gestin tradicional (basada en insumos y actividades) a una gestin enfocada en el desempeo (basada en productos, resultados eimpactos); (ii) un marco unificado de de planeacin y evaluacin de los programas para estandarizar la medicin de sus resultados; y (iii) mayor consistencia y mejor calidad en el diseo de los programas 26. En Mxico, al igual que en muchos pases, a medida que los gobiernos hanbian venido creando y modificando s programas, el fundamento original de muchos de ellos se haba visto debilitado con el transcurso del tiempo, y lo mismo podra decirse de su alineacin con los planes nacionales y sectoriales. Por lo tanto, es de esperar que el impacto de la introduccin de la MIs y los consiguientes cambios sern significativos 27. No obstante lo anterior, an es necesario estandarizar la calidad y el contenido de las MIs, lo mismo que desarrollar mecanismos para asegurar su revisin peridica. El anlisis de una muestra no aleatoria de matrices mostro que la calidad an es heterognea entre los sectores. En algunos casos las matrices presentan estndares muy elevados en trminos de la definicin tcnica de sus supuestos, metas, e indicadores, o en la identificacin de los recursos e informacin financiera, mientras que en otros, estas son poco claras en estos aspectos y presentan deficiencias en la secuencia lgica de los insumos, actividades, productos y resultados. La validacin interna de las matrices de indicadores por parte de los Ministros o de los funcionarios con responsabilidad ltima por los resultados las dependencias y sectores es tambin un aspecto pendiente . Sin dicha aprobacin poltica, los procesos y compromisos aun se efectuan mayormente a un nivel intermedio y no avanzan ms all de los funcionarios tcnicos del gobierno. De otra parte, tambin se necesitar mayor capacitacin y orientacin adicional a nivel nacional y sectorial para ayudar a cambiar la percepcin que actualmente existe en una proporcin importante de dependencias y funcionarios en cuanto a que las MIs no son mas queotro requisito administrativo, esta vez del CONEVAL, la SHCP o la SFP, en lugar de una herramienta de gestin dirigida a beneficiar a las dependencias propiamente dichas.

Perez-Jacome 2008. La revisin de la lgica interna del programa fue complementada significativamente por la evaluacin de la consistencia y resultados en 2007, que tambin presentaba muchos de estos problemas. 27 Por ejemplo, una evaluacin del Banco Mundial por el perodo 200107 demostr que los programas calificados con mejores marcos lgicos fueron satisfactorios en 90% de los casos, mientras que los programas con marcos lgicos de calidad media o baja resultaron satisfactorios en slo 50% de los casos, lo cual sugiere que los mejores marcos de resultados, tales como la matriz de indicadores, pueden estar asociados a un mejor diseo, implementacin, MyE y supervisin del programa. Ver The Role of M&E in the Results Agenda and IEG Database en www.worldbank.org/ieg.
26

25

12

2.3.3 Metodologas de Evaluacin de Programas Uno de los principales desafos en el proceso de institucionalizacin de un sistema de M&E en el gobierno es el desarrollo de metodologas estandarizadas y tcnicamente slidas. Debido a esto, uno de los primeros pasos dados por CONEVAL consisti en disear un men de evaluaciones dirigido a especifica de resultados satisfacer las necesidades especificas de informacin de resultados de diferentes usuarios dentro y fuera del gobierno. El men incluy una combinacin de tcnicas de evaluacin diseadas o adaptadas para cubrir los distintos niveles de la cadena de implementacin de los programas del gobierno. La lgica implcita del enfoque metodolgico adoptado y el alcance de cada mtodo se presenta en la figura 3. Figure 3: Principales mtodos de evaluacin del CONEVAL
Evaluaci procesoseva
Evaluacievaacesosevaaluaci n del Banco

Evaluacivalu acimpacto

Diseo

Insumos

Actividades

Productos

Efectos

Impacto

Evaluacian de los procesos Evaluacialuae los indicadores

Las metodologas cubren aspectos relacionados con la calidad del diseo, los indicadores, los procesos, la planificacin estratgica y el impacto de los programas. La contribucin de cada una de estas metodologas a la produccin de informacin del desempeo en el gobierno se describe a continuacin: Evaluacin de Diseo. Se realiza a programas que se encuentran en su primer ao de implementacin y examina en que medida el programa hace un aporte relevante a la solucin de un problema especfico y si los objetivos del programa se encuentran alineados con los objetivos de su sector o entidad. Esta evaluacin slo utiliza informacin secundaria y no requiere procesos de recoleccin de datos. Igualmente, es obligatoria para todos los programas nuevos y est destinada a informar a la gerencia del programa, los funcionarios encargados del presupuesto y dems personal del ministerio. La metodologa contempla la realizacin de un anlisis ex-ante (previo a la implementacin) por parte de los programas, aunque este aspecto an no se encuentra en operacin. Se espera que esta evaluacin ayude a identificar potenciales problemas o fallas en la formulacin de los programas, contribuyendo a mejorar la efectividad de las intervenciones. Tambin se busca que esta evaluacin aclare de qu manera un programa nuevo agregara contenido a a las polticas existentes, reduciendo as la duplicidad de esfuerzos . Evaluacin de Procesos. Determina la eficiencia y la eficacia de los mecanismos de operativos de un programa durante su implementacin y ofrece recomendaciones con respecto a aspectos susceptibles de mejora antes de que finalice el programa. Permite a los gerentes identificar cuellos de botella en los mecanismos de entrega o prestacin de 13

servicios de las intervenciones, as como impulsar mejoras en la operacin de los programas que permitan incrementar sus efectos favorables sobre la poblacin destinataria. Como tal, esta metodologa busca explicar los factores determinates dbajo desempeo de los programas. La evaluacin de procesos se implementa caso por caso para ser utilizada por la gerencia del programa, funcionarios de presupuesto y dems personal de los sectores y agencias relacionados con el programa. Evaluacin de Consistencia y y Resultados. Es una evaluacin rpida diseada para obtener una perspectiva general y comparativa sobre los siguientes aspectos de los programas: diseo, planificacin estratgica, cobertura, mecanismos de focalizacin, operacin, percepcin de los beneficiarios y resultados. Se utiliza para destacar fortalezas y debilidades especficas de los programas y para motivar a sus responsables a evaluar algunos de sus programas utilizando mtodos ms rigurosos. Este mtodo de evaluacin slo utiliza informacin secundaria,no involucra procesos de recoleccin de datos originales, y est dirigido a un amplio rango de usuarios, que incluyen el Presidente y los ministros, los directores de la agencias, la gerencia del programa, las personas a cargo de labores de coordinacin, y el pblico en general. Evaluacin de Indicadores. Este mtodo est en proceso de desarrollo actualmente y comenzar como programa piloto en 2010. Busca medir la calidad de los indicadores, incluyendo las MIs, para establecer si son claros, relevantes, econmicos, monitoreables y adecuados, lo mismo que si su informacin proviene de fuentes confiables. Su principal objetivo es asegurar que los programas contaran con informacin de buena calidad para adelantar labores de monitoreo, evaluacin, planeacin y presupuestacion bajo un enfoque de gestin basado en resultados. La evaluacin de indicadores se implementar caso por caso y est destinada a la gerencia del programa y al personal de nivel intermedio de los ministerios y agencias. Evaluacin de impacto. Busca medir los cambios en las condiciones de bienestar de la poblacin beneficiaria que son atribuibles a un programa especfico. Este mtodo de evaluacin ofrece la evidencia tcnicamente ms slida sobre si un programa est funcionando o no. Como tal, su principal objetivo es informar a los funcionarios de mayor rango en el gobierno sobre si se debera continuar un programa o no, o si necesitan modificaciones. Este tipo de evaluacin se implementa caso por caso, se lleva a cabo generalmente en diversos puntos del programa junto con otros mtodos y est destinada a niveles ms ejecutivos del gobierno, aunque ofrece informacin til a la gerencia del programa, los funcionarios del gobierno y al pblico en general. Basado en las metodologas descritas, el CONEVAL logro expandir la prctica de evaluacin para cubrir a todo el sector social. Son multiples los beneficios obtenidos a partir del uso estandarizado de de metodologas de evaluacin en Mxico. En primer lugar, se ha creado una base de datos del desempeo con informacin comparable para todos los programas, lo que esta permitiendo al CONEVAL analizar con mayor precisin la efectividad de polticas ms amplias, e incluso de instituciones. En segundo lugar, el mayor volumen de informacin del desempeo disponible tambin esta ampliando la masa crtica de conocimiento sobre los programas, aspecto que est siendo ampliamente favorecido por el acceso pblico a esta informacin. Una prueba de esto es que el CONEVAL ya comenz a publicar informacin de manera agregada (por ministerio) en su sitio web, utilizando los

14

resultados de las evaluaciones de consistencia y resultados de 2007 realizadas a 106 programas 28. En trminos de estas metodologas, existen varios temas que requerirn ms atencin en el futuro. Uno de estos temas es que la coordinacin de ms de 100 evaluaciones anuales exigir capacidades no slo en el CONEVAL sino tambin en las unidades de evaluacin responsables de los sectores y agencias. La carga tcnica y operativa adicional que implica un volumen de evaluaciones de esa magnitud exigir, a su vez, el desarrollo de herramientas apropiadas para manejar el creciente volumen de informacin, lo mismo que mecanismos adecuados para garantizar la calidad de dichas evaluaciones. Otro tema relacionado es como garantizar que las metodologas existentes se complementen de manera efectiva debido a que algunas de las metodologas actuales aparentemente muestran ligeras duplicidades 29. Soluciones adecuadas para estos problemas sern necesarias, no slo para asegurar la adopcin de los mtodos por parte de los programas, sino tambin para satisfacer las demandas de transparencia y rendicin de cuentas provenientes de grupos tales como los medios de comunicacin y organizaciones de la sociedad civil. El CONEVAL ha demostrado su compromiso con la exploracin de formulas tendientes a mejorar las opciones de evaluacin disponibles y proporcionar informacin til para la toma de decisiones. Sin embargo, se debe tener cuidado de no incrementar excesivamente el numero de herramientas de evaluacin con el fin de evitar un inmanejable volumen de evaluaciones y preservar su calidad. Tambin es importante asegurar que la SHCP, la SFP, la Oficina del Presidente y los programas se involucren activamente en el proceso de seleccin de los programas a evaluar de forma que los mtodos puedan satisfacer efectivamente sus requerimientos de informacin. Esto ser particularmente importante en la evaluacion de programas de sectores diferentes al social, a travs del SED. 2.3.4 Programa Anual de Evaluacin y Unidades Sectoriales de Evaluacin Con el fin de implementar su diversificado men de evaluaciones, el CONEVAL propuso y logro que la SHCP y la SFP respaldaran el establecimiento de un Programa Anual de Evaluacin (PAE). El PAE es preparado y publicado en forma conjunta todos los aos por estas tres dependencias (CONEVAL, la SHCP y la SFP), en coordinacin con los ministerios de lnea y las dependencias responsables de los programas a evaluar. El PAE fue una respuesta a la necesidad de planificar la actividad de evaluacin, segurar ndo que los programas a ser evaluados se seleccionen estratgicamente, y que se evalen utilizando mtodos tcnicamente validados. El PAE tambin sirve como un mecanismo para armonizar la oferta y la demanda de evaluacin en el gobierno al tiempo que busca asegurar que los hallazgos logren influenciar los procesos de toma de decisiones. El esquema pretende lograr esto a travs de la influencia que puedan ejercer la SHCP, la SFP y el CONEVAL desde multiples perspectivas sobre el programa. El CONEVAL es el lder tcnico en la elaboracin del PAE y trabaja en estrecha colaboracin con los ministerios de lnea mientras que la SHCP y la SFP asumen papeles de consulta, decisin y soporte, principalmente. El PAE se publica a mediados del ao
Hernndez 2007a. Este parece ser el caso, por ejemplo, de la evaluacin de indicadores y la evaluacin de consistencia y resultados.
29 28

15

calendario para que los ministerios de lnea puedan planificar y presupuestar con anticipacin las evaluaciones. La evaluacin de Consistencia y Resultados ha sido central para la elaboracin del PAE puesto que sus hallazgos, en 2007, permitieron al CONEVAL construir la primera lnea de base para informar las decisiones futuras sobre qu programas necesitan una evaluacin ms profunda. En ese sentido, el anlisis de consistencia y de resultados proporciono un primer panorama general sobre reas clave del desempeo que deberan ser objeto de evaluacin en diferentes programas (ej: el diseo, la focalizacin o la operacin) y que fueron importantes en la negociacin delos PAEs para 2008 y 2009 con los sectores y dependencias. Unidades administrativas encargadas de la funcin de evaluacin dentro de los ministerios fueron introducidas en 2007. La responsabilidad principal de estas unidades es la coordinacin, la contratacin y la supervisin de las evaluaciones con el fin de asegurar que el trabajo de evaluacin se lleve a cabo en forma adecuada y con los recursos humanos y financieros necesarios. Aunque algunos ministerios como la Secretara de Desarrollo Social y la Secretara de Educacin ya posean dichas unidades, en la mayora de ministerios no se contaban con tales unidades y tuvieron que ser establecidas. Antes de establecer las Unidades de Evaluacin, las gerencias del programa eran directamente responsables de coordinar sus evaluaciones anuales. Sin embargo, las gerencias de los programas generalmente estaban sobrecargadas con tareas de implementacin y carecan de la capacidad tcnica y del tiempo necesario para coordinar el trabajo de evaluacin. Adicionalmente, existan problemas de conflicto de inters ya que los gerentes de programa eran simultneamente implementadores y responsables de elegir a sus evaluadores externos. En la actualidad, las Unidades de Evaluacin son la contraparte principal del CONEVAL, la SHCP y la SFP en la definicin y ejecucin del PAE. Un aspecto del PAE a destacar es la estandarizacin de los Trminos de Referencia (TR) de las evaluaciones tanto en aspectos de procedimientos como de contenido, aspecto en el cual el CONEVAL desempeo un papel central.. Los TR estndar ofrecen una gua tcnica detallada para los evaluadores y los funcionarios del gobierno sobre qu preguntas deben responder las evaluaciones y de qu forma deben hacerlo. Igualmente, establecen detalles sobre las responsabilidades, los plazos y los productos mnimos a ser entregados por los evaluadores. Los TR son preparados por el CONEVAL en coordinacin con los programas, y luego son distribuidos a las dependencias. Con anterioridad a la existencia de este mecanismo de preparacin tcnica de los TR bajo el liderazgo de CONEVAL, se solicitaba a los ministerios y programas que contrataran y supervisaran a los evaluadores pero no se contaba con criterios estndar. La estandarizacin de TR por tanto contribuyo a reducir la heterogeneidad en la calidad de las evaluaciones en la administracin pblica 30. Al igual que otras herramientas, los TR estandarizados tambin reforzaron el establecimiento de un lenguaje comn de gestin basada en resultados en toda la administracin al tiempo que mejoraron la transparencia en la realizacin de las evaluaciones, ya que sus informes finales comenzaron a ser publicados en el sitio web del CONEVAL.
Las entrevistas realizadas en 2008 mostraron que la introduccin de TRs fue considerada extremadamente positiva tanto por el personal de los ministerios de ejecucin que trabajaban con evaluaciones como por los evaluadores externos contratados para realizar las evaluaciones.
30

16

2.3.5 Mtodos deEvaluacin de la Reduccin de la Pobreza Hasta hace poco tiempo, Mxico no tena una definicin oficial sobre la medicin de la pobreza. Esta situacin no es inusual en los gobiernos de diferentes paises, aunque unos pocos, particularmente India y Estados Unidos, tienen ya una larga tradicin en el uso de una lnea de pobreza oficial. Debido a que la definicin de la pobreza es al mismo tiempo un producto de anlisis tcnicos y de los procesos polticos, contar con una posicin oficial es un activo importante ya que esta ayuda a enfocar el debate no solo en el nmero de personas pobres sino en las cuestiones ms relevantes como sus causas, principales tendencias y las decisiones de poltica que se requiere adoptar. En 2000, el gobierno de Mxico convoc a un comit de expertos para definir una posicin oficial sobre cmo medir la pobreza: el Comit Tcnico para la Medicin de la Pobreza (CTMP). Este Comit esta compuesto por un grupo multidisciplinario de acadmicos y por observadores del gobierno. El CONEVAL adopt las recomendaciones del CTMP cuyo trabajo involucro una extensiva revisin de la literatura y experiencia internacional sobre la medicin de la pobreza, y fue considerado de alta calidad. Uno de los aportes ms importantes del CTMP fue que le otorgo credibilidad y transparencia al proceso de medicin de la pobreza que hoy lleva a cabo el CONEVAL. De acuerdo con lo anterior, el CONEVAL obtuvo un mandato directo para medir la pobreza, tal como lo establece la Ley de Desarrollo Social, en el entendido que obtener resultados en la reduccin de la pobreza comenz a ser considerado como el principal fin de la poltica y los programas sociales. De la misma forma, al reconocer la naturaleza multidimensional y compleja de la pobreza el CONEVAL introdujo una serie de indicadores para evaluar su estructura y tendencias de manera sistematica. Para medir la pobreza por ingresos, el CONEVAL utiliza como indicador de bienestar de los hogares el ingreso per cpita. Existen tres lneas de pobreza conocidas. La primera es la lnea de pobreza alimentaria, que consiste en una estimacin de los ingresos requeridos para adquirir una canasta de alimentos para satisfacer los requisitos nutricionales mnimos. La segunda es la lnea de pobreza de capacidades, que mide los gastos familiares por encima de la lnea alimentaria. La tercera es la lnea de activos o de patrimonio, que mide el nivel de pobreza con base en los alimentos ms otros activos bsicos. Esta tercera lnea de pobreza se ubica por encima de las dos lneas anteriores. El CONEVAL ha venido avanzando en una metodologa para medir la pobreza multidimensional, lo cual ha exigido la realizacin de amplias consultas con acadmicos y expertos sectoriales para establecer qu indicadores de bienestar deben incluirse en la medicin, as como otros temas tcnicos especficos. Debido a su capacidad y amplia especializacin tcnica el CONEVAL ha ganado credibilidad y confianza en la medicin de la pobreza en Mxico. Esto se debe tambin a su organizacin y al carcter transparente del proceso para la definicin de las metodologas de estimacin de la pobreza y la difusion de sus resultados. El CONEVAL ha utilizado un enfoque similar en la evaluacin de los programas y polticas sociales y al mismo tiempo ha retroalimentado la definicin de sus mecanismos para la medicin de la pobreza con base en su experiencia de evaluacin de programas. En ambos casos el intercambio mutuo de experiencias y conocimeinto ha contribuido a enriquecer la 17

definicin de las preguntas que deben responder las evaluaciones, la identificacin y refinamiento de los instrumentos para responder dichas preguntas, y finalmente la aplicacin de las metodologas de evaluacin y su diseminacin. No cabe duda que el proceso transparente y tcnico a travs del cual el CONEVAL realiza las evaluaciones de reduccin de la pobreza y de los programas sociales le ha permitido posicionarse dentro del gobierno Federal como una institucin confiable. 2.4 Utilizacin de la Informacin del Desempeo Generada por el CONEVAL

La transparencia y la rendicin de cuentas son, sin duda, los principales factores que ha impulsado la introduccin de un enfoque de gestin basado en resultados en Mxico. El Congreso ha sido el principal receptor de informes de evaluacin desde 1999 y tambin los ministerios, en particular la SHCP y la SFP, al igual que los programas mismos, han recibido un creciente nmero de informes de evaluacin. Ms recientemente, la ciudadana y la sociedad civil organizada tambin ha obtenido mayor acceso a los resultados de las evaluaciones. Este aspecto contrasta con el perodo 20002006 en el que se realizaron ms de 500 evaluaciones externas pero en que se utiliz efectivamente muy poca de dicha informacin. De hecho, e en ese momento exista un bajo nivel de conciencia acerca del rol que podra desempear la evaluacin en mejorar los programas del gobierno. Previo a 2006 la actividad de evaluacin careca de incentivos y tampoco se contaba con arreglos institucionales que garantizaran el uso de los hallazgos. En esa medida, los Lineamientos Generales para la Evaluacin de los Programas Federales de 2007 fueron una respuesta especfica al bajo uso de los hallazgos de las evaluaciones. Uno de los propsitos de los lineamientos fue justamente el de garantizar que se difundieran los resultados clave de las evaluaciones y que llegaran efectivamente a manos de los responsables de la tomar de decisiones en el gobierno. Un mecanismo de seguimiento, para priorizar e impulsar el uso de las recomendaciones de las evaluaciones externas fue emitido en octubre de 2008los Lineamientos para la Utilizacin de los Resultados de las Evaluaciones. Estos lineamientos identificaron los actores e instrumentos relevantes y establecieron un proceso de seguimiento en cuatro pasos (figura 4).

18

Figura 4. Seguimiento a los aspectos susceptibles de mejora

Paso 1: Anlisis y seleccin de los aspectos susceptibles de mejora
Criterios de seleccin: Claridad Relevancia Justificacin Factibilidad

Paso 2: Clasificacin y priorizacin de los aspectos susceptibles de mejora

Clasificaciones: Especficas Institucionales Interinstitucionales Intergubernamentales

Niveles de prioridad: Alta Media Baja

Paso 3: Desarrollo de un plan de trabajo con compromisos, actividades y plazos para considerar los aspectos susceptibles de mejora priorizados.

Paso 4: Difusin de los resultados del plan de trabajo en el sitio web del ministerio Fuente: Oficio N 301-A-1981. Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones externas a programas federales, Mxico D.F., 14 de octubre de 2008

Una vez que la evaluacin es revisada y aceptada por el programa o dependencia, se seleccionan los aspectos susceptibles de mejora en trminos de su relevancia y factibilidad de implementacin. Posteriormente, las recomendaciones se clasifican segn el tipo de actor involucrado en la solucin, dependiendo de su mbito de influencia (por ejemplo, nivel de programa, institucional, interinstitucional) y seguidamente se priorizan en trminos de importancia: alta, media o baja. Con base en estos pasos, se solicita a los programas elaborar un plan de implementacin a dos niveles (programa e institucin) el cual debe describir las actividades y los plazos para la introduccin de las recomendaciones en ambos niveles. La diseminacin de los planes de implementacin de las recomendaciones en el sitio web de cada ministerio es solicitada y las unidades de evaluacin de cada ministerio son responsables der ese proceso 31. Un mayor uso de los hallazgos de las evaluaciones tambin ha sido impulsado por la SHCP a travs de la implementacin del Presupuesto Basado en Resultados. Actualmente, se exige a las dependencias que presenten indicadores de desempeo de sus programas presupuestario lo mismo que sus informes de evaluacin a la Oficina Federal de Presupuesto. La SHCP creo, y actualmente se encuentra implementando una Unidad de Evaluacin del Desempeo la cual esta a cargo de informar el proceso presupuestario en forma permanente con base en la informacin proveniente de las evaluaciones. Se prev que progresivamente esta unidad ser uno de los usuarios ms importantes de la informacin de desempeo a nivel federal. El desarrollo de actividades de evaluacin, aunque en forma lenta, tambin ha fortalecido progresivamente la planeacin de los programas e, igualmente, le ha otorgado un rol ms activo a las unidades de evaluacin dentro de los ministerios las cuales tambin se han convertido en importantes usuarios de la informacin de evaluacin. De la misma forma,
Oficio N 301-A-1981, Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones externas a programas federales, Mxico D.F., 14 de octubre de 2008
31

19

al tiempo que el Congreso y los organismos de control han comenzado a establecer una relacin ms fluida con las dependencias ejecutivas a cargo de la evaluacin, tambin han comenzado a incrementar el uso de la informacin de desempeo. Un caso que ilustra esta relacin es el de la Auditora Superior de la Federacion, organismo que respalda al Congreso en el control del ejecutivo. Esta entidad recibi talleres de capacitacin organizados por el CONEVAL sobre temas tales como las MIs, la elaboracin de indicadores de desempeo y los beneficios de utilizar estas herramientas para fines de control presupuestario. De hecho, este organismo de auditora se encarga actualmente de revisar los indicadores de desempeo de todos los programas y emite un informe oficial sobre su consistencia, incluyendo recomendaciones vinculantes para los programas. As mismo, el proceso presupuestario de 2009 tambin ofrece evidencia de la tendencia hacia una mayor utilizacin de los hallazgos de las evaluaciones. La SHCP y la Oficina del Presidente solicitaron informacin de evaluaciones directamente al CONEVAL, con el fin informar la toma de decisiones sobre la priorizacin de de recursos presupuestales entre programas. El CONEVAL present un informe sobre los 106 programas evaluados con la metodologa de consistencia y resultados, y la SHCP utiliz dichas evaluaciones como informacin adicional para informar el proceso de preparacin del presupuesto de 2009 32. Un aspecto a destacar es que esta informacin logro influenciar algunos cambios en los programas requeridos por la SHCP. (Cuadro 1). Cuadro 1. Grado de utilizacin de las evaluaciones PROGRAMA 1. Modelo comunitario para la educacin de poblacin vulnerable 2. Modelo comunitario para la educacin inicial y bsica de poblaciones indgenas y migratorias HALLAZGOS DE LAS EVALUACIONES - Necesidad de mejorar la planeacin del programa - Duplicacin de esfuerzos, se sugiere un diseo nico y unificado, y una matriz de indicadores Perspectiva limitada de generacin de competencias de trabajo - Focalizacin en la misma poblacin con componentes similares - La fusin simplificara la estructura administrativa y beneficiara el monitoreo PRESUPUESTO DE 2009 Los programas se fusionaron en una nica intervencin llamada Educacin inicial y bsica para poblacin rural indgena

3. Programa de soporte de capacitacin

4. Uso eficiente de agua y energa 5. Plena utilizacin de infraestructura hdrica y agrcola

Reemplazado por el nuevo programa de soporte a la productividad Integracin en un nuevo y nico Programa para la Modernizacin y Mejora Tcnica de las Unidades de Irrigacin

Fuente: SHCP, Subsecretara de Gastos, Director Adjunto de la Oficina de Poltica y Control Presupuestario. Burgos 2008.

32

Se puede obtener la informacin en www.coneval.gob.mx.

20

De acuerdo con la SHCP, las evaluaciones existentes y las MIs implementadas por las dependencias federales permitieron mejorar la alineacin entre los objetivos de los programas y los objetivos nacionales en el presupuesto de 2009. Por primera vez, las asignaciones presupuestarias fueron vinculadas con los indicadores y metas de los programas 33. Tambin es importante mencionar que adems de un mayor uso por parte de las dependencias del gobierno, los medios nacionales de comunicacin utilizan peridicamente los resultados de las evaluaciones de programas que publica el CONEVAL en sus sitios web. Igualmenteexiste evidencia reciente de que organizaciones de la sociedad civil han comenzado a utilizar los resultados con el propsitos de ejercer control social sobre el gobierno 34.

3.

EL SISTEMA DE EVALUACIN DEL DESEMPEO -SED

La Ley Federal de Presupuesto y Responsabilidad Hacendaria, enmendada en 2007, actualiz el marco presupuestario mexicano y sent las bases para orientar el gasto federal hacia un enfoque de presupuesto basado en resultados. Con este propsito, la Ley cre el Sistema de Evaluacin del Desempeo -SED, el cual de alguna forma vino a integrar todos los esfuerzos de evaluacin anteriores en un Sistema de MyE nacional. Es importante destacar la evolucin progresiva del SED, ya que este fue propuesto por primera vez en 1995 como parte de una serie de reformas al sistema presupuestario. En ese sentido, los esfuerzos realizados en su implementacin solo se materializaron despus de ms de una dcada, en 2008, cuando el SED comenz a operar formalmente. Aunque no es fcil determinar todos los factores que favorecieron su evolucin, se destaca que el establecimiento del modelo de MyE del CONEVAL en el sector social, el avance logrado en la implementacin de MIs en todos los programas, y la existencia de un conjunto de mtodos de evaluacin robustos aplicados a ms de 130 programas por ao, crearon en conjunto una base slida desde la cual el sistema pudo efectivamente materializarse. El SED es operado por la SHCP, la SFP y el CONEVAL y cuenta con dos pilares. El primero es el monitoreo de los programas financiados por el presupuesto federal, el cual se realiza utilizando la base de informacin de las MIs. Esta actividad se lleva a cabo durante la implementacin de los programas y est orientada a advertir a los funcionarios de presupuesto acerca de posibles retrasos y obstculos en la ejecucin y el logro de sus metas. El segundo pilar es el de evaluacin de resultados de los programas federales (definidos dentro del PAE) el cual, a su vez, posee dos subcomponentes. Por un lado, la evaluacin de resultados de los programas federales (incluyendo la de los programas sociales a cargo del CONEVAL), y la evaluacin de procesos y la calidad de los servicios pblicos, realizada bajo el Programa de Mejoramiento de la Gestin (PMG) a cargo de la SFP 35.
Burgos 2008. Tal es caso de Gestin Social y Cooperacin (GESOC), una organizacin civil cuyo objetivo consiste en llevar a cabo investigaciones, monitoreo y evaluacion para incrementar la rendicin de cuentas de los programas pblicos y las organizaciones de la sociedad civil. Ver www.gesoc.org.mx. 35 La Secretara de la Funcin Pblica tiene tres responsabilidades principales de MyE en Mxico: (i) desarrollar y gestionar sistemas para monitorear el desempeo del personal y el desempeo gerencial en la administracin de los programas presupuestarios del gobierno, (ii) eliminar los obstculos sistmicos para una
34 33

21

Las tres dependencias poseen funciones y responsabilidades operativas especficas con respecto al SED. Con base en su experiencia y capacidades, el CONEVAL brinda asistencia tcnica en el rea de monitoreo y evaluacin y, obviamente, coordina la evaluacin de todos los programas sociales . La SFP garantiza el cumplimiento de estndares de gestin dentro de las dependencias a travs de mtodos de certificacin. Finalmente, la SHCP dirige el proceso de presupuestacin basada en resultados y se asegura de que la informacin generada por todas las dependencias se canalice hacia el proceso de toma de decisiones presupuestarias. Las tres dependencias tambin definen conjuntamente los parmetros y lineamientos para la realizacin de evaluaciones, el seguimiento a la implementacin de recomendaciones (figura 5).

Figura 5: El SED y la coordinacin institucional

President s Presidente Office Oficina del

National Plan Nacional Development de Desarrollo Plan

Planificacin Performance -Based basada Planning en resultados

Federal Budget Presupuesto Federal

Presupuesto Performance -basado Based Budgeting en resultados

Program implementation Implementacin de programas

Implementacin Performance -Based basada implementation en resultados

SED Sistema Performance de Evaluacin Evaluation de System Desempeo SED Secretary of Secretara de Hacienda Hacienda
Performance Desempeo Grupo M&E working de Trabajo group MyE
(SHCP, SFP, CONEVAL)

Monitoring Monitoreo
(During implementation) (Durante implementaci

Evaluation Evaluacin
(Results focus) (Orientacin a resultados)

Politicas - Programas Polticas

(Coneval, SHCP, Otros) Others)

Institutions Performance Desempeo de instituciones

(SFP PMG)

Rendicin de cuentas - Transparencia

Utilizando la metodologa del marco lgico (es decir, las MIs), el SED, promueve la alineacin de los objetivos del Plan Nacional de Desarrollo, los programas del sector y el presupuesto 36 (ver figura 5). Con el fin de informar el presupuesto, el SED genera continuamente informacin de MyE sobre el grado de cumplimiento de las metas y los objetivos de los programas federales. Con dicha informacin, provista por las MIs y el PAE, se espera que los funcionarios de presupuesto puedan advertir sobre posibles obstculos afectando el cumplimiento de las metas y, de ese modo, proponer acciones correctivas.
mejor gestin del desempeo, y (iii) ofrecer certificaciones independientes de calidad sobre los indicadores de desempeo seleccionados por la SHCP para monitorear el desempeo de los programas presupuestario. 36 El poder legislativo y el ejecutivo, as como los gobiernos subnacionales, evalan su desempeo en base a sus propios estndares, aunque tambin deberan cumplir con los requerimientos del presupuesto federal y de la responsabilidad hacendaria con respecto a la evaluacin.

22

Para garantizar la coordinacin institucional en la implementacin de actividades de gestin basada en resultados, el SED cre un Grupo de Trabajo de Gestin y Evaluacin Basada en Resultados que involucra a las tres dependencias operativas. Este grupo trabaj conjuntamente de manera efectiva en la elaboracin de las reglamentaciones existentes (por ejemplo, los Lineamientos Generales para la Evaluacin, el PAE, entre otras) y en la realizacin de tareas interdisciplinarias relevantes, tales como eventos de difusin, capacitacin, seminarios, entre otros. Con respecto a la elaboracin a la preparacin del presupuesto, la SHCP, en coordinacin con los ministerios de lnea, decide las prioridades en materia de gastos y de asignacin de recursos. Con base en la informacin de MyE del SED y los resultados obtenidos por las dependencias el ao anterior, entre otros factores, la SHCP puede proponer mejoras a los programas, polticas o instituciones. La asignacin de recursos puede aumentar dependiendo del desempeo y de la implementacin de las recomendaciones de las evaluaciones. Asimismo, los programas pueden sufrir reducciones potenciales o su eliminacin total, en respuesta a la evidencia de MyE recabada y las prioridades del gobierno. Una vez que el presupuesto es aprobado por el Congreso y comienza el ejercicio fiscal, la SHCP monitorea la ejecucin diaria del presupuesto (es decir, la forma en que los ministerios y agencias gastan). Sin embargo, a travs del SED, la SHCP tambin monitorea el logro de los objetivos y las metas de desempeo (es decir, el grado en el que las dependencias logran los resultados establecidos en sus programas). Implementar un sistema de MyE integral ha tomado por lo menos 10 aos en Mxico, y ha exigido, a su vez, una enorme cantidad de trabajo y el esfuerzo de mltiples dependencias del gobierno. Lograr lainstitucionalizacin plena del SED es todava una tarea pendiente , pero existe, sin duda, una base slida para su desarrollo. Las evaluaciones de desempeo de los programas que lleva a cabo el CONEVAL estn siendo utilizadas por la Secretara de Hacienda para la preparacin y negociacin del presupuesto, y el SED tiene el potencial para convertirse en una robusta fuente de informacin sistemtica sobre el desempeo de los programas y la calidad del gasto publico.

4. EL SISTEMA DE MyE DE MXICO: FORTALEZAS Y PRINCIPALES DESAFOS Mxico ha sido pionero en Amrica Latina en ell desarrollo de evaluaciones de impacto de los programas sociales haciendo uso de los principales avances cientficos disponibles, tal como lo demuestran las evaluaciones de Progresa/Oportunidades. El pas tambin ha logrado avances significativos en cuanto a una ms eficiente gestin de las instituciones y programas pblicos.os gobiernos de la ltima dcada han comenzado a alejarse de las formas de gestin ms tradicionales, y en lugar de focalizarse nicamente en el monitoreo de insumos, se observa una fuerte tendencia hacia una mayor concentracin en los resultados e e impactos de la gestin. En buena medida este avance ha sido posible gracias a las reformas de MyE y de presupuesto basado en resultados llevadas a cabo a partir de 2005. Sin embargo, la consolidacin de estos esfuerzos solo comenz en 2007, cuando el SED logro integrar los anteriormente bien orientados, pero todava dispersos o aislados ejercicios de MyE 23

existentes. Entre todos los aspectos, la integracin del CONEVAL al SED constituy uno de los ms importantes avances ya que este trajo al Sistema una funcin de evaluacin altamente institucionalizada y con altos estndares tcnicos lo que a su vez, aport independencia, credibilidad y capacidades tcnicas al SED. En una perspectiva ms amplia, el CONEVAL tambin allan el camino para la generalizacin de metodologas de evaluacin en la administracion federal y, asi mismo, influencio la introduccin de reformas de gestin basada en resultados en un nivel ms amplio. Su papel como lder y promotor principal de la actividad de evaluacion no ha tenido antecedentes y su capacidad para ejecutar ms de 100 evaluaciones por ao es notable. De hecho, debido a algunos de estos factores, el modelo del CONEVAL se ha convertido en parmetro para otros pases en proceso de implementacin de reformas de MyE. En conjunto, Mxico ha sentado bases institucionales slidas para su sistema de MyE: la legislacin existente ha proporcionado un marco moderno de gestin en la administracin pblica que est permitiendo hacer operativos los parmetros del sistema, hay unaprogresiva asimilacin de las prcticas, herramientas y conceptos de la gestin basada en resultados , y se observa una creciente utilizacin de los hallazgos derivados de las evaluaciones. Un aspecto igualmente importante ya que aumenta la sostenibilidad del SED en el largo plazo es que la implementacin esta jalonada fundamentalmente por las instituciones del gobierno y como parte de una estrategia nacional, y no por las agencias de desarrollo si bien estas han jugado un papel fundamental. Sin embargo, lograr la institucionalizacin completa de la evaluacion y la gestin basada en resultados en Mxico an presenta una serie de desafos. Algunos de esos retos se analizan a continuacin. 4.1 Gestin del Cambio

En un perodo relativamente cortobsicamente entre 2005 y 2009Mxico experiment cambios fundamentales en la gestin publica. La lista de reformas institucionales, nuevas prcticas, instrumentos y nuevos roles para las dependencias involucradas en el mbito de las polticas pblicas es extensa (ver anexo 2). Estos cambios no fueron adoptados de un da para otro, ni mucho menos de forma fcil. De hecho, al igual que en otros pases, la experiencia indica que buena parte de estos cambios gener confusin e incluso frustracin en algunas entidades 37. En particular, el aumento en la carga de trabajo de algunos funcionarios pblicos, junto a una lenta percepcin de los beneficiosdebido al carcter de largo plazo de la reformaha producido resistencia en algunos niveles. Un desafo clave para el gobierno federal ser superar dicha resistencia garantizando un adecuado equilibrio entre la velocidad y la secuencia de las reformas con el fin de lograr una adecuada adopcin de los cambios y la correcta asimilacin de los mismos. En ese sentido, la experiencia internacional indica que Mxico podra beneficiarse enormemente de una estrategia de gestin del cambio mejor planificada. Una estrategia de esta naturaleza, podra integrar y comunicar de mejor manera las decisiones tomadas al mas alto nivel del gobierno e introducir mejores incentivos para acelerar la adopcin del modelo de gestin basada en resultados por parte los gerentes y funcionarios del nivel poltico. Al mismo tiempo, podra facilitar la creacin de condiciones en los niveles tcnicos y operativos para permitir que los programas y
Segn los funcionarios entrevistados, los mensajes inconsistentes y contradictorios recibidos por los ministerios de ejecucin generaron confusin en muchos casos.
37

24

funcionarios puedan responder a los cambios. Algunos elementos de una estrategia de ese tipo incluyen: (i) comunicacin estratgica de la filosofa integral del cambio, (ii) acciones para mantener un compromiso poltico de alto nivel, tanto en el gobierno como en el Congreso, (iii) fortalecer las capacidades tcnicas de los responsables lderes de las reformas clave (por ejemplo, la SHCP, la SFP), (iv) ofrecer capacitacin aplicada continua y servicios de asesoramiento especficos a los ministerios y agencias sectoriales, y (v) desarrollar planes de incentivos para recompensar el buen desempeo y la adopcin del modelo. Algunas de estas medidas se han implementado en algunos momentos especficos o han comenzado a implementarse, pero su integracin bajo una estrategia comprensiva y coherente de gestin del cambio, lo mismo que sistemtica y de mediano plazo podra proporcionar a los funcionarios e instituciones el tiempo necesario y la capacidad adecuada para absorber el alcance y contenido de las reformas. sta es una consideracin importante, en particular, para reducir los riesgos de fatiga institucional por las reformas. 4.2 Desarrollo de Capacidades de Evaluacin

Un desafo que merece especial atencin es la necesidad continuar mejorando las capacidades de evaluacin y de gestin orientada a resultados. La buena prctica, liderada por el CONEVAL y la SHCP en 2007, de ofrecer entrenamiento en aspectos y herramientas especificas del modelo a un amplio espectro de entidades y funcionarios de la administracin no debera considerarse como una inversin de una sola vez. Por el contrario, debe ser entendida como el primer paso de un camino largo por recorrer que requiere esfuerzos de capacitacin sostenidos en el tiempo y a travs de diferentes esquemas si de veraz se quiere producir cambios en las habilidades y practicas de los funcionarios y que la orientacin basada en resultados penetre efectivamente en la cultura organizacional del sector pblico. Existen muchas reas en las que se necesita capacitacin que incluyen planeacin estratgica, finanzas y gestin del gasto, presupuesto por resultados, tcnicas de evaluacin y gestin de la informacin del desempeo, entre otras. Pero si se desea alimentar y sostener tal cultura de resultados, las unidades del Congreso, el personal tcnico de las dependencias de control, los medios de comunicacin, las organizaciones profesionales y la sociedad civil tambin debern adquirir mayores conocimientos acerca del alcance, propsito y uso potencial de la informacin de desempeo as como de las herramientas de MyE a disposicin. La participacin de instituciones acadmicas en dichos esfuerzos ser crucial. El papel de la SHCP y del CONEVAL en impulsar asociaciones publico-privadas efectivas que demanden a las entidades mostrar resultados y en liderar el camino para alcanzar los desafos en materia de capacidades ser extremadamente importante. El sofisticado men de evaluaciones que Mxico ha desarrollado, a su vez, plantea el desafo de asegurar la disponibilidad de evaluadores externos calificados para llevar a cabo el PAE de acuerdo con los estndares establecidos por el SED y el CONEVAL. Si bien la cantidad de evaluaciones contratadas ha crecido rpidamente, existe an un nmero relativamente modesto de evaluadores profesionales en universidades y firmas de consultora para satisfacer las necesidades del mercado. No es poco frecuente encontrar que los mismos profesionales han evaluado mltiples programas por varios aos, incluso, con frecuencia evaluando el mismo programa ms de una vez. Ahora que la demanda de evaluaciones est creciendo, se necesitan ms evaluadores externos calificados. 25

Un aspecto estrechamente relacionado es la gran heterogeneidad en la calidad de los trabajos de evaluacin realizados entre 1999 y 2006 al punto que el gobierno ejecutivo, el sector acadmico e incluso el Congreso han hecho una serie de llamados a mejorar el proceso de control de calidad de los evaluadores externos 38. El CONEVAL ha tomado algunas medidas iniciales para regular la calidad de los evaluadores externos mediante la creacin de un registro nacional de evaluadores profesionales, pero se necesitarn ms, en particular bajo el marco del SED, para enfrentar estos desafos. En trminos de ampliacin de la oferta de evaluadores calificados, existe una importante oportunidad para que las universidades de Mxico y otras instituciones acadmicas introduzcan ms productos de capacitacin y conocimiento en evaluacin y gestin basada en resultados, incluyendo una mayor oferta de servicios de asistencia tcnica y asesora especializada. El CONEVAL y la SHCP podran participar en el impulso a esta agenda mediante la acreditacin de cursos universitarios en la evaluacin de programas pblicos, o creando incentivos para que las evaluaciones incluyan un componente explcito de transferencia de conocimientos, por ejemplo, actividades de aprendizaje entre pares, de modo que se estimule el desarrollo endgeno de capacidades 39. 4.3 Coordinacin Inter-institucional

Las reformas de gestin basada en resultados crearon nuevos roles para una serie de entidades, dando origen a nuevas interacciones (i) entre los niveles polticos y tcnicos de las dependencias del gobierno y (ii) entre estas dependencias, el Congreso y las entidades de control. Para asegurar que la informacin de MyE influencie efectivamente la formulacin de polticas, informe la gerencia de los programas y refuerce la rendicin de cuentas se necesita una clara definicin de estas interrelaciones. Sin embargo, la clara definicin de roles, papeles de liderazgo y autoridad no necesariamente se ha logrado o establecido apropiadamente en Mxico. De hecho, la creacin de nuevas instancias, la introduccin de indicadores de desempeo, las evaluaciones de resultados, la implementacin del presupuestos basado en resultados y las crecientes prcticas de rendicin de cuentas son todas actividades nuevas que han puesto a prueba la capacidad de los arreglos institucionales existentes evidenciando mltiples desafos en trminos de coordinacin y uso eficiente de los recursos para evitar la duplicacin de acciones. Esto es particularmente cierto con respecto a la colaboracin entre las llamadas dependencias globalizadoras (la Oficina del Presidente, la SHCP, la SFP y el CONEVAL), y entre estas y otras instancias clave como el Congreso y los organismos de control. Las reglamentaciones actuales, por ejemplo, an no han establecido los papeles especficos ni el alcance de las funciones de evaluacin de algunas de estas dependencias y, en consecuencia, estn comenzando a surgir conflictos y duplicaciones 40. En la prctica, el tema de quin hace o ldera cada cosa? ha sido manejado deliberadamente de forma relativamente ad hoc, con el objeto de mantener el proceso en marcha. Sin embargo, aunque hasta ahora ha habido consenso y un entendimiento implcito sobre la

Alcade 2008. Se realiz algo similar en Colombia en 2000 y ms recientemente en la Unin Europea, con el objetivo de capacitar a los evaluadores que trabajaban en nuevos estados miembro. 40 Uno de estos conflictos potenciales es el grado en el cual el SED llevar a cabo evaluaciones de programas sociales y el rol del CONEVAL en dicho caso.
39

38

26

divisin de las tareas, las tensiones podran crecer con el tiempo, planteando potenciales amenazas al proceso. Un desafo similar se presenta con las funciones y mecanismos de coordinacin a nivel de los sectores. Los Lineamientos Generales para la Evaluacin de los Programas Federales y la mas amplia iniciativa del SED, tambin introdujeron una cantidad de funciones y procesos internos nuevos, que en muchos casos exceden ampliamente las responsabilidades tradicionales de las unidades administrativas y que exigirn la cooperacin de diversas unidades dentro de los ministerios (por ejemplo, de las direcciones de presupuesto, planeacin, evaluacin y tecnologa informtica). Es claro que an queda un largo camino por recorrer en la definicin de roles en estos niveles. Por ejemplo, las entrevistas realizadas en 2008 revelaron que tanto las unidades administrativas como los programas propiamente dichos an se encargaban de la contratacin de los evaluadores, y que los diversos procesos relacionados con la contratacin no estaban bien definidos, lo que lleva a que la contratacin de evaluadores en muchos casos an sea un proceso extremadamente lento. No obstante lo anterior, es importante tener cuidado de no sobre regular la manera en que los ministerios y agencias debern organizar su trabajo de evaluacin. En este aspecto, ofrecer respaldo o acompaamiento adicional a los ministerios en la implementacin de sus propios sistemas de M&E y en la absorcin del nuevo marco de evaluacin dentro de sus estructuras ser un aspecto central. Dado que el sistema de MyE se encuentra entrando en una etapa de consolidacin, un mayor nfasis en facilitar la coordinacin dentro de los ministerios y agencias y en empoderar a las unidades de evaluacin sectoriales en su relacin con las llamadas globalizadoras que lideran el SED sera de gran valor para apalancar este proceso. De esta manera tambin, la comunicacin y la coordinacin entre estos diferentes entidades y niveles involucrados pueden ser ms efectivas. Una oportunidad en este sentido es la seleccin de sectores lderes con los cuales se podra ilustrar diferentes modelos en cuanto a cmo podran funcionar la estructura bsica y los mecanismos de coordinacin de las unidades de evaluacin con las unidades de presupuesto y planeacin o, igualmente importante, cuales deberan ser sus capacidades mnimas. Lograr que el sistema de MyE funcione a nivel sectorial es uno de los desafos de institucionalizacin mas importantes. 4.4 Fortalecimiento de la Funcin de Planeacin Estratgica

La planificacin estratgica es un pilar clave del modelo mexicano de gestin basada en resultados, ya que esta debe proveer tanto orientacin estratgica al gasto pblico como un marco de resultados esperados de los diferentes niveles de la administracin. Es principalmente en relacin con dicho marco de planificacin y contra el del presupuesto que puede medirse el desempeo gubernamental. El rol de la planeacin ha sido significativamente fortalecido por las iniciativas de gestin por resultados implementadas entre 2005 y 2007. La introduccin de metas e indicadores cuantificables en el PND, el requisito de que los ministerios alineen sus planes sectoriales al PND y el desarrollo de MIs a nivel de todos los programas han contribuido a reforzar el rol de planeacin basada en resultados en Mxico. Sin embargo, an existe un desafo fundamental con respecto a la planeacin: su armonizacin efectiva con el proceso de presupuestacin. A nivel nacional y sectorial, actualmente estos procesos se llevan a cabo de forma separada, bajo la responsabilidad de diferentes unidades cuya coordinacin es difcil, por ejemplo, debido al simple hecho de que los dos procesos tienen diferentes calendarios. Alcanzar este desafo requerir la revalidacin de la planeacin como herramienta de gestin en los sectores y dependencias 27

para cambiar la percepcin de que esta funcin es una actividad procedimental sin incidencia en la gestin y con un valor agregado relativamente bajo para las entidades. Por esto mismo, los aspectos tcnicos y operativos asociados con la armonizacin de la planeacin y la formulacin de presupuestos tambin requerirn adaptaciones. Otra rea en la que se podran reforzar los vnculos entre la gestin y planeacin del gobierno es la evaluacin sistemtica de los actuales ejercicios de planeacin nacionales y sectoriales. En este momento, las herramientas de evaluacin se focalizan principalmente a nivel de programa y no existe una metodologa de evaluacin de planes. La evaluacin de los planes creara incentivos para que las dependencias lleven a cabo ejercicios de planeacin ms orientados a los resultados de la gestin que a los procedimientos. Un desafo para la SHCP, el CONEVAL y la SFP consiste en crear los incentivos y las herramientas metodolgicas para reforzar la funcin de planeacin y su evaluacin, de forma que esta asuma su funcin de orientar la gestin y el presupuesto en el modelo de gestin basado en los resultados. 4.5 Fortalecimiento de la Funcin de Monitoreo

El modelo mexicano ha asignado un valor primordial a las evaluaciones realizadas con un alto nivel de sofisticacin. Sin embargo, an debe desarrollarse una funcin estandarizada, sistemtica y robusta de monitoreo. Una funcin de monitoreo bien planeada y ejecutada es esencial para la planeacin y la presupuestacin efectivas, debido a que el desempeo del gobierno est fuertemente ligado a los servicios y los productos que se administran en forma diaria (normalmente utilizando registros administrativos generados por los programas). El monitoreo es de corto plazo, con nfasis en productos y resultados intermedios principalmente, y en esta medida contrasta con la funcin de evaluacin, que se centra ms en los resultados finales y en el impacto los cuales solo pueden medirse en el mediano y largo plazo con informacin y anlisis mas sofisticados. 41 En consecuencia, un desafo clave para el sistema de MyE mexicano consiste en alcanzar un equilibrio adecuado entre estas dos actividades. Parte de este reto implica asegurar que ambas actividades se lleven a cabo de manera tcnicamente slida y complementaria. Las herramientas de monitoreo deberan permitir anticipar oportunamente aspectos del desempeo clave, permitiendo a los gerentes ocuparse de los problemas y obstculos antes de que se vuelvan crticos. Un beneficio adicional que a menudo se pasa por alto es que los datos de monitoreo pueden recolectarse a un costo relativamente bajo y mas importante aun, que posteriormente pueden ser utilizados para llevar a cabo evaluaciones ms extensas y sistemticas. No sobra recordar que informar adecuadamente los procesos de programacin del presupuestoque normalmente se realizan bajo fuertes restricciones operativas y de tiempoexige una slida funcin de monitoreo. El SED deber llenar la brecha de monitoreo actualmente existente en el sistema de M&E mexicano. Pero para ello, an se enfrenta al desafo de establecer un marco con reglas tcnicas e institucionales slidas para abarcar el ciclo de la gestin en su totalidad. Esto exigir garantizar la generacin de informacin de monitoreo a lo largo de la cadena de implementacin, desde los insumos y actividades en el nivel inferior, hasta los productos, resultados intermedios en el nivel superior. Tal como se indic en el anlisis de otros

41

Esto, a su vez, podra requerir la realizacin de encuestas o de estimaciones ms sofisticadas.

28

aspectos del sistema, la colaboracin entre el CONEVAL, la SHCP y la SFP ser muy importante en el logro de este objetivo. 4.6 Fortalecimiento de la Calidad de la Informacin de Desempeo

Contar con una infraestructura confiable de generacin y administracin de informacin, que soporte la implementacin de la gestin basada en resultados, es el cimiento ms importante para asegurar la calidad y oportunidad de las actividades de MyE en el gobierno. Una revisin rpida de las prcticas actuales en los ministerios y agencias muestra, entre otras debilidades, la falta de estandarizacin en los protocolos de calidad para administrar datos, informacin dispersa sobre los beneficiarios de los programas, una precaria armonizacin de las encuestas y su cobertura temtica para permitir las evaluaciones de programas prioritarios, y una baja capacidad para administrar la informacin por parte del personal (ver cuadro 2). Cuadro 2. Principales retos de la informacin de resultados en la administracin Desafos seleccionados identificados
Informacin de resultados: Foco insuficiente en la recoleccin de informacin de resultados; mas nfasis en los datos financieros y administrativos. Los registros de beneficiarios de los programas sociales varan en cuanto a su calidad; algunos no identifican a los beneficiarios sino a los intermediarios. La informacin que proporciona el Instituto Nacional de Estadstica no est necesariamente alineada con las necesidades de informacin de desempeo; se aprovecha poco el potencial de armonizacin de encuestas y su cobertura temtica para las evaluaciones prioritarias.

Bases de datos: Variables similares identificadas bajo nombres diferentes generan confusin y dificultades para compartir la informacin. Las bases de datos no estn interconectadas y an no estn fcilmente disponibles para los usuarios.

Administracin de la informacin: No existen protocolos de calidad estandarizados para administrar los datos; cada programa emplea diferentes prcticas, por lo tanto la calidad vara. Los sistemas de TI carecen de habilidad para operar en forma conjunta. Falta de financiacin de los programas para fortalecer la recoleccin de informacin. Diferentes capacidades en el personal de gestin de la informacin.

Si las personas encargadas de la toma de decisiones perciben que informacin de mala calidad hace parte del sistema de M&E, su credibilidad a corto plazo y la sustentabilidad a largo plazo podran verse seriamente afectadas. Por lo tanto, las medidas para mejorar la calidad de la informacin del desempeo son un desafo importante para Mxico. La decisin del CONEVAL en cuanto a establecer una asociacin formal con el Instituto Nacional de Estadstica y Geografa (INEGI) permitir incrementar la informacin del desempeo recolectada mediante encuestas, ofreciendo de ese modo ms datos para 29

reforzar el trabajo de medicin y evaluacin de la pobreza. A pesar de que ste es un paso en la direccin correcta, el desafo consiste en expandir este esfuerzo para abarcar las necesidades del SED en su totalidad e, igualmente, en extender este tipo de colaboracin a los otros organismos de estadstica de Mxico.

5.

CONCLUSIONES Y LECCIONES APRENDIDAS

Este documento analiz los pasos dados y las decisiones tomadas por el gobierno federal de Mxico para establecer un sistema nacional de MyE , as como los principales logros y desafos en el camino hacia su institucionalizacin 42. El sistema no se encuentra an institucionalizado plenamente, pero una serie de iniciativas en varios frentes estan permitiendo reforzar y consolidar la profundidad y el alcance de las reformas de MyE en el sector pblico. Aunque el proceso no ha finalizado an, Mxico ha logrado un exitoso avance en la ltima dcada, en particular desde 2005, cuando las reformas mas profundas a la gestin basada en resultados realmente comenzaron. El sistema de M&E, inicialmente de alcance sectorial y principalmente orientado a la rendicin de cuentas, ha evolucionado hasta convertirse en una iniciativa nacional, impulsada desde el gobierno federal y estrechamente vinculada al proceso de programacin del presupuesto anual. El principal lder del sistema, debido a su mbito de competencias, es la SHCP, la cual cuenta con el fuerte respaldo de la SFP y con el apoyo tcnico del CONEVAL. Cada una de estas dependencias maneja aspectos clave del sistema. El respaldo poltico de la Presidencia de la Repblica tambin ha jugado un papel importante a travs de su creciente impulso a las reformas de gestin basadas en resultados en progreso. La relativamente rpida implementacin del sistema en su ltima etapa fue sin duda consecuencia de combinar la influencia, el mandato y las capacidades tcnicas de estas tres dependencias. La participacin activa de la Secretara de Hacienda ha sido fundamental. Integrar bajo un marco coherente y unificado una serie de aislados esfuerzos dispares de evaluacin y gestin por resultados hacia necesaria la autoridad sobre otros ministerios que esta Secretara tiene lo mismo que su cercana con la Oficina del Presidente. Esto permiti a la Secretara de Hacienda combatir problemas como la falta de estandarizacin en los marcos de planeacin y evaluacin de los programas, o las variaciones en la calidad tcnica de los mtodos de evaluacin entre las diferentes dependencias. El liderazgo de la SHCP tambin sirvi para asegurar el establecimiento de mayores vnculos entre el trabajo de MyE y el proceso presupuestario. A su vez, esto ha permitido lograr una mayor aceptacin de la evaluacin a lo largo y ancho de la administracin, e incrementar las oportunidades de los ministerios para utilizar la informacin de resultados del sistema. stos han sido, sin duda, dos de los mas importantes aspectos que han influenciado el avance de las reformas de M&E y gestin basada en resultados en Mxico. La existencia de una agencia especializada, tcnicamente fuerte e independiente, encargada de coordinar el trabajo de evaluacin es otro de los factores de xito en el proceso. El modelo establecido por el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL), que incorpora la perspectiva objetiva y las fortalezas tcnicas de los acadmicos, proporcion un modelo que se percibe como independiente, tcnicamente slido y, por ende, hace creble el trabajo de evaluacin. La participacin
Las referencias generales a la institucionalizacin de MyE en el gobierno a menudo se refieren a la existencia de un sistema sustentable que funciona bien, en el cual se genera informacin de resultados de buena calidad y se utiliza en forma intensiva. Ver Mackay 2007, IEG 2008.
42

30

del CONEVAL como lder tcnico, capacitador y formulador de estndares y reglamentaciones del sistema ofrece un ejemplo interesante de los beneficios potenciales de que un Sistema no dependa exclusivamente de la capacidad de la Secretara de Hacienda para incrementar el compromiso de los ministerios con la evaluacin. La persuasin, basada en fundamentos tcnicos, combinada con la provisin de asistencia especializada a las dependencias tambin puede resultar muy efectivo. En el caso de Mxico, la participacin del CONEVAL prob ser una condicin necesariams que un complementopara la implementacin exitosa del sistema. Sin embargo, esta combinacin de responsabilidades de implementacin entre diferentes agencias no siempre es posible y, cuando es factible, presenta definitivamente muchas mas complicaciones debido a los mayores requisitos de coordinacin. Los sistemas de MyE ms avanzados han optado por depositar la responsabilidad de implementacin casi exclusivamente en las dependencias centrales encargadas del presupuesto (por ejemplo, Chile, Australia o Nueva Zelandia), se han apoyado ms fuertemente en las capacidades de evaluacin de los ministerios sectoriales (como Canad y los Pases Bajos) o en la de los ministerios de planificacin (como por ejemplo en Colombia). En el caso de Mxico contar con dependencias adicionales a la Secretara de Hacienda interesadas en impulsar la evaluacin (Ej: CONEVAL, SFP y Presidencia), proporcion sinergias y contribuyo a crear espacio para las reformas. Son mltiples las lecciones, en variados aspectos, que pueden extraerse de la experiencia de implementacin y desarrollo del Sistema Nacional de M&E de Mxico. Estas lecciones se relacionan principalmente con la exitosa integracin de los elementos necesarios par asegurar un buen trabajo de MyE, y con los obstculos encontrados en el proceso y las soluciones adoptadas para superarlos. Se espera que estas lecciones sean de utilidad para otros pases interesados en fortalecer o construir sus sistemas nacionales de MyE. Algunas de dichas lecciones son las siguientes: Un enfoque oportunista en la implementacin del sistema fue fundamental y efectivo. Las reformas del estado o presupuestarias de arriba hacia abajo a menudo ofrecen oportunidades nicas para introducir, reforzar o ampliar el alcance de las prcticas de MyE en el gobierno. Capitalizar el impulso de estas reformas para abrirle espacio a las reformas de M&E puede requerir el establecimiento de alianzas inter institucionales, an cuando las lneas de responsabilidad, coordinacin o divisin del trabajo no sean del todo claras. En Mxico, incluso cuando los roles parecan superponerse y emergan tensiones entre las dependencias, los organismos del gobierno interesados en impulsar el M&E oportunistamente permitieron que el proceso continuara, sin detenerse a definir formalmente sus respectivos mbitos y funciones. Sin embargo, es importante tomar precauciones para no dejar demasiados roles y responsabilidades de las partes involucradas sin una definicin clara, ya que con el tiempo los costos pueden exceder a los beneficios. Los acuerdos ad hoc pueden ser tiles para crear marcos de operacin para adelantar la implementacin inicial. Sin embargo, una operacin efectiva y sostenible en etapas avanzadas (por ejemplo, para asegurar la utilizacin de las evaluaciones) puede ser difcil si se dejan muchos cabos sueltos y los riesgos de obstrucciones en la implementacin pueden ser elevados si las funciones entre los actores clave no se encuentran bien definidas. La experiencia internacional indica que siempre y cuando sea posible, aclarar dichas funciones desde el principio ofrece beneficios sustanciales a largo plazo.

31

 La introduccin de prcticas y herramientas de MyE debe responder tanto a requisitos polticos como tcnicos. La efectiva introduccin de la evaluacin en Mxico fue consecuencia de la transicin poltica hacia la democracia, especficamente una respuesta a los crecientes llamados a la rendicin de cuentas del gobierno. Pero tambin fue un esfuerzo tcnicamente planeado, en respuesta a la decisin poltica del Congreso de exigir evaluaciones de desempeo de todos los programas gubernamentales. La principal leccin, en este sentido especfico, es que la implementacin de reformas de MyE no debe considerarse como un simple tema tcnico a ser resuelto por el ejecutivo. Por el contrario, el Congreso y el contexto poltico pueden jugar un papel crucial si se quiere que la reforma de MyE sea verdaderamente asimilada por la totalidad del gobierno. Desafortunadamente, no existen frmulas mgicas para asegurar que estos dos requisitos vayan de la mano. Los riesgos de sobre cargar excesivamente los sistemas de MyE, tanto en cantidad de metodologas como de la informacin que producen estn presentes en muchos pases. En Mxico, la ley exige la evaluacin anual de todos los programas del gobierno, pero la capacidad para hacer efectivo dicho mandato an no existe del todo ni en el gobierno ni en la oferta de evaluadores. El CONEVAL ha aprendido de esta circunstancia y est ajustando su Programa Anual de Evaluacin para identificar la secuencia y los tipos de evaluacin que deben ser implementados en los prximos aos. ste es un paso importante pues el desarrollo de un excesivo numero de mtodos de evaluacin y un exagerado volumen de informacin del desempeo podra debilitar simultneamente la misma demanda por informacin de resultados. Los arreglos institucionales para promover la demanda de evaluacin pueden ser efectivos. El caso de Mxico demuestra que se necesitan pasos proactivos a travs de arreglos institucionales para mejorar la coordinacin y asegurar una adecuada difusin de la informacin del desempeo si de veraz se quiere integrar la informacin de resultados a los procesos de toma de decisiones y de rendicin de cuentas. En los pases con tradicin legal, estos arreglos normalmente estn respaldados por leyes y reglamentaciones permanentes, mientras que en los pases que poseen una tradicin ms gerencial en la administracin,,el uso de informacin del desempeo depende ms de prcticas informalmente aceptadas. El contexto de Mxico para favorecer la institucionalizacin del MyE ha sido adecuadamente interpretado por instituciones claves del gobierno. El desarrollo del sistema de M&E y gestin por resultados ha impulsado el proceso de modernizacin de la administracin pblica, generando una gran variedad de mejoras que afectaron los mecanismos de rendicin de cuentas y la transparencia, el proceso de planeacin y elaboracin del presupuesto, y la profesionalizacin de la funcin pblica. En Mxico, la institucionalizacin del MyE, en conjunto con la apertura del sistema poltico de comienzos de esta dcada, ha contribuido a superar el legado de intensa desconfianza en el gobierno. En conclusin, los avances del sistema de MyE en Mxico son extraordinarios pero an incompletos. La planeacin estrategica, la medicin del desempeo y la difusin de los resultados del gobierno se han extendido, y las capacidadesespecialmente en el gobierno federalhan mejoraron sustancialmente. Sin embargo, la utilizacin amplia y continua de los resultados de las evaluaciones y la informacin del desempeoel signo ms claro y potente de una exitosa institucionalizacincontina siendo un reto, aunque vale decir que el uso es mucho mayor hoy que hace algunos aos. Los riesgos de sobre produccin de informacin del desempeo y de fatiga de las dependencias con las 32

reformas an estn presentes, debido a las crecientes demandas de informacin que recaen sobre ellas, la necesidad de mejorar sus capacidades y la falta de mejores mecanismos de coordinacin,. Son slidas las bases que se han sentado y probablemente generarn un progresivo uso de los productos del sistema, pero se debern manejar las expectativas. Incluso los sistemas de MyE de los pases ms desarrollados an enfrentan muchos de estos mismos desafos.

33

Bibliografa
Alcade, M. 2008. Presentacin en la Conferencia Internacional sobre Presupuesto Basado en Resultados, Ciudad de Mxico, 9 y 10 de junio. Arellano, D. y J.P. Amparan. 2000. Stalled Administrative Reforms of the Mexican State. CIDE. Burgos, Ricardo Miranda. 2008. Presupuesto Basado en Resultados y Sistema de Evaluacin del Desempeo. Presentacin en el taller de Matrices de Indicadores. Ciudad de Mxico, 29 de octubre. Cardozo, Myriam. 2006. La evaluacin de polticas y programas pblicos: el caso de los programas de desarrollo social en Mxico. Cmara de Diputados. eds., Miguel ngel Porra. Comisin para el Estudio y Creacin, Agencia Estatal de Evaluacin de los Servicios y de las Polticas Publicas. 2004. Informe, 4 de octubre 2004, Ministerio de Administraciones Pblicas, Espaa. Feinstein, O. y G. Hernndez Licona. 2008. El Rol de la Evaluacin en Mxico: Logros, Desafos y Oportunidades, Calidad del Gasto Pblico, NOTA N 2, Banco Mundial, junio. Garde Roca, J.A. 2007. La Creacin de la Agencia de Evaluacin en Espaa, Evaluacin de Polticas Pblicas, Informacin Comercial Espaola, Mayo-Junio 2007. N.836 Hernndez Licona, G. 2007a. Evaluacin de la Poltica Social: Un Cambio Institucional en Mxico. Centro Latinoamericano de Administracin para el Desarrollo (CLAD). . 2007b. Sistema de Monitoreo y Evaluacin en Mxico, presentacin en el Banco Mundial, Series sobre casos de estudio de MyE en Amrica Latina, Unidad de Pobreza y Gnero, Banco Mundial, Junio. . 2008. Documento presentado en el 13 Congreso Internacional del Centro Latinoamericano de Administracin para el Desarrollo (CLAD) sobre la Reforma del Estado y de la Administracin Pblica, Noviembre. IEG (Independent Evaluation Group). 1983. Mexico Integrated Rural Development Project (PIDER I), Loan 1110-ME. World Bank. http://web.worldbank.org/external/projects/main?pagePK=64283627&piPK=73230&the SitePK=40941&menuPK=228424&Projectid=P007535. Instituto Nacional para la Evaluacin de la Educacin (INEE). 2003. La calidad de la educacin bsica en Mxico. Primer informe anual 2003. Mxico, D.F.: INEE. Levy, Santiago. 2007. Progreso contra la Pobreza: Sosteniendo el Programa Progresa/Oportunidades de Mxico. Presentacin en la conferencia sobre Economa Global y Desarrollo, evento conjunto del Wolfensohn Center for Development y Latin American Initiative, Brookings Institution, Enero.

34

Mackay, K. 2007. How to Build M&E Systems to Support Better Government, Independent Evaluation Group, World Bank. Oracle Customer Snapshot. 2008. CONEVAL unifica la informacin y mejora la evaluacin y el monitoreo de los programas sociales, Abril. Parker, Susan. 2003. Caso de estudio: The Oportunidades Program in Mexico. Shanghai Poverty Conference Scaling Up Poverty Reduction. CIDE - Mexico Perez-Jacome, Dionisio. 2008. El Sistema Mexicano de Presupuesto Basado en Resultados, documento presentado Conferencia Internacional sobre Presupuesto Basado en Resultados, Ciudad de Mxico, 9 y 10 de junio. Phillip, G. 2003. Ideas and Policy Transfer: the Mexican Civil Service Reform, Future Government Paper No. 13, July. World Bank. 2004. Poverty in Mexico: An Assessment of Trends, Conditions and Government Strategy. Washington, DC: World Bank. . 1999. Performance Monitoring Indicators: A Handbook for Task Managers. Washington, DC: World Bank. Zajda, J. 2006. Decentralization and Privatization in Education: The Role of the State. Springer.

35

ANEXO 1

Cronologa de Iniciativas y Eventos Clave

ESFUERZOS DISPERSOSDE MyE 1970s, 1980s, principios 1990s Primeros programas de evaluacin con el respaldo de agencias multilaterales, Ej., Programa de Inversiones Pblicas para el Desarrollo Rural (PIDER). Introduccin de Auditoras Integrales y conceptos de medicin de desempeo por parte de la nueva Contralora.El Sistema Nacional de Planeacin y la Ley de Planeacin exigen la presentacin de indicadores financieros y fsicos al Congreso. El Sistema de Evaluacin de Desempeo (SED) es concebido como parte de una reforma presupuestaria. Evaluaciones del programa Abasto Social de Leche - Liconsa, el programa Abasto Rural - Diconsa, el Programa Nacional de Solidaridad (PRONASOL) y varios programas de capacitacin laboral. El Programa de Modernizacin de la Administracin Pblica (PROMAP) introduce indicadores de desempeo, evaluaciones internas y conceptos de rendicin de cuentas, gestin basada en resultados y presupuesto basado en resultados.

1995

1996

ESTABLECIMIENTO DE UN ROL SISTMICO PARA LA EVALUACIN 1997 1998 Comienza la evaluacin del programa Progresa/Oportunidades. El Congreso exige que los programas federales que ofrecen subsidios preparen reglas de operacin con informacin estndar sobre el diseo, objetivos, indicadores de desempeo, beneficiarios y operacin. El Congreso exige que todos los programas con reglas de operacin sean evaluadas anualmente por los evaluadores externos. Se publican los resultados de la evaluacin de Progresa/Oportunidades. Se crea el Comit Tcnico para la Medicin de la Pobreza (CTMP) para preparar una metodologa oficial para medir la reduccin de la pobreza. Implementacin de un Sistema de Metas Presidenciales. Creacin de la Subsecretara de Prospectiva, Planeacin y Evaluacin de SEDESOL. Creacin de la nueva la Auditora Superior de la Federacin (ASF). Creacin del Instituto Nacional para la Evaluacin de la Educacin. Se sanciona la Ley Federal de Transparencia y Acceso a la Informacin Pblica, reforzando el rol de la evaluacin y su difusin pblica. Se crea la Secretara de la Funcin Pblica (SFP), con responsabilidad por la auditora de desempeo.

1999 2000

2001

2002

2003

AVANCE HACIA UN SISTEMA DE MyE A NIVEL GUBERNAMENTAL 2004 2005 2006 2008 Ley de Desarrollo Social, que introdujo el monitoreo y la evaluacin de los programas sociales y cre el Consejo Nacional de Evaluacin (CONEVAL). Leyes de operacin del CONEVAL e inicio de sus operaciones. Ley Federal de Presupuesto y Responsabilidad Hacendaria establece vnculos entre la planificacin estratgica y el proceso presupuestario y crea el Sistema de Evaluacin de Desempeo. Lineamientos generales para la evaluacin de programas federales establecen marcos, procedimientos, mtodos estndar y mecanismos de coordinacin de resultados. El CONEVAL lleva a cabo tareas de capacitacin en marcos lgicos para los funcionarios de programas. Decreto del Presupuesto Anual asigna recursos especficos para las evaluaciones del PAE. Lineamientos Generales para el Proceso de Programacin y Presupuestacin establecen procedimientos y reglas operativas para la implementacin de presupuestos basados en resultados y el Sistema de Evaluacin de Desempeo (SED). SED inicia sus operaciones formales. El Decreto de Presupuesto Anual introduce el Plan Nacional de Evaluacin Anual.

2007

36

ANEXO 2 Tipo de evaluacin Total

Programa Anual de Evaluacin Alcance de aplicacin Cantidad de evaluaciones 2007 2008 2009 126 Programas que entregan bienes y servicios y reciben subsidios Programas que entregan subsidios bajo las reglas de operacin Programas que entregan subsidios Polticas Nutricin y abastecimiento Desarrollo rural Salud Seguridad social Microcrdito Inclusin de una perspectiva de gnero en las polticas de vivienda, salud y trabajo y en los proyectos productivos Transferencias a los niveles subnacionales (Punto 33) Transferencias a los niveles subnacionales (Punto 33) Aspectos especficos de los programas Monitoreo de la poltica pblica Calidad de los servicios Desempeo de los programas que ofrecen subsidios Perspectiva de gnero Percepcin de los beneficiarios del programa de abasto rural Desempeo de los programas con matrices de indicadores Percepcin de los beneficiarios de programas bajo las reglas de operacin Fondos metropolitanos y regionales 103 192 34 196 22 6 6 7

Consistencia y resultados Proceso Impacto Estratgica

2 2 x x

6 1 x x

x x x

Especfica

6 x x

151

x 155

x x x

x x x

Fuente: Secretara de Hacienda y Crdito Pblico de Mxico, Unidad de Poltica y Control Presupuestario, Octubre de 2008.

37

Otros Documentos en la Serie de Documentos de Trabajo DCE

#1: #2: #3: #4: #5: #6: #7: #8: #9: #10: #11: #12: #13: #14: #15: #16: Lessons from National Experience, by Keith Mackay, 1998. Zimbabwe: Issues and Opportunities, by Stephen Brushett, 1998. Indonesias National Evaluation System, by Alain Barberie, 1998. The Development of Australias Evaluation System, by Keith Mackay, 1998. Comparative Insights from Colombia, China and Indonesia, by R. Pablo Guerrero O, 1999. Evaluation Capacity Development: A Diagnostic Guide and Action Framework, by Keith Mackay, 1999. Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance, by Mark Schacter, 2000. Strengthening Capacity for Monitoring and Evaluation in Uganda: A Results Based Management Perspective, by Arild Hauge, 2001. Guide to Conducting Reviews of Organizations Supplying M&E Training, by Marie-Hlne Adrien, 2003. The Development of Monitoring and Evaluation Capacities to Improve Government Performance in Uganda, by Arild Hauge, 2003. Two Generations of Performance Evaluation and Management System in Australia, by Keith Mackay, 2004. An Assessment of the Impact of Bangalore Citizen Report Cards on the Performance of Public Agencies, by Adikeshavalu Ravindra, 2004. Building Country Capacity for Monitoring and Evaluation in the Public Sector: Selected Lessons of International Experience, by Salvatore Schiavo-Campo, 2005. Evaluation Capacity Development in the Republic of Ireland, by Richard Boyle, 2005. Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management, by Keith Mackay, 2006. Experience with Institutionalizing Monitoring and Evaluation Systems In Five Latin American Countries: Argentina, Chile, Colombia, Costa Rica and Uruguay, by Ariel Zaltsman, 2006. A Diagnosis of Colombias National M&E System, SINERGIA, by Keith MacKay, 2007. Insider Insights: Building a Results-Based Management and Evaluation System in Colombia, by Manuel Fernando Castro, revised 2009.

#17: #18:

38