INSTITUTO LATINOAMERICANO Y DEL CARIBE DE PLANIFICACIN ECONMICA Y SOCIAL

LIMITADA LC/IP/L. 237 Noviembre de 2003 ORIGINAL: ESPAOL

BOLETN DEL INSTITUTO

13
Noviembre, 2003

l Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES) es un organismo permanente y con identidad propia, dentro de la CEPAL, Naciones Unidas. Se fund en 1962 y su misin es apoyar a los gobiernos de la regin en el campo de la planificacin y gestin pblica, mediante la prestacin de servicios de capacitacin y cooperacin tcnica.

Versin resumida de un documento del mismo ttulo, que ser publicado prximamente por el ILPES y que fue preparado por Juan Cristbal Bonnefoy, Investigador del rea de Gestin Pblica y Regulacin del ILPES. Las opiniones expresadas en este resumen, que no ha sido sometido a revisin editorial, son de exclusiva responsabilidad del autor y pueden no coincidir con las del Instituto.

INSTITUTO LA TINOAMERICANO Y LATINOAMERICANO DEL CARIBE DE PLANIFICACIN ECONMICA Y SOCIAL (ILPES) Edificio Naciones Unidas Av. Dag Hammarskjld 3477 Vitacura Santiago, Chile Casilla 1567 Telfonos (56-2) 210 2506 y (56-2) 210 2507 Fax (56-2) 206 6104 (56-2) 208 0252 (56-2) 208 1946 Direccin del ILPES en Internet: http://www.ilpes.org http://www.ilpes.cl

LOS INDICADORES DE EVALUACIN DEL DESEMPEO: UNA HERRAMIENTA PARA LA GESTIN POR RESULTADOS EN AMRICA LATINA

NDICE
Presentacin ............................................................................ I. INTRODUCCIN .......................................................... II. BASES CONCEPTUALES DE LOS INDICADORES DE EVALUACIN DEL DESEMPEO ......................
A. Qu es un Indicador de Evaluacin del Desempeo? B. Los Indicadores de Evaluacin del Desempeo: una Necesidad para la Gestin por Resultados C. Los problemas de medicin y disponibilidad de informacin

7 9

12

III. LA CONSTRUCCIN DE INDICADORES EN LA PRCTICA ......................................................................

A. Condiciones previas para la construccin de indicadores del desempeo B. Plan Operativo para la construccin de indicadores del desempeo C. Las Dimensiones de la Evaluacin del Desempeo D. La integracin de las distintas dimensiones de evaluacin del desempeo

20

IV. DESAFOS DE IMPLEMENTACIN DE LA GESTIN PBLICA ORIENTADA A LOS RESULTADOS .................................................................

A. Ambigedad en la definicin de la misin organizacional B. El impacto en el proceso presupuestario C. Ausencia de un enfoque de largo plazo en la gestin por resultados D. Escasez de mecanismos de participacin ciudadana a favor de la gestin por resultados E. Los Problemas de Causalidad F. La evaluacin de funcionarios y su vnculo con los sistemas de compensacin G. Institucionalizacin de la funcin de evaluacin de resultados

31

V. REFLEXIONES FINALES ............................................. VI. BIBLIOGRAFA ..............................................................

39 42

PRESENTACIN
El tema de las polticas presupuestarias tiene y ganar creciente relevancia en las preocupaciones de los gobiernos, como lo demuestra la gran cantidad de reformas ya realizadas y las que estn en curso. Estas reformas responden, por un lado, a las necesidades de la gestin macroeconmica y, por otro, a las demandas de la ciudadana de mayor eficacia, eficiencia y transparencia en la conduccin de los asuntos pblicos. Las reformas involucran un conjunto amplio de medidas que tienden a reforzarse entre s como son, por ejemplo: la concertacin estratgica en torno a visiones prospectivas, que permitan construir futuro como alternativa vlida a los procesos de planificacin ms tradicionales y establecer pactos fiscales que fundamenten el accionar pblico; la gestin presupuestaria para el ciclo econmico en su conjunto, diferenciando entre factores de carcter permanente y transitorio; el anlisis sobre la totalidad del ciclo de las polticas pblicas, abarcando los momentos de diseo, seguimiento de la ejecucin y evaluacin de sus resultados tanto en trminos de eficacia como de eficiencia y economicidad; y la mayor transparencia hacia la ciudadana, incluyendo diversas modalidades de participacin social. En la presupuestacin moderna, la disciplina en la gestin de los agregados fiscales debe ser complementada con la efectividad en la asignacin de recursos y la eficiencia operacional en la entrega de servicios. Las mayores interdependencias y sinergias se generan en las reformas que afectan las inercias de la distribucin de recursos, intersectorial e intrasectorialmente, as como en las innovaciones de la gestin pblica que actan en el plano microeconmico. En este marco, surge la necesidad de una prctica gerencial que sea parte de una cultura de desempeo centrada en los resultados y que se oriente en beneficio directo del ciudadano, con alto grado de compromiso de cumplimiento y esquemas apropiados de incentivos y evaluacin. Esta gestin pblica renovada parte del reconocimiento de los derechos que tienen los ciudadanos como contribuyentes y usuarios de los servicios. Lograr que la gestin del sector pblico sea ms eficiente y comprometida con los resultados ciertamente representa una tarea de envergadura que requiere del diseo de polticas, de lneas de accin y de la movilizacin de los recursos humanos y materiales del aparato pblico. Pero junto con ello, debe existir la voluntad poltica que site el tema como uno de los instrumentos del proceso de rediseo del Estado, un proceso que para que pueda dar sus frutos forzosamente deber trascender ms all del corto o mediano plazo. En este contexto general, el Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES) ha venido realizando diversas actividades relativas a la gestin por resultados entre las cuales cabe destacar:

La XI Conferencia de Ministros y Jefes de Planificacin de Amrica Latina y el Caribe (Madrid, Espaa, 6 de noviembre 2002), que contempl en su agenda como tema central las Nuevas tendencias de la gestin pblica. A este fin, el ILPES prepar, entre otras cosas, un documento sobre evaluacin de programas, medicin de resultados y convenios de desempeo1 ; con ello dio adems respuesta a la resolucin MD/CRP/XXI.03 adoptada por los pases miembros en la XXI reunin de la Mesa Directiva del Consejo Regional de Planificacin (Brasilia, Brasil; 8 de mayo 2002); La Primera Reunin de Responsables de Presupuesto de Amrica Latina y el Caribe (Santiago, Chile; 29 enero 2003)2 , realizada en el marco del XV Seminario Regional de Poltica Fiscal (Santiago, Chile; 27-30 de enero 2003). Al respecto se prepar un documento titulado Gestin pblica por resultados y programacin plurianual (Serie seminarios y conferencias N 29, LC/IP/L.1949-P, LC/IP/L.230; agosto 2003) que recoge la versin revisada de los trabajos sobre gestin por resultados y programacin plurianual presentados en dicha reunin.

Asimismo se han llevado a cabo diversas asesoras, cursos de capacitacin y acciones de cooperacin tcnica para la instrumentacin de sistemas de indicadores de evaluacin del desempeo en las distintas esferas de gobierno de los pases de la regin. Todas estas actividades buscan contribuir al objetivo de que el Estado se convierta en una organizacin eficiente, eficaz y con una arraigada cultura de servicio pblico, encaminada a satisfacer cabalmente las legtimas demandas de la sociedad. En tal sentido, se espera que este nuevo nmero del Boletn, que examina el tema de los indicadores de evaluacin de desempeo como herramienta para la gestin por resultados en los pases de la regin, sea un modesto aporte al conjunto de estudios e investigaciones ya disponibles en la literatura. Direccin del ILPES Noviembre 2003

1 Gua para la discusin de la mesa redonda: Evaluacin de programas, medicin de resultados y convenios de desempeo (documento LC/IP/R.221, octubre 2002). 2 Realizada por la Secretara Ejecutiva de la CEPAL, a travs del ILPES, con el patrocinio del Servicio de Gestin Pblica de la Organizacin para la Cooperacin y el Desarrollo Econmico (PUMA-OCDE) y bajo los auspicios del Ministerio de Hacienda de Chile.

LOS INDICADORES DE EV ALUACIN DEL DESEMPEO: EVALUACIN AP ARA LA GESTIN POR RESUL TADOS UNA HERRAMIENT HERRAMIENTA PARA RESULT EN AMRICA LA TINA LATINA
Juan Cristbal Bonnefoy3

I.

INTRODUCCIN
Las recomendaciones de polticas econmicas del Consenso de Washington marcaron la agenda de reformas en Amrica Latina durante la primera mitad de la dcada de los noventa. Estas frmulas ponan el acento en los cambios institucionales que se relacionan con la disciplina fiscal, la reforma fiscal e impositiva, la reorientacin del gasto pblico hacia la salud y la educacin, las privatizaciones de empresas pblicas y la desregulacin de los mercados. Sin embargo, la evidencia emprica demuestra que las iniciativas implementadas hasta mediados de los noventa se centraron en el restablecimiento de los equilibrios macroeconmicos y la reestructuracin de incentivos de mercado y precios relativos. Las reformas desplegadas no afectaron sustancialmente la institucionalidad estatal, con la excepcin de aquellas que afectaron a las empresas pblicas, ya sea por la va de las privatizaciones o por la bsqueda de una mayor eficiencia y eficacia en las empresas que continuaron en el mbito estatal (Haggard, 1995). El proceso de reformas logr reducir el dficit fiscal promedio de la regin de un 2.2% del PIB en 1990 a un 1.1% en 19974 , pero subsistieron en la mayora de los pases latinoamericanos altos niveles de pobreza y de desigualdad social. En este contexto, en 1998 la CEPAL propuso, a travs del Pacto Fiscal, un redireccionamiento de las reformas del Estado enfatizando el desarrollo institucional y el fortalecimiento de la gobernabilidad. Tambin otras instituciones, como el Banco Mundial, comenzaron a revalorar el rol de las instituciones estatales en el desarrollo y a relativizar la importancia de las fallas de mercado en comparacin a las fallas institucionales. En el mbito poltico estas propuestas se formalizan durante la Cumbre de las Amricas de 1998, denominado Consenso de Santiago (o neo-Consenso de Washington). Este conjunto de proposiciones plantea que las debilidades institucionales constituyen un cuello de botella para transformaciones econmicas ms profundas, reafirmndose que la
3 Investigador del rea de Gestin Pblica y Regulacin del ILPES, jbonnefoy@cepal.cl . 4 Promedio simple para 19 pases del saldo del Gobierno Central. ILPES, Base de Datos de Estadsticas de las Finanzas Pblicas, http://www.cepal.cl/ilpes/.

calidad del gasto pblico es tan importante como el balance fiscal. De este modo, la preocupacin por el funcionamiento del aparato estatal ha vuelto a estar en el centro del debate. La reforma del Estado en Amrica Latina ha sido enfrentada durante la ltima dcada por los diferentes gobiernos por medio de una serie de procesos de modernizacin administrativa del aparato estatal. Se ha detectado la necesidad de realizar una autntica y ms acelerada transicin desde un modelo de gestin burocrtico-tradicional hacia un modelo de gestin pblica orientada a los resultados. El modelo de gestin burocrtico-tradicional se caracterizaba por un nfasis en los insumos del proceso y en el control externo. El nuevo modelo de gestin orientada a los resultados se enfoca en los impactos de la accin pblica, donde lo relevante son los resultados, las metas, los indicadores de desempeo y los estndares. Adems, este nuevo enfoque hace hincapi en las dimensiones de carcter ms cualitativas de la gestin. A modo de ejemplo, ya no interesa slo aumentar la cobertura escolar, sino que se incorpora el tema de la calidad de la educacin impartida por el Estado. El modelo de gestin orientado a los resultados asume que los propios ciudadanos interesados pueden evaluar la calidad, cantidad y oportunidad de los bienes y servicios recibidos, por lo que en algunos programas se incorpora la evaluacin de resultados por parte de los destinatarios o actores interesados (stakeholders)5 . Para avanzar en esta transicin de modelos de gestin pblica se ha experimentado en los distintos gobiernos con una serie de instrumentos de mejoramiento de la gestin e innovaciones gerenciales6 . Por su bajo costo y rapidez de aplicacin, una de las herramientas ms utilizadas en los gobiernos de la regin han sido los programas de indicadores de evaluacin del desempeo o indicadores de gestin. La incorporacin eficaz de esta herramienta al aparato pblico conlleva una serie de problemas y desafos estratgicos que es preciso analizar, tanto en la fase de diseo como en la fase de implementacin y evaluacin de los mismos. Este documento tiene por objeto sistematizar las principales reflexiones tericas y evaluaciones empricas que han surgido en los ltimos diez aos sobre el uso de los indicadores de evaluacin del desempeo. Las primeras dos secciones abordan los aspectos operativos que estn involucrados en la construccin del sistema de indicadores, con particular nfasis en los problemas que han afectado a los pases de Amrica Latina que han desarrollado las experiencias de mayor extensin en el tiempo.

El trmino stakeholder da cuenta de un amplio grupo de personas naturales y jurdicas que son afectadas por las decisiones y acciones pblicas. El derecho administrativo moderno reconoce a stos como los titulares de derechos o intereses legtimos individuales o colectivos, a quienes pudieren resultar afectados en sus derechos y a los grupos intermedios que la ley reconozca ser titulares de intereses colectivos. 6 Para una revisin de las principales herramientas utilizadas, ver las secciones IV y VI de Schick (2002).

10

La tercera seccin de este documento analiza los principales desafos que estn surgiendo para el diseo y puesta en marcha de un sistema de indicadores de evaluacin del desempeo.

11

II.

BASES CONCEPTUALES DE LOS INDICADORES DE EVALUACIN DEL DESEMPEO

La evaluacin del desempeo ha reclutado expertos de distintas disciplinas, los cuales han desarrollado esta rea con enfoques marcados por su formacin inicial: economistas (que tradicionalmente se han centrado en la evaluacin de proyectos), evaluadores de programas (quienes tpicamente tienen una formacin en ciencias sociales) y auditores (quienes enfatizan en el cumplimiento de estndares y normas). Lo que en un principio puede parecer un notable trabajo interdisciplinario, en la prctica ha significado que se usan distintos conceptos, a menudo con similar o incluso idntico vocabulario. Esta situacin ha generado confusin y gran discusin en torno a los significados precisos de cada trmino (Mackay, 1998). Para enfrentar esta virtual Torre de Babel, se hace necesario alcanzar un acuerdo mnimo operacional que precise conceptualmente qu se entiende por indicadores de evaluacin del desempeo, cul es su mbito de aplicacin y principales caractersticas. Las secciones siguientes se concentran en esta tarea. A. Qu es un Indicador de Evaluacin del Desempeo? Si se analiza la experiencia de pases de Amrica Latina y pases miembros de la Organizacin de Cooperacin y Desarrollo Econmico (OCDE) que utilizan indicadores en sus sectores pblicos se puede encontrar distintas denominaciones tales como indicadores de gestin, indicadores de desempeo, indicadores claves de xito e indicadores de control. En este documento se ha considerado que el desempeo tiene un mbito ms amplio que el concepto de gestin y que la evaluacin presenta dimensiones ms completas que el control, por lo que se considera ms apropiada la expresin indicador de evaluacin del desempeo. En la administracin pblica el desempeo es un concepto relativamente nuevo. Segn la Real Academia Espaola el desempeo se refiere a actuar, trabajar, dedicarse a una actividad, lo cual nos da una idea bsica, pero que requiere una elaboracin conceptual ms amplia para el mbito de la gestin pblica. Tal desarrollo a menudo se ha asimilado al concepto anglosajn de government performance, el cual se refiere a la productividad, calidad, oportunidad, responsabilidad y eficacia de los servicios y programas pblicos7 . Dado que la gestin pblica implica el actuar o dedicarse a las responsabilidades gerenciales, entonces el desempeo involucra los aspectos organizacionales y su relacin con el entorno como lo describe Hernndez (2002): desempeo

Wholey y Newcomer (1989), traduccin propia.

12

implica la consideracin de un proceso organizacional, dinmico en el tiempo y refleja modificaciones del entorno organizativo, de las estructuras de poder y los objetivos. El concepto de desempeo en el mbito gubernamental normalmente comprende tanto la eficiencia como la eficacia de una actividad de carcter recurrente o de un proyecto especfico. En este contexto la eficiencia se refiere a la habilidad para desarrollar una actividad al mnimo costo posible, en tanto que la eficacia mide si los objetivos predefinidos para la actividad se estn cumpliendo. Adems de estas dos dimensiones del desempeo pblico, recientemente se han incorporado los criterios de desempeo presupuestario, focalizacin y calidad en la prestacin de los servicios pblicos. Para evaluar el desempeo en los trminos descritos anteriormente, se han desarrollado una gran cantidad de herramientas metodolgicas, pero su uso puede conducir a confusiones dado que distintos autores y expertos utilizan diferente terminologa para referirse a mtodos similares. El campo acadmico de la evaluacin del desempeo ha incluido dentro de la evaluacin del desempeo a distintos instrumentos tales como: Informacin de monitoreo y seguimiento; Evaluacin de proyectos y programas (tipo ex-ante, de seguimiento fsico-financiero o ex-post); Auditora de desempeo y Auditora financiera. La amplitud de estas metodologas se puede observar por ejemplo en una base de datos de prcticas y procedimientos presupuestarios que se encuentra desarrollando durante el ao 2003 la OCDE en conjunto con el Banco Mundial para ms de 60 pases. A la fecha de publicacin de este documento 38 pases han ingresado sus datos, incluyendo seis pases latinoamericanos: Argentina, Bolivia, Colombia, Chile, Mxico y Uruguay. El Cuadro 1 muestra la extensin del uso de mecanismos para estimar la eficiencia, eficacia y costo-efectividad del gasto de las actividades pblicas. Como se puede observar en el Cuadro 1, la OCDE hace una distincin entre revisin (review) y evaluacin. La revisin consiste en una evaluacin del desempeo de una intervencin, en tanto que la evaluacin se utiliza para una valoracin en mayor profundidad y ms comprehensiva que la revisin. Algunas experiencias de indicadores de evaluacin del desempeo han restringido su uso a la informacin proveniente del monitoreo y seguimiento. Sin embargo, dado la experiencia emprica para efectos de este documento, se asume que todas las herramientas antes mencionadas pueden generar indicadores de evaluacin del desempeo. Con la finalidad de incorporar definiciones conceptuales que surgen de la praxis latinoamericana, a continuacin se presenta la definicin utilizada por el sistema de indicadores del Per:

13

Cuadro 1 Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/ eficiencia del gasto (value for money) de las actividades pblicas pblicas? Total Pases Revisin del xito de los principales programas en el logro de sus objetivos anunciados Revisiones especiales (ad-hoc) sectoriales o de programas Evaluacin sistemtica de la eficiencia, eficacia y economa Evaluaciones especiales (ad-hoc) de la eficiencia, eficacia y de la economa Evaluaciones ad-hoc de costos de efectividad (cost effectiveness/value for money) Acuerdos del desempeo detallando resultados deseados Revisiones realizadas por organizaciones externas (por ejemplo, Banco Mundial, oficina suprema de auditora) 18 29 7 14 10 12 Porcentaje Porcentaje 6 (N=38 pases) pases de LA 47.3 % 76.3 % 18.4 % 36.8 % 26.3 % 31.5 % 33.3% 50.0% 33.3% 16.7% 0.0% 16.7%

15

39.4 %

33.3%

Fuente Fuente: OECD/World Bank Survey on Budget Practices and Procedures, 2003.

Los indicadores de desempeo son instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos, que a su vez constituyen una expresin cualitativa o cuantitativa concreta de lo que se pretende alcanzar con un objetivo especfico establecido. (...) La evaluacin del desempeo se asocia al juicio que se realiza una vez culminada la accin o la intervencin. Busca responder interrogantes claves sobre cmo se ha realizado la intervencin, si se han cumplido los objetivos (concretamente, la medida en que stos han sido cumplidos), el nivel de satisfaccin de la poblacin objetivo, entre otras. En suma, se busca evaluar cun bien o cun aceptable ha sido el desempeo de determinado organismo pblico con el objetivo de tomar las acciones necesarias para perfeccionar la gestin (Ministerio de Economa y Finanzas del Per, 2000). Como se desprende de la definicin anterior, el sistema de indicadores de desempeo en los organismos pblicos del Per ha enfatizado el vnculo entre desempeo y evaluacin, estableciendo que la meta del sistema es tomar acciones para mejorar la gestin. B. Los Indicadores de Evaluacin del Desempeo: una Necesidad para la Gestin por Resultados Como se seal en la Introduccin de este documento, la gestin pblica en Amrica Latina se encuentra en una transicin desde un modelo burocrtico tradicional hacia un modelo de gestin pblica orientada a los resultados. Este nuevo modelo se centra en los impactos de la accin pblica, donde lo ms importante son los resultados, las metas y los estndares de desempeo.

14

La introduccin de indicadores de evaluacin del desempeo genera mltiples puntos de apoyo para la implementacin de una gestin orientada a los resultados. En primer lugar, los indicadores apoyan el conocimiento y el aprendizaje del accionar que a menudo se desarrolla en forma bastante irreflexiva y rutinaria. Si el proceso de construccin de los indicadores se realiza en forma amplia y participativa, tanto los directivos pblicos como los funcionarios inician un proceso de reflexin e introspeccin acerca del quehacer institucional que los lleva a un darse cuenta de las fortalezas y debilidades de los resultados de cada unidad y de la institucin en su conjunto. Este proceso de aprendizaje tiene su vertiente ms rica en el cambio del eje de anlisis que realizan los funcionarios desde una visin centrada en los procesos (sobre lo que normalmente hay ms conciencia pues son las acciones que se ejecutan diariamente) hacia una visin que se orienta a los resultados e impactos del accionar institucional. Un segundo aspecto se refiere al apoyo que proveen los indicadores para adoptar medidas de mejoramiento de la gestin que se refieren al re-diseo de los programas modificando sus estrategias de entrega de los bienes y servicios a las poblaciones destinatarias. De igual modo, las conclusiones que emanan de la evaluacin del desempeo permiten realizar ajustes en la operacin y valorar la pertinencia de las acciones realizadas en pos del logro de los objetivos institucionales. Un tercer punto de apoyo para la implementacin de una gestin orientada a los resultados es que la utilizacin de los indicadores favorece la contestabilidad o competencia por recursos pblicos. Con la finalidad de romper la inercia presupuestaria, los distintos programas y sectores compiten en igualdad de condiciones para obtener fondos durante la fase de formulacin presupuestaria. Si bien la contestabilidad en el mbito pblico inicialmente se concentr en el uso de proveedores privados para entregar bienes y servicios, recientemente se ha incorporado la nocin de comparar los impactos y gestin entre distintos servicios pblicos como un medio de utilizar en forma ms eficiente los recursos8 . Finalmente, el cuarto punto de apoyo tiene relacin con la transparencia y rendicin de cuentas. La bsqueda de la eficiencia no se puede desentender de la participacin ciudadana. Para que la accountability sea operativa la ciudadana, las redes sociales y las ONG deben disponer de informacin sobre el accionar pblico, particularmente en lo que se refiere a los niveles de cobertura y criterios de focalizacin de los programas pblicos.

Un ejemplo clsico de este tipo de competencia se podra dar en los programas que apoyan el sector de la pequea y mediana empresa. Los programas de PYME se generan a travs de ministerios de fomento productivo, de agricultura, gobiernos locales, universidades, agencias promotoras de exportaciones, fondos de apoyo social, agencias que promueven el cooperativismo, entre otros. La medicin de su eficacia y eficiencia permite comparar el impacto sobre la poblacin objetivo de cada instrumento de intervencin o programa.

15

Cabe sealar que de las experiencias de indicadores de evaluacin del desempeo que se han implementado en Amrica Latina, esta bsqueda de transparencia y rendicin de cuentas ha sido el objetivo que menos ha avanzado por los problemas polticos que se generan al publicitar desempeos que no son considerados ptimos por la ciudadana o los medios de comunicacin. Persiste una cultura institucional que no ve con buenos ojos la sancin social o poltica que cae sobre los directivos pblicos que encabezan organizaciones pblicas que no tienen una buena evaluacin externa de su desempeo. A modo de ejemplo, en el Recuadro 1 se presentan los fundamentos que llevaron en 1994 a la Comisin Interministerial de Modernizacin del Estado de Chile a implementar los indicadores de desempeo en los servicios pblicos del gobierno central. Como se puede observar, slo el quinto punto establece como fundamento para crear los indicadores el disponer con informacin sobre desempeo por parte de entidades que estn fuera del Gobierno (en este caso el Parlamento). El sistema chileno ha evolucionado con el tiempo e incluso se discontinu en los aos presupuestarios 1999-2000. A partir del 2001 los indicadores de desempeo se restablecieron y se le dio mayor nfasis a las mediciones para uso externo como instrumento de accountability, donde se debe privilegiar productos estratgicos y orientados a los resultados, ya sean finales o intermedios (Guzmn, 2003).

Recuadro 1 Fundamentos para la Construccin de Indicadores de Desempeo 1. Posibilita la evaluacin cualitativa y cuantitativa del desempeo global de la institucin, por medio de la evaluacin de sus principales programas y/o departamentos. Induce un proceso de transformaciones estructurales y funcionales que permita eliminar inconsistencias entre el quehacer de la organizacin y sus objetivos prioritarios. Apoya el proceso de desarrollo organizacional y de formulacin de polticas de mediano y largo plazo. Mejora la coordinacin de los Servicios Pblicos con la Direccin de Presupuestos, extendiendo el proceso presupuestario hacia la discusin fundamentada de los resultados y el establecimiento de compromisos en torno a stos. Mejora cualitativa y cuantitativamente la informacin sobre desempeo de los Servicios que recibe el Parlamento. Apoya la construccin de sistemas de reconocimiento al buen desempeo, tanto institucionales como individuales. Genera un mayor grado de confiabilidad de la gestin institucional, permitiendo eliminar trmites innecesarios en este contexto.

2.

3. 4.

5. 6. 7.

Fuente Fuente: Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos, Direccin de Presupuestos, Ministerio de Hacienda de Chile, 1995.

16

C. Los problemas de medicin y disponibilidad de informacin La distincin entre productos (outputs) y resultados (outcomes) tiene una larga discusin entre acadmicos y practicantes. En esencia, los productos estn relacionados con los bienes y servicios producidos directamente por un organismo pblico, en tanto que los resultados se relacionan con los objetivos finales de la poltica gubernamental. A modo de ejemplo, en un programa de erradicacin del trabajo infantil el producto es la entrega de becas escolares a estudiantes que viven en condiciones de riesgo de trabajo infantil, en tanto que el resultado se puede expresar mediante la disminucin del trabajo infantil o en la desercin del sistema escolar. Si bien la mayor parte de los pases de la OCDE coinciden en la comparacin de resultados, cada pas tiene un esquema distinto. En el Reino Unido se define un pequeo nmero de metas de gestin para cada agencia y luego estos son publicados anualmente en un documento nico de todo el gobierno que compara los objetivos y resultados del ao y fija nuevos objetivos para el ao siguiente. La ventaja de las metas es que estn muy acotadas, pero su desventaja es que pueden excluir elementos importantes del desempeo. En el caso de Estados Unidos, cada ministerio o agencia debe producir un plan anual de desempeo, en el cual se analiza qu se espera cumplir el ao siguiente y posteriormente un informe que evala lo que efectivamente se cumpli (Ruffner, 2003). El Recuadro 2 presenta los esfuerzos de estandarizacin de la nomenclatura propuesto por la OCDE. En Amrica Latina igualmente existe un abanico de combinaciones en la incorporacin de metas de desempeo en el proceso presupuestario. El Cuadro 2 muestra los resultados de la base de datos de prcticas y procedimientos presupuestarios de la OCDE/Banco Mundial para los seis pases de la regin que han completado la encuesta. La mayora de los pases introducen metas de desempeo en una combinacin de productos y resultados, en tanto que Colombia es el nico pas que no considera metas en el proceso presupuestario.
Cuadro 2 Qu tipos de metas del desempeo se incluyen en el proceso presupuestario?
Una combinacin de Productos y Resultados en todos los programas Una Una combinacin combinacin de Productos de Productos y Resultados y Resultados Ninguno en algunos en la mayora programas de los programas

Mayormente Mayormente Productos Resultados

ARGENTINA BOLIVIA CHILE COLOMBIA MXICO URUGUAY

X X X X X X

Fuente Fuente: OECD/World Bank Survey on Budget Practices and Procedures, 2003.

17

Recuadro 2 La medicin de resultados y los problemas de nomenclatura Al traducir del ingls trminos como outcomes y outputs, la confusin se incrementa pues muchos pases slo se refieren a resultados, pero la distincin entre resultados y productos generalmente no se realiza. Incluso entre pases anglosajones existen notables diferencias. A modo de ejemplo, el trmino outcome (resultado o impacto) se utiliza en Estados Unidos como las consecuencias intencionadas del accionar gubernamental, en tanto que Australia analiza los outcome como el impacto real, independiente de que ste haya sido intencionado o no. La OCDE ha intentado ordenar esta prolfica y diversa nomenclatura. En primer lugar asume que los insumos son recursos que la organizacin o un gerente tiene disponible para lograr un producto o resultado. Los insumos pueden incluir los funcionarios, equipos o instalaciones, materiales fungibles y los bienes o servicios recibidos. Los costos constituyen los gastos incurridos al usar los insumos. oductos estn relacionados con los bienes y servicios producidos Los p r roductos directamente por un organismo pblico para los ciudadanos, negocios y/o otras agencias gubernamentales. Los r esultados se relacionan con los impactos o consecuencias para la comunidad de los productos o actividades del gobierno. Los resultados reflejan los impactos intencionados y no intencionados de las acciones gubernamentales, estos proveen la racional para las intervenciones gubernamentales. El esquema siguiente presenta la interrelacin entre los cuatro conceptos y las relaciones que establecen los indicadores de eficiencia, efectividad, economa y costo-efectividad.

Resultados
Efectividad

Productos
Costo-Efectividad

Procesos

Eficiencia

Insumos
Economa

Costos

Fuente Fuente: Kristensen, Groszyk y Bhler (2002).

18

Ms all de las discusiones de nomenclatura, lo que importa es pensar en los resultados como seales direccionales y no como afirmaciones de causalidad. En este sentido, es relevante al momento de formular el presupuesto saber si la tasa de desercin escolar aumenta o disminuye, ms all de si este dato es imputable o no a un determinado programa. Adems, los indicadores de resultados pueden establecer metas ex-ante a alcanzar en trminos de output por parte de los gobiernos, lo cual compromete decisiones presupuestarias. A modo de ejemplo, en Brasil en los anexos de la Lei de Diretrizes Oramentrias (LDO) de 2003, se definen 116 programas prioritarios y se establecen las metas en trminos de producto de las acciones que realizan dichos programas9 . Relacionado con los problemas de medicin se encuentra la debilidad de los sistemas de informacin administrativa. Con frecuencia los servicios pblicos en Amrica Latina no disponen de sistemas que provean informacin respecto de aquellas variables que efectivamente pueden ser influenciadas el accionar de las instituciones. Esta debilidad obliga a disear indicadores de acuerdo a la informacin disponible, la que no necesariamente se refiere a los factores crticos para los objetivos estratgicos de la institucin y/o a los productos / servicios principales de una entidad pblica. Durante la ltima dcada los organismos multilaterales que operan en la regin han invertido cuantiosos recursos en el desarrollo de los sistemas integrados de administracin financiera (SIAF), los cuales son diseados centrados en los sub-sistemas de informacin relativos a presupuesto, contabilidad y crdito pblico. Sin embargo, en la mayora de los pases el aprovechamiento de la informacin relacionada con la gestin y los resultados que proveen los SIAF contina siendo subutilizada para la toma de decisiones.

9 Por ejemplo en la LDO 2003 el Programa de Erradicacin del Trabajo Infantil que se mencion tiene una meta de productos de entregar 650.400 becas para escolares; el Programa de Prevencin de Incendios Forestales tiene una meta de rea fiscalizada de 6.000.000 de hs. para el 2003; el Programa de Transporte Ferroviario Urbano tiene una meta de 385.600 pasajeros transportados por da til (Ministrio do Planejamento, Oramento e Gesto, 2002 a).

19

III.

LA CONSTRUCCIN DE INDICADORES EN LA PRCTICA

Un requisito previo para formular indicadores de evaluacin del desempeo es que la institucin pblica defina los objetivos que orientarn en el mediano y largo plazo su accionar, y que estos objetivos se traduzcan en planes de accin con metas concretas y verificables. Para disponer de estas definiciones existen distintas metodologas que apuntan a la elaboracin de cartas de navegacin, escenarios deseados o imagen-objetivo de hacia dnde necesita y quiere ir la organizacin. La metodologa ms difundida para obtener estas definiciones al interior de las instituciones pblicas en los ltimos quince aos ha sido la planificacin estratgica. Si bien esta metodologa ha estado presente en el sector privado desde la dcada de 1950, su popularidad para el sector pblico surgi en la segunda mitad de los ochenta.

A. Condiciones previas para la construccin de indicadores del desempeo La planificacin estratgica es un proceso estructurado que permite a la organizacin especificar su misin y papel dentro de la estructura del Estado. A partir de esta misin, se definen sus objetivos estratgicos y se establecen metas de gestin, estos insumos orientan y priorizan el proceso de construccin de indicadores al concentrar los recursos y la evaluacin del desempeo en las reas estratgicas. En el Recuadro 3 se resumen las definiciones conceptuales que guan el proceso de definiciones estratgicas e identificacin de productos relevantes de las instituciones pblicas en Chile. Una vez definidas la misin, los objetivos estratgicos y los productos relevantes de la institucin, se requiere establecer metas de gestin que establezcan los logros que se quiere alcanzar en cada una de las reas o mbitos de accin que surgen a partir de los objetivos estratgicos. Los objetivos estratgicos se pueden enunciar para un quinquenio o un perodo presidencial, pero las metas de gestin tienen un horizonte de tiempo ms acotado, normalmente de uno o dos aos. Estas metas de gestin contienen una declaracin explcita de niveles de actividad o estndares de calidad que se pretende alcanzar. En Uruguay se desarroll a partir de 1996 el Sistema de Evaluacin de la Gestin Pblica (SEV), el cual es un sistema de informacin para la evaluacin de los resultados de la gestin de las Unidades Ejecutoras e Incisos del Presupuesto Nacional. En el Recuadro 4 se presentan los requisitos que de acuerdo al SEV deben cumplir las metas de gestin.

20

Recuadro 3 Definiciones Estratgicas del Sistema de Control de Gestin de Chile 1.

Misin Institucional: Definicin del propsito o razn de ser de un servicio que permite orientar las acciones que realicen los funcionarios hacia el logro de un resultado esperado. Objetivos Estratgicos: En el contexto de la administracin pblica son la expresin de los logros que se espera que los Ministerios y sus servicios alcancen en el mediano plazo. Productos Relevantes o Estratgicos: Son aquellos bienes y/o servicios que materializan la misin institucional y cuyo objeto es satisfacer las necesidades de sus clientes, beneficiarios o usuarios. Clientes / Beneficiarios / Usuarios: Son aquellos que reciben o utilizan, los productos relevantes que se generan bajo la responsabilidad de la institucin.

2.

3.

4.

Se define la misin considerando los siguientes aspectos: mbito actual donde opera el servicio y los cambios esperados futuros, lo que requiere conocer previamente: Los productos estratgicos (bienes y/o servicios) otorgados a los clientes / beneficiarios / usuarios de la institucin. La estructura organizacional y las funciones especficas. Los sistemas de informacin utilizados en la institucin. La legislacin que enmarca su misin. Las percepciones del equipo directivo y los funcionarios del servicio. La opinin de los clientes del servicio.

Fuente Fuente: Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico, Direccin de Presupuestos de Chile, 2003.

Recuadro 4 Requisitos de las Metas de Gestin del SEV de Uruguay Una meta de gestin debe cumplir a lo menos los siguientes requisitos: Contener el propsito de mejorar en forma significativa el desempeo institucional en alguna de sus dimensiones (calidad, eficiencia, eficacia, desempeo financiero). Ser un compromiso interno, en el sentido que su cumplimiento no dependa de la accin de otras entidades pblicas (Tribunal de Cuentas, Secretara, Contadura General, etc.) o de factores exgenos, como el nivel de actividad econmica, las decisiones que tomen agentes privados, cambios bruscos en la demanda por prestaciones, etc. Ser factible de alcanzar y, por lo tanto, ser realista respecto a los plazos y a los recursos humanos y financieros que involucran. Tener un componente de innovacin ya sea referido a los productos que ofrece la institucin, a la calidad de ellos, o a los procesos y tecnologas que se utilizan para generarlos.

Fuente Fuente: Gua para la Construccin de Indicadores de Gestin, CEPRE - Comit Ejecutivo para la Reforma del Estado, Uruguay, 1999.

21

B. Plan Operativo para la construccin de indicadores del desempeo Disponiendo de las condiciones previas de claridad estratgica antes sealadas, uno de los primeros pasos que debe adoptar la institucin es el diseo de un sistema de informacin que permita medir el desempeo con niveles de certeza y confiabilidad aceptables. La primera etapa para la construccin de este sistema de informacin consiste en determinar tericamente los datos que se requieren para construir los indicadores y generar un catastro con la informacin que se encuentra disponible al interior de la institucin. Con el cuadro de requerimientos y disponibilidades de informacin, se puede identificar las fuentes de datos y si la informacin es fcil y econmica de recolectar, o bien si se requieren levantamientos de datos especiales. Usualmente las instituciones disponen de informacin que se refiere a la eficacia, eficiencia y desempeo presupuestario. Sin embargo existe escasa informacin disponible relativa a la satisfaccin de usuarios o a los tiempos de tramitacin de solicitudes o expedientes, para lo cual se requiere instalar sistemas de medicin adicionales tales como encuestas, sondeos de opinin y seguimiento automatizado de tramitacin de expedientes. Existen varios factores que desaconsejan el desarrollo de un sistema de indicadores para todas y cada una de las actividades y programas que desarrolla un gobierno o incluso una secretara. Principalmente estos factores se relacionan con la restriccin de recursos humanos y financieros para recolectar y procesar dicha informacin; con la sobrecarga de trabajo que genera en las reas operativas; con la saturacin de informacin (information overflow) para las instancias de toma de decisiones como unidades presupuestarias sectoriales o centrales; con el exceso de detalles que se entregan a las instancias de gestin y/o fiscalizacin (tales como gerente del programa, parlamento, contralora, medios de comunicacin social, ciudadana) que tienden a confundir al receptor en trminos de discriminar lo urgente, lo importante, lo redundante y lo insignificante. No obstante lo anterior, el surgimiento de bases de datos que se han desarrollado al amparo de sistemas integrados de administracin financiera (SIAF) ha permitido a algunos gobiernos establecer complejos sistemas de medicin en que se definen cientos de indicadores de desempeo de los procesos, resultados o impactos de las acciones pblicas. El hecho que la computacin permita administrar estas grandes cantidades de indicadores no es garanta que se mejorar el proceso de toma de decisiones, o que se logre una gestin ms eficiente y una fiscalizacin ms eficaz. Por esta razn, una actividad medular en el diseo del sistema de informacin consiste en la jerarquizacin de los indicadores de acuerdo a su relevancia estratgica, lo cual implica que el indicador propuesto tericamente debe ser la medicin o expresin cuantitativa de una actividad o producto que aporta directamente a la consecucin de los objetivos estratgicos y metas de gestin de la institucin. Diseado el sistema de informacin que apoya el levantamiento de los datos necesarios para el seguimiento de los indicadores de evaluacin

22

del desempeo, se requiere una accin de validacin de los indicadores que se han propuesto. Dado que el indicador es slo un instrumento que apoya la evaluacin, su calidad y provecho para este fin estar condicionada por la claridad y pertinencia del indicador. Las experiencias de pases de la OCDE y de Amrica Latina han identificado al menos diez criterios que preferentemente deben cumplir los indicadores de desempeo. En el Cuadro 3 se describen estos criterios.
Cuadro 3 Criterios Prcticos para la Construccin de Indicadores Criterio Descripcin Debe referirse a los procesos y productos esenciales que desarrolla cada institucin para reflejar el grado de cumplimiento de sus objetivos institucionales. La medicin de todos los productos o actividades que realiza la institucin genera una saturacin de informacin, tanto al interior de la organizacin como fuera de sta. La unidad de producto debe ser equivalente entre s, en trminos de volumen de trabajo y de recursos. Si no se da la equivalencia, para alcanzar las metas se tender a ejecutar slo las acciones que demandan relativamente menos recursos, postergando o anulando las ms costosas o complejas, que a menudo son las que tienen un mayor impacto sobre la gestin institucional. Los indicadores deben responder en lo fundamental a las acciones que desarrolla y controla la institucin o a las variables del entorno que se vean afectadas directamente por esas acciones. No puede estar condicionado a factores externos, tales como la situacin general del pas, la labor legislativa del parlamento o la actividad conexa de terceros (pblicos o privados). La obtencin de la informacin para la elaboracin del indicador debe ser a costos que tengan correlacin con los recursos que se invierten en la actividad. Digno de confianza, independiente de quin realice la medicin. En principio la base estadstica de los indicadores debe estar en condiciones de ser auditada por las autoridades de la institucin y examinada por observadores externos.

Pertinencia

Homogeneidad

Independencia

Costo Confiabilidad

Existe una tensin entre ambos criterios: se deben cubrir los aspectos ms Simplicidad y significativos del desempeo, pero la cantidad de indicadores no puede Comprehensividad exceder la capacidad de anlisis de los usuarios, tanto internos como externos. Los indicadores deben ser de fcil comprensin, libre de complejidades. Oportunidad No-redundancia Debe ser generado en el momento oportuno dependiendo del tipo de indicador y de la necesidad de su medicin y difusin. Debe ser nico y no repetitivo.

Focalizado en reas susceptibles de corregir en el desempeo de los organismos Focalizado en pblicos generando a la vez responsabilidades directas en los funcionarios y reas controlables el personal. Su elaboracin debe involucrar en el proceso a todos los actores relevantes, con el fin de asegurar la legitimidad y reforzar el compromiso con los objetivos e indicadores resultantes. Esto implica adems que el indicador y el objetivo que pretende evaluar sea lo ms consensual posible al interior de la organizacin.

Participacin

Fuente Fuente: Elaboracin del autor sobre la base de Direccin de Presupuestos de Chile (1995), Marcel (1998), National Center for Public Productivity (1997) y Shack (2003).

23

La mayor parte de los criterios son de sentido comn, pero la generacin en forma participativa es consustancial al xito de la implementacin y merece un comentario aparte. En muchos pases durante la formulacin presupuestaria se detecta un divorcio al interior de las instituciones entre los funcionarios responsables de la unidad de presupuestos y las unidades operativas, o entre stas y la unidad de planificacin. Si esta situacin se reproduce en el proceso de construccin de indicadores, estos no reflejarn cabalmente el desempeo de la institucin, producindose un sesgo operativo, presupuestario o de planes, segn sea el caso. C. Las Dimensiones de la Evaluacin del Desempeo Para asegurar su apropiacin por parte de las instituciones, un indicador de evaluacin del desempeo debe ser sencillo y expresar la realidad que mide. Un mismo indicador puede expresar significados y criterios diversos, dependiendo de lo que se quiera medir y de los elementos que se desee incluir en su anlisis. Como se ha destacado, los problemas sociales que enfrenta la gestin pblica moderna son de carcter multidimensional. De igual manera, la evaluacin del desempeo tambin se puede abordar desde distintas perspectivas. La visin tradicional sobre la cual se han construido los indicadores es sobre la dimensin de la eficacia y eficiencia, como se ver ms adelante esta visin se ha ampliado en los ltimos aos incorporndose nuevas dimensiones del desempeo. La eficacia se relaciona con la teora implcita que sustenta la intervencin pblica. Esta teora presenta un conjunto de medidas de diseo e implementacin (cmo realizar la intervencin, a quines focalizar, durante qu perodo de tiempo, en qu localidades, etc.), las cuales pretenden alcanzar ciertos objetivos o resultados en la poblacin destinataria. Por lo tanto, los indicadores de eficacia miden si la intervencin alcanz los cambios que se requieren y gener un grado de cumplimiento de los objetivos predeterminados. Las organizaciones pblicas que son capaces de identificar los productos o servicios que son estratgicos para el cumplimiento de su misin, pueden acotar adecuadamente las prestaciones que se deben medir y la poblacin objetivo que recibir esos bienes o servicios. Los indicadores de eficacia a su vez se pueden sub-clasificar en distintos elementos de la eficacia: Indicadores de Cobertura: son aquellos que reflejan la relacin entre la demanda total por los bienes o servicios que ofrece la institucin y la cantidad efectivamente entregada. En otras palabras, el porcentaje de cobertura o porcentaje de la poblacin objetivo atendida es una comparacin entre la situacin actual y el potencial mximo que se podra entregar. Dado que los sistemas de informacin geogrficos proveen cada vez una mayor cantidad de datos desglosados

24

territorialmente en ocasiones puede ser recomendable que los niveles de cobertura se segmenten segn reas geogrficas. Indicadores de Focalizacin: como se indic anteriormente la eficacia incorpora una definicin precisa de beneficiarios. Por lo tanto, los indicadores de focalizacin miden el nivel de precisin con que los productos y servicios estn llegando a la poblacin objetivo que se defini inicialmente. Existen distintas formas de medir la focalizacin, todos ellos se centran en medir las filtraciones identificando la fuga de beneficios del programa a los usuarios no elegibles (error de inclusin), o bien en la cantidad de usuarios elegibles que no acceden a los beneficios del programa (error de exclusin). Indicadores de Capacidad para Cubrir la Demanda Actual: las instituciones que otorgan autorizaciones a los privados o procesan expedientes de diverso tipo en ocasiones no son capaces de responder a la demanda total de los usuarios en condiciones de tiempo y calidad adecuadas. En estos casos, ya sea para generar mejoras en la gestin o para evaluar procesos de optimizacin de tramitacin de expedientes, los indicadores de capacidad permiten medir los niveles de demanda que se pueden asumir. Indicadores de Resultados: como la eficacia se relaciona con el logro de los objetivos, resulta medular que los indicadores de evaluacin del desempeo deban centrar su atencin en el efecto final o intermedio de la intervencin que se est evaluando. Como se seal en el Recuadro 2, los resultados se relacionan con los impactos o consecuencias que tienen para la comunidad los productos o actividades de las instituciones pblicas. Los indicadores de eficacia descritos anteriormente miden si los objetivos predefinidos para la actividad se estn cumpliendo, pero no se analiza el tema de la cuanta de los recursos otorgados. Una encuesta aplicada a 262 participantes de los cursos de gerencia social del INDES-BID revel que el 84% estimaba que el concepto de eficacia equivale al cumplimiento de metas y objetivos o a la satisfaccin de la necesidad que motiv el diseo y desarrollo de la iniciativa, sin importar los costos y el uso de recursos (Mokate, 2001). Si se est desarrollando un indicador de focalizacin evidentemente que los resultados sern ms precisos si se dispone de mayores recursos para seleccionar a los beneficiarios, por lo que no puede evaluarse sin considerar los costos. El mismo anlisis se puede realizar respecto de los indicadores de cobertura. Se podra eventualmente proponer una dimensin de indicadores que evale el logro en relacin con lo programado, pero este tipo de indicadores son de poca utilidad gerencial por las conductas adaptativas que se pueden generar al fijar las metas. Adicionalmente, cabe preguntarse si una clasificacin ms amplia de dimensiones de los indicadores contribuir mayor claridad a los funcionarios que construyen stos o bien se generar una complejidad innecesaria.

25

La otra dimensin de importancia es la de eficiencia eficiencia; estos indicadores se relacionan con la maximizacin del impacto del gasto pblico. Esta maximizacin se puede medir desde dos ngulos distintos: a) si se est produciendo la mayor cantidad de productos o prestaciones posibles ante el nivel de recursos de que se dispone, o b) cmo alcanzar un nivel determinado de servicios utilizando la menor cantidad de recursos posible. El indicador de eficiencia ms utilizado es el costo unitario de produccin, el que relaciona la productividad fsica con los costos directos e indirectos utilizados en la entrega del producto o servicio. La productividad fsica es relativamente simple de medir, pues se relaciona con el nivel de actividad, expresado en nmero de fiscalizaciones, solicitudes resueltas, personas capacitadas, usuarios atendidos, etc. Sin embargo, la medicin de los costos presenta una mayor complejidad pues los sistemas contables registran en forma agregada la utilizacin de recursos para todos los bienes y servicios que entrega la institucin. Uno de los problemas ms recurrentes en la generacin de este tipo de indicadores es la ausencia en la contabilidad de centros de costos que permitan identificar claramente los costos que estn asociados a un producto determinado de los restantes productos o servicios que provee la institucin. Relacionado con lo anterior, en cada institucin se desembolsan costos indirectos que estn asociados, por ejemplo a los gastos de la direccin superior de la organizacin, gastos de mantencin de inmuebles, servicios de apoyo y gastos en energa10 . El prorrateo o distribucin de estos costos indirectos sobre los costos de los principales productos de una institucin es una tarea bastante compleja en empresas manufactureras, en empresas de servicios es ms complejo y en servicios pblicos puede llegar a ser absolutamente enmaraado. Algunas organizaciones pblicas han introducido las nuevas tcnicas de distribucin de costos tales como el costeo basado en actividades (ABC o activity-based costing), pero en la mayora de las instituciones pblicas la identificacin ms rigurosa de los costos sigue siendo un desafo pendiente11 . Atendidas las limitaciones sealadas anteriormente en el uso de indicadores de costo medio o costo unitario, crecientemente se ha recurrido al uso de otro tipo de indicador de eficiencia que mide la productividad media de los factores que intervienen en la provisin del bien o servicio, con particular nfasis en la productividad media de los

Cabe sealar que la contabilidad ms tradicional en el sector pblico es de base caja, por lo que no se incorporan otros gastos indirectos tales como la depreciacin de edificios y equipos que caracteriza a la contabilidad sobre base devengado. 11 El costeo ABC asigna costos a las actividades basndose en cmo stas usan los recursos. El proceso de asignacin de costos a actividades y objetos de costos se apoya en criterios llamados drivers (generador o inductor de costos), que explican la relacin de causa y efecto entre estos elementos. Elegir un driver correcto requiere comprender las relaciones entre recursos, actividades y objetos de costos. (Lizana, 2002)

10

26

recursos humanos que participan en el proceso productivo. Este tipo de indicadores es particularmente til para servicios que se dedican a fiscalizar, en los cuales la cantidad de fiscalizaciones por inspector da cuenta del desempeo de sus recursos humanos. El cuidado que se debe tener al momento de construir este tipo de indicadores es que los productos sean efectivamente homogneos, pues establecer una media que comprende fiscalizaciones que tardan algunos minutos no se puede mezclar con fiscalizaciones que demoran das o meses en su ejecucin completa. No obstante que la mayor profusin se da entre los indicadores de eficacia y eficiencia, la necesidad de indicadores que entreguen sintona fina para el mejoramiento de la gestin ha empujado a los gobiernos a medir otras dimensiones que den cuenta de la multiplicidad de objetivos de la gestin orientada a los resultados. Las principales dimensiones de evaluacin del desempeo que se han introducido son las siguientes: Calidad en la prestacin de los servicios: estos indicadores estn relacionados con las caractersticas de cmo est siendo provisto el producto o servicio, para lo cual busca cuantificar la capacidad de los organismos pblicos para responder en forma rpida, directa y adecuada a las necesidades de los usuarios. Estos indicadores pueden ser evaluados a travs del nivel de satisfaccin manifestado por los beneficiarios de los servicios sobre determinados aspectos de la provisin de bienes y prestacin de servicios, tales como la oportunidad (tiempo de espera o tiempo de respuesta), simplicidad de postulacin o tramitacin, accesibilidad, amabilidad de la atencin de pblico, exactitud y continuidad en la provisin del servicio. Indicadores de Desempeo Presupuestario: consiste en la capacidad de una institucin para generar y utilizar adecuadamente los recursos financieros para el cumplimiento de su misin institucional. En esta categora, las instituciones pblicas que tienen atribuciones legales para generar ingresos propios establecen indicadores de autofinanciamiento; las organizaciones que otorgan prstamos miden su capacidad para recuperar los crditos otorgados y el manejo de cartera de pasivos; toda organizacin que administra fondos puede establecer una relacin entre los gastos administrativos y los gastos totales, lo cual en trminos agregados se puede utilizar como un proxy de las ganancias de eficiencia del sector pblico; relevante para este tipo de indicadores es la comparacin entre los gastos ejecutados y los programados, tema sensible tanto para el gasto corriente como para el de proyectos de infraestructura que suelen terminar a valores muy superiores de la programacin respectiva; por ltimo, para medir la inversin en los recursos humanos, se pueden establecer indicadores que relacionen los gastos en capacitacin con los gastos totales en personal.

27

D. La integracin de las distintas dimensiones de evaluacin del desempeo La distincin en dimensiones del desempeo slo se realiza para fines analticos y facilitar la aplicacin del instrumento por parte de los usuarios. Dependiendo de las prioridades de la institucin ciertos indicadores pueden perfectamente ser clasificados en dos categoras. La gestin orientada a los resultados es de carcter multidimensional y como tal no hay una dimensin del desempeo que sea ms relevante que otra. La evaluacin de la gestin global de un servicio pblico surgir a partir de la interaccin de los componentes de eficiencia, eficacia, calidad y desempeo presupuestario. Dependiendo de la naturaleza de las actividades que ejecuta la institucin algunas dimensiones son ms relevantes que otras. A modo de ejemplo, los indicadores de cobertura son particularmente relevantes para las instituciones que trabajan con temticas de salud pblica, donde los errores de exclusin pueden generar brotes epidmicos. En tanto, los indicadores de calidad de la atencin tendrn un peso mayor en instituciones que atienden grandes flujos de pblico tales como servicios de impuestos y direcciones de registro civil e inmigracin. Independiente del nfasis principal que presente una institucin, es preciso destacar que en una perspectiva global se pueden generar conflictos entre las distintas dimensiones que obligan a evaluar los costos y beneficios de una decisin de mejoramiento. Evidentemente se puede incrementar la cobertura de una determinada prestacin, pero por problemas de escalamiento de las inversiones podra generar mayores costos unitarios (en el caso que un aumento de la cobertura obligue a construir un nuevo hospital o escuela). De igual modo, las mejoras en la calidad de entrega de un servicio a veces slo pueden ser logradas en detrimento de la cobertura, a costa de un mayor costo o generando tiempos de respuesta ms prolongados. La evaluacin del desempeo de toda la institucin debe ponderar la contribucin a los objetivos estratgicos de cada uno de los productos y servicios. Los indicadores para cada producto y sus respectivas dimensiones deben desarrollarse en forma integral, considerando las posibles interdependencias y tradeoffs entre ellos. Por razones operativas existe un sesgo natural hacia mediciones que enfatizan la eficiencia. Este problema no slo se ha dado en Amrica Latina, el propio gobierno de Nueva Zelanda ha reconocido en una evaluacin del ao 2001 que el enfoque de sus reformas pblicas ha tenido un foco excesivo hacia la eficiencia y no tanto en la efectividad, con una ausencia de vnculos claros hacia las polticas (New Zealand Treasury, 2001). Una de las metodologas que se ha desarrollado para integrar en forma armnica las dimensiones cuantitativas y cualitativas que emanan de los indicadores de desempeo lo constituye el Cuadro de Mando Integral ( Balanced Scorecard-BSC ). El BSC es una metodologa

28

desarrollada en el sector privado en 1992 por Robert Kaplan y David Norton que intenta integrar los aspectos de la gerencia estratgica y la evaluacin del desempeo de la empresa. Esta herramienta se desarroll bajo la conviccin de que la medicin basada slo en indicadores cuantitativos y financieros no capturaba de un modo adecuado aquello que crea valor en una organizacin, y que era necesario aadir otras perspectivas de anlisis de carcter ms cualitativo o de activos intangibles. En el sector pblico se han desarrollado iniciativas de Cuadro de Mando Integral, pero en el mundo hispanoamericano la mayor parte se circunscriben a experiencias de gobiernos locales12 , o bien no contemplan la complejidad de los cuadros desarrollados para las empresas que consideran los intereses de distintos stakeholders como los accionistas y clientes. La Generalitat de Catalunya lleva tres aos aplicando este sistema; en el Recuadro 5 se describen sus principales caractersticas.

12 Ver la experiencia del municipio espaol de Sant Cugat del Valls en Turull y Vivas (2003).

29

Recuadro 5 Cuadro de mando Catalunya Progrs de la Generalitat de Catalunya El cuadro de mando Catalunya Progrs (CMCP) intenta recoger de manera sinttica y sistematizada la informacin ms relevante sobre la gestin, la realizacin de actuaciones y la consecucin de los objetivos previstos. EL CMCP integra desde una visin interdepartamental la informacin cualitativa ms representativa de la gestin pblica haciendo especial hincapi en el anlisis del impacto de las actuaciones pblicas. Como su nombre indica se trata de construir un sistema de informacin que permita evaluar el progreso de la Comunidad Autnoma, entendido en una doble vertiente: progreso como sinnimo de cambio y como sinnimo de mejora. En el fondo, la idea subyacente es conocer si la regin avanza de manera continua. As pues, el objetivo del CMCP consiste en monitorear el estado de la sociedad catalana recogiendo de forma sistemtica informacin relevante sobre la gestin del gobierno, sobre el grado de consecucin de los fines previstos y analizando el impacto de las actuaciones pblicas. En ltima instancia se pretende que el cuadro de mando sea utilizado para tomar decisiones pblicas de mejor calidad. Es por tanto, un instrumento de gestin orientado a facilitar el pilotaje del conjunto de la accin de gobierno. Catalunya Progrs prioriza aquellos aspectos de la informacin difcilmente evaluables desde el seguimiento de la gestin presupuestaria. Por ello, el nfasis recae en interpretar informacin eminentemente cualitativa procedente de fuentes diversas pero siempre bajo el marco conceptual de los seis ejes-valor del Plan CAT21. Partiendo de la multidimensionalidad de la informacin, Catalunya Progrs se estructura de forma modular, en la cual cada mdulo se especializa en el tratamiento de la informacin desde un determinado punto de vista. En estos momentos estn definidos y en funcionamiento tres mdulos: Mdulo 1: indicadores de entorno y de seguimiento de la accin de gobierno Mdulo 2: indicadores y estudios de percepcin ciudadana Mdulo 3: seguimiento de proyectos prioritarios

El mdulo 1 se caracteriza por una aproximacin objetiva a la evaluacin de las polticas pblicas. Este mdulo es un documento con una estructura parecida a los cuadros de indicadores utilizados sobretodo en los pases anglosajones y del norte de Europa. Este mdulo est constituido por 100 indicadores divididos en dos bloques: Indicadores de entorno: se trata de 35 indicadores genricos que analizan el estado de la sociedad catalana en relacin con su entorno socioeconmico. Se agrupan en las reas siguientes: indicadores sintticos, de capital humano, de situacin econmica y mercado de trabajo y de medio ambiente. Indicadores de seguimiento CAT21: son 65 indicadores que evalan el grado de cumplimiento alcanzado de los 18 objetivos estratgicos del Plan CAT21.

Fuente: Or i Vendrell (2002).

30

IV.

DESAFOS DE IMPLEMENTACIN DE LA GESTIN PBLICA ORIENTADA A LOS RESULTADOS

Las potencialidades del modelo de gestin pblica orientada a los resultados se pueden observar en mltiples dimensiones del gasto pblico. Sin embargo, dado los desafos de superacin de la pobreza que enfrenta la regin, uno de los casos en que se visualiza esta relacin se refiere al impacto del gasto pblico en funciones sociales. En trminos estilizados, se puede apreciar que durante la ltima dcada los gobiernos de Amrica Latina han destinado una proporcin creciente de su gasto pblico a funciones sociales, generndose un aumento del 58% en el gasto social por habitante. En trminos agregados, el gasto social para 17 pases que informan regularmente su clasificacin funcional aument su peso relativo en el PIB entre 1990/91 y 2000/01 de 10,1% a 13,8%13 . No obstante estos avances, el nivel del gasto social per se no constituye un adecuado indicador de desarrollo social, porque no permite evaluar si efectivamente se est alcanzando el impacto deseado en las poblaciones destinatarias de los programas sociales. Efectivamente, pese al incremento significativo del gasto pblico social, la disminucin de la pobreza no alcanz magnitudes similares. Si bien inicialmente entre 1990 y 1997 el porcentaje de poblacin en situacin de pobreza disminuy de un 48.3% a un 43.5%14 , como se observa en el Grfico 1 despus de 1997 las reducciones en los niveles de pobreza no registraron disminuciones de magnitud similar a los incrementos del gasto pblico social. La evolucin del gasto social, as como la dinmica de adaptacin de los mercados nacionales que demanda la globalizacin, exigen cada vez mayor objetividad y racionalidad en el uso y asignacin de los recursos pblicos. La discusin acerca de la eficiencia y eficacia en los organismos pblicos, as como de la medicin de resultados del accionar pblico, se ha instalado con fuerza en los medios de comunicacin, debates polticos y crculos acadmicos. En esta seccin se describen algunos desafos de implementacin que han sido sealados como ms relevantes en diversos anlisis llevados a cabo por parte de los gobiernos nacionales y sub-nacionales que han

13 CEPAL, Panorama Social de Amrica Latina 2002-2003. Por gasto pblico en funciones sociales se entiende el gasto corriente y de inversin efectuado en educacin, salud y nutricin, seguridad y asistencia social, vivienda, agua y saneamiento. 14 Cabe destacar que en 1997 15 de 17 pases aumentaron su gasto pblico social, permitiendo que en 12 de ellos se compensaran con creces el descenso del gasto social predominante en los aos ochenta, superando los niveles de 1980-1981. Sin embargo en el bienio 1996-1997 el ritmo de crecimiento se desaceler significativamente, alcanzando una tasa promedio anual de 3.3%, equivalente a la mitad de la del perodo 1990-1995, que fue de 6.4%. CEPAL, Panorama Social de Amrica Latina 1998.

31

Grfico 1 Evolucin de la Pobreza y del Gasto Pblico Social 1990-2001 en Amrica Latina
% de personas en situacin de pobreza 60 50 40 10.1 30 20 10 0 1990 1997 1999 2000 2001 8 6 4 2 0 48.3 13.3 12.1 12 43.5 43.8 42.1 42.5 10 13.8 14 Gasto Social como % del PIB 16

Fuente Fuente: Elaboracin propia a partir del Panorama Social de Amrica Latina de CEPAL de diferentes aos.

establecido programas de gerencia pblica orientada a los resultados, particularmente en aquellos aspectos que se relacionan con los indicadores de evaluacin del desempeo. A. Ambigedad en la definicin de la misin organizacional El problema ms importante al momento de iniciar la transicin a un modelo de gestin orientada a los resultados es que la misin de las instituciones pblicas est definida en muchos casos de una manera muy amplia y ambigua. Esta situacin surge de la lgica del proceso poltico, donde para responder a presiones de mltiples grupos de inters y/o beneficiarios se deja en la nebulosa la esencia de la misin organizacional. En la prctica, este hecho implica que las instituciones proveen una multiplicidad de bienes y servicios, dirigidos a beneficiarios diversos y con distintas expectativas de satisfaccin de sus necesidades. Sin embargo, lo que es funcional para el proceso poltico puede ser altamente disfuncional para la gestin, pues al no existir claridad respecto de las expectativas institucionales, tampoco puede existir precisin respecto a la medicin de los resultados y del impacto del accionar pblico. Para enfrentar este problema, varios pases de la regin han llevado a cabo amplios ejercicios de planificacin estratgica en sus instituciones pblicas. Las experiencias de Mxico, Costa Rica y Colombia muestran que se han implementado exitosamente los ejercicios de definicin de misin y de anlisis de fortalezas y debilidades, pero la vinculacin de estos niveles con la evaluacin de resultados operativos sigue siendo altamente compleja.

32

Es importante destacar que los organismos financieros multilaterales estn otorgando especial importancia a la planificacin estratgica no slo de instituciones, sino tambin de proyectos nacionales de desarrollo. Se estima que los proyectos de pas que estn respaldados por esquemas de concertacin multisectoriales y multipartidarios cuentan con mayor viabilidad de financiamiento y sostenibilidad en el largo plazo. A partir de 1997 las distintas agencias de las Naciones Unidas han asumido en los pases la formulacin de los Marco de Asistencia de las Naciones Unidas para el Desarrollo (UNDAF), con el propsito de enfocar en conjunto sus esfuerzos de cooperacin optimizando acciones e incrementando el impacto de stas a favor del desarrollo humano sostenible. Con un enfoque similar, el Banco Mundial ha solicitado a los pases de menores ingresos la generacin de Estrategias de Reduccin de la Pobreza (PRSP), las cuales orientan estratgicamente el uso de los recursos derivados de programas de reduccin de deuda. Vinculado a los PRSPs est la formulacin del Marco Integral del Desarrollo, MID (Comprehensive Development Framework). El MID es un enfoque integral con respecto al desarrollo que procura un mejor equilibrio en la formulacin de las polticas, destacando la interdependencia entre los aspectos sociales, estructurales, humanos, de buen gobierno, ambientales, econmicos y financieros (Banco Mundial, 2003). B. El impacto en el proceso presupuestario Los esfuerzos de implementacin de sistemas de evaluacin de la gestin pblica son costosos y consumen tiempo y energa por parte de los directivos de los servicios pblicos. Asimismo, la dinmica inercial de la asignacin presupuestaria no siempre ofrece incentivos para seguir profundizando en la evaluacin de la gestin. En numerosos pases la orientacin a los resultados ha servido para definir prioridades programticas y modificar los procedimientos de trabajo, pero slo ocasionalmente sus resultados se incorporan en el proceso de fijacin presupuestaria. En trminos generales, la restriccin fiscal que afecta a casi todos los pases de la regin, otorga seales negativas para aquellos gerentes que mejoran sus indicadores de eficiencia pues se establece como un hecho que estos sern capaces de funcionar con menores recursos. Si bien algunos gobiernos intentaron establecer premios a la eficiencia en los perodos de mayor holgura fiscal, los recortes presupuestarios a finales de la dcada de los noventa obligaron a eliminar o reducir drsticamente estos fondos. El mayor peligro de estas seales negativas es que al interior de las organizaciones pblicas se tienda a asociar la gestin por resultados con un instrumento diseado por los ministerios de hacienda para implementar procesos de ajuste fiscal, afectando de esta manera la aceptacin e institucionalizacin de la evaluacin del desempeo. La forma y velocidad en que se genere una vinculacin entre la evaluacin del desempeo y el proceso presupuestario depende en gran

33

medida del contexto poltico-institucional de cada pas, por ejemplo el tipo de modelo de evaluacin que se adopta. Un reciente estudio comparativo de las polticas nacionales encaminadas a crear sistemas de evaluacin de resultados de la gestin pblica en Chile, Colombia, Costa Rica y Uruguay ha propuesto una tipologa de modelos de evaluacin. La tipologa se construye a partir del referente institucional utilizado para estructurar el sistema de evaluacin y el tipo de proceso de toma de decisiones al que pretenden servir sus resultados. Sobre la base de la evidencia de los cuatro pases analizados, estos modelos de evaluacin se categorizan en el modelo Plan y el modelo Presupuesto (Cunill y Ospina, 2003). El modelo de evaluacin tipo Plan busca reforzar el proceso de toma de decisiones propiamente polticas, ms que las decisiones presupuestarias, y generalmente es coordinado o promovido por las unidades encargadas de la planificacin. Este es el caso de Costa Rica y Colombia, cuyos sistemas de evaluacin presentan una fuerte inclinacin a la metaevaluacin y una desarticulacin del ciclo presupuestario. En contraste, el modelo de evaluacin tipo Presupuesto desarrolla instrumentos de evaluacin que estn orientado a mejorar los procesos de formulacin y discusin presupuestaria. Este es el caso de Chile, en que las herramientas de evaluacin se integran al ciclo presupuestario, una variante del modelo Presupuesto es aquellos pases donde el sistema de evaluacin del desempeo se aplica sobre las asignaciones presupuestarias, como sera el sistema de Uruguay y Mxico. Un modelo mixto (Plan-Presupuesto) lo constituira la evaluacin del Plan Plurianual en Brasil, pues el anlisis anual de este instrumento orienta el proceso de asignacin de los gastos presupuestarios y brinda consistencia a los objetivos de polticas pblicas que requieren ms de un ao para su implementacin. C. Ausencia de un enfoque de largo plazo en la gestin por resultados Los procesos de modernizacin y de cambio de cultura organizacional son de largo plazo. A nivel mundial, Nueva Zelanda es el nico caso en que las reformas hacia una gestin orientada a los resultados fueron implementadas rpidamente. Otros pases, como Australia, Canad y el Reino Unido han asumido a lo largo de ms de 15 aos cambios incrementales en que algunos ministerios han evolucionado ms rpidamente que otros. La asociacin de la gestin orientada por resultados a avances sustantivos en tcnicas de presupuestacin plurianual ha fomentado la adopcin de un enfoque de largo plazo en todas las esferas de gobierno. En el caso de Estados Unidos, transcurridos ocho aos del Government Performance and Results Act de 1993, la implantacin de una cultura por resultados an no cubra el 50% del gobierno federal. Segn una encuesta realizada el ao 2000 por la General Accounting Office (GAO) a directivos de 28 agencias federales, en promedio slo un 44% de los gerentes

34

dispona de indicadores de resultados que pueden demostrar a alguien externo si stos estaban siendo logrados15 . La variabilidad entre agencias es significativa, pues en la cota inferior slo el 28% de los gerentes en el Servicio de Impuestos (IRS) disponan de indicadores, en comparacin con un 63% de la NASA y del Departamento de Vivienda. La implementacin gradual y generalizada de un modelo de gestin orientada a los resultados requiere de un cambio en la cultura organizacional de las instituciones pblicas, proceso que perfectamente se extiende ms all de dos o tres perodos presidenciales. No obstante, la dinmica poltica de corto plazo exige acciones inmediatas y resultados que se puedan mostrar a la ciudadana, lo que entra en tensin con el lento proceso de cambio de cultura gerencial. Un ejemplo del compromiso de largo plazo para implementar la evaluacin de resultados se ha dado en Costa Rica, donde no obstante los cambios de gobierno en 1998 y en el 2002, el sistema poltico logr institucionalizar la evaluacin de resultados en el mbito constitucional. Para ello, en junio del 2000 se modific el artculo 11 de la Constitucin Poltica, incorporando la evaluacin por resultados y la rendicin de cuentas como principios inspiradores del accionar pblico: la Administracin Pblica en sentido amplio, estar sometida a un procedimiento de evaluacin de resultados y rendicin de cuentas, con la consecuente responsabilidad personal para los funcionarios en el cumplimiento de sus deberes. La ley sealar los medios para que este control de resultados y rendicin de cuentas opere como un sistema que cubra todas las instituciones pblicas. Posteriormente, en septiembre del 2001 la reforma a la Ley de Administracin Financiera y Presupuestos Pblicos estableci que las entidades y rganos regidos por dicha ley estn obligados a presentar informes peridicos y finales de gestin, resultados y rendimiento de cuentas (Mora, 2003). D. Escasez de mecanismos de participacin ciudadana a favor de la gestin por resultados Las influencias externas que favorecen o entorpecen una adecuada implementacin de la gestin por resultados tienen dos vertientes. Por una parte, existen directivos pblicos a favor de un mejoramiento de la gestin, pero stos a menudo se enfrentan con barreras institucionales y falta de apoyo del entorno poltico y tcnico. Es decir, estos directivos no tienen incentivos fuertes para comprometerse con una gestin orientada a los resultados. Salvo aquellos contratados mediante un convenio de desempeo, los estmulos tanto polticos como personales para la mayora de los directivos son difusos y confusos16 . El riesgo que un cambio de
15 Managing for Results: Federal Managers Views on Key Management Issues Vary Widely Across Agencies, U.S. General Accounting Office, GAO-01-592, 2001. 16 Una notoria excepcin es el Programa de Inversiones Multisectorial Avana Brasil, el que ha incorporado gerentes para la implementacin de 54 programas estratgicos, quienes son responsables por los costos y metas del programa respectivo.

35

gobierno pueda dejar a mitad de camino la implementacin de una reforma otorga seales negativas a los responsables de los servicios pblicos. Por otra parte, existe un contingente significativo de funcionarios que, por diversas motivaciones, favorecen el status quo y generan una gran resistencia al cambio. Por ende, al no existir mecanismos de participacin ciudadana a favor de la gestin por resultados, se configurara un problema de relacin Agente-Principal debido a la asimetra de informacin que se produce en la relacin entre los directivos pblicos y la ciudadana. Los administradores de los programas y/o servicios manejan gran parte de la informacin relativa a los productos de sus instituciones, las reas de ineficiencia, el costo de proveer los servicios, las metas alcanzables y fortalezas, en tanto que los destinatarios, interesados e incluso los organismos de fiscalizacin como el Poder Legislativo u ONGs especializadas carecen de dicha informacin. La asimetra de informacin frente a los destinatarios se ve reforzada por la ausencia de una relacin transaccional con los beneficiarios. Las organizaciones pblicas no venden los bienes y servicios que producen, sino que los entregan en forma gratuita o subsidiaria, a menudo en condiciones monoplicas. Por lo tanto, las instituciones no tienen un canal de retroalimentacin directa desde el cliente o usuario a travs de la compra de bienes y servicios. Al no existir retroalimentacin, es particularmente difcil construir indicadores agregados de resultado de la gestin de los servicios pblicos equivalentes a la lnea final del balance de las empresas privadas17 . E. Los Problemas de Causalidad En la literatura de evaluacin de programas existen numerosos anlisis respecto de las dificultades para establecer relaciones de causa-efecto, pues gran parte de los fenmenos sociales que intentan intervenir los programas pblicos tienen un origen y evolucin de tipo multifactorial, existiendo problemas de interaccin entre las variables que son atribuibles al impacto del programa y aquellas que evolucionan en forma independiente. Un ejemplo clsico de esta multidimensionalidad lo constituyen los programas de reduccin de la mortalidad infantil, donde actan en forma dinmica factores tales como las intervenciones en salud pblica materna y perinatal, la ampliacin de la cobertura de agua potable e infraestructura sanitaria, el mejoramiento de frmacos y tratamientos para las enfermedades gastroentricas y el incremento de la cobertura educacional.

Ver Marcel, Mario (1998): Indicadores de Desempeo como instrumento de modernizacin en el Estado de Chile, Perspectivas en Poltica, Economa y Gestin, N 1, Vol. 2, Mayo, Departamento de Ingeniera Industrial de la Universidad de Chile, Santiago.

17

36

Ms an, los programas o proyectos que desarrolla una determinada institucin pblica no responden a un solo objetivo, sino que a un conjunto de objetivos interrelacionados entre s en una jerarqua de causas-efectos. La transversalizacin de la poltica social y la introduccin del concepto de usuario nico para los ciudadanos beneficiarios de prestaciones y subvenciones que se otorgan a travs de distintos ministerios brinda una complejidad an mayor a los intentos de aislar los cambios en la poblacin beneficiaria que no son atribuibles al accionar de una institucin pblica determinada. Una de las tendencias que se ha observado en la evolucin del gasto pblico en la dcada de 1990 es el incremento de transferencias del sector pblico a personas y empresas. El monitoreo de indicadores de resultados para los programas de transferencias de subsidios monetarios es especialmente problemtico, pues es uno de los muchos factores que afectan los resultados finales para los grupos destinatarios de las transferencias. F. La evaluacin de funcionarios y su vnculo con los sistemas de compensacin Los pases de la regin que han intentado asociar el cumplimiento de metas con mejoras de salarios han enfrentado la frrea oposicin de sindicatos de funcionarios pblicos. De igual modo, se ha generado un rechazo a los intentos de crear carreras funcionarias paralelas donde se fijan normas contractuales ms flexibles y con remuneraciones mayores a las de los dems funcionarios (como es el caso de las Agencias Next Steps de Inglaterra). Un mbito que sigue generando controversia es la vinculacin de la evaluacin del desempeo institucional a la administracin de personal. En el caso de Chile, a partir de 1998 se han otorgado incentivos de remuneraciones sobre la base de la evaluacin del desempeo individual y al cumplimiento de metas institucionales o grupales. Los dirigentes sindicales de los funcionarios rechazan las frmulas individuales pues fomentaran la competencia y rivalidad al interior de los servicios pblicos. En junio del 2003 una nueva ley elimin el incentivo individual, remplazndolo por un incentivo por desempeo colectivo, el cual establece estmulos pecuniarios a equipos o reas de trabajo que se conforman de acuerdo a parmetros funcionales o territoriales. De esta experiencia y otras similares, se desprende una alta posibilidad que los sistemas de incentivos monetarios no tengan un impacto positivo sobre la gestin. De hecho, en ausencia de indicadores pertinentes para el cumplimiento de la misin institucional y de metas que sean realmente exigentes, los estmulos monetarios no induciran a mejoramientos del desempeo personal y colectivo, transformndose slo en un mecanismo para distribuir aumentos de remuneraciones de los funcionarios.

37

G. Institucionalizacin de la funcin de evaluacin de resultados La ubicacin institucional de la evaluacin del desempeo dentro del sector pblico depende de las caractersticas de cada pas. En las experiencias relevantes de la regin, su funcionamiento inicial ha estado radicado en los ministerios de planificacin o en comits interministeriales. Con posterioridad al impulso inicial, paulatinamente, los ministerios de hacienda y/o direcciones de presupuesto han asumido esta responsabilidad. Como se seal, en los pases de la regin se han desarrollado sistemas de evaluacin asociados al Plan y otros vinculados al Presupuesto. Cabe precisar que estas tipologas no son puras, pues coexisten sistemas de evaluacin de la inversin asociadas al aparato administrativo de planificacin, conjuntamente con evaluaciones del gasto corriente radicadas en las instituciones de formulacin y evaluacin presupuestaria. No hay una nica respuesta al tema de la ubicacin institucional. Cualquiera sea el enfoque que se adopte, resultar adecuado si existe la firme decisin poltica de hacerlo funcionar. Con todo, al tratarse de un instrumento fundamental de la gestin pblica, es recomendable que la responsabilidad de esta funcin se site en los organismos encargados de la planificacin estratgica del Estado, cuyo vnculo con la Presidencia suele ser directo. Por aadidura, no parece apropiado entregar exclusivamente a los responsables del presupuesto la funcin de evaluacin de resultados, pues stos pueden transformarse en jueces y parte del proceso, con el consiguiente riesgo de confundir los objetivos de largo plazo de eficiencia y eficacia de las polticas pblicas con las metas de corto plazo de ajuste fiscal. Un aspecto de la institucionalizacin que mantiene su carcter polmico se refiere al rol de las contraloras de los pases latinoamericanos en la evaluacin de resultados. Los pases anglosajones, y especialmente los que disponen de un sistema parlamentario, han tendido a otorgar a las contraloras, aparte de las tradicionales funciones de control legal y financiero, roles relativos a medicin de eficiencia, efectividad, impacto y obtencin de metas. En Amrica Latina, cuando se examinan experiencias tales como las de la General Accounting Office de Estados Unidos y de la National Audit Office de Gran Bretaa, se visualiza con escepticismo este tipo de arreglos institucionales, ya sea por las caractersticas propias del presidencialismo latinoamericano, por razones de conflicto poltico en sistemas multipartidarios y/o por el insuficiente desarrollo institucional y dotaciones de recursos humanos de las contraloras para llevar a cabo programas de evaluacin de la gestin.

38

V.

REFLEXIONES FINALES

El objetivo principal de este documento es sistematizar las principales reflexiones tericas y evaluaciones empricas que han surgido en los ltimos diez aos sobre el uso de los indicadores de evaluacin del desempeo. Considerando que este instrumento se est aplicando, o se est comenzando a implementar, en la mayora de los gobiernos de Amrica Latina se destacan los principales elementos conceptuales, desafos de implementacin y pasos operacionales para la construccin de los indicadores. Los aspectos substanciales de estas temticas que cabe subrayar son los siguientes: 1. La gestin pblica ha evolucionado en las ltimas dcadas desde un modelo burocrtico tradicional al enfoque por resultados. El nuevo modelo no se centra exclusivamente en los insumos del proceso ni en el control externo, sino que se enfoca en los impactos de la accin pblica, donde lo relevante son las metas, los resultados, los indicadores de desempeo y los estndares comparativos de rendimiento. Los criterios orientadores tienen que ver con la planificacin estratgica de los organismos pblicos, el tipo de vinculacin entre la asignacin de recursos y el desempeo institucional, la transparencia del accionar del Estado, y, como corolario de lo anterior, la bsqueda del cambio de cultura organizacional de las entidades pblicas. 2. Este proceso no est exento de dificultades, pues debe enfrentar obstculos en las propias deficiencias actuales (pasar de una cultura de procedimientos a una cultura de resultados, orientada al usuario) y en las limitaciones externas (baja remuneracin de los funcionarios y continuos cambios, que han impedido la emergencia de una estructura orgnica adecuada, con recursos humanos calificados y especializados). 3. La ubicacin institucional de la evaluacin de la gestin pblica dentro del sector pblico depende de las caractersticas de cada pas. No hay una nica respuesta al tema de la ubicacin institucional, pues lo importante es que exista la firme decisin poltica de hacer funcionar los sistemas de evaluacin. Con todo, al tratarse de un instrumento fundamental de la gestin pblica, es recomendable que la responsabilidad de esta funcin se site en los organismos encargados de la planificacin estratgica del Estado, cuyo vnculo con la Presidencia suele ser directo. Por aadidura, no parece apropiado entregar exclusivamente a los responsables del presupuesto la funcin de evaluacin de resultados, pues stos pueden transformarse en jueces y parte del proceso, con el consiguiente riesgo de confundir los objetivos de largo plazo de eficiencia y eficacia de las polticas pblicas con las metas de corto plazo de ajuste fiscal.

39

4. La eficaz incorporacin de estos nuevos sistemas de gestin al aparato pblico conlleva una serie de problemas y desafos estratgicos que es preciso analizar, tanto en la fase de diseo como en la fase de implementacin y evaluacin de los mismos. La transicin a la gestin por resultados ha presentado problemas de medicin ms all de los esperados. Frecuentemente los servicios pblicos en Amrica Latina no tienen sistemas adecuados de informacin, lo que obliga a disear indicadores de resultados de acuerdo a la informacin disponible, la que no necesariamente se refiere a los factores crticos para la consecucin de los objetivos estratgicos. 5. La seleccin y construccin de indicadores de evaluacin del desempeo avanza sustantivamente cuando los organismos pblicos son capaces de formular ejercicios de planificacin estratgica que priorizan los recursos y la atencin del mejoramiento de la gestin sobre aquellos productos que son claves para el cumplimiento de la misin institucional. De igual modo, en la etapa de monitoreo y seguimiento, la metodologa de cuadro de mando integral o balanced scorecard permite interrelacionar en forma sinrgica los indicadores de desempeo para medir en conjunto los logros de los objetivos estratgicos desde el punto de vista de los usuarios, de la institucin, del programa de gobierno, los procesos internos, la innovacin y el aprendizaje. 6. Los esfuerzos de implementacin de sistemas de evaluacin del desempeo son costosos y consumen tiempo y energa. Adems, la dinmica inercial de la asignacin presupuestaria no siempre ofrece incentivos para seguir profundizando el sistema. En numerosos pases la orientacin a los resultados ha servido para modificar tangencialmente prioridades programticas y modificar algunos procedimientos de trabajo, pero slo ocasionalmente sus resultados se incorporan en las decisiones presupuestarias. 7. Los pases anglosajones que llevan ms de una dcada en la implementacin de programas de gestin orientados a los resultados tienen una perspectiva ms crtica que los primeros informes que documentaron las iniciativas de Nueva Zelanda, Australia e Inglaterra. En la actualidad, entre otras limitaciones, estos pases reconocen que la transicin a la gestin por resultados es tanto un problema de medicin como un problema de cambio en la mentalidad a todos los niveles gerenciales. Estos gobiernos han reconocido que el enfoque de sus reformas pblicas ha tenido un foco excesivo hacia la eficiencia y no tanto en la efectividad, con ausencia de vnculos claros hacia las polticas. 8. Los pases de Amrica Latina que estn iniciando la implementacin de iniciativas de gerencia pblica, que contemplan el uso de los indicadores de evaluacin del desempeo como una herramienta de medicin de resultados y de mejoramiento de la gestin, deben considerar la visin crtica sobre las fortalezas y debilidades del proceso por parte de los pases de Amrica Latina y de la OCDE que llevan un camino recorrido con aciertos y errores.

40

Finalmente, es necesario sealar que los procesos de modernizacin del Estado y de cambio de cultura organizacional son de largo aliento. En los pases en que estas reformas han tenido xito, la asociacin de la gestin orientada por resultados a avances sustantivos en tcnicas de presupuestacin plurianual ha fomentado la adopcin de un enfoque de largo plazo en todas las esferas de gobierno. El principal objetivo de una gestin por resultados es entonces apoyar el proceso de formulacin de planes y programas en una visin plurianual, centrando los esfuerzos hacia una adecuada asignacin de los recursos pblicos, fijando criterios tanto en el mbito del gasto corriente como en los sistemas de inversin pblica. La evaluacin de los programas de gasto de capital que ejecuta o que contrata el sector pblico cobra una importancia estratgica, dado su impacto sobre el crecimiento econmico de largo plazo y el desarrollo territorial.

41

VI.

BIBLIOGRAFA

Allen, Richard y Tommasi, Daniel, eds. (2001), Managing Public Expenditure: A Reference Book for Transition Countries, OECD, Pars. Arellano, David; Gil, Jos; Ramrez, Jos y Rojano, ngeles (2000): Reformas presupuestales dirigidas a resultados: Nueva Zelanda, Reino Unido, Australia y Mxico. Una aproximacin crtica., Centro de Investigacin y Docencia Econmicas, Documento de Trabajo 84, Mxico. Banco Mundial (2003): Getting Serious About Meeting the Millenium Development Goals: A Comprehensive Development Framework Progress Report, Washington D.C. (1998): Public Expenditure Management Handbook, Washington D.C. Blondal, Jon (2003): Accrual Accounting and Budgeting: Key Issues and Recent Developments, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES-CEPAL, Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/ SYC_29.pdf CEPAL (1998): El Pacto Fiscal. Fortalezas, debilidades, desafos, Comisin Econmica para Amrica Latina y el Caribe, Naciones Unidas. Cunill, Sonia y Ospina, Nuria (2003): Evaluacin de resultados para una gestin pblica moderna y democrtica: experiencias latinoamericanas. Caracas: CLAD. Direccin de Presupuestos de Chile (2003): Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico. (1995): Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos. Guzmn, Marcela (2001): Evaluacin de Programas e Indicadores de Desempeo Transparencia y Mejoramiento de los Procedimientos para la Discusin Presupuestaria, Direccin de Presupuestos, Ministerio de Hacienda de Chile. (2003): Sistema de Control de Gestin y Presupuestos por Resultados: la Experiencia Chilena, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES-CEPAL Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/ SYC_29.pdf Haggard, Stephan (1995): Reform of the State in Latin America, en The challenges of reform: proceedings of an annual World Bank conference, Burki, Edwards, y Aiyer (eds.), Washington, DC: World Bank. Hernndez, Misael (2002): Evaluacin del desempeo de las organizaciones pblicas a travs de la calidad, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal. Lizana, Leoncio (2002): ABC: Costeo Basado en Actividades, Revista Gerencia, Junio 2002. Kristensen, Jens; Groszyk, Walter y Bhler, Bernd (2002): Outcome-focused Management and Budgeting, OECD Journal on Budgeting, Vol 1, N4, Paris. Mackay, Keith (1998): Public Sector Performance: The Critical Role of Evaluation, World Bank Operations Evaluation Department.

42

Marcel, Mario (1998): Indicadores de Desempeo como instrumento de modernizacin en el Estado de Chile, Perspectivas en Poltica, Economa y Gestin, N 1, Vol. 2, Mayo, Departamento de Ingeniera Industrial de la Universidad de Chile, Santiago de Chile. Ministerio de Economa y Finanzas del Per (2000): Medicin y Evaluacin del Desempeo en la Administracin Pblica, Documento de Trabajo del MEF, Lima. Ministrio do Planejamento, Oramento e Gesto (2002 a): Lei de Diretrizes Oramentrias para 2003: Anexo de Metas e Prioridades, Ley N 10.524 de 25/7/2002, Brasil. (Ver en http://www.planalto.gov.br/ccivil_03/Leis/2002/anexos/L10524-02Anexoii.pdf ) (2002 b): Avaliao Anual do Plano Plurianual: Relatrio Anual de Avaliao do PPA - Exerccio 2001, Brasil. Ver en http:// www.abrasil.gov.br/avalppa/relavalppa2001/default.htm . (2000): Primeira Pesquisa Nacional de Avaliao da Satisfao dos Usurios dos Servios Pblicos, Brasil.http://www.planejamento.gov.br/ arquivos_down/seges/publicacoes/ PrimeiraPesquisaNacional.PDF . Mokate, Karen Marie (2001): Eficacia, eficiencia, equidad y sostenibilidad: qu queremos decir? Instituto Interamericano para el Desarrollo Social INDES, Documento de Trabajo I-24, Washington D.C. Mora, Mario (2003): El Sistema Nacional de Evaluacin de Costa Rica, en Evaluacin de resultados para una gestin pblica moderna y democrtica: experiencias latinoamericanas. Caracas: CLAD. National Center for Public Productivity(1997): A Brief Guide for Performance Measurement in Local Government, Rutgers University Press, New Jersey. New Zealand Treasury (2001), Review of Evidence on Broad Outcome of Public Sector Management Regime, Treasury Working Paper 01/06, preparado por Murray Petrie y David Webber. Ormond, Derry y Lffler, Elke (1999): Nueva gerencia pblica: qu tomar y qu dejar?, Reforma y Democracia, N 13, febrero 1999. Or i Vendrell, Marc (2002): Los instrumentos de gestin de la informacin como motor de cambio hacia una nueva administracin pblica, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal. Ruffner, Michael (2003): Overview of Results-Focussed Management and Budgeting in OECD Member Countries, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPESCEPAL, Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/ LCL1949P/SYC_29.pdf Schick, Allen (1966): The Road to Program and Performance Budgeting: the Stages of Budget Reform, Public Administration Review, vol. 26, Diciembre, American Society for Public Administration. (2002): La Presupuestacin tiene algn futuro?, Serie Gestin Pblica N21, ILPES-CEPAL, Santiago de Chile. http://www.eclac.cl/ publicaciones/Ilpes/6/LCL1736P/lcl1736e.pdf Shack, Nelson (2003): Indicadores de Desempeo en los Organismos Pblicos del Per, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES-CEPAL Santiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/ SYC_29.pdf

43

Turull, Jordi y Vivas, Carlos (2003): El cuadro de mando integral en la administracin pblica: el caso del Ayuntamiento de Sant Cugat del Valls, ponencia presentada en el VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam. Wholey, Joseph y Newcomer, Kathryn (1989), Improving Government Performance, Jossey Bass Public Administration Series, San Francisco, California.

44