ALCALDA MAYOR BOGOT D.C.

Secretara Desarrollo Econmico

Resumen Metodologa para la formulacin de Indicadores para el Seguimiento y la Evaluacin

Secretara Distrital de Desarrollo Econmico Direccin de Estudios Socioeconmicos y Regulatorios Subdireccin de Seguimiento y Evaluacin

2007

De qu se trata este documento: El presente documento es un resumen de la Metodologa para la Formulacin de Indicadores pretende, como su nombre lo indica, proveer una mirada resumida del documento completo de la metodologa, comenzando con el marco conceptual sobre el que se construye la misma. En segunda instancia se proponen acciones a seguir por parte de la Secretara Distrital de Desarrollo Econmico para la implementacin de los indicadores y por ltimo se presenta de forma sucinta, la estructura de la metodologa. Se debe aclarar que aunque la metodologa es de formulacin de indicadores y no de seguimiento y evaluacin, vincula clara y permanente los indicadores con dichas fases del ciclo de la poltica pblica. Los elementos de un Marco Lgico, como metodologa de seguimiento y evaluacin de polticas, programas y proyectos, se encuentran en desarrollo en la Direccin de Estudios Socioeconmicos y Regulatorios de la Secretara Distrital de Desarrollo Econmico y es una aplicacin bsica de los indicadores. Porqu se requiere una metodologa de Formulacin de Indicadores? La toma de decisiones a nivel de polticas est dejando de ser algo alejado de lo tcnico. Es por esto necesario estudiar los mecanismos que sustentan la elaboracin e implementacin de los Planes de Desarrollo a travs de programas, proyectos y acciones. Dentro de los mecanismos tcnicos que se reconocen actualmente, los indicadores son la herramienta ms reconocida para medir el cumplimiento o incumplimiento en el logro de las metas. Es necesario tener en cuenta que no existe una nica frmula a seguir en la construccin de un sistema de seguimiento y evaluacin a travs de indicadores. Es ms bien una construccin permanente y flexible ante las prioridades que fije cada Plan de Desarrollo. Slo algunos parmetros clsicos y bsicos se encuentran en cada ejercicio que se pretenda desarrollar. Para qu se divulga una metodologa de Formulacin de Indicadores? Para que sea conocida y de requerirse, fortalecida en su diseo e implementacin. Aunque en ocasiones prevalezca el inters poltico y la falta de apoyo a la aplicacin de indicadores, precisamente porque los resultados puedan ser desfavorables a intereses particulares, no se debe abandonar la conviccin de que la medicin y el conocimiento constituyen una base importante para retroalimentar los procesos.

CONTENIDO

1. 1.1 1.2 1.3 1.3.1 1.3.2 1.4 1.4.1 1.4.2 1.4.3 1.4.4 1.4.5 1.4.6 1.4.7 2. 3.

MARCO CONCEPTUAL.......4 Qu es un indicador?........................................................................................4 Propiedades de los indicadores..........6 Clasificaciones de los indicadores .....7 Indicadores cuantitativos y categricos..7 Indicadores Simples y Complejos8 Categoras de indicadores..11 Generacin de empleo12 Ciencia y tecnologa.12 Equidad..12 Impacto..12 Gestin...13 Producto.14 Proceso...14 PERSPECTIVA DE APLICACIN EN LA SECRETARA DISTRITAL DE DESARROLLO ECONMICO14 ESTRUCTURA DE LA METODOLOGIA..17

1. MARCO CONCEPTUAL En este aparte se precisan conceptos como indicador, variable, y categora, entre otros; con este tratamiento se pretende unificar conceptos y terminologa y, desde luego, ambientar y socializar el lenguaje que utiliza en la Metodologa de Formulacin de Indicadores. 1.1 Qu es un indicador?

La definicin ms simple de indicador, corresponde a la identificacin de una magnitud numrica referida a un evento, que pone en evidencia la intensidad, situacin o evolucin del mismo. De su tratamiento es posible establecer la explicacin, evolucin y prediccin de un fenmeno estudiado. Su utilizacin se constituye en un instrumento que puede permitir evaluar de manera objetiva aspectos particulares del proceso de ejecucin o de los resultados de una poltica, programa o proyecto, a travs de mediciones de carcter cualitativo o cuantitativo. De igual manera debe permitir un proceso iterativo de informacin, en trminos de que las actividades diseadas para el cumplimiento de objetivos y metas, puedan ser verificadas y analizadas de manera permanente para proveer elementos de juicio frente a su efectividad en el logro de los fines propuestos1. Los indicadores son instrumentos centrales en la gerencia pblica moderna, toda vez que permiten adelantar procesos de seguimiento y evaluacin2. Para efectos conceptuales de la metodologa, monitoreo y seguimiento se asimilan, aunque algunas fuentes como la Comisin Europea en Evaluating EU expenditure programme: a guide to intermediate and expost evaluation, especifican que monitoreo es un examen continuo de los procesos y la generacin de productos de un programa, durante la ejecucin del mismo. Su propsito es ajustar sobre la marcha, posibles cambios sobre los aspectos operacionales del programa monitoreado. El monitoreo usualmente genera datos de forma peridica que pueden ser usados para el seguimiento o la evaluacin. Ejemplo: monitoreo de la actividad de un volcn activo. Un indicador es la representacin cuantitativa que sirve para medir el cambio de una o varias variables, comparadas con otras. Sirve para valorar el resultado medido y para estimar el logro de objetivos de polticas, programas y proyectos. Un buen indicador debe ser claro, relevante con el objeto de medicin y debe proporcionarse

Departamento Nacional de Planeacin. Marco Conceptual del Banco de Indicadores Sectoriales. 2002 El seguimiento es la recoleccin y anlisis continuo de informacin til para tomar decisiones durante la implementacin de una poltica, programa o proyecto, con base en una comparacin entre los resultados esperados y el estado de avance de los mismos. La evaluacin es una valoracin exhaustiva y sistemtica de una intervencin del Estado y sus efectos (positivos o negativos, esperados o no) para determinar su relevancia, eficiencia, efectividad, impacto o sostenibilidad. El objetivo fundamental de evaluar, es incorporar las lecciones aprendidas para mejorar las decisiones relacionadas con mantener, ampliar, reorientar, crear o eliminar una poltica, un programa o un arreglo institucional. (The World Bank- IBRD, Designing and Building a Results-Based Monitoring and Evaluation System, 2000).
2

peridicamente3. Toda variable (o dato) necesita describirse (construccin colectiva de su significado) para que pueda ser agregada en indicadores, y de esta forma ser comparada con otras variables o conjunto de ellas. Resumiendo, un sistema de indicadores se basa en objetivos (los que a su vez se basan en problemas identificados) y metas4. Las metas (lo que se pretende lograr de manera cuantitativa y cualitativa en un tiempo determinado), como aspiraciones a conseguir, precisan de objetivos para que se materialicen. Los objetivos convierten la misin de las administraciones y de las organizaciones (la razn de ser que tienen) en metas especficas a alcanzar y se crean representaciones numricas que ayudan a realizar un seguimiento del rendimiento. Los objetivos son aspiraciones que una organizacin o una administracin pretenden alcanzar (por ejemplo, reducir el nivel de pobreza o mejorar las condiciones de vida en una zona determinada). Los objetivos provienen de los efectos del problema identificado a resolver. Por ejemplo, respecto a la meta de mejorar las condiciones de vida, se podra formular un objetivo especfico como el de aumentar en un 5 por ciento para el ao x la cobertura de agua potable en una zona determinada. Los objetivos son los impactos o los resultados de largo plazo que las polticas pblicas intentarn alcanzar. Los objetivos se formulan de forma genrica e indican un propsito general. Los objetivos5 especficos aaden informacin sobre el quin, qu, dnde y cundo e incluyen informacin especfica de cunto se va a conseguir para un momento temporal determinado. El objetivo es medible gracias a la meta. Esta medicin se puede lograr a travs de una encuesta realizada en diferentes periodos de tiempo, para comprobar si el objetivo se cumpli. Un objetivo es alcanzable si es factible que se produzca el resultado esperado en el tiempo establecido. La relevancia es otra caracterstica que debe predicarse de un buen objetivo. En primer lugar, habra que identificar para quin es relevante un objetivo y a continuacin, debera identificarse el mecanismo que permitir alcanzar las aspiraciones consideradas relevantes por un actor. Por ejemplo, se puede querer reducir el nmero de vctimas mortales por accidentes de trfico en las vas de la ciudad en un 3% para diciembre de 2007 pero sto no es relevante para la polica local, que no tiene competencias en la materia y no puede hacer nada al respecto. Un objetivo es relevante para un determinado grupo u organizacin que puede hacer algo
Departamento Nacional de Planeacin. Gua General para Elaborar Indicadores. 2003 Con base en el Marco Conceptual del Banco de Indicadores Sectoriales del DNP 5 Se dice que estos objetivos estn bien definidos si pasan el test SMART (ESpecficos, Medibles, Alcanzables, Relevantes, Temporales, procedente del acrnimo ingls de SMART (inteligente) que se traduce por Specific Measurable Attainable Relevant Timely).
4 3

por modificar la situacin en determinado tiempo, y as, determinar las acciones requeridas hacia el cumplimiento de metas. Unido a lo anterior, la dimensin temporal se refiere a la necesidad de indicar una fecha en la definicin del objetivo. En esta fecha se comprobar si se han alcanzado los resultados esperados, mediante la medicin de un indicador. En conclusin, se tiene que un indicador es un conjunto de relaciones entre variables que permiten conocer una situacin determinada en forma continua (es una seal). A travs de los indicadores se puede conocer el cambio o el comportamiento de una variable respecto de otra pero no es una simple correlacin sino una causalidad lo que se busca con la medicin. 1.2 Propiedades de los indicadores

Las cualidades ms representativas son las siguientes6: Validez : Deben reflejar y medir los efectos y resultados del programa o proyectos, y los factores externos a stos. Pertinencia: Deben guardar correspondencia con los objetivos y la naturaleza del programa o proyecto, as como con las condiciones del contexto (Medio social) en donde se gestiona. Demostrables: Deben evidenciar los cambios buscados. Relevancia: Deben servir efectivamente al usuario para la toma de decisiones. Es decir, deben captar un aspecto esencial de la realidad que buscan expresar, en trminos descriptivos y en su dimensin temporal, teniendo en cuenta que su importancia se dar segn el momento en el que brinden resultados; en otras palabras, pueden ser irrelevantes en determinado momento. Representatividad: Deben expresar efectivamente el significado que los actores le otorgan a determinada variable. Confiabilidad: Las mediciones que se realicen, por diferentes personas deben arrojar los mismos resultados. Sensibilidad: Deben reflejar el cambio de la variable en el tiempo, es decir, debe cambiar de forma efectiva y persistente a lo largo del periodo de anlisis. Fcticos: Deben ser objetivamente verificables. Eficiencia: Deben ser exactos al expresar el fenmeno. Suficiencia: Por s mismos, deben expresar el fenmeno, sin ser redundantes. Flexibilidad: Con la virtud de adecuarse a la realidad de lo que se pretende medir y a la disponibilidad y confiabilidad de la informacin.

Igualmente se enuncia en documentos como el de Salvatore Chiavo-Campo Performance in the Public Sector, que seleccionar la crema de los indicadores, resulta de aplicar las letras de dicha palabra para cada uno de los indicadores que se

DNP. Marco Conceptual del Banco de Indicadores Sectoriales. 2002 6

pretenda seleccionar, as: C R E M A 1.3 Claro Relevante Econmico Monitoreable Adecuado (Entendible) (Oportuno) (Medirlo no debe ser muy costoso) (Se puede validar) (Provee suficientes bases para medir)

Clasificaciones de los indicadores

1.3.1 Indicadores cuantitativos y categricos Los indicadores son una representacin, cuantitativa (ordinal) o categrica (descriptiva o cardinal) de las actividades, los productos y los impactos de una organizacin o un conjunto de organizaciones (administracin) que se desarrollan en el marco de sus polticas (articuladas en planes, programas y proyectos). Igualmente, comparan las condiciones presentes en relacin con unas condiciones pasadas y una situacin deseada (metas) y manifiestan hasta qu punto una Secretaria, Alcalda o entidad, ha alcanzado los objetivos propuestos. Las variables de los indicadores son cuantitativas y cualitativas. Proveen un medio para medir resultados de las metas reflejando los cambios de una intervencin o para medir la gestin frente a un objetivo planteado. Los indicadores se necesitan para monitorear el progreso respecto a las actividades, objetivos, productos y metas7. Aquellas variables cualitativas, o mejor, categricas, en tanto permiten establecer si el resultado est en un rango bueno, regular o malo, igualmente debern ser numricas; por ejemplo, bienestar podr ser una variable medida que se califica a travs de encuestas a los afectados por una intervencin. Cabe anotar que los umbrales son los niveles ptimos y el rango que se establece entre dichos niveles ptimos (tambin llamados mejores prcticas), es el espacio en el que se debe mover el resultado de un indicador para que se pueda categorizar como aceptable8. Todo indicador cuantitativamente puede ser presentado como cifra absoluta, porcentaje y otras medidas estadsticas (promedios9, mediana10, moda11, etc.). En definitiva, los indicadores sirven para observar y medir los cambios cuantitativos (mayores o menores) y categricos (positivos o negativos) que presenta cierta variable, en determinado momento del tiempo o entre periodos de tiempo.

Rist y Kuzek. Diez pasos hacia un Sistema de Seguimiento y Evaluacin. Banco Mundial. 2004 Basado en Universidad Nacional. Centro de Investigaciones para el Desarrollo (CID) Autorregulacin, Transparencia y Visibilidad del Sistema de Educacin Superior. 9 Promedio aritmtico: suma de los datos sobre el total 10 Mediana: dato que se localiza en la mitad de la muestra 11 Moda: dato que ms se repite
8

1.3.2. Indicadores Simples y Complejos Los indicadores requieren ser construidos tomando en consideracin el espacio, el contexto, la especificidad y el colectivo del plan, poltica, programa o proyecto que evalan, y esto influye en su simplicidad o complejidad. Los indicadores pueden ser distinguidos por su grado de complejidad: un carcter que depende del grado de elaboracin terica y/o prctica y el grado de dificultad de su cmputo o clculo. Sobre esta posible clasificacin, una propuesta de categorizacin con base tanto en la dificultad conceptual como en la complejidad computacional es la que aparece en la tabla que a continuacin se presenta; proporciona algunos indicadores generales como ejemplos, habitualmente utilizados en la valoracin de la poltica pblica. Ilustracin 1. Indicadores simples y complejos - Excedentes econmicos (Excedente del consumidor); - Indicadores socioeconmicos basados en descomposicin factorial; - Indicadores socioeconmicos basados en reduccin espacial - Coeficiente de Gini. - Elasticidades de precio propio e ingreso - Indicadores simples: - Relaciones; - Proporciones comunes; - Comparaciones de variables estticas o dinmicas Complejidad Computacional (+) (-) - Medidas Hicksianas de cambio en el bienestar: Variaciones equivalentes (VE) y compensadoras (VC); - Elasticidades de sustitucin, de transformacin, elasticidad de Armington. - Elasticidades de precio cruzadas - Indicadores lderes;

(-) Complejidad Bsica:

- Indicadores sintticos sobre desarrollo y nivel de vida: ndice de Desarrollo Humano (IDH), ndice de Bienestar Econmico Sostenible (IBES), ndice Genuino de Progreso (IGP). - Coeficiente de Entropa de Theil. Complejidad Conceptual (+)

En la celda al extremo sudoeste (-,-) aparecen los indicadores ms simples (motivo y objeto de la metodologa que mediante este escrito se resume), esto es, aquellos cuya formulacin conceptual as como su computacin y lectura es fcil, rpida y autocontenida. Son aquellas relaciones que se usan corrientemente para medir proporciones entre variables que miden los objetivos propuestos frente a los alcanzados, idealmente partiendo de una lnea de base. Los indicadores simples son relaciones estticas o dinmicas en la medida que se involucre o no la variable

tiempo. Para desarrollar este tipo de indicadores, motivo central de esta metodologa, se presentarn los elementos ms adecuados para ello en siguientes numerales. Complejidad Pura: En la celda del extremo noreste (+,+) estaran aquellos indicadores con un contenido conceptual complejo y altos niveles de dificultad en su implementacin aritmtica. Un ejemplo corriente tiene que ver con las variaciones equivalentes y compensatorias de Hicks12, las Elasticidades13 de Precio Cruzadas o de Sustitucin14: Igualmente se encuentran en esta categora la elasticidad de Armington o Elasticidad de Transformacin. Lo propio sucede con los llamados indicadores lderes o indicadores coincidentes de la actividad econmica cuyo propsito es proveer al tomador de decisiones de un aparato suficiente para la caracterizacin y prediccin de la actividad econmica agregada, a partir de un conjunto de relaciones entre variables. Los indicadores lderes (coincidentes) se basan corrientemente en la combinacin lineal de indicadores macroeconmicos individuales (las funciones agregadas de consumo, ahorro, inversin, etc.) En sntesis, un Indicador Lder es un ndice sinttico (resumen o agregacin de indicadores en una frmula) en la medida que la informacin que se traduce en frmulas matemticas se construye con otros indicadores (medidos con informacin secundaria) que nos permite inferir las tendencias o estimar un crecimiento a nivel de actividad econmica.

Complejidad Computacional Pura: Entre los indicadores con elementos tericos poco complicados, pero de difcil implementacin emprica o matemtica, se tiene, por ejemplo, la disponibilidad a
12 13

Ver por ejemplo, Silberberg and Suen (2003), Mas-Colell et. alli. (1995), Varian (1993) entre otros. Elasticidad: En algn sentido puede entenderse como una derivada, medida en trminos relativos.

En general, dada la relacin funcional sigue:

y = f ( x ) , la elasticidad de y respecto de x , se expresa como

y,x =

dy y

dx x

dy x dx y

Que mide el cambio relativo en la variable dependiente, dado un cambio relativo en la variable dependiente. Algunas elasticidades simples, ampliamente utilizadas con fines descriptivos y analticos en economa son, por ejemplo las elasticidades precio propio e ingreso de la demanda. La primera es el cambio relativo de la demanda de una mercanca dado un cambio relativo en su precio en tanto que la segunda mide el cambio relativo de la demanda de un bien en relacin con el cambio relativo en el ingreso del consumidor. Hay, por supuesto, elasticidades ms especializadas y complejas. 14 Silberberg and Suen (2003) 9

pagar de un consumidor, el Excedente del Consumidor, el rea por debajo de la funcin de demanda de una mercanca, por encima del precio15, y las Variaciones Equivalentes16 y Compensatorias17. Aqu se puede incluir el indicador de SISBEN, que no es otra cosa que una combinacin lineal entre categoras que definen el nivel de vida de un individuo o grupo de individuos, y los indicadores socioeconmicos basados en reduccin espacial (manteniendo las caractersticas de las variables, se agregan en vectores). Otro ejemplo es el ndice de Condiciones de Vida (ICV), ampliamente utilizado para complementar los ndices de Necesidades Bsicas Insatisfechas (NBI) y de Lnea de Pobreza (LP), Adicionalmente se presenta en esta clasificacin, el Coeficiente de Gini18. El coeficiente de Gini es un nmero entre 0 y 1, en donde 0 se corresponde con la perfecta igualdad (todos tienen los mismos ingresos) y 1 se corresponde con la perfecta desigualdad (una persona concentra todo el ingreso y todos los dems ninguno). En general en este nivel de complejidad menor conceptual con algn grado de dificultad matemtica, podemos analizar el concepto del Bienestar: Se refiere al nivel alcanzado en la satisfaccin de las necesidades bsicas fundamentales de la sociedad, que se expresan en los niveles de educacin, salud, alimentacin, seguridad social, vivienda, desarrollo urbano y medio ambiente. Complejidad Conceptual Pura: Entre los indicadores de baja complejidad computacional pero alta dificultad conceptual se proponen, a manera de ejemplo, algunos indicadores sintticos como el ndice de Desarrollo Humano (IDH), el ndice de Bienestar Econmico Sostenido (IBES) que es sencillamente la funcin de gasto19 del consumidor. La Metodologa para la Formulacin de Indicadores se concentra en los indicadores simples en tanto que para la construccin de indicadores complejos existe, para cada tipo de indicador, una metodologa diferente. Esto no implica que la Direccin de
Diferencia entre la cantidad que un consumidor est dispuesto a pagar por un bien y la que paga realmente. El Excedente del Consumidor es un indicador de Bienestar. 16 Es una medida de utilidad que emplea como base los precios actuales y se pregunta qu variacin de la renta con base en estos precios sera equivalente a la variacin propuesta en funcin de su influencia en la utilidad. Fuente: Varian. 17 Es una medida de utilidad que utiliza como base los nuevos precios y se pregunta qu variacin de la renta sera necesaria para compensar al consumidor por la variacin de precios. La compensacin se produce despus de algunos cambios, por lo que la variacin compensatoria parte de los precios vigentes despus del cambio. Fuente: Varian. 18 Medina, Fernando. 2001. Consideraciones sobre el ndice de Gini para medir la concentracin del ingreso. CEPAL, Santiago de Chile 19 Indica el costo mnimo de alcanzar un nivel fijo de utilidad, esta funcin es totalmente anloga a la funcin de costos. Fuente: Varian 10
15

Estudios Socioeconmicos de la Secretara Distrital no desarrolle indicadores complejos, solo que la pretensin, como se anot anteriormente, es la de ofrecer una metodologa para la construccin de indicadores simples que permitan medir categoras como gestin o impacto, lo que ser explicado en captulos posteriores. 1.4 Categoras de indicadores Las categoras son las dimensiones que pretendemos medir. Son agrupaciones de indicadores que contribuyen a medir un mismo propsito. Existen varias categoras en una amplia bibliografa y en el manejo conceptual de entidades o acadmicos, tales como Indicadores de Calidad20, Presin21, Estado22, Resultado23, Proceso, Impacto, Gestin, Equidad, Ciencia y Tecnologa, Generacin de Empleo, Evaluacin Financiera y Evaluacin Econmica24, Eficiencia del Gasto25, Eficacia26, Insumo27. La determinacin de una u otra categora depende del esquema de la accin institucional en el cumplimiento de los objetivos de desarrollo. Con el fin de determinar las categoras ms oportunas para el caso de la Secretara Distrital de Desarrollo Econmico, podemos definir las categoras segn los siguientes criterios: Evitar duplicidad Suficiencia Proveer informacin segn nivel a quien est dirigido (directivo a operativo) Ofrecer informacin a partir de la estructura de la fase de la planeacin en estudio (poltica, programa, proyecto, actividad, insumo) Relacin con los temas transversales que debe impulsar la SDDE (ej. Empleo, Competitividad, Equidad ante la generacin de oportunidades, etc)

As las cosas, se propone trabajar las siguientes siete categoras: Producto, Gestin, Proceso, Impacto, Generacin de Empleo, Equidad, Ciencia y Tecnologa. Igualmente

Segn CEPAL: es una dimensin especfica del desempeo que se refiere a la capacidad de la institucin para responder en forma rpida y directa a las necesidades de sus usuarios. Son extensiones de la calidad factores tales como: oportunidad, accesibilidad, precisin y continuidad en la entrega de los servicios, comodidad y cortesa en la atencin. Para esta Metodologa se asimila a Gestin. 21 Segn el Sistema de Planificacin y Seguimiento Ambiental, Sipsa, del DNP, mide las causas del fenmeno a estudiar. 22 Igualmente, en el Sipsa se encuentra la definicin: Mide el comportamiento de las variables en un momento actual que permite definir un diagnstico. 23 Inmediatos, intermedios o finales (estos son lo de Impacto), provenientes de los productos. Miden el desarrollo de la Gestin Institucional, por eso se asimilan en esta Metodologa, a Gestin. 24 Basada en los indicadores de costo-eficiencia, costo-beneficio, tasa interna de retorno y costo anual equivalente, a precios de mercado y a precios sombra o econmicos, respectivamente. 25 Miden el gasto frente a lo presupuestado. Eficiente ser quien ejecute todo lo programado. 26 Se asimila a Impacto en la medida que mide el cumplimiento de objetivos. 27 Cuantifica los recursos utilizados en la produccin de los bienes y servicios.

20

11

se propone emplear los indicadores segn pretendamos abordar una visin del proyecto, programa o poltica, as: Visin o momento del estudio MONITOREO SEGUIMIENTO EVALUACION Categora de Indicadores GESTION PROCESO PRODUCTO GENERACION DE EMPLEO CIENCIA Y TECNOLOGIA EQUIDAD IMPACTO

Lo anterior no es una camisa de fuerza, es ms bien una gua para ordenar los conceptos y para manejar en lo posible un nico lenguaje, que es uno de los fines de una metodologa de estas caractersticas. 1.4.1 Generacin de empleo Se incluye con el fin de medir en que proporcin se ha generado empleo directo e indirecto (en sus definiciones tales como subempleo o empleo formal, entre otras). Esta categora es fundamental para estudios que se requieran realizar a partir del seguimiento a polticas, programas y proyectos por parte de cualquier entidad o interesado, especialmente por parte de la Secretara Distrital de Desarrollo Econmico. 1.4.2 Ciencia y tecnologa Indicadores que pretenden medir la inversin pblica realizada en ciencia y tecnologa, teniendo en cuenta que es un tema fundamental de la competitividad, como componente del desarrollo socioeconmico. 1.4.3 Equidad Se incluye esta categora para medir la proporcin de mujeres y hombres frente a los propsitos de poltica que se encuentran en el Plan de Desarrollo. Esta categora se plantea para analizar de forma ms sencilla los resultados de las acciones que frente al tema se deben obtener como un pilar del desarrollo socioeconmico. 1.4.4 Impacto Esta categora de indicadores mide la efectividad del resultado, en trminos de logro de objetivos econmicos, sociales, polticos, culturales y/o ambientales en beneficio de una poblacin objetivo. Un indicador de impacto es la representacin cuantitativa o cualitativa de una variable en relacin con otra, que permite medir los beneficios generados por una poltica,

12

programa o proyecto, sobre la poblacin. Los efectos de largo plazo medidos, son aquellos directamente atribuibles a dicha poltica, programa o proyecto especfico. Incluye impactos positivos y negativos, producidos directa o indirectamente por una intervencin, sean estos intencionales o no28. Estos indicadores miden el cumplimiento del fin ltimo y objetivo central o general esperado, con la entrega de los bienes y servicios, que es el mejoramiento en las condiciones de la poblacin objetivo. En lneas generales, cuanto ms alto es el nivel jerrquico de los objetivos y, consecuentemente de los indicadores, existen mayores posibilidades de que stos sean de impacto29. La categora impacto es la madre de las dems cuando de evaluar polticas se trata. 1.4.5 Gestin Un indicador de Gestin permite medir los procesos, acciones y operaciones adelantados en la etapa de implementacin de una poltica, programa o proyecto. Al medir gestin, se est midiendo la gerencia de una entidad o programa, por lo que los indicadores deben estar relacionados con lo que el gerente puede intervenir. Se podr decir entonces que la empresa o entidad es eficiente en su gestin aunque la poltica no sea eficaz o no logre su impacto. En palabras coloquiales, la gestin es pedirle manzanas al manzano y medirlo por esto. Un indicador de gestin debe ir ms all de relacionar lo ejecutado frente a lo programado, porque lo programado puede no estar bien elaborado. As las cosas, estos indicadores deben involucrar en su anlisis los productos obtenidos frente al esfuerzo adelantado. La gestin permite obtener insumos para explicar el impacto. Ahora, cuando los indicadores sean utilizados para comparar entidades con una evaluacin de la gestin, ser necesario tener en cuenta conjuntos homogneos de instituciones, con el fin de no terminar comparando instituciones dismiles. Tal y como lo indica la Universidad Nacional en el documento Autorregulacin, Transparencia y Visibilidad del Sistema de Educacin Superior, el problema radica en definir los aspectos o variables que permitan la clasificacin y que la utilizacin de dichas variables no terminen siendo una valoracin per se, sino que permitan contar con elementos de comparacin homognea y objetiva. 1.4.6 Producto Los indicadores de producto miden la eficiencia de los bienes o servicios que se obtienen con un programa, proyecto o accin. Los indicadores de producto muestran
28

Con base en World Bank, Performance monitoring Indicators. A handbook for task managers. Operations Policy Department. Washington D.C.1996 29 Gapi y DEPP. DNP. Gua para la elaboracin de indicadores. 2003 13

los bienes y servicios de manera cuantitativa que han sido producidos y provistos por un organismo pblico a travs de una accin gubernamental. Es el resultado de una combinacin especfica de insumos por lo cual dichos productos estn directamente relacionados con ellos. Por s solo un indicador de producto no da cuenta del logro de los objetivos o de los recursos invertidos en la generacin de productos o servicios. 1.4.7 Proceso Los indicadores de procesos son aquellos que miden el desempeo de las actividades vinculadas con la ejecucin o forma en que el trabajo es realizado para producir los bienes y servicios, tales como procedimientos de compra o procesos tecnolgicos. Estos indicadores son tiles para la evaluacin del desempeo en mbitos donde los productos o resultados son ms complejos de medir, como por ejemplo, actividades de investigacin, culturales, etc. Es importante insistir que los indicadores de proceso, si bien pueden no ser adecuados para ser incorporados en el informe que acompaa al presupuesto institucional que va hacia la autoridad financiera o al Concejo, son muy tiles para identificar los aspectos centrales de la gestin del servicio pblico30. 2. PERSPECTIVA DE APLICACIN EN LA SECRETARA DISTRITAL DE DESARROLLO ECONMICO El empleo de indicadores permite orientar la gestin pblica al logro de resultados dado que los sistemas democrticos actuales cada vez buscan ms su legitimacin frente a lo esperado de su actuacin poltica. En este documento se han expuesto los elementos que debera tener todo sistema de indicadores en el marco del seguimiento y la evaluacin pero se debe tener en cuenta que un sistema de indicadores se soporta en buena medida en tecnologas de informacin y comunicaciones, colaborando a analizar y comunicar la informacin sobre el cumplimiento de las polticas, los programas y los proyectos. No en vano una de las funciones de la Secretara de Desarrollo Econmico es crear y administrar un Banco de Datos que soporte el seguimiento y evaluacin de polticas con base en indicadores y estadsticas. Con el fin de aumentar la transparencia de la actuacin pblica de forma considerable ser necesario tener en cuenta los estndares de los entornos Web que son cada vez ms similares y homogneos entre s. El empleo de sistemas de indicadores en estos entornos facilita la comunicacin entre entidades pblicas del mismo mbito gubernamental y de distintos niveles de administracin. El diseo e implementacin de indicadores en una institucin pblica, enfrenta muchos

30

Basado en CEPAL. Indicadores de Desempeo en el sector pblico 14

desafos, y uno de los ms reconocidos tiene que ver con el levantamiento de los datos que permitirn construir los indicadores o establecer los referentes (metas, benchmarking, etc.) 31. Los sistemas de informacin se construyen con base en varios componentes, entre ellos: el metodolgico (marco lgico de la construccin de la informacin), el procedimental (establecimiento de los responsables, los tiempos, los roles, y dems procesos requeridos para la operacin del sistema) y el informtico. Este ltimo se entiende como el conjunto de datos organizados y procesados que se emplean en los diferentes niveles organizacionales como soporte para la toma de decisiones. Dichos niveles organizacionales requieren informacin especfica de acuerdo con su labor en la institucin, para lograr un desempeo satisfactorio: la alta direccin de la organizacin requiere poca pero sustanciosa informacin, expresada en trminos de ndices o seales; por su parte, el nivel ejecutivo requiere informacin agregada expresada en indicadores simples y complejos, mientras el nivel operativo requiere datos primarios y procesados. El anlisis de los entre las metas circunstancias de realiza a partir de de anlisis: resultados obtenidos una vez que se ha realizado la comparacin y lo efectivamente logrado, implica preguntarse las razones y porqu se obtuvo ese nivel de resultado. La evaluacin que se los resultados obtenidos, entrega insumos para los siguientes tipos

Revisar las metas que fueron definidas, estableciendo si stas fueron o no realistas. Priorizar la asignacin de los recursos hacia determinados programas o productos. Justificar la asignacin de mayores recursos. Disminuir o abandonar los programas o la provisin de determinados bienes y servicios por otras alternativas ms eficientes y eficaces.
No est por dems sealar que los indicadores pueden en ocasiones generar resultados aparentemente contradictorios. Por ejemplo, en el caso que se analice la meta de aumentar la cobertura de raciones alimenticias en un Programa de Alimentacin Escolar, debe traer aparejado el anlisis de s stas se lograron cumpliendo la meta de mantener el mismo nivel de caloras, el costo unitario de stas, as como con los niveles de satisfaccin de los usuarios. Si el indicador de cobertura disminuye en el tiempo, supondra ineficiencia aun cuando se pueda demostrar que el costo de las raciones disminuyeron debido a economas de escala, por acuerdos de agremiaciones, subsidios gubernamentales y/o nuevos sistemas de operacin. Entonces, la disminucin de la cobertura no se deber a aumentos de costos que es algo que se podra concluir a primera vista, de manera contradictoria; se deber a otra razn que otro indicador nos dar. El anlisis de las medidas de eficacia aportan informacin til a la rendicin de cuentas desde las siguientes perspectivas:
31

Basado en Gapi. DNP. Marco Conceptual del Banco de Indicadores Sectoriales. 2002 15

 Si los programas son idneos respecto de otras alternativas para conseguir los mismos objetivos Si se presentan desviaciones entre los productos obtenidos y los esperados (medidas de cobertura, focalizacin, capacidad de cubrir la demanda, etc.). A partir de la interpretacin de la evaluacin del desempeo a nivel de eficacia, es importante dar explicaciones porque se producen las diferencias. Algunas posibles causas pueden ser:
a. Se sobre o sub estim la capacidad de brindar los efectos esperados de largo plazo o impactos en la poblacin destinataria. b. Hubo una mayor demanda por factores exgenos frente a la planeada. c. Se sobre o sub estim la capacidad de proveer los bienes y servicios. En resumen, el anlisis pertinente es identificar las razones del incumplimiento. Si se habla por ejemplo de una disminucin de la produccin, esto se puede dar por razones externas tales como una huelga, o por razones al interior de la organizacin derivadas de un problema tecnolgico relativo a un proceso, o bien por una inadecuada programacin de las actividades. La Metodologa para Formular Indicadores para el Seguimiento y la Evaluacin, es por si misma, una gua que le permite a funcionarios e interesados, plantear formulas que midan las dimensiones requeridas de un plan, poltica, programa y/o proyecto. Los indicadores se constituyen en la herramienta bsica del seguimiento y la evaluacin, y en este sentido, las tareas que le corresponden a la Secretara Distrital de Desarrollo, son: 1. Socializar la metodologa y capacitar en su contenido de tal suerte que se consiga una estandarizacin en el lenguaje y una conceptualizacin unificada. 2. Materializar la formulacin de indicadores por parte de aquellos responsables de los proyectos y programas que dan vida a las polticas y planes. De igual manera, en cumplimiento de las funciones propias de la Direccin de Estudios Estratgicos y Regulatorios, sta podr acompaar el diseo o proponer indicadores, los cuales, una vez concertados, debern ser medidos por los responsables mencionados. 3. Disear y operar un Sistema de Seguimiento y Evaluacin que involucre dichos indicadores, nutrindose de la informacin reportada en otros sistemas que operen en el Distrito cuando sea posible, o de manera directa por los responsables identificados. 4. Disear e implementar un Marco Lgico que rena los objetivos, metas e indicadores de las polticas, programas, proyectos y productos relacionadas con los fines de la SDDE. Este Marco ser el insumo bsico del Sistema de Seguimiento y Evaluacin. 5. Crear un Inventario de Indicadores. Para esto se propone, en el apartado 2.3 de la Metodologa para Formular Indicadores para el Seguimiento y la Evaluacin, una
16

estructura. La intencin del inventario es relacionar los indicadores de manera ordenada para lograr una bsqueda gil, adems de servir de consulta para aquellos que se encuentren interesados en emplear indicadores sin tener que volver a formularlos. Este inventario debe ser parte del Sistema de Seguimiento y Evaluacin. 6. Elaborar Hojas de Vida de los indicadores. Esto con el fin de documentar cada indicador e informar con absoluta claridad, de que se trata el mismo en trminos de su categora, frmula, variables, unidad de medida, lo que pretende medir, las dificultades de su medicin, entre otros aspectos. Este trabajo debe ser parte de la construccin del inventario al que se hizo referencia en el punto anterior. El formato de la Hoja de Vida se encuentra en el captulo 2.4 de la Metodologa. 7. Elaborar estudios estratgicos de evaluacin que provean no solo la mirada de lo existente, sino recomendaciones para ajustar o para continuar lo que se viene desarrollando eficazmente, a la vez de recoger experiencias para futuras formulaciones de planes, polticas, programas y proyectos. Al recomendar, ser necesario determinar las implicaciones prcticas del desarrollo de dichas recomendaciones. 3. ESTRUCTURA DE LA METODOLOGA La Metodologa est compuesta por los siguientes pasos, mdulos y formatos: Paso 1. Porqu se quiere medir? Modulo I. Valoracin Inicial Formato 1: Valoracin Inicial-Determinacin de Incentivos Formato 2: Valoracin Inicial-Determinacin de roles, responsabilidades y estructuras Paso 2: Qu se quiere medir? Modulo II. Identificacin Formato 3: Identificacin Paso 3: Cmo seleccionar el indicador? Modulo III. Seleccin de Indicadores Formato 4: Seleccin de Indicadores Paso 4: Qu informacin se requiere para el seguimiento y la evaluacin? Modulo IV. Establecimiento de metas Formato 5: Establecimiento de metas Modulo V. Unin poltica-programa-proyecto Formato 6: Unin poltica-programa-proyecto. Recursos-Metas Formato 7: Unin poltica-programa-proyecto. ndice de Cumplimiento Formato 8: Unin poltica-programa-proyecto. ndice de Cumplimiento Total Formato 9: Unin poltica-programa-proyecto. Anlisis y conclusiones

17