Libro Politicas y Programas Sociales Noel

El Sistema de Evaluacin y Seguimiento de las Polticas y Programas Sociales: la experiencia del Ministerio de Desarrollo Social y Lucha contra el Hambre
del Brasil
Jeni Vaitsman Roberto W. S. Rodrigues Rmulo Paes-Sousa Management of Social Transformations
Policy Papers /17
Colaboradores del Ministerio de Desarrollo Social y Lucha contra el Hambre Caio Nakashima Carlos Eduardo de Andrade Brasileiro Danielle Oliveira Valverde Glucia Alves Macedo Jomar lace Santana Juliana Guimares Jnia Valria Quiroga da Cunha Marcelo Gomes Gadelha Mnica Rodrigues Sarah Santiago Gerhard
Consejo Editorial de la UNESCO en Brasil Vincent Defourny Bernardo Kliksberg Juan Carlos Tedesco Adama Ouane Clio da Cunha
Coordinacin del rea de Ciencias Humanas y Sociales de la UNESCO en Brasil responsable por el Acuerdo con el MDS Marlova Jovchelovitch Noleto Rosana Sperandio Pereira
Los autores son responsables por la opcin y presentacin de los hechos que contiene este libro, as como por las opiniones que expresa el mismo, que no son necesariamente las de la UNESCO, ni comprometen a su organizacin. Las indicaciones de nombres y la presentacin del material a lo largo de este libro no implican que se manifieste cualquier opinin por parte de la UNESCO respecto a la condicin jurdica de cualquier pas, territorio, ciudad, regin o de sus autoridades, ni tampoco la delimitacin de sus fronteras o limites.
Publicado en 2006 por la Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura Representacin en Brasil SAS, Quadra 5, Bloco H, Lote 6, Ed. CNPq/IBICT/UNESCO, 9 andar 70070-914 - Braslia - DF - Brasil Tel.: (55 61) 2106-3500 Fax: (55 61) 322-4261 Site: www.unesco.org.br BR/2006/PI/H/19 E-mail: grupoeditorial@unesco.org.br
UNESCO 2006 Impreso en Brasil
Tabla de Contenidos
Presentacin Introduccin Abstract
5 7
El Sistema de Evaluacin y Seguimiento de las Polticas y Programas Sociales: la experiencia del Ministerio de Desarrollo Social y Lucha contra el Hambre del Brasil
11 13
1. El Contexto Institucional y Organizacional El Contexto Institucional 13 El Contexto Organizacional 15 2. El Acuerdo Conceptual y Metodolgico
21
3. El Sistema de Evaluacin y Seguimiento 27 El Subsistema de Seguimiento 27 Organizacin de la Base de Datos 28 Desarrollo de Herramientas 28 La Construccin de Indicadores 30 Desarrollo de Herramientas de Informacin 32
Diccionario de Variables e Indicadores
32 Diccionario de Variables 34 Diccionario de Indicadores 34 Diccionario de Programas 34 Diccionario de Fuentes 34

de Programas (DICI-VIP) Matriz de Informacin Social (MI Social)
36
38 Trminos de Referencia 39 Seguimiento de los Estudios 39

El Subsistema de Evaluacin
Resultados
41 43
4. Consideraciones Finales
Lista de Siglas
47 49 50
Referencias Bibliogrficas
Anexo I Breve Descripcin de los Programas del MDS Anexo II Minuta del Decreto Ministerial sobre la Poltica de Evaluacin y Seguimiento del MDS Anexo III Recursos Humanos
53
61
Anexo IV Recursos Invertidos en Investigaciones y Programas
63 64
Anexo V Estudios Contratados Anexo VI Publicaciones
75
Presentacin
La UNESCO en Brasil se complace en publicar, en el marco del Management of Social Transformations Programme (MOST), la primera edicin de la serie especial sobre experiencias gubernamentales brasileas en polticas pblicas de corte social. Esta publicacin, realizada en colaboracin con la Secretara de Evaluacin y Gestin de la Informacin del Ministerio de Desarrollo Social y Lucha contra el Hambre de Brasil (SAGI/MDS), inaugura esta serie, iniciativa del Sector de Ciencias Humanas y Sociales (Desarrollo Social) de la UNESCO en Brasil, que se realizar en colaboracin con diferentes rganos gubernamentales brasileos. Al tiempo que reconoce el valor de tales experiencias, el Sector de Ciencias Humanas y Sociales realiza una de sus principales misiones: difundir el conocimiento y promover la cooperacin intelectual, con el fin de facilitar transformaciones sociales en lnea con los valores universales de justicia, libertad y dignidad humana. La UNESCO cree que el uso de una herramienta como el MOST puede mejorar los resultados alcanzados con esa misin. Creado por la UNESCO en 1994, dentro del Sector de Ciencias Humanas y Sociales (SHS), el MOST es un programa de investigacin social cuyo objetivo principal radica en la creacin de puentes entre los investigadores, los responsables de la elaboracin y la adopcin de polticas y la prctica, para contribuir al desarrollo de polticas pblicas eficientes que verdaderamente puedan transformar la realidad de los pases. En ese sentido, esta publicacin est estrechamente relacionada con la misin y los objetivos de ese programa. Se trata del relato de una de las experiencias de mayor xito del Gobierno brasileo en trminos de produccin de conocimiento, que ahora se comparte ampliamente no slo con la sociedad brasilea, sino con otros pases miembros de la UNESCO. Los sistemas de seguimiento y evaluacin suponen una de las etapas ms sensibles en la gestin de programas y polticas pblicas, sobre todo de desarrollo social, pero su relevancia est fuera de toda duda. El acompaamiento cotidiano y la realizacin de estudios especficos son
procedimientos relativamente nuevos en Brasil, por lo que todava no estn adecuadamente institucionalizados en rganos pblicos, excepto en los que se crearon para esa funcin especfica.
La experiencia de la SAGI/MDS surge para ayudar a cambiar esa trayectoria. Reflejndose en ella, otros rganos de gobierno y hasta entidades de la sociedad civil podrn implementar procesos de seguimiento y evaluacin de programas atendiendo a cuestiones como la transparencia en las acciones, los instrumentos para corregir tendencias y la oferta de informaciones fidedignas, persiguiendo siempre en ltima instancia el refuerzo de recursos y resultados. La UNESCO est convencida de que compartir con otros pases la experiencia de construccin de un sistema de evaluacin y seguimiento como ste, y su institucionalizacin como parte fundamental de los procesos de gestin de programas sociales, supone una gran oportunidad para que los responsables de la formulacin y gestin de polticas gubernamentales y no gubernamentales conozcan una tecnologa social prometedora que puede contribuir al aumento de la eficacia de diversas polticas pblicas. Cuanto ms innovadora y transformadora se revele una poltica pblica, tanto mayor ser su contribucin para reforzar el horizonte de la lucha para cumplir la meta del derecho social para todos.
Vincent Defourny
Director de la UNESCO en Brasil a.i.
Introduccin
Patrus Ananias de Sousa1
La iniciativa de la UNESCO en Brasil de organizar y editar una serie de publicaciones sobre las experiencias gubernamentales en el rea social supone un mrito em su concepcin misma: pretende constituirse como un nuevo instrumento al servicio de la transparencia y de la democratizacin del acceso a la informacin y al conocimiento producido por los rganos responsables de la implementacin de las polticas pblicas. Al centrar las publicaciones en los sistemas de evaluacin y seguimiento de las polticas, esa iniciativa tiene el potencial aadido de fortalecer el trabajo que estamos desarrollando en Brasil de cara a implementar, reforzar y ampliar los instrumentos de produccin de indicadores sociales consistentes, que sirvan de apoyo efectivo para la toma de decisiones y la orientacin de nuestras polticas, programas y acciones. Aceptando la invitacin de la UNESCO en Brasil, presentamos en este trabajo el sistema de evaluacin y seguimiento del Ministerio de Desarrollo Social y Lucha contra el Hambre de Brasil (MDS), que viene desarrollando la Secretara de Evaluacin y Gestin de la Informacin (SAGI) desde que, a inicios de 2004, fuera creado el ministerio. Ese sistema forma parte de las acciones del gobierno destinadas a modernizar la gestin de las polticas pblicas y se est consolidando como un esfuerzo destinado a la mejora de las acciones del Estado. Adems de su vasta extensin territorial, Brasil cuenta tambin con un sistema administrativo altamente descentralizado, lo cual aumenta ms todava el reto de la implementacin de polticas pblicas en cualquier sector.
1. MinistrodeDesarrolloSocialyLuchacontraelHambre.
La construccin del sistema de proteccin social brasileo, descentralizado y participativo, en sus 5.564 municipios, mediante un conjunto de polticas, programas y acciones, ya no puede prescindir de la toma de
decisiones basada en informacin y evidencias. Por ello, desde la creacin del MDS, valoramos la necesidad de formular e implementar una poltica de evaluacin y seguimiento que permita usar informacin y datos en el reajuste de las polticas. Creemos que slo ser posible hacer ms eficiente y eficaz la aplicacin de los recursos pblicos mediante el fortalecimiento de una cultura de transparencia y prestacin de cuentas en la administracin pblica y mediante la utilizacin de los resultados de la evaluacin y el seguimiento para mejorar los resultados de las polticas. Si, por definicin, tratar con dinero pblico exige un cuidado mximo, ese cuidado ha de ser mayor si cabe cuando se trata con dinero destinado a los ms necesitados. Debemos esforzarnos al mximo para garantizar que la inversin llegue, efectivamente, a los necesitados, principalmente para mejorar la vida de cada individuo y de la colectividad. Son numerosos los desafos que se plantean para construir y operar este sistema. Este texto describe de forma sucinta algunos de esos desafos, incluyendo el contexto institucional y los procedimientos adoptados, que suponen pasos decisivos para institucionalizar e integrar, em el seno de la administracin pblica, el conocimiento tcnico en la gestin de las polticas sociales. Compartir las experiencias, iniciativas y cuestionamientos en torno a este trabajo puede, en nuestra opinin, significar un importante paso en el camino para perfeccionar y fortalecer nuestra red de proteccin y promocin social, en sintona con los ms preciosos principios de la transparencia, del debate pblico y de la responsabilidad poltica y administrativa.
Abstract
The System for Evaluating and Monitoring Social Development Policies and Programs in Brazil
This paper discusses the process and methodology for the creation of the evaluation and monitoring system of the Ministry of Social Development and the Fight against Hunger in Brazil. The creation of this system is part of a broader process for the establishment of organizational and institutional conditions to improve the efficiency, efficacy and effectiveness of government actions. It is a two-pronged innovation: first, it establishes the evaluation and monitoring function, incorporating it into the management of programs; it is also innovative in regards to accountability, as it publicizes monitoring indicators and the conclusion of evaluation studies. Several challenges were faced in the creation and operation of this system. The first part of the text deals with the organizational and institutional context upon which the system was built, as well as the conditions for its implementation. The second part discusses the concept of evaluation and monitoring utilized and the procedures for the creation of the system: the creation of a database structure, the establishment of indicators, the development of informational tools, the creation and implementation of evaluation studies and the dissemination of information on these studies.
Abstract
Jeni Vaitsman2, Roberto W. S. Rodrigues3, Rmulo Paes-Sousa4
Introduccin
Este trabajo pretende describir paso a paso la construccin del Sistema de Evaluacin y Seguimiento (SAM) del MDS. La construccin de este sistema forma parte de un esfuerzo para mejorar la gestin de la informacin sobre los programas y polticas de desarrollo social, dentro del objetivo ms general de mejorar su rendimiento. Significa una innovacin en dos sentidos: en primer lugar, en la perspectiva de la institucionalizacin de la funcin de evaluacin y seguimiento como parte del proceso de gestin de los programas; en segundo lugar, en la perspectiva de la accountability, a travs de la publicitacin de indicadores de seguimiento, la publicacin de los resultados de estudios de evaluacin y la disponibilizacin para la comunidad cientfica de los microdatos de los estudios. Se plantearon numerosos desafos para construir y operar este sistema de seguimiento y evaluacin, en un contexto en que entran en juego una serie de condicionantes organizativos e institucionales, internos y externos al MDS. Este trabajo examina el proceso de construccin de ese sistema, desde la formacin del MDS, a inicios de 2004, hasta el primer semestre de 2006, momento de este registro. En la primera parte, abordamos el contexto en el que se construye el sistema, as como las condiciones para su implantacin. En la segunda, presentamos la concepcin de evaluacin y seguimiento adoptada. En la tercera, pasamos a la construccin del sistema, describiendo
2. octora en Sociologa Instituto Universitario de Investigaciones de Ro de Janeiro D (IUPERJ).DirectoradeEvaluacinySeguimiento,SAGI/MDS. 3. octorenComputacinImperialCollege(UniversityofLondon).DirectordeGestin D delaInformacinyRecursosTecnolgicos,SAGI/MDS. 4. octorenEpidemiologaAmbientalporlaLondon School of Hygiene and Tropical MediD cine(University of London).SecretariodeEvaluacinyGestindelaInformacin,SAGI/ MDS.
11
el modo en que se realiz la organizacin de la base de datos, la construccin de indicadores y el desarrollo de herramientas de informacin. Tras de lo cual discutimos la concepcin y la operacionalizacin del subsistema de
evaluacin, para llegar a las consideraciones finales.
12
Institucional y Organizacional
El Contexto Institucional
Brasil es un estado federal, dividido en 27 Estados y 5.564 municipios. Tiene una superficie de 8.514.215,3 km y una poblacin de aproximadamente 180 millones de habitantes, de los que cerca de 44 millones son pobres y 18 millones extremadamente pobres. Aunque la pobreza se ha reducido en los ltimos aos, la sociedad brasilea sigue siendo una de las ms desiguales del mundo. No obstante, en 2004 se registraron algunos resultados alentadores: la pobreza cay cerca del 8% y el ndice de Gini que mide la desigualdad de ingresos pas de 0,573 en 2002 a 0,559 (NERI, 2005). En 2005, los recursos invertidos por los ministerios de Salud, Educacin y Desarrollo Social sumaron casi R$ 76.000 millones, o US$ 34.800 millones5, lo cual equivale al 3,9% del PIB. Los gastos de Salud representaban un 1,9%, los de Educacin un poco ms de 1 % y los de Desarrollo Social el 0,9% del PIB6. La creacin en enero de 2004 del MDS trajo consigo un aumento significativo de la inversin en polticas de proteccin, asistencia y desarrollo social que se traducen en programas y acciones de transferencia de recursos, seguridad alimentaria y nutricional, asistencia social e inclusin
5. asadecambiodeldlaramericanodelda15demayode2006. T 6. osetuvoencuentaelpresupuestodelMinisteriodelaSeguridadSocial,yaquesus N recursosprovienenensumayorpartedecontribucionesdelospropiosbeneficiarios. Losgastosdeesteministerioen2005correspondieronacasiel8%delPIB.
1. El Contexto
13
productiva.7 Eso signific una expansin sustantiva de la cobertura de servicios y de la red de proteccin social; en 2005 resultaron beneficiados por los programas del MDS cerca de 45 millones de personas pobres o en
situacin vulnerable. El programa Bolsa Famlia, el programa de transferencia condicionada de recursos de mayor cobertura, benefici, en mayo de 2006, a 9,2 millones de familias, lo que significa una cobertura de 83,2% de las familias pobres de Brasil. La prioridad que el gobierno federal concedi a los programas de transferencia de recursos condicionada, a partir de la unificacin de los programas de transferencia de recursos existentes anteriormente y el lanzamiento del Programa Bolsa Famlia en 2003, aument en casi 20% la participacin del MDS en el gasto social del gobierno federal entre 2003 y 2005. Las polticas de seguridad alimentaria, renta de la ciudadana y asistencia social se han implementado dentro del sistema federal y descentralizado, establecido por la Constitucin de 1988, que fue promulgada tras un perodo de 20 aos de rgimen autoritario. Los Estados y los municipios pasaron a tener, a partir de entonces, un nuevo papel, particularmente en lo que a la gestin de las polticas sociales se refiere. Se reconoci a los municipios como entes federativos autnomos con competencia para organizar y prestar diferentes tipos de servicios pblicos de inters local, directamente o en rgimen de concesin o autorizacin. Se transfirieron del nivel federal a los Estados y, principalmente, a los municipios, un conjunto de responsabilidades y prerrogativas en la gestin de las polticas, programas y prestacin de servicios sociales y asistenciales. La implementacin descentralizada de los programas del MDS presupone su articulacin o hasta su integracin en las familias, en las comunidades y en el territorio. Eso significa que la gestin y operacionalizacin de los programas depende de la coordinacin no slo entre distintos sectores dentro de un nivel de gobierno, sino entre sus diversos niveles: Unin, Estados y municipios.
. lMDSfueinstituidoporlaMedidaProvisorianmero163,de23deenerode2004, E transformada en la Ley n 10.868, de 13 de mayo de 2004, por la que se funden el MinisteriodelaAsistenciaSocial(MAS),elMinisterioExtraordinariodeSeguridadAlimentariayLuchacontraelHambre(MESA)ylaSecretaraEjecutivadelProgramaBolsa Famlia,queestabavinculadadirectamentealaPresidenciadelaRepblica.Enmayo delmismoao,seinstituylaestructuraorganizacionaldelnuevoministerio,quepas aaunarlasatribucionesdeesastresorganizaciones.
14
El Contexto Organizacional
As, el MDS pasa a ser responsable de las polticas nacionales de desarrollo social, de seguridad alimentaria y nutricional, de asistencia social y de renta de ciudadana, que quedaron a cargo, respectivamente, de las secretaras que surgieron de los antiguos rganos: Secretara de Seguridad Alimentaria y Nutricional (SESAN), Secretara Nacional de Asistencia Social (SNAS) y Secretara Nacional de Renta de Ciudadana (SENARC). Tambin se crearon dos secretaras para el desarrollo de actividades de apoyo: la Secretara de Articulacin Institucional y Colaboraciones (SAIP) y la Secretara de Evaluacin y Gestin de la Informacin (SAGI). La SAGI asumi las funciones de evaluacin y seguimiento de las polticas y programas de desarrollo social del MDS, lo cual supuso una innovacin en la gestin pblica brasilea, pues hasta ese momento no haba existido en ningn ministerio una secretara con esa finalidad exclusiva.8 La figura 1 presenta los principales programas, proyectos y acciones del MDS, cuya descripcin sumaria puede verse en el Anexo I9. Su contenido completo puede consultarse en la pgina web <www.mds.gov.br>.
8. nrealidad,lapropuestadeunasecretaraconeseobjetivolahizo,en2003,elSecreE tario Ejecutivo del antiguo Ministerio de Asistencia Social (MAS), Ricardo Henriques, quiennoconsiguiponerlaenprcticaenelMASdebidoaresistenciasinternas.Conla incorporacindelMASalMDS,lapropuestapasaaserdefendidaporAdrianaAranha, asesoradelMinistroPatrusAnanias,quienlaadopta. 9. xisteunaciertaambigedadosuperposicinentrelostrminosprogramas,proyectos E y acciones que expresa la propia historia de la formulacin de un programa, que puedehabersurgidoconciertosobjetivosyenunciertomarcoyhabersemodificado conelpasodeltiempo.LoquehabitualmentesellamaprogramaenelMDSyasse llamaraqutambinrecibeamenudoelnombreoficialdeproyectooaccin. Adems, los diferentes programas, proyectos y acciones generalmente forman parte deprogramasmsampliosconotradenominacindentrodelPlanPlurianual(PPA) 2004-200.
El Contexto Institucional y Organizacional
15
Implementacin
Evaluacin
SENARC
Bolsa Familia
SNAS
PETI BPC (RMV) Agente Joven PAC PPD API Sentinela PAIF
SESAN
PAA/Compra local PAA/Conab PAA/Leche Cisternas Distribucin de paquetes de alimentos Huertas comunitarias Cocinas comunitarias Restaurantes populares Educacin alimentaria Bancos de alimentos
SAGI
Figura 1: MDS Implementacin, Evaluacin y Seguimiento de Programas
El primer desafo al que hubieron de enfrentarse los dirigentes de la nueva unidad de evaluacin y seguimiento del flamante ministerio fue: cmo, y por dnde, comenzar a organizar un sistema de evaluacin y seguimiento para programas implementados por otras secretaras, que adems todava se estructuraban o reestructuraban a partir de sus antiguas funciones? El contexto presentaba varios aspectos adversos y otros favorables. En cuanto a los aspectos adversos, en primer lugar, la unificacin de distintas organizaciones supuso reunir distintas trayectorias organizacionales, campos de conocimiento y esferas de actuacin, cada cual con concepciones, modos de actuar y soluciones propias para la realizacin de sus actividades y la resolucin de problemas. En segundo lugar, no exista en ninguna de las organizaciones anteriores una cultura de evaluacin, es decir, un conjunto de prcticas y creencias que legitimaran la evaluacin como parte de la gestin de programas y polticas. Al contrario, haba un gran desconocimiento no slo del significado, sino tambin de la propia funcin de evaluacin y seguimiento. En Brasil, la integracin de esa funcin a la planificacin y a la gestin gubernamental con una concepcin de administracin pblica transparente y dirigida a los resultados todava no se ha institucionalizado como una prctica normal10, esto es, incorporada a la concepcin de una
10. qu el trmino normal se usa en el sentido dado por Kuhn (1992) a la idea de A ciencia normal, que consiste en el conjunto de valores, prcticas, procedimientos ymtodos,esdecir,enlavisindelmundoquecaracterizaalasprcticasydiscursos aceptadoscomolegtimosynecesariosdentrodeunparadigmacientficoendeterminadomomentohistrico.
1
cierta comunidad, formada por los gestores y dirigentes gubernamentales y por los dems actores envueltos en polticas y programas especficos. No slo se advirti desconocimiento, sino tambin una cierta resistencia. Como observ hace tiempo Wildawsky, a las organizaciones no les gusta ser evaluadas (1979). Por lo general, se confunda evaluacin, por un lado, con inspeccin y control, por otro, lo cual produjo reticencias respecto al papel de la SAGI. Tampoco se consideraba la evaluacin como una necesidad, mucho menos como una prioridad, pues para los responsables de los programas el objetivo principal era conseguir, a pesar de las circunstancias adversas de cada cual, el cumplimiento de sus metas fsicas y financieras. Adems, como el tiempo poltico no coincide con el tiempo de la produccin de conocimiento, sola identificarse la idea de investigacin con una actividad acadmica y no con una prctica para la produccin de conocimiento que, al seguir procedimientos metodolgicamente apropiados, tarda ms a producir resultados. Por ello, la SAGI hubo de llevar a cabo una labor de convencimiento de los gestores sus clientes internos de que las informaciones producidas por el seguimiento y la evaluacin posibilitaran no slo la mejora del resultados previstos. Con el tiempo se fue entendiendo mejor el papel de la SAGI, y obtuvo legitimidad y reconocimiento de las dems secretaras. En 2005, reforzando el proceso de institucionalizacin de la funcin de evaluacin y seguimiento, la Secretara Ejecutiva del MDS cre un grupo de trabajo, compuesto por miembros de todas las dems secretaras, para elaborar la Poltica de Seguimiento y Evaluacin del MDS. La minuta del decreto ministerial que pas a orientar las actividades de evaluacin y seguimiento del MDS se encuentra en el Anexo II. En ese mismo contexto se cre el Comit Gestor de Tecnologa e Informacin, compuesto por miembros de todas las secretaras. Es responsable de la poltica de informacin y establece reglas y patrones relacionados con los sistemas de informacin sobre gestin y ejecutivos, las tecnologas utilizadas, la integracin entre bases de datos y la infraestructura. Por otro lado, el hecho de haber construido ese sistema partiendo prcticamente de cero tambin tuvo aspectos favorables. La SAGI no slo representaba una innovacin en el escenario gubernamental, sino rendimiento de los programas, sino verificar si se estaban alcanzando los
17
que estaba dando un paso adelante al instituir de forma sistemtica un conjunto de prcticas que hasta entonces se realizaban de forma fragmentaria, cuando realmente llegaban a realizarse. No exista una
receta que ya hubiera sido probada, una forma de proceder. Como el MDS era una estructura recin creada, sin procedimientos ya establecidos para instaurar el rea de evaluacin y seguimiento, con la excepcin del decreto ministerial que determinaba las atribuciones de la secretara y sus departamentos, hubo bastante lugar para la iniciativa y la creatividad al definir los caminos a seguir, a travs de un proceso que, a menudo, fue es importante reconocerlo de ensayo y error. Otro aspecto favorable fue la poltica de contratacin de personal definida por la SAGI, que fue aceptada sin ninguna objecin por las instancias superiores del MDS (Secretara Ejecutiva y Ministro). Los criterios adoptados fueron exclusivamente los mritos y la formacin o la experiencia profesional de los contratados, ya fuera para ocupar cargos de direccin o para puestos tcnicos y administrativos. Los tres departamentos de la SAGI Gestin de la Informacin y Recursos Tecnolgicos; Evaluacin y Seguimiento; Formacin de Agentes Pblicos y Sociales- contrataron a profesionales recin licenciados, provenientes de diferentes reas de actuacin y de conocimiento: ciencias sociales y humanas, tecnologa de la informacin, demografa, estadstica, economa, nutricin, asistencia social, agronoma, etc. Se invirti en competencia tcnica y formacin multidisciplinar, formndose un cuadro de personal, entre tcnicos y administrativos, de 50 personas, de las que 7 tenan un doctorado y 12 un posgrado. El Anexo III presenta la formacin profesional y la titulacin del personal en mayo de 2006. 11 Los recursos para cubrir el coste de la SAGI procedan tanto del Tesoro Nacional como de prstamos del Banco Mundial (BIRD) y del Banco
11. artedelequipoerabastantejoven,algunosrecinsalidosdelalicenciaturaodelposP grado,ocursndolotodava.Estehecho,juntoconlainexistenciadeunatradicinen elreadeevaluacinyseguimientodeprogramassocialesenelsectorpblico,hizo necesarialacapacitacindelequipo.LaSAGIhainvertido,durantelosdosaoslargos deexistenciadelMDS,enformacin,nosloconcediendolicenciasasusfuncionarios,sinofinanciandosuparticipacinendiferentescursosdeevaluacindepolticas yprogramassocialesenBrasilyhastaenelextranjero.Porotraparte,lapropiaSAGI financi la realizacin del curso de Perfeccionamiento en Evaluacin de Programas Sociales,querealizaencolaboracinconotrasinstitucionesyuniversidades.Tambin sefomentlaparticipacindetcnicosenseminariosycongresos,tantonacionales comointernacionales.
1
Interamericano de Desarrollo (BID). Parte de los recursos del Tesoro, es decir, del presupuesto nacional destinado al MDS anualmente, y aprobado por el Congreso Nacional, se dedic a proyectos de cooperacin con organismos multilaterales como la Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura (UNESCO), la Organizacin de las Naciones Unidas para la Agricultura y la Alimentacin (FAO) y el Programa de las Naciones Unidas para el Desarrollo (PNUD).12 El MDS no dispona de un cuadro de personal propio. Lo form con los servidores pblicos heredados de las estructuras anteriores, con funcionarios cedidos por otros rganos pblicos y especialistas de poltica pblica y gestin gubernamental13 incorporados. Esa cooperacin result crucial para hacer efectiva la implementacin de la poltica, as como su evaluacin y seguimiento. En lo referente a los costes de la Secretara de Evaluacin y Gestin de la Informacin, y teniendo en cuenta que la unidad prcticamente se cre a partir de cero, en casi dos aos de actividad se han invertido los siguientes recursos: en personal, se invirtieron cerca de R$ 3,8 millones (US$ 1,7 millones) entre funcionarios pblicos, subcontratados, consultores de transporte y dietas. En equipamientos informticos, sin contar los costes de instalacin y mantenimiento de la red, cubiertos por el presupuesto general del ministerio, se gastaron hasta abril de 2006 cerca de R$ 1 milln (US$ 440.000) en adquisicin de servidores, computadores, impresoras y programas; en cursos de capacitacin y entrenamiento se invirtieron cerca de R$ 400.000 (US$ 176.000). Desde 2004 hasta la fecha, los estudios contratados y en curso de contratacin han superado los R$ 35 millones (US$ 15,9 millones), lo cual supone buena parte de nuestras inversiones, que alcanzan los R$ 40,6 millones (US$ 18,4 millones), aunque eso represente menos del 1% de los recursos invertidos en los
12. rentealacarenciadeinfraestructurasyderecursoshumanoscualificadosenlosrganos F ministeriales,sumadaalasdificultadesinherentesalapropialentituddelamaquinaria administrativapblica,laejecucindeproyectosmedianteagenciasmultilateralesha sidounaaccinsistemticaempleadaporlosrganosgubernamentalesmsdinmicos paraviabilizarconagilidadlaejecucindelosrecursos,inclusoconcontratacinde personalcualificadoparaeldesarrollodeproyectos. 13. sosfuncionariosformanpartedeuncuerpocreadoen1989paralaprofesionalizacin E delsectorpblico.PertenecenalcuadrodelMinisteriodePlaneamiento,peropueden sercedidosacualquierrganodelaadministracinpblicafederal.
nacionales e internacionales en diversas funciones, incluyendo los gastos
19
programas implementados. Todo eso sin contar los recursos ya distribuidos pero todava sin emplear, adems de los recursos fsicos y la estructura utilizados por la Secretara, pero presupuestados y administrados en el
mbito de la gestin del MDS. El Anexo IV presenta los recursos invertidos en investigaciones y programas.
20
Conceptual y Metodolgico
Debido a la diversidad de formacin del equipo de la SAGI y a la ausencia de una experiencia especfica en el rea, se impuso definir un marco conceptual mnimo y comn sobre evaluacin y seguimiento. Existe una amplia bibliografa sobre este tema, que engloba diversos conceptos y concepciones. Eso presupuso, en la Secretara, la definicin y el acuerdo sobre qu se entenda por seguimiento y evaluacin y cmo esas funciones deban realizarse como parte del ciclo de formulacin y evaluacin de polticas y programas. A continuacin, abordaremos brevemente las definiciones adoptadas. El seguimiento consiste en el acompaamiento continuado y cotidiano, por parte de gestores y gerentes, del desarrollo de los programas y polticas en relacin con sus objetivos y metas. Se trata de una funcin inherente a la gestin de los programas, mediante la cual ha de poderse proveer a los gestores del programa informacin sobre el mismo y auxiliarles en la adopcin de medidas correctivas para mejorar su operacionalizacin. Se realiza mediante la generacin regular de indicadores a partir de diversas fuentes de datos que proporcionan a los gestores informacin sobre el rendimiento de los programas, y poder as medir si se estn cumpliendo los objetivos y metas. El concepto de seguimiento entraa una ambigedad y puede referirse a dos procesos distintos, aunque interconectados. Por un lado, en tanto que acompaamiento de los programas, se constituye como una actividad interna de la organizacin, un procedimiento a distancia. Por otro lado, el seguimiento tambin hace referencia a procesos presenciales,
2. El Acuerdo
21
verificaciones locales que acaban constituyendo un tipo de estudio rpido, cualitativo, a travs del cual gestores, investigadores y otros agentes pueden verificar cmo se est realizando la implementacin, y si est logrando sus
objetivos, adems de comprobar qu problemas estn interfiriendo en las acciones, procesos y consecucin de los objetivos previstos. Un indicador es un valor usado para medir y acompaar la evolucin de algn fenmeno o los resultados de procesos sociales. El aumento o disminucin de ese valor permite verificar los cambios en la situacin de ese fenmeno. Los indicadores de seguimiento de la SAGI se agruparon segn los tipos siguientes: estructura (valores relativos a la ejecucin fsica y financiera, la infraestructura, etc.), procesos (valores relativos a las etapas y relaciones que forman parte de la implementacin del programa), y resultados (valores relativos al cumplimiento de metas del programa). Los indicadores tambin se pueden realizar a partir de resultados de estudios de evaluacin. No obstante, eso slo tiene autntico sentido si el estudio se repite, para comparar los indicadores en el tiempo; si estos son comparables con otros indicadores producidos a partir de otras bases de datos; o en caso de que se puedan interpretar a la luz de algn objetivo que se desee alcanzar. Los indicadores de evaluacin tambin expresan ciertas condiciones relativas a la estructura, procesos y resultados. Esta ltima categora engloba los indicadores de impactos y efectos, de acuerdo con las dimensiones del estudio a partir del cual se producen. Los estudios de evaluacin pueden centrarse en las siguientes dimensiones (Draibe, 2001): a) Procesos: estudios sobre los puntos que favorecen o entorpecen los procesos de implementacin de la poltica o el programa, incluidos su diseo y sus dimensiones organizacionales e institucionales. b) Resultados, que engloban: - rendimiento (o resultados en sentido estrito, outcomes), referido a los productos del programa tal y como se definen en sus objetivos; - impacto: cambios en la situacin de los beneficiarios, provocados directamente por el programa. Las evaluaciones de impacto intentan, sirvindose de diseos quasi-experimentales, comparar dos grupos de poblacin similares, midiendo las diferencias observadas entre los dos grupos derivadas de la exposicin y de la no exposicin a un programa;
22
- efectos: otros resultados del programa, sociales o institucionales, esperados o no, que acaban producindose como consecuencia del programa. La evaluacin suele realizarse mediante estudios especficos que buscan analizar aspectos como relevancia, eficiencia, efectividad, resultados, impactos o la sostenibilidad de programas y polticas, segn lo que se definiera en sus objetivos. Su objetivo es mejorar las actividades en marcha y suministrar informacin para la planificacin, la programacin y la toma de decisiones futuras. De modo general, las evaluaciones las realizan instituciones externas, con investigaciones que tratan de responder a preguntas especficas, proponer medidas de correccin y orientar a las personas responsables de adoptar decisiones, gestores y dems actores envueltos en el proceso de formulacin e implementacin. Su objetivo puede ser mejorar la calidad de los procesos de implementacin u obtener resultados. Dependiendo de los objetivos y del objeto de la evaluacin, los estudios pueden utilizar diferentes metodologas y hacer referencia a distintos campos del conocimiento. Una buena prctica en el rea de evaluacin de polticas y programas sociales es la realizacin de estudios interdisciplinares y que combinen metodologas cuantitativas y cualitativas, para que se puedan poner en relacin diferentes dimensiones de un programa o de una poltica. Aunque, por diferentes razones, eso no siempre es posible o se aplica. Al pensar en los pros y contras de proyectos y mtodos para contratar estudios, desde la perspectiva de la gestin pblica, existen al menos cuatro elementos de una ecuacin que deben ser ponderados: 1) los objetivos del estudio, o lo que se desea saber sobre el programa; 2) los recursos financieros disponibles; 3) las fuentes de datos disponibles; y 4) el tiempo en que se quiere obtener resultados. La eleccin del diseo y, consecuentemente, de los mtodos, depende de las preguntas a que se quiere responder, de los recursos y las fuentes de datos disponibles y del tiempo en que se quiere obtener resultados. Cuanto mayor sea la cobertura, la representatividad, la combinacin de mtodos y el nmero de estratos de una muestra, ms durar y ms caro ser el estudio.
El Acuerdo Conceptual y Metodolgico
23
Las evaluaciones de impacto, realizadas mediante diseos quasiexperimentales, que buscan establecer relaciones de causalidad, usan mtodos cuantitativos de recogida de datos y se sirven de modelos
estadsticos y economtricos para su anlisis. Esos diseos poseen alta legitimidad en la comunidad internacional de evaluacin y permiten realizar investigaciones de amplia cobertura, con grandes muestras de poblacin. No obstante, se trata de estudios ms caros y que tardan ms en producir resultados para los responsables de adoptar decisiones. Desde una perspectiva pragmtica, es decir, dirigida a la solucin de problemas, la evaluacin es un instrumento crucial para mejorar el programa. Tal es el caso de las evaluaciones de procesos y de rendimiento. Tanto en estudios de procesos como de rendimiento, los proyectos y los mtodos se adaptan al contexto, al problema que se quiere estudiar y a la cobertura del estudio, combinando con frecuencia mtodos cuantitativos y cualitativos: encuestas con cuestionarios cerrados, entrevistas semiestructuradas y abiertas, observacin, etc. Una ventaja de estos estudios es que, segn su objetivo, pueden realizarse ms rpidamente, dando resultados e informaciones tiles para los gestores y gerentes dirigidas ms directamente a situaciones contextuales. Otros tipos de estudios realizados por la SAGI no cumplen directamente la funcin de evaluacin, aunque s la de producir informacin para la planificacin y la programacin. Tal fue el caso, por ejemplo, de la recogida de datos sobre los beneficiarios del Programa de Erradicacin del Trabajo Infantil (PETI). Como la secretara responsable del programa, la SNAS, slo dispona de datos referentes a los recursos transferidos a los municipios, careciendo por completo de informacin sobre el pblico objetivo, se recopil informacin de los municipios, cuyos datos sirvieron de base para establecer un perfil de los beneficiarios y ayudar a la gestin del programa. Otro ejemplo fueron los dos estudios realizados conjuntamente con el IBGE sobre la red de asistencia social en Brasil, con el objetivo de auxiliar a la inversin y a la planificacin de la implementacin y gestin del Sistema nico de Asistencia Social (SUAS). El primero describi toda la estructura pblica de organizacin de la poltica (asociaciones, consejos, instituciones) y de prestacin de servicios en los municipios brasileos, mientras que el segundo estudi la red de asistencia del sector privado, con informacin
24
sobre equipamientos asistenciales, tipos de servicios prestados y recursos humanos. En algunos casos, los estudios realizados son pioneros sobre algunos temas y pasan a constituir una lnea de base, que podr ser acompaada con la repeticin posterior de la evaluacin. se fue el caso del Suplemento sobre Seguridad Alimentaria, una investigacin sobre las percepciones de la poblacin en relacin a las condiciones de acceso a alimentacin suficiente y de cualidad, cuyos datos fueron colectados por el Instituto Brasileo de Geografia y Estadstica (IBGE), en la PNAD 2004. Visto que esa fue la primera vez en que dicha investigacin fue realizada en el pas, su repeticin futura permitir el seguimiento de las condiciones alimentarias a lo largo del tiempo. Otro estudio, tambin realizado con el IBGE, es el Suplemento de PNAD 2006 sobre trabajo infantil, que permitir acompaar la evolucin de este fenmeno puesto que el mismo ya fue mensurado en 2001 con metodologa similar. Los estudios de evaluacin siempre son investigaciones aplicadas, cuyos resultados sirven a la vez como instrumento de mejora de la gestin y rendicin de cuentas de la poltica, pues permiten que los resultados de las inversiones pblicas se juzguen basndose en evidencias empricas.
El Acuerdo Conceptual y Metodolgico
25
de Evaluacin y Seguimiento
El Sistema de Evaluacin y Seguimiento desarrollado por la SAGI consta de dos subsistemas: el de seguimiento y el de evaluacin. Aunque estn relacionados, esos dos subsistemas son independientes entre s y estn organizados basndose en diferentes procedimientos, metodologas e instrumentos. Un sistema de evaluacin y seguimiento no es lo mismo que un sistema de informacin gerencial, aunque los datos que ah se encuentran constituyan una fuente para su estructuracin. A continuacin vamos a describir los componentes y la metodologa de construccin de los dos subsistemas.
3. El Sistema
El Subsistema de Seguimiento
Uno de los objetivos de la construccin del sistema de seguimiento de los programas del MDS fue la instauracin de un proceso continuado de acompaamiento del rendimiento de los programas respecto a sus objetivos, por el que los resultados pueden medirse con indicadores producidos regularmente sobre la base de diversas fuentes de datos y ofrecidos en lnea. Una caracterstica del sistema de seguimiento es su gran complejidad y magnitud. Antes de su elaboracin, fue necesario establecer una serie de definiciones referentes a los procedimientos de recogida de datos y fuentes utilizadas. El establecimiento del sistema exigi la estructuracin de una base de datos, la construccin de indicadores de los programas y el desarrollo de herramientas de informacin para el tratamiento de la informacin, como veremos a continuacin.
27
Organizacin de la Base de Datos

La principal materia prima de un sistema de seguimiento de programas sociales son los datos operacionales de los programas. En el caso del MDS, esos
datos no se producen slo internamente, en sus mltiples departamentos y secretaras, sino tambin externamente, en otros ministerios, ayuntamientos, rganos situados en diferentes niveles federales (Estados y municipios), as como en asociaciones de la sociedad civil. Cuando se cre la SAGI, la situacin inicial que se encontr respecto a los datos era que no se integraban. Result necesario localizar los programas sociales en marcha procedentes de otros ministerios o ya bajo gestin del recin creado MDS, as como los sistemas de informacin que daban apoyo tecnolgico a esos programas. Hubo que tomar una senda exploratoria e investigativa, localizando y realizando un mapeo de toda la estructura de datos disponibles de esos programas y el flujo de esos datos por el Ministerio. El primer paso para realizar esa recopilacin de informacin consisti en verificar qu datos haba disponibles y dnde. Se identific quines eran tanto los responsables de la produccin de datos en las otras secretaras del MDS como los rganos productores o gestores de los datos, as como sus flujos y principales usuarios.
Desarrollo de Herramientas
El segundo paso consisti en identificar qu herramientas y sistemas de informacin existan en el MDS, siguiendo una matriz de cuatro dimensiones: estructura, sistema, entrada y salida de datos. Como resultado, se identificaron 12 sistemas de informacin diferentes en el MDS, entre los que se contaban los siguientes: el Registro nico de los Programas Sociales (Cadnico); el Sistema de Informacin de Acompaamiento Fsico y Financiero de las Acciones de Asistencia Social (SIAFAS-Web), que realiza el seguimiento fsico y financiero de los programas de accin continua de la asistencia social; el Sistema de Revisin de la Evaluacin Social del Beneficio de Prestacin Continuada, (REVAS-BPC-LOAS), que se refiere a los beneficiarios de la tercera edad y discapacitados de renta baja, adems de plantillas de pagos y transferencias. Al recopilar esta informacin pudo constatarse la heterogeneidad de los sistemas en lo referente al nmero y tipo de variables, magnitud, objetivo y nivel de desarrollo, pues se crearon en estructuras administrativas distintas
2
y con diferentes objetivos. Por ejemplo, mientras que el REVAS BPC-LOAS y el Cadnico contienen registros de millones de beneficiarios, alimentados de manera descentralizada para fines de transferencia de recursos, algunos sistemas desarrollados en el antiguo Ministerio Extraordinario de Seguridad Alimentaria (MESA) eran herramientas gerenciales con informacin a nivel agregado para consumo interno (BRITTO et al., 2004). Con excepcin de los sistemas procedente del antiguo MESA, que eran en general de porte menor, los principales sistemas encontrados en el MDS se haban concebido o estaban localizados en otras organizaciones. La pgina SIAFAS-Web, por ejemplo, haba sido diseada por la Fundacin Getlio Vargas (FGV) como parte del proyecto inacabado de construccin de la Red Articulada de Informacin de la Asistencia Social. En la actualidad, ese sistema est alojado en la Empresa de Tecnologa e Informacin de la Seguridad Social (DATAPREV). El Cadnico, el Registro de Pagos del Programa Bolsa Famlia y el REVAS BPC-LOAS son gestionados por rganos externos: el Cadnico por la Caixa Econmica Federal (CEF) y el REVAS BPC-LOAS por la DATAPREV, segn muestra la siguiente figura.
CEF
NI NI SA M
NI
DATAPREV
Cadunico
NI SAGI
SESAN
IB GE TSE
CO NAB
ASA
Figura 2: Repertorio de Datos del MDS - aspecto organizacional
En la figura 2, mostramos el escenario actual de funcionamiento del Sistema de Evaluacin y Seguimiento de Informaciones Sociales desarrollado por la SAGI. El funcionamiento de ese sistema acompaa la implementacin descentralizada de los programas sociales. Los datos pueden ser obtenidos de dos maneras: la primera, cuando los datos son producidos a nivel local, en los municipios, que los envan directa y peridicamente para las secretaras responsables de la gestin de los distintos programas. La otra manera es cuando agencias operadoras o alianzas, como, por ejemplo,
El Sistema de Evaluacin y Seguimiento
SENARC
SNAS
29
la Caixa Econmica Federal (CEF), la DATAPREV, la Compaa Nacional de Abastecimiento (CONAB) y la Articulacin del Semi-Arido (ASA), se responsabilizan por la obtencin de los datos, incluso de los oriundos de
las alcaldas y estados. Las secretaras de gestin SENARC (Transferencia de Renta), SNAS (Asistencia Social) y SESAN (Seguridad Alimentaria y Nutricional) concentran el recibimiento de los datos por medio de sistemas e informaciones gerenciales y los envan a SAGI, responsable por la construccin de indicadores de los programas y por la gestin de la informacin. SAGI, sin embargo, tiene acceso directo a las informaciones de instituciones como IBGE (Instituto Brasilero de Geografa y Estadstica) y TSE (Tribunal Superior Electoral), entre otros. Sin embargo, como la mayor parte de los 5.564 municipios brasileos son de pequeo tamao y tienen una capacidad administrativa y de gestin limitada, se encuentran centenares de situaciones tecnolgicas diferentes, segn la capacidad de los municipios. La mayora de los ayuntamientos no tiene acceso pleno a Internet de alta velocidad, por lo que se van encontrando soluciones tecnolgicas diversas para atender las peculiaridades institucionales de los municipios y Estados. En consecuencia, la recogida y carga de los datos para alimentar los sistemas gerenciales usados para el seguimiento de los programas requiere soluciones bastante individualizadas para atender prontamente a las responsabilidades de cada municipio.
La Construccin de Indicadores
La construccin de indicadores de seguimiento y evaluacin de las polticas y programas de desarrollo social se hace a partir de la recogida de datos primarios relativos a los programas en las diversas esferas donde acta la poltica: rganos municipales, estatales y federales proveedores de servicios gubernamentales y no gubernamentales, instancias de control social, etc. El hecho de que los datos primarios sean alimentados por fuentes tan diversas y sobre las que a menudo ni la SAGI ni el MDS tienen control alguno, supone uno de los puntos crticos de la produccin de indicadores fiables, una condicin necesaria para que el seguimiento y la evaluacin se hagan de forma efectiva. La definicin de indicadores requiere una gran claridad sobre los
30
objetivos y la lgica de cada programa. Siempre se puede calcular un nmero excesivamente grande de indicadores, aunque no siempre conseguirn expresar los fenmenos o las condiciones ms significativas para el programa. Los datos tambin deben producirse con periodicidad y agregacin definidas, para que los indicadores puedan compararse. Los indicadores se definieron atendiendo a los atributos siguientes: a) validez: capacidad del indicador para medir el fenmeno que se pretende medir; b) fiabilidad: calidad de los datos que sirven de base para el clculo del indicador; c) sensibilidad: debe ser lo suficientemente sensible para captar el atributo que se pretende captar respecto a las personas o fenmenos; d) desagregacin: nivel territorial al que se refiere el indicador; e) periodicidad: intervalo de tiempo en que se actualiza el indicador, que depende a su vez de la periodicidad con que se registran los datos brutos en la base de datos original. Fue necesario preparar una base de datos con las variables procedi a recopilar las variables relativas a los programas existentes en los bancos y sistemas de informacin del MDS, as como sobre la rutina de recepcin de los datos primarios. Para esa recopilacin de datos se rellen una plantilla con las siguientes dimensiones: a) nivel de agregacin territorial: nivel territorial sobre el que informa el dato, como por ejemplo municipio, Unidad Federal, todo Brasil, etc.; b) unidad de referencia: unidad sobre la que informa el dato, como por ejemplo beneficiario, familia, etc.; c) periodicidad: intervalo de tiempo en que se genera el dato y se introduce en el sistema de informacin, como por ejemplo mensual, bimestral o anual; d) fuente: sistema de informacin que cre el dato recibido, como por ejemplo el Cadnico, la PNAD del IBGE, etc. Los indicadores se construyeron a partir de esa recopilacin de datos. Se elabor otra plantilla, con campos para el nombre del programa, el
seleccionadas para la construccin de los indicadores. A continuacin, se
31
nombre del indicador, la descripcin, el nivel de agregacin, la clasificacin, la periodicidad con que se informa el dato y la frmula de clculo. Se comenz por los indicadores ms simples, es decir, los que pudieran
construirse a partir de los datos existentes en los sistemas de informacin efectivamente disponibles en la SAGI. Los indicadores fueron validados por las secretaras correspondientes. Para calcularlos, se estableci una estrategia de corto, medio y largo plazo, dependiendo de las dificultades relacionadas con la obtencin de los datos primarios. Los primeros indicadores calculados fueron los ms obvios y bsicos, esto es, los fsicos y financieros. La participacin del Grupo de Trabajo de Evaluacin y Seguimiento en el proceso permiti establecer el compromiso de que las distintas secretaras que tenan los datos sobre los programas enviaran a la SAGI los datos primarios con periodicidad predefinida, para calcular los indicadores y la entrada en funcionamiento del subsistema de seguimiento. La figura 3 presenta el modelo de la plantilla de indicadores. El clculo de los indicadores depende no slo de la definicin conceptual y de la frmula, sino tambin del tratamiento y programacin de los datos, procedentes de aproximadamente 40 bancos, de varias secretaras y rganos externos (CEF, DATAPREV, etc.) y que tenan diferentes formatos. Se hizo un trabajo de uniformizacin, conservando nicamente las variables necesarias para el clculo de los indicadores. La fusin de los bancos fue muy trabajosa, debido al volumen de los datos y a que la formatacin de las variables segua diferentes patrones.
Desarrollo de Herramientas de Informacin

El clculo de indicadores requiere la utilizacin de herramientas computacionales para recoger y procesar datos y ofrecer informacin en diversos formatos de acuerdo con el tipo de programa que se desee observar. La SAGI cre dos herramientas para el tratamiento de la informacin: el Diccionario de Variables e Indicadores de Programas (DICI-VIP) y la Matriz de Informaciones Sociales (MI Social). Diccionario de Variables e Indicadores de Programas (DICI-VIP) El DICI-VIP es una herramienta desarrollada para acceder va Internet, que almacena informacin de variables, programas e indicadores de todos los
32
Programa
Indicador
Descripcin
Desagregacin
Clasificacin
Periodicidad
Unidad
Frmula
Bolsa Famlia
Cobertura del programa Bolsa Famlia segn la estimacin de pobreza
Expresa la cobertura del Programa Bolsa Famlia en un rea geogrfica, segn la periodicidad y el nivel de desagregacin, tomando como base la estimacin de la cantidad de familias con ingresos per capita inferiores a R$100. Expresa la relacin entre el nmero de personas inscritas en el Cadnico con ingresos familiares de R$ 100 o menos y la estimacin del nmero de familias con ingresos familiares per capita inferiores a R$ 100.
Brasil/Regin/ Mesorregin/ Microrregin/UF/ Municipio
Resultado
Mensual
Porcentaje
i0019 = (Cantidad de familias que reciben el beneficio Bolsa Famlia dividido por la cantidad de familias con ingresos familiares per capita inferiores a R$ 100) multiplicada por 100 (cien), en el periodo y desagregacin de referencia. I0016 = (Cantidad de familias inscritas en el Cadnico con ingresos familiares per capita inferiores de R$ 100 o menos dividido por la estimacin del nmmero de familias con ingresos familiares per cpita inferiores a R$ 100) multiplicado por 100 (cien). I0020 = Cantidad de cisternas construidas
Bolsa Famlia
Porcentaje de alcance de la meta de inscripcin para el Programa Bolsa Famlia
Proceso
Mensual
Porcentaje
Construccin de cisternas
Nmero de cisternas construidas en cada municipio atendido por el programa Valor mdio transferido por cistena
Expresa el nmero de cisternas construidas en el municipio atendido por el programa. Expresa el valor medio (R$) de cada cisterna construida.
Brasil/UF/Municipio
Resultado
Anual
Unidades
Construccin de cisternas
Estructura
Mensual
Reales (R$)
I0119 = Valor total transferido para la construccin de cisternas dividido por la cantidad de cisternas cosntruidas.
Figura 3: Plantilla de Indicadores
33
programas del MDS. Con esa informacin se puede recuperar la memoria de los datos manipulados por el Ministerio utilizados para calcular indicadores de seguimiento y evaluacin. El DICI-VIP se compone de varios
diccionarios: Diccionario de Variables En este diccionario se encuentran variables procedentes de diversas fuentes, incluido el propio Ministerio, entre las que se encuentran formularios, cuestionarios y bases de datos relacionadas con los programas sociales del MDS. Para cada variable del diccionario de variables existe una entrada que informa sobre el tipo (numrico, alfabtico, etc.), el tamao (nmero de caracteres de la variables), carcter discreto o continuo de los valores de las variables, as como sobre el significado de la variable para el usuario. Adems de estos atributos, se clasific cada variable en datos atmicos y compuestos. Los datos atmicos son datos primarios que no pueden descomponerse en otros datos. Los datos compuestos son estructuras de datos que representan la composicin de varios datos. Diccionario de Indicadores En este diccionario se describen la finalidad y uso de los indicadores sociales. Adems, se almacenan las frmulas matemticas compuestas a partir de variables del diccionario de variables. Diccionario de Programas En este diccionario estn registrados los programas del MDS, cada uno de los cuales aparece descrito atendiendo a atributos como el nombre, la descripcin, el pblico objetivo, fechas significativas, etc. Diccionario de Fuentes En este diccionario aparecen listadas las fuentes de origen de todas las informaciones reunidas en los diccionarios de variables y de indicadores. Todas y cada una de las fuentes cuyos datos se hayan utilizado para cualquier programa social estn recogidas en este diccionario, incluyendo sistemas de informacin y formularios electrnicos.
34
Figura 4: Herramienta DICI-VIP
La figura 4 muestra la pantalla principal de la herramienta. Adems de los cuatro diccionarios, la herramienta cuenta tambin con un glosario y un adems de informacin de inters de la Secretara y del Ministerio. La figura 5 muestra la arquitectura de subsistemas que sustenta los cuatro diccionarios creada para ordenar la utilizacin de diccionarios mediante herramientas de generacin de cuestionarios y recogida y exportacin de datos. Obsrvese que la construccin del diccionario de indicadores est vinculada a la existencia del diccionario de variables. Adems, el diccionario puede usarse para definir la organizacin bsica de un repertorio de datos centralizado o distribuido, la estructura de las tablas, adoptando los nombres y las caractersticas de cada elemento de datos (variables e indicadores). tutorial. Al lado encontramos noticias sobre la evolucin de la herramienta,
35
Crear Diccionario de datos
Diccionario de variables
Creador de cuestionario Herramienta estndar de recogida de datos Crear repertorio central/distribuido de datos
Crear Diccionario de indicadores Diccionario de indicadores
Figura 5: Instrumentos de Seguimiento y Evaluacin
En lo que a los programas sociales se refiere, el diccionario de datos permite caracterizar las variables utilizadas para recogida, procesamiento y generacin de informaciones para la formulacin de indicadores, lo cual presupone un conjunto de variables vinculadas a travs de una frmula, calculada segn la lgica de cada indicador.
Matriz de Informacin Social (MI Social)

La MI Social es una herramienta computacional que ofrece informacin en forma de indicadores, que se visualizan en funcin del territorio para investigar dnde deben actuar los programas sociales. Lo contrario tambin es posible: la herramienta encuentra en qu territorios acta un determinado programa. La informacin social puede visualizarse en varios niveles de desagregacin, incluyendo las unidades de la federacin, microrregiones, municipios y territorios especiales. Estn disponibles, por ejemplo, datos relativos a poblacin rural y urbana, a fondos constitucionales y datos socioeconmicos de todos los territorios. La herramienta MI Social est integrada en el DICI-VIP. Los indicadores sociales mostrados en el MI Social se derivan a partir de las variables e indicadores de los programas recopilados en el DICI-VIP. Los clculos realizados se realizan on line y reflejan una frecuente actualizacin de los datos sociales. Adems de los indicadores e informaciones bsicas de los programas sociales del MDS, tambin puede consultarse con esta herramienta
3
Cobertura del programa Bolsa Famlia % 5559 Registros
Cobertura d
0,20 | - | 67,62 (1391) 67,62 - | 86,95 (1390) 86,95 - | 96,64 (1390) Ms de 96,64 (1388)
Fuente: SENARC Caixa Econmica Federal - PNAD, 2001.
Fonte: SENARC
Figura 6: Matriz de Informaciones Sociales. Cobertura del programa Bolsa Famlia en los municpios 03/2006
informacin demogrfica y socioeconmica en diferentes niveles de agregacin territorial. Adems, la informacin producida puede obtenerse en varios formatos: plantillas electrnicas, informes, tablas, grficos, mapas estadsticos y mapas temticos, como muestran las figuras 6 y 7. La figura 6 muestra un mapa de la cobertura del programa Bolsa Famlia en todos los municipios del Brasil. La figura 7 ilustra el seguimiento
37
de transferencias financieras en tres municipios. Esas operaciones pueden obtenerse en tiempo real y los datos se alimentan a partir de sistemas de informacin sobre gestin alimentados por los municipios.
Esa informacin se pone a disposicin de los ejecutivos del Ministerio con el propsito de dar transparencia a la gestin de las polticas pblicas, as como para la toma de decisiones en el mbito del MDS. La imagen inferior presenta un grfico con los valores transferidos a municipios
Figura 7: Bolsa Famlia - valores transferidos
El Subsistema de Evaluacin
La decisin sobre los estudios a realizar depende de la ecuacin, anteriormente mencionada, que debe ponderar lo que se desea saber sobre el programa, los recursos financieros y datos disponibles, y el tiempo en que se quiere obtener los resultados. Al existir 21 programas bajo gestin directa del MDS adems de un conjunto adicional de acciones no estructuradas con forma de programas , un primer criterio utilizado para decidir por dnde comenzar y cunto destinar a un estudio fueron los recursos presupuestarios asignados a los programas. En general, los que tenan mayores recursos recibieron tambin ms recursos para la investigacin, como puede comprobarse en el Anexo IV. La lista de estudios contratados o que ya se encuentran en fase de contratacin se presenta en el Anexo V.
3
Trminos de Referencia
Tras definir el programa que ha de evaluarse, se discuten con un tcnico de la secretara responsable los aspectos del programa que han de ser estudiados. A continuacin, la SAGI pasa a la fase de elaboracin de los Trminos de Referencia (TOR), un documento utilizado por los organismos pblicos nacionales e internacionales para establecer los parmetros tcnicos y jurdico-administrativos de los pliegos de seleccin y contratacin de las instituciones para realizar los estudios. Los parmetros tcnicos definen el propsito, los objetivos, la metodologa, el cronograma y los costes del proyecto. Los parmetros jurdico-administrativos se refieren a los requisitos exigidos, bien sea por el MDS, por la legislacin brasilea o por organismos internacionales en relacin con los procedimientos de seleccin y contratacin. Algunas de las condiciones hacen referencia a la propiedad de los microdatos por parte del MDS o al perfil y a la experiencia tcnica del equipo ejecutor. La minuta del TOR se enva al tcnico de la secretara final para el visto bueno final. A continuacin se enva el TOR al rgano de cooperacin internacional a cargo de la gestin de los recursos destinados para el proyecto, que verifica el cumplimiento de todos los requisitos exigidos y se publica el TOR del pliego de condiciones presenten su candidatura para la ejecucin del estudio. Tras los trmites del proceso selectivo segn se definen en el pliego de condiciones y el examen por parte de una comisin tcnica, se selecciona para la contratacin a la institucin que haya presentado la mejor oferta en trminos de calidad tcnica y precio. para que las instituciones que se correspondan con las especificaciones
Seguimiento de los Estudios

Los tcnicos de la SAGI realizan un seguimiento en todas sus etapas de los estudios contratados. Aunque los trminos de referencia definan la dimensin del programa que ha de evaluarse (proceso o resultados) y algunos parmetros metodolgicos (muestra representativa nacional o por regin), la institucin contratada es la que se encarga posteriormente de fijar en detalle el diseo, la muestra y los instrumentos de recogida de datos, con el acompaamiento y la aprobacin de la SAGI. El diseo y la muestra del estudio se definen teniendo en cuenta los recursos y las fuentes de datos disponibles. La seleccin de muestras
39
representativas, escogidas al azar, dependen de la existencia de registros y del acceso que a ellos se tenga. Sin embargo, existen casos en que el MDS no dispone de un registro de los beneficiarios de programas. Eso ocurre
cuando los recursos se transfieren directamente a los municipios, que a su vez se los transfieren a los beneficiarios. Tambin se da el caso de programas llevados a cabo por organizaciones externas al MDS, con lo que parte de las bases de datos relevantes para el estudio no estn disponibles en el MDS y tienen que obtenerse mediante negociacin con esas organizaciones. Una vez definida la muestra, la institucin contratada efecta una propuesta de instrumento de recogida de datos (cuestionario, guin de entrevista) basndose en las cuestiones que han de ser investigadas, y la enva a la SAGI para su discusin y aprobacin. En general, la metodologa del estudio, incluyendo la muestra y los instrumentos de recogida de datos, supone el primer producto previsto en el cronograma de desembolso de los estudios contratados. Durante de la recogida de datos, un tcnico de la SAGI intenta realizar al menos una visita de campo para acompaar a los investigadores de la institucin contratada.14 El objetivo es observar cmo se desarrolla el trabajo de campo, comprender el contexto local, conversar con beneficiarios, y promover de esa forma el aprendizaje del propio equipo. Como la SAGI es una unidad que contrata estudios, el proceso de trabajo del equipo se realiza sobre todo internamente, en la oficina. A diferencia de lo que ocurre con otras secretaras, los tcnicos de la SAGI no tienen muchas oportunidades de observar el desarrollo de los programas a nivel local. La visita de campo significa un momento de aprendizaje para el equipo, ya que los tcnicos pueden participar junto a investigadores ms experimentados de la experiencia del trabajo de campo, lo cual contribuye adems a la mejora de su capacidad de acompaar el desarrollo del estudio.
40
14. ubounaexcepcinenelcasodelaEvaluacindeImpactodelprogramaBolsa FamH liaydelaEvaluacindelaImplementacindelprogramaBolsa Famlia,queserealiz enlosmismosmunicipiosquelaEvaluacindeImpacto.FueacordadoqueelMDSno conocieralosmunicipiosdondesefueranarealizarlosestudios,paragarantizarque nosedieraningunainterferenciaporpartedelagestindelprograma.
Resultados
La divulgacin de los resultados de los estudios consta de las siguientes etapas: envo del informe final a los gestores, presentacin de los resultados en el MDS, publicacin de los microdatos y su puesta a disposicin del pblico. Cuando se aprueba el informe final, los resultados pasan a pertenecer a los gestores responsables del programa, que son, a fin de cuentas, los clientes de la SAGI. En algunos casos, se realizan reuniones a las que asisten los investigadores y gestores responsables para profundizar sobre algunas cuestiones evocadas en los informes. Los gestores evalan a su vez los datos, informaciones y recomendaciones de los informes finales, de cara a adoptar las diligencias oportunas, lo cual se aplica sobre todo cuando se trata de evaluaciones de procesos. La presentacin de los resultados del estudio por parte de los investigadores que la realizaron se dirige al pblico del MDS y a invitados externos que tengan relacin con el tema. La divulgacin se produce tambin a travs de varias publicaciones, como los Cuadernos de Estudios de Desarrollo Social, as como mediante libros, como puede verse en el Anexo VI. El objetivo de las publicaciones, adems de hacer pblicos los resultados de las evaluaciones, es contribuir al debate tcnico y poltico La etapa final es poner los microdatos a disposicin del pblico, los cuales, segn las normas contractuales, pertenecen al MDS. Cuatro meses despus de la divulgacin de los resultados del estudio, los microdatos se le hacen llegar al Consorcio de Informaciones Sociales (CIS)15, obviamente sin la identificacin personal de los entrevistados. En vista de la importancia que revisten los microdatos para los estudios, al darle acceso a ellos a la comunidad cientfica se pretende aumentar la eficiencia de la utilizacin de los recursos pblicos invertidos en investigacin, al tiempo que se promueve la transparencia y accountability en relacin con los resultados de esa inversin. El CIS no slo describe y documenta los bancos de datos que recibe, sino que comunica al donante las transferencias de informacin que le soliciten, lo que permite tambin evaluar el impacto de los estudios en la comunidad cientfica. sobre las polticas y programas del mbito del desarrollo social.
15. lConsorciodeInformacionesSocialesesfrutodeunproyectodelNcleodeApoyo E alaInvestigacinsobreDemocratizacinyDesarrollodelaUniversidaddeSoPaulo (NADD-USP),encolaboracinconlaAsociacinNacionaldePosgradoeInvestigacin enCienciasSociales(ANPOCS).
41
1- Discusin
2 - Trminos de referencia SAGI/SF Elaboracin del TOR por parte de la SAGI Revisin del TOR por la SF
3 - Contratacin
SAGI/SF Definicin de la evaluacin que ha de realizarse Relevancia del estudio propuesto
Organismo de Cooperacin Internacional Aprovacin del TOR Contratacin de la institucin ejecutora (IE) que mejor proyecto presente - Resultados finales/ Recomendaciones
4 - Reunin/ Definiciones importantes SAGI/SF/IE Definicin de cuestiones relevantes para el estudio Acceso a los datos necesarios para realizar el estudio
5 - Acompaamiento del estudio
SAGI/IE Desarrollo de los instrumentos de investigacin Visitas de campo Evaluacin y aprovacin de los informes parciales y del informe final - Publicaciones
SAGI/SF/IE Recomendaciones de la evaluacin (IE) Reuniones com los gestores Reajustes em los Programas
7 - Divulgacin de los resultados SAGI/SF/IE Presentacin de los resultados finales al MDS Seminrarios abiertos al pblico externo
9 - Disponibilizacin de los microdatos SAGI Envo de los archivos de los microdatos de las investigaciones al CIS
SAGI Cuadernos de estudios Informes de investigacin Libros
SAGI = Secretara de Evaluacin y Gestin de la Informacin SF = Secretara Final IE = Institucin Ejecutora CIS = Consorcio de Informaciones Sociales
Figura 8: Ciclo de Evaluacin
42
4. Consideraciones
Finales
En Brasil, la creacin de una unidad horizontal dentro de una estructura ministerial para la evaluacin y seguimiento de las polticas y programas de proteccin y asistencia social significa una innovacin en varios sentidos. La incorporacin de la evaluacin y el seguimiento a la gestin y toma de decisiones, adems de agregar calidad a la gestin y al rendimiento de los programas sobre la base de informacin y anlisis de datos, refuerza la expansin de una cultura de transparencia y accountability en la administracin pblica. En tanto que iniciativa del MDS para la modernizacin de la gestin de sus polticas, forma parte de un proceso destinado a mejorar la eficiencia, eficacia y efectividad de un conjunto de acciones del Estado. En la divisin social del trabajo en el campo de la evaluacin, la SAGI ha asumido la funcin de contratante de servicios. Aunque haya miembros del equipo que con frecuencia llevan a cabo estudios, recopilacin de informacin y anlisis de problemas especficos16, nunca se ha asumido la funcin de realizar las investigaciones, algo que sera totalmente irrealizable dentro de una estructura ministerial y respecto a los objetivos de evaluar el conjunto de programas y polticas del MDS. Actuando en tanto que contratante de estudios se obtuvieron tres tipos de beneficios: de escala, pues fue posible contratar un gran nmero de estudios en un tiempo relativamente corto; de diversidad, ya que se propuso como estrategia de evaluacin la contratacin de estudios de diferentes tipos, diseos, enfoques y mtodos; y de calidad, pues fue posible seleccionar las instituciones ms adecuadas para realizar cada tipo de
16. stosanlisisserealizangeneralmenteenformadeNotasTcnicas,paracontribuiral E debatesobreciertostemasenelMDS.
43
estudios. Se realizaron desde estudios nacionales junto con el IBGE hasta evaluaciones de impacto con diseo longitudinal y semiexperimental, pasando por estudios de caso con enfoque antropolgico.
No obstante, el xito de esa estrategia se debi a la decisin de formar un equipo reducido y cualificado, multidisciplinar y con suficiente experiencia en investigacin no slo para saber qu se quera contratar, sino tambin con conocimiento terico y metodolgico para evaluar los productos recibidos. Una gestin no burocrtica, flexible y centrada en el reconocimiento de las capacidades individuales, de la autonoma y de la responsabilidad del equipo result decisiva para producir, en un periodo de tiempo tan corto, un conjunto significativo de estudios, herramientas, publicaciones y cursos. Aunque consideremos a las dems reas de la poltica social, consolidadas hace ms tiempo, unidades equivalentes a la SAGI, cuando se integran en estructuras ministeriales no slo son menores, sino que no disponen de tanta capacidad de ejecucin y capacidad tcnica agregada. La SAGI ha desarrollado un modelo institucional de evaluacin propio que incluye una cadena de procesos para el ciclo de evaluacin que va desde la definicin del problema a la elaboracin de los trminos de referencia de estudios, la contratacin, el acompaamiento, la divulgacin y la publicacin regular de los resultados. Desde la perspectiva del seguimiento, la construccin de la Matriz de Informaciones Sociales tuvo dos consecuencias principales: la primera, que se convirti en un poderoso instrumento de gestin con informacin agregada a nivel municipal por vez primera en el mbito de la proteccin social; la segunda, que la puesta en marcha de la Matriz de Informaciones Sociales indujo a la resolucin de al menos tres tipos de problemas de informacin del MDS: la produccin, la estandarizacin y la actualizacin de los datos. Los sistemas y programas heredados de las tres estructuras gubernamentales de las que surgi el actual ministerio no conformaban un sistema, y la funcin de seguimiento y evaluacin tampoco estaba presente. Al establecerse la funcin y las directrices de una poltica de evaluacin y seguimiento, garantizndose recursos fsicos, humanos y financieros para sus actividades, se crearon las condiciones organizacionales e institucionales para la construccin y la implementacin del sistema.
44
Uno de los grandes desafos del rea de desarrollo social en Brasil en la actualidad reside en la construccin de su sistema de proteccin social. Para enfrentar ese reto hay que integrar las acciones y programas del MDS a partir de la familia y del territorio, incluyendo la compleja articulacin entre diferentes actores, agencias y organizaciones. La institucionalizacin de un sistema de evaluacin y seguimiento que tenga en cuenta esa complejidad es una condicin necesaria para la integracin efectiva de las distintas reas y programas que hoy convergen en las polticas de desarrollo social, para cuya gestin eficaz el MDS viene creando las condiciones tcnicas y operacionales, junto a la implementacin de la poltica. Para que la evaluacin y el seguimiento dejen de constituir una innovacin y se incorporen efectivamente a la cultura (creencias y prcticas) del mbito de las polticas, es necesario garantizar su continuidad. Por otro lado, la institucionalizacin de la evaluacin y el seguimiento en el mbito social, un campo con una gran demanda de contratacin de funcionarios pblicos de carrera y de capacitacin de su personal, va induciendo tambin a la formacin de recursos humanos ms cualificados. El pleno funcionamiento del sistema, orientado por indicadores y conceptos compartidos sobre dimensiones comunes a todos los programas tales como poblacin objetivo, cobertura, beneficios, etc. contribuye a la formacin de una identidad comn en este mbito, especialmente en este momento, en que se pretende implementar un cambio de paradigma con la expansin substantiva de la cobertura y la mejora de la calidad de los servicios ofrecidos. Tras poco ms de dos aos de actuacin, la experiencia y el modelo por parte del Banco Mundial y de la FAO. El dilogo internacional se est reforzando no slo con las agencias multilaterales de fomento, sino tambin con instituciones de investigacin pblicas y privadas, investigadores independientes, gestores y tcnicos; un tipo de colaboracin entre el Gobierno e instituciones internacionales que prcticamente no exista anteriormente en el mbito de la evaluacin y el seguimiento. La institucionalizacin de la evaluacin y el seguimiento como parte de las organizaciones del Estado ha acercado la dimensin tcnica a la gestin de las polticas. Ciertamente, los desafos que se le plantean a esa aproximacin son numerosos, debido a sus distintos tiempos, necesidades,
Consideraciones Finales
de evaluacin y seguimiento desarrollados en el MDS son objeto de estudio
45
prcticas, formas de discursos y criterios de decisin. Un gestor necesita dar respuestas rpidas para resolver problemas, razn por la cual dispone de bastante menos tiempo del que se necesita para producir conocimiento
sobre un problema concreto. No obstante, los resultados de estudios validados por la comunidad cientfica son los que logran crear algn tipo de acuerdo entre diferentes actores con intereses y concepciones a menudo divergentes tales como implementadores, formuladores de polticas, responsables de tomar decisiones, formadores de opinin, sociedad civil, legisladores sobre los resultados de programas y polticas. En este sentido, la gran innovacin del MDS en el mbito de la evaluacin y el seguimiento ha sido la creacin de mecanismos institucionales que vienen haciendo posible no slo la interaccin entre el conocimiento tcnico y cientfico y las polticas, sino su efectiva utilizacin en la retroalimentacin de las polticas.
4
Lista de Siglas
ANPOCS Asociacin Nacional de Posgrado e Investigacin en Ciencias Sociales ASA Articulacin del Semi-Arido BID Banco Interamericano de Desarrollo BIRD Banco Mundial BPC Beneficio de Prestacin Continuada Cadnico Registro nico de los Programas Sociales CEF Caixa Econmica Federal CGU Controladoria General de la Unin CIS Consorcio de Informaciones Sociales CONAB - Compaa Nacional de Abastecimiento CRAS Centros de Referencia de la Asistencia Social DATAPREV Empresa de Tecnologa e Informacin de la Seguridad Social DFID Departamento para el Desasrrollo Internacional DICI-VIP Diccionario de Variables e Indicadores de Programas FAO Organizacin de las Naciones Unidas para la Agricultura y la Alimentacin FGV Fundacin Getlio Vargas IBGE Instituto Brasileo de Geografa y Estadstica IUPERJ Instituto Universitrio de Investigaciones de Rio de Janeiro LOAS Ley Orgnica de Asistencia Social MAS Ministerio de Asistencia Social MDS Ministerio de Desarrollo Social y Lucha contra el Hambre el Hambre MG Minas Gerais MI Social Matriz de Informaciones Sociales MOST Programa Gestin de las Transformaciones Sociales MPU Ministerio Pblico de la nion NAAD-USP Ncleo de Apoyo a la Investigacin sobre Democratizacin y Desarrollo de la Universidad de So Paulo MESA Ministerio Extraordinario de Seguridad Alimentaria y Lucha contra
Lista de Siglas
47
PAA Programa de Adquisicin de Alimentos PAIF Programa de Atencin Integral a la Famlia PBF Programa Bolsa Famlia
PETI Programa de Erradicacin del Trabajo Infantil PIB Producto Interno Bruto PNUD Programa de las Naciones Unidas para el Desarrollo PPA Plan Plurianual REVAS-BPC-LOAS Sistema de Revisin de la Evaluacin Social del Beneficio de Prestacin Continuada SAGI Secretara de Evaluacin y Geston de la Informacin SAIP Secretara de Articulacin Institucional y Colaboraciones SAM Sistema de Evaluacin y Seguimiento SENARC Secretara Nacional de Renta e Ciudadana SESAN Secretara Nacional de Seguridad Alimentaria SHS Sector de Ciencias Humanas y Sociales SIAFAS-Web Sistema de Informacin de Acompaamento Fsico y Financiero de las Acciones de Asistencia Social SNAS Secretara Nacional de Asistencia Social SPOA Subsecretara de Planificacin, Presupuesto y Administracin SUAS Sistema nico de Asistencia Social TCU Tribunal de Cuentas de la Unin TOR Trminos de Referencia TSE Tribunal Superior Electoral UNESCO Organizacin de las Naciones Unidas para la Educacin, la Cincia y la Cultura
4
BRASIL. Ministrio de Assistncia Social. Poltica Nacional de Assistncia Social. Braslia: Secretaria de Assistncia Social, 2004. BRITTO, T.; SEPLVEDA, J.; BARBOSA, D. Levantamento dos sistemas de informao dos programas do Ministrio do Desenvolvimento Social e Combate Fome. Braslia: Secretaria de Avaliao e Gesto da Informao/Ministrio do Desenvolvimento Social e Combate Fome, 2004. DRAIBE. S. M. Introduo. In: BARREIRA, M. C. R. N.; CARVALHO, M. do C. B. de (Org.). Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo: IEE/PUC-SP, 2001. KUHN, T. S. A estrutura das revolues cientficas. So Paulo: Editora Perspectiva, 1992. LAUDON, C. K.; LAUDON, J. P. Sistemas de informaes. 4.ed. Rio de Janeiro: LTC, 1999. NERI, M. Misria em queda. Rio de Janeiro: Centro de Polticas Sociais da Fundao Getlio Vargas, 2005. WILDAWSKY, A. Speak truth to power: the art and craft of policy analysis. Boston: Little, Brown & Company, 1979.
49
Anexo I: Breve Descripcin de los Programas del MDS

Secretara de Recursos de Ciudadana (SENARC) Programa Bolsa Famlia: programa de transferencia condicionada de recursos en las reas de salud y educacin, destinado a las familias en situacin de pobreza, con ingresos per capita inferiores a R$ 120,00 mensuales, que asocia la transferencia de la ayuda econmica a los derechos sociales bsicos: salud, alimentacin, educacin y asistencia social. El valor de la ayuda puede variar entre R$ 15,00 y R$ 95,00 mensuales, dependiendo de la condicin econmica de la familia y de la presencia de nios en edad escolar y de mujeres gestantes o lactantes. Secretara Nacional de Asistencia Social (SNAS) Programa de Erradicacin del Trabajo Infantil (PETI): programa que persigue la erradicacin del trabajo de nios y adolescentes (con edades inferior a 16 aos), mediante la concesin de una ayuda mensual de R$ 40,00 por cada nio en actividad laboral urbana y R$ 25,00 por cada nio en actividad laboral rural. En contrapartida, las familias tienen que matricular a sus hijos en la escuela y hacerles frecuentar la jornada ampliada, de maana y tarde. Beneficio de Prestacin Continuada (BPC): beneficio asistencial constitucional que garantiza un salario mnimo mensual a las personas mayores de 65 aos y a los discapacitados para llevar una vida independiente y para el trabajo con una renta familiar per cpita menor que un cuarto del salario mnimo. Agente Joven: dirigido a jvenes entre 15 y 17 anos en situacin de riesgo. Ayuda de R$ 65,00 para la capacitacin terica y prctica para permanecer en la escuela y preparacin para el mercado de trabajo mediante actividades especficas.
50
Proteccin Social Bsica para Nios entre 0 y 6 aos (PAC): apoyo tcnico y econmico para programas y proyectos realizados por Estados, municipios y entidades sociales, destinados a la atencin de los nios, valorizando la convivencia sociofamiliar. Atencin a los Discapacitados (PPD): apoyo tcnico y econmico a Estados, municipios e instituciones para acciones de proteccin social bsica y especial y de inclusin social de los discapacitados (y sus familias) que se encuentran en situacin vulnerable debido a la pobreza o al riesgo personal y social. Atencin a Personas de la Tercera Edad (API): apoyo tcnico y econmico sociales, destinados a la atencin de personas de la tercera edad en situacin vulnerable por la pobreza. Programa de Lucha contra el Abuso y la Explotacin Sexual de Nios y Adolescentes (Programa Sentinela): acciones sociales especializadas que incluyen a profesionales de diversas especialidades dirigidas a nios y adolescentes y a sus familias vctimas de abuso o violencia sexual. Programa de Atencin Integral a la Familia (PAIF): servicio de acompaamiento socioasistencial a familias en situacin vulnerable que se lleva a cabo en los Centros de Referencia de la Asistencia Social (CRAS). Secretara de Seguridad Alimentaria y Nutricional (SESAN) Programa de Adquisicin de Alimentos (PAA): Su objetivo es incentivar la produccin de alimentos por parte de la agricultura familiar, permitiendo la compra, mediante diversas modalidades, de productos hasta un lmite de R$ 2.500,00 por agricultor al ao, y su distribucin entre personas en situacin de inseguridad alimentaria, y atender a los programas sociales de los estados y municipios y formar reservas. Construccin de Cisternas: construccin de cisternas para almacenamiento de agua llovediza para familias de bajos ingresos, residentes en reas rurales de municipios del semirido y que no dispongan de fuente de agua ni de medio de almacenarla adecuadamente.
Anexo I: Breve Descripcin de los Programas del MDS
para servicios de proteccin social bsica y especial y para entidades
51
Distribucin de Paquetes de Alimentos: entrega de paquetes de alimentos bsicos a familias en situacin de riesgo alimentario, familias acampadas, comunidades indgenas, remanentes de quilombos (comunidades formadas
por esclavos huidos), comunidades afectadas por la construccin de presas o en situacin crtica. Parte de los productos proviene de la compra a agricultores familiares realizada por el PAA. Huertas Comunitarias: implantacin de huertas, viveros, plantaciones y frutales comunitarios, para la mejora de la seguridad alimentaria de comunidades pobres. Cocinas Comunitarias: implantacin de pequeas unidades de produccin de comidas, contemplando reas de gran concentracin de personas, tambin en zonas de baja densidad de poblacin. Restaurantes Populares: ampliacin de la oferta de comidas, nutricionalmente equilibradas, producidas en procesos seguros, comercializadas a precios accesibles en restaurantes en convenio con Estados y municipios. Educacin Alimentaria: difusin mediante diversos instrumentos de prcticas de seguridad alimentaria, valorizando la mejora de los hbitos alimentarios y de consumo, y la alimentacin regional local. Bancos de Alimentos: organizacin de las donaciones de alimentos, provenientes en general de productores y comercio locales, impropios para su comercializacin pero adecuados para el consumo humano, y entrega a instituciones que producen y distribuyen comidas gratuitas entre individuos en situacin de vulnerabilidad alimentaria.
52
Anexo II: Minuta del Decreto Ministerial sobre la Poltica de Evaluacin y Seguimiento del MDS
MINISTERIO DE DESARROLLO SOCIAL Y LUCHA CONTRA EL HAMBRE DECRETO MINISTERIAL N nnnn, DE dd/mm/2006
QueinstituyeyregulalaPolticadeSeguimientoyEvaluacindel MinisteriodeDesarrolloSocialyLuchacontraelHambre.
El MINISTRO DE ESTADO DE DESARROLLO SOCIAL Y LUCHA CONTRA EL HAMBRE, en el uso de sus atribuciones legales, otorgadas por el artculo 87 de la Constitucin Federal de Brasil; el inciso II del artculo 27 de la Ley n 10.683 de 28 de mayo de 2003, y del Decreto n 5.550 de 22 de septiembre de 2005; declara: Ttulo I Del Objeto y Objetivos de la Poltica de Seguimiento y Evaluacin Art. 1 La Poltica de Seguimiento y Evaluacin tiene por objeto el anlisis de los procesos, productos y resultados referentes a los programas
53
y acciones llevados a cabo o financiados por el Ministerio de Desarrollo Social y Lucha contra el Hambre.
Art. 2 Se consideran acciones de seguimiento las destinadas al acompaamiento de la implementacin y ejecucin de los programas y acciones, para obtener informacin que ayude en la gestin y en la toma de decisiones cotidianas, as como a la identificacin precoz de posibles problemas. Prrafo nico. Constituyen acciones de seguimiento, sin perjuicio de otras que se desprendan de la definicin establecida en el encabezado, las siguientes actividades: I - definicin del conjunto mnimo de indicadores que deben ser observados en cada programa o accin; II - definicin del conjunto mnimo de datos que deben recogerse por cada programa o accin; III - acompaamiento sistemtico de la realizacin fsica y financiera de los programas y acciones; IV - construccin e implantacin de sistemas de informacin de los programas y acciones gubernamentales e no gubernamentales; V - recogida o recepcin sistemtica de los datos sobre los programas y acciones; VI - supervisin in situ de los programas y acciones realizados por el MDS o por sus socios; VII - produccin de indicadores referentes a los programas y acciones; VIII - anlisis de los indicadores referentes a los programas y acciones. Art. 3 El MDS pedir, igualmente en contrapartida a la financiacin de programas y acciones realizados por socios gubernamentales y no gubernamentales, que stos enven regularmente los datos necesarios, tambin datos documentales, para la realizacin de la actividad de seguimiento. Art. 4 Se consideran acciones de evaluacin cualquier estudio o investigacin referente a los programas y acciones que tenga uno de los siguientes objetivos:
54
I - anlisis de la implementacin de programas y acciones; II - anlisis de los resultados inmediatos de programas y acciones; III - anlisis de los impactos o efectos de programas y acciones; IV - anlisis de la eficiencia, la equidad, la eficacia o la efectividad de programas y acciones; V - anlisis del perfil de los beneficiarios de los programas y acciones; VI - elaboracin de diagnsticos del perfil de la demanda; VII - evaluacin de la satisfaccin de beneficiarios y usuarios; VIII - evaluacin de la calidad de los servicios prestados; IX - elaboracin de estudios de lnea de base. Prrafo nico. De entre las acciones de evaluacin, las referidas a los incisos III, IV, VII y VIII del artculo noveno, se realizarn, de preferencia, en
Art. 5 Las acciones de evaluacin tienen distinta naturaleza y objetivos que las acciones de inspeccin y auditora, con las cuales no se confunden. Ttulo II De los Principios y Directrices de la Poltica de Seguimiento y Evaluacin Art. Los principios sobre los que se construye la Poltica de Seguimiento y Evaluacin del Ministerio de Desarrollo Social y Lucha contra el Hambre son la tica, la transparencia, la imparcialidad y el desinters. Art. 7 Desde un punto de vista organizacional, la definicin y ejecucin de cada una de las acciones de seguimiento y evaluacin vienen determinadas por los principios de cooperacin, articulacin e integracin entre los rganos internos del MDS. Art. La lnea directriz de la Poltica de Seguimiento y Evaluacin es la contribucin a la mejora de la gestin pblica, ofreciendo elementos que contribuyan al aumento de la responsabilizacin, eficiencia, eficacia y efectividad de las polticas sociales, y al ejercicio del control social sobre las polticas pblicas.
colaboracin con universidades e instituciones de investigacin.
55
Prrafo nico. Las acciones de seguimiento y evaluacin deben contribuir al acompaamiento de los Programas del Plan Plurianual (PPA).
Art. 9 La formulacin e implementacin de los programas y acciones del MDS deben contemplar la necesidad de seguimiento y evaluacin y hacer viables los medios necesarios para su realizacin, especialmente en lo referido a la especificacin de los indicadores y al suministro regular de datos necesarios por parte de los ejecutores del programa o accin. Art. 10 Los datos e informaciones resultantes de estudios o investigaciones financiados por el MDS sern, independientemente de quin los realice, entregados en su integralidad al MDS, que es el propietario de todos los derechos sobre los mismos. Ttulo III De los Instrumentos de Ejecucin de la Poltica de Seguimiento y Evaluacin Art. 11 La ejecucin de la Poltica de Seguimiento y Evaluacin se realiza, entre otros medios, mediante los siguientes instrumentos: I - plan Anual de Seguimiento y Evaluacin; II - sistema de Seguimiento; III - informe de Acompaamiento de la Ejecucin Fsica e Financiera; IV - informes de las Evaluaciones Especficas; V - informes Semestrales de los Indicadores de Seguimiento; VI - informe Anual de Financiacin de la Asistencia Social en Brasil; VII - informe Anual de las acciones de Seguimiento y Evaluacin. Art. 12 El Plan Anual de Seguimiento y Evaluacin debe elaborarse segn las definiciones de los incisos de este artculo: I - indicar a qu programas y acciones del MDS debe darse prioridad en las acciones de evaluacin del ao siguiente al de la elaboracin del Plan; II - tener en cuenta en su elaboracin las evaluaciones realizadas anteriormente por el MDS o por otras instituciones;
5
III - proponer iniciativas para perfeccionar las acciones de seguimiento; IV - elaborarse de forma participativa por un Grupo de Trabajo con representacin de las secretaras, secretara ejecutiva, asesora del Programa Hambre Cero y del Gabinete del Ministro, bajo coordinacin de la SAGI; V - elaborarse y aprobarse por el Grupo de Trabajo hasta el mes de agosto del ao anterior al de su ejecucin; VI - registrar, adems de las acciones de seguimiento y evaluacin bajo responsabilidad directa de la Secretara de Evaluacin y Gestin de la Informacin, las acciones de evaluacin que pudiera realizar algn otro rgano interno de este ministerio. Art. 13 - El Plan Anual de Seguimiento y Evaluacin incorporar revisiones se presente una justificacin relevante y acuerdo entre los rganos del Ministerio a los que afecte la alteracin. Art. 14 - Los Informes de las Evaluaciones Especficas se presentarn y discutirn con el rgano interno responsable del programa, servicio o accin que sea objeto de la evaluacin. 1 - Los estudios e investigaciones para los que se empleen recursos financieros especficos deben contar con un informe de pblico acceso. 2 - Los informes de los estudios y evaluacin deben, siempre que sea pertinente, incluir recomendaciones para las polticas y programas en cuestin. Art. 15 - El Sistema de Seguimiento define el conjunto mnimo de indicadores utilizados para el seguimiento de los programas y acciones del Ministerio y ofrece peridicamente los valores actualizados de los mismos. Prrafo nico - La periodicidad de actualizacin de cada indicador depender de la periodicidad de actualizacin de los datos por parte de las fuentes que los producen.
peridicas, en las que se podrn incluir o excluir acciones siempre y cuando
57
Art. 1 - Los Informes Semestrales de Seguimiento se elaboran sobre la base de los datos recibidos y procesados por el Sistema de Seguimiento, y debern incluir un anlisis cualitativo y cuantitativo del rendimiento de los
programas y acciones del Ministerio. Art. 17 - El Informe Anual de las Acciones de Seguimiento y Evaluacin presentar una sntesis de las principales conclusiones, resultados y recomendaciones de los estudios e investigaciones realizados a lo largo del ao. Prrafo nico - El Informe se har llegar a la Secretara Ejecutiva al final de mes de enero del ao siguiente, a ms tardar. Ttulo IV De las competencias y responsabilidades de los rganos internos del MDS en la ejecucin de la Poltica de Seguimiento y Evaluacin Art. 1 La Secretara de Evaluacin y Gestin de la Informacin es el rgano responsable de la coordinacin de la Poltica de Seguimiento y Evaluacin. Art. 19 - Las acciones de seguimiento y evaluacin ejecutadas por la SAGI, o por una institucin a ella adscrita, deben contemplar las determinaciones del Plan Anual de Evaluaciones. Prrafo nico - En la definicin tcnico-operacional detallada de los objetivos y metodologas particulares a cada accin de evaluacin o seguimiento prevista en el Plan Anual, la SAGI actuar de forma articulada con las Secretaras responsables del programa o accin en cuestin. Art. 20 - En virtud de las competencias establecidas por el Decreto n 5.074 de 2004, la SAGI deber encargarse de las siguientes acciones y responsabilidades. I - coordinar la elaboracin del Plan Anual de Seguimiento y Evaluacin
5
II - comprobar la calidad de los Informes de las Evaluaciones Especficas
III - validar los indicadores que componen el Sistema de Seguimiento IV - elaborar los Informes Semestrales de los Indicadores de Seguimiento V - elaborar el Informe Anual de las Acciones de Seguimiento y Evaluacin VI - ejecutar, directamente o en colaboracin con otras instituciones, las acciones de evaluacin previstas en el Plan Anual de Seguimiento y Evaluacin, con excepcin de las que estn explcitamente bajo responsabilidad de otro rgano de este Ministerio. VII - promover, en colaboracin con la Asesora del Hambre Cero y Subsecretaria de Planificacin, Presupuesto y Administraciuon (SPOA), el seguimiento de las acciones del Hambre Cero en el mbito del Ministerio; VIII - ejecutar acciones de seguimiento complementarias a las desarrolladas por las dems Secretaras, especialmente aquellas a que se refieren los IX - proporcionar a los dems rganos internos, siempre que as sea solicitado, informaciones referentes a las acciones de seguimiento y evaluacin que estn bajo su responsabilidad; X - divulgar va Internet publicaciones impresas, eventos y seminarios, los resultados de los estudios e investigaciones previstos en el Plan Anual; XI - mantener un centro de documentacin de acceso pblico con todos los estudios y evaluaciones realizados por el MDS. Art. 21 - Compete a cada rgano interno el seguimiento de los programas y acciones finales bajo su responsabilidad, especialmente en lo referido a las actividades definidas en los incisos III, IV, V y VI del prrafo nico del artculo 2. 1 Los rganos responsables de la gestin de los programas y acciones finales deben solicitar el apoyo de la SAGI siempre que las actividades desarrolladas guarden relacin con aquellas mencionadas en los incisos I, II, IV y VII del prrafo nico del artculo 2. 2 La ejecucin de actividades relacionadas con el inciso IV del prrafo nico del artculo 2 sern obligatoriamente analizadas por el Comit Gestor de Tecnologa e Informacin, instituido por el decreto ministerial 556 de 11 de noviembre de 2005.
incisos I, II, VII y VIII del prrafo nico del artculo 2;
59
Art. 22 Es responsabilidad de todo rgano interno del MDS suministrar a la SAGI los documentos, informaciones y datos necesarios para el desarrollo
de las acciones de Seguimiento y Evaluacin. Art. 23 - Los rganos internos del MDS son responsables del envo a la SAGI, sin necesidad de solicitacin previa, de copia de todos los estudios e investigaciones por ellos realizados, para que sean incorporados al acervo del centro de documentacin al que se refiere el inciso XI del artculo 20. Art. 24 - Compete a la SPOA el seguimiento de la ejecucin fsica y financiera de los programas y acciones del Ministerio y la elaboracin de los informes a que se refieren los incisos III y VI del artculo 11. Prrafo nico La SPOA debe poner a disposicin de los dems rganos internos del MDS los datos, informaciones y documentos referentes a la ejecucin fsica y financiera que sean necesarios para las actividades de seguimiento y evaluacin realizadas por los mismos. Art. 25 - Compete a la Secretara Ejecutiva garantizar la accin cooperativa entre los rganos envueltos en la ejecucin de la Poltica de Seguimiento y Evaluacin. Art. 2 publicacin. Este decreto ministerial entrar en vigor en la fecha de su
0
Anexo III: Recursos Humanos

Recursos humanos de la Secretara de Evaluacin y Gestin de la Informacin, segn funcin y titulacin:
Titulacin Funcin Direccin Administracin/Gestin Apoyo Administrativo Tcnico Becarios Tcnicos Total 2 3 3 8* 20** 3 12 7 Enseanza Licenciatura Especializacin Media 2 2 3 13 1 9 2 1 1 Mster 3 Doctorado 5 Total 11 3 5 28 3 50
Fuente: SAGI, 2006. * Todos estn cursando estudios superiores. ** Cuatro estn cursando un mster.
Anexo III: Recursos Humanos
1
Recursos humanos de la Secretara de Evaluacin y Gestin de la Informacin, segn carrera de licenciatura y la titulacin:
Titulacin Formacin Derecho Historia Servicio Social Ciencias Sociales / Ciencias Polticas Economa Pedagoga Psicologa Medicina / Salde Pblica Qumica / Nutricin Agronoma Estadstica Tecnologa de la Informacin y Comunicacin* Administracin Biblioteconoma Arquitectura Secretariado Ejecutivo Total 1 20 3 12 7 2 5 2 1 1 1 2 1 2 1 1 3 2 1 1 3 1 2 1 3 2 2 Licenciatura Especializacin 1 Mster Doctorado Total 1 2 1 8 4 1 1 3 3 2 4 7 2 1 1 1 42
Fuente: SAGI, 2006. *Se incluyen en esta categora las carreras de Administracin de Sistemas de Informacin, Computacin, Tecnologa e Tecnologa Telemtica e Ingeniera.
2
Programas sociales del MDS
Recursos Invertidos (US$) Estudios (a) Programa (b) 4,310,657,583.64 6,039,257,161.89 27,809,127.27 426,190,622.73 53,035,616.98 56,497,363.64 91,801,216.70 76,631,793.64 53,319,197.35 40,059,543.25 6,256,411.36 61,434,895.36 2,848,377.09 11,245,798,910.89
Relacin entre recursos invertidos en investigacin y recursos de losprogramas (a)/(b) (%) 0,206 0,004 0,466 0,351 0,452 5,979 0,741 0,151 0,423 0,159 2,543 0,340 3,192 0,142
Bolsa Famlia BPC Centinela PETI Agente Joven PAIF PAA PAA-Leche Cisternas Restaurantes Populares Educacin Alimentaria Paquetes de Alimentos Bancos de Alimentos Total
8,863,499.09 265,909.09 129,545.45 1,495,454.55 239,714.77 3,377,727.27 680,545.45 115,863.64 225,301.72 63,869.55 159,090.91 209,090.91 90,909.09 15,916,521.50
Fuente: SAGI, 2006. a - Recursos invertidos en los programas en 2004 y 2005 b - Incluye todas las evaluaciones (2004-2006)
Anexo IV - Recursos Invertidos en Investigaciones y Programas
Anexo IV - Recursos Invertidos en Investigaciones y Programas
3
4
Anexo V Estudios Contratados

Programa Estudio
Estudio sobre la importancia de las transferencias en los recursos municipales Estudio domiciliar longitudinal - Impacto del PBF en el gasto y consumo de las familias Primera Fase Evaluacin de la implementacin del Programa Bolsa Famlia
rgano de Cooperacin Internacional
Descripcin
Anlisis de la importancia del volumen de recursos transferidos por el Programa Bolsa Familia segn el tipo de municipio. Evaluacin del impacto del programa sobre gastos con alimentacin, educacin y salud; medidas antropomtricas e indicadores de desnutricin; empoderamiento y capital social; relaciones de gnero y asignacin intrafamiliar de recursos. Evaluacin de la gestin local del Programa Bolsa Famlia, relacionando la con los resultados del programa en el municipio. Evaluacin de la gestin del programa y de su impacto en la capacidad institucional de los municipios, la economa local y la oferta de servicios sociales. Estudio sobre la percepcin de los beneficiarios del Programa Bolsa Familia: grado de conocimiento de los beneficiarios sobre el programa y su evaluacin sobre la importancia de la iniciativa para la mejora de sus condiciones de vida. Evaluacin de la calidad de los registros de los programas de transferencia de recursos anteriores al programa Bolsa Famlia, as como el registro y reciente nuevo registro del Cadnico.
Periodo de conclusin
Concluido
PNUD
1er sem. 2006
3 Bolsa Famlia 4
Banco Mundial/ PNUD Banco Mundial/ PNUD
2007
Prestacin de Servicios y Economa Local
2007
Estudio de conjunto sobre los beneficiarios del Programa Bolsa Famlia
PNUD
Concluido
Evaluacin del Registro nico Focalizacin
Banco Mundial/ PNUD
2007
Programa
Estudio

Banco Mundial/ PNUD
Descripcin
Estudios de caso sobre control social
Evaluacin del funcionamiento del control social del programa y sus efectos en trminos de capital social. Evaluacin del impacto del programa sobre gastos con alimentacin, educacin y salud; medidas antropomtricas e indicadores de desnutricin; empoderamiento y capital social; relaciones de gnero y asignacin intrafamiliar de recursos. Evaluacin de los efectos del programa sobre las relaciones de gnero y el empoderamiento de las familias beneficiarias por medio de estudios de caso cualitativo en 10 municipios. Evaluacin del impacto del programa sobre el empoderamiento de las mujeres beneficiarias. El estudio se centra en la recogida de datos y evaluacin del impacto de la transferencia de recursos, realizada mediante el BF, sobre el rendimiento escolar de los nios y adolescentes miembros de familias beneficiarias.
2007
Evaluacin del Impacto del Programa Bolsa Famlia Segunda fase
Banco Mundial/ PNUD
2007
Evaluacin de Resultados del Programa Bolsa Famlia sobre las relaciones de gnero Evaluacin del Impacto del PBF en el empoderamiento en las relaciones de gnero Evaluacin del Impacto del Programa Bolsa Famlia (BF) en el rendimiento escolar de nios de familias beneficiarias
DFID
2 sem. 2006
Bolsa Famlia
10
DFID
2007
11
Banco Mundial/ PNUD
2 sem. 2006
12
Estudio de beneficiarios del Programa Bolsa Famlia sobre condiciones de Seguridad Alimentaria y Nutricional
PNUD
El estudio pretende determinar la percepcin de los beneficiarios del Programa sobre la mejora de sus condiciones de vida, principalmente sobre los cambios referentes a la calidad y la cantidad de alimentos consumidos por las familias beneficiarias.
Concluido
5

BPC
Programa
Estudio
Descripcin
El estudio pretende evaluar el impacto del Programa Bolsa Famlia dos aos despus de su implantacin, a la luz de los resultados provisionales del mismo en lo que respecta a la situacin nutricional de los nios de familias beneficiarias.
13
Impacto socioepidemiolgico del Programa Bolsa Famlia
PNUD
2 sem. 2006
Bolsa Famlia
14
Tercer estudio cuantitativo de grupo realizado un ao despus de la transformacin del programa en Bolsa Famlia. En colaboracin con el Ministerio de Salud y UFPe. Estudio sobre los resultados de las auditoras e inspecciones de rganos externos al MDS: Tribunal de Cuentas de la Unin, TCU; Controladoria General de la Unin, CGU; y Ministerio Pblico de la Unin, MPU
PNUD
Tercer estudio cuantitativo de grupo realizado un ao despus de la transformacin del programa Bolsa Alimentacin en Bolsa Famlia.
2 sem. 2006
15
Banco Mundial
Anlisis de los problemas y puntos crticos identificados por el TCU, CGU y MPU, as como por el propio MDS, en la gestin e implementacin del Programa Bolsa Famlia durante el ao 2005, en los niveles federales pertinentes. Evaluacin del proceso de gestin del Programa (etapas de flujos, procesos de concesin y revisin, procesos decisorios, capacitacin, obstculos, innovaciones, etc.) y efectos directos e indirectos del beneficio sobre la poblacin beneficiaria en la regin Sudeste. Evaluar el aumento de presupuesto del BPC necesario para atender el nuevo contingente de beneficiarios derivado de la aprobacin de nuevos criterios de elegibilidad segun el PL 3055/97 Estimacin de crecimiento del pblico objetivo potencial del BPC para 2005-2010
2 sem. 2006
Estudio sobre la implementacin del programa y su impacto sobre los beneficiarios
PNUD
Concluido
Estudio del impacto presupuestario de las modificaciones de la LOAS - PL 3055/97 Estimacin de crecimiento del pblico objetivo potencial del BPC (tercera edad) para 2005-2010
PNUD
Concluido
PNUD
2 sem. 2006
Programa
Estudio
Estudio sobre los ndices de cobertura del BPC y demanda potencial actual Estudio sobre el impacto potencial del BPC en el sistema de seguridad social brasileo Estudio sobre la importancia de las transferencias en los recursos municipales Evaluacin de la sistematizacin utilizada en la revisin del beneficio y propuesta de nueva sistematizacin Estudio para la elaboracin del ndice de elegibilidad (vulnerabilidad, riesgo e infraestructura)

PNUD
Descripcin
Identificacin y sistematizacin de la estructura que rige la concesin del BPC identificando obstculos e innovaciones institucionales. Evaluar los impactos potenciales del BPC respecto a los aspectos de la demanda, cobertura y relacin con el sistema de seguridad social brasileo. Anlisis de la importancia del volumen de recursos transferidos por el BPC segn el tipo de municipio. Identificar e sistematizar la estructura, proceso, obstculos y oportunidades y mecanismos institucionales y de gestin que rigen el Proceso de Revisin del BPC. Desarrollo de una metodologa para la construccin de un ndice de elegibilidad de los municipios brasileos para integrar el Programa Sentinela. Evaluacin de la implementacin y de los efectos y resultados producidos por el programa mediante entrevistas con gestores municipales y de los Estados, familias beneficiarias y miembros de instancias de control social.
2 sem. 2006
5 BPC 6
PNUD
2 sem. 2006
Concluido
PNUD
2 sem. 2006
Lucha contra el Abuso Sexual contra Nios y Adolescentes (Sentinela)
PNUD
Concluido
Estudios de caso sobre el Programa de Lucha contra el Abuso y la Explotacin Sexual
PNUD
1 sem. 2006
7

Programa
Estudio
Descripcin
Sistematizacin de las discusiones de los participantes acerca de los principales desafos y estrategias para la realizacin de polticas pblicas nacionalmente articuladas dirigidas a la poblacin en situacin de calle. El objetivo de este estudio es obtener informacin que ayude a caracterizar el segmento de personas en situacin de calle, y asistir en la implantacin o redimensionamiento de polticas pblicas dirigidas a ese segmento. Recopilacin a nivel nacional de un conjunto mnimo de datos de los beneficiarios del Programa de Erradicacin del Trabajo Infantil, tomando como fuente a los ayuntamientos de los 2.788 municipios que implementan el programa.
1 Personas en Situacin de Calle 2
Documento del I encuentro nacional de personas en situacin de calle
PNUD
Concluido
Contagen de personas en situacin de calle en 60 municipios brasileos
UNESCO
2007
Recopilacin de datos sobre beneficiarios - PETI
Concluido
Suplemento sobre trabajo infantil de la Investigacin Nacional por Muestra de Domicilios 2006
BID
Este Suplemento pretende actualizar los datos nacionales sobre trabajo infantil. Establecimiento de estndares mnimos de calidad para la ejecucin de la Jornada Ampliada; definicin de indicadores para el seguimiento y la evaluacin de la Jornada Ampliada; identificacin de buenas prcticas de Jornada Ampliada; y elaboracin de orientaciones y propuestas pedaggicas para el desarrollo de acciones socioeducativas y de convivencia de la Jornada Ampliada. Estudio sobre los valores y actitudes sobre trabajo infantil entre las familias beneficiadas pelo Peti, as como sobre la percepcin y evaluacin sobre los resultados producidos por el Programa; identificacin del perfil de los recursos humanos municipales envueltos en la implementacin de la Jornada Ampliada; caracterizacin de la estructura fsica de los locales de realizacin de la Jornada Ampliada.
2007
Erradicacin del Trabajo Infantil (PETI)
Estudio cualitativo para evaluacin y perfeccionamiento del PETI
BID
2007
Estudio cuantitativo para evaluacin y perfeccionamiento del PETI
BID
2007
Programa
Estudio
Evaluacin sobre el impacto del Programa Agente Joven sobre los ex beneficirios del programa y estudios cualitativos sobre acciones de capacitacin Estudios cualitativos y cuantitativos sobre el Programa de Atencin Integral a la Familia, PAIF
Descripcin
Evaluacin del impacto del programa basada en estudio sobre los ex beneficirios del programa con aplicacin de cuestionarios y evaluacin de las acciones de las acciones de capacitacin tericas y prcticas ofrecidas a los beneficiarios del programa. Este estudio tiene el objetivo principal de evaluar la satisfaccin de los usuarios, gestores y equipo tcnico del CRAS sobre la calidad y diversidad de las ayudas y servicios ofrecidos en el marco del PAIF.. El Suplemento mapear la estructura pblica de prestacin de servicios de la Asistencia Social e todos los municipios brasileros, identificando la capacidad y naturaleza de las ayudas realizadas, las articulaciones institucionales y otros aspectos. El estudio pretende identificar la naturaleza jurdica, las relaciones con los consejos de municipios, Estados y rganos federales de asistencia social, la caracterizacin de los servicios prestados por parte del pblico objetivo y las fuentes de financiacin. Evaluacin de los resultados producidos por el programa sobre la inclusin productiva de los jvenes beneficiados. Evaluacin de la efectividad del programa comparando la cadena de implementacin de las diferentes modalidades del programa, mapeando los flujos de todas las etapas de su implementacin y evaluando las percepciones de los agricultores que constituyen el pblico objetivo del programa.
Agente Joven:
PNUD
2 sem. 2006
PAIF
BID
2007
1 Red de Servicios de la Asistencia Social 2
Suplemento Gestin de la AS MUNIC
BID
2 sem. 2006
Estudio AS (con instituciones sin nimo de lucro) PEAS
BID
2007
Inclusin Productiva
Evaluacin del Programa de Promocin de la Inclusin Productiva de Jvenes Estudio comparativo de las diferentes modalidades del PAA - Regin Nordeste (el estudio incluye el anlisis de las percepciones de los productores beneficiados y no beneficiados sobre diferentes aspectos del programa)
PNUD
2007
PAA
FAO
Concluido
9
70
PAA PAA
Programa
Estudio
Descripcin
Evaluacin del potencial de mercado generado por las compras pblicas del PAA; anlisis de los efectos generados por el PAA sobre los actores envueltos en la comercializacin de productos de la agricultura familiar en ambas regiones. El estudio pretende evaluar los efectos a medio plazo, tanto previstos como no previstos, producidos directa o indirectamente por el programa bajo el punto de vista del beneficiario, de la unidad productiva, de la unidad familiar y del desarrollo local. Evaluacin del proceso de seleccin de los agricultores beneficiarios del programa, de sus percepciones sobre el programa, por parte de agricultores beneficiados y no beneficiados. Identificacin y caracterizacin de las diferentes modalidades de implantacin de restaurantes populares en municipios con poblacin urbana superior a 100.000 habitantes, realizando un mapeo de cuantos existen y determinando sus diferentes modalidades de implantacin. Investigacin del perfil de los usuarios de los principales restaurantes populares en funcionamiento en Brasil para contribuir a la expansin de la red de restaurantes populares y a la ampliacin de la oferta de alimentacin de calidad a precios asequibles para los grupos de poblacin vulnerables de los centros urbanos brasileos.
Estudio del impacto del programa sobre las ventajas econmicas locales Regiones NE y Sur
FAO
Concluido
Evaluacin del impacto del Programa Adquisicin de Alimentos de la Agricultura familiar a nivel nacional.
FAO
2 sem. 2006
PAA - Leche
Estudio sobre los beneficiarios (productores y consumidores) del programa
FAO
Concluido
Restaurantes Populares
Caracterizacin de los restaurantes populares existentes
FAO
Concluido
Restaurantes Populares
Estudio del perfil de los usuarios de los restaurantes populares
FAO
Concluido
Programa
Estudio
Descripcin
Evaluacin del uso de las cisternas en el semirido de la regin Nordeste, construidas mediante transferencia de recursos del MDS y el abastecimiento de agua usado por las familias de la regin, beneficiarias o no. Evaluacin del Programa de implementacin de cisternas en el semirido de la regin Nordeste segn el criterio de la equidad, de la forma cmo se seleccion a las familias beneficiadas y la existencia de criterios claros de seleccin. El estudio evaluar la implementacin y los resultados de este proyecto en una muestra representativa nacional de escuelas rurales y urbanas a partir del anlisis de la distribucin, el contenido y el aprovechamiento de los materiales didcticos. Este estudio pretende conocer la cobertura del programa Atencin de Emergencia (distribucin de paquetes de alimentos), el perfil de los beneficiarios, la composicin de los paquetes, la percepcin de los beneficiarios en lo que a la cantidad, la calidad y la frecuencia de las entregas y su influencia en la reduccin de la inseguridad alimentaria. Este estudio pretende mapear todos los bancos de alimentos existentes en el pas y establecer un anlisis comparativo de las ventajas y desventajas relacionadas con las diferentes modalidades.
1 Cisternas 2
Estudio del impacto del programa sobre la vida de los beneficiarios y la calidad del agua
FAO
Concluido
Estudio sobre la implementacin, seleccin y capacitacin de los beneficiarios
FAO
2 sem. 2006
Educacin Alimentaria
Evaluacin de las estrategias de implementacin del Programa Educacin Alimentaria, centrndose en los materiales distribuidos por el Proyecto Red de Cartilla, adems del perfil y grado de satisfaccin de los usuarios (profesores) Evaluacin del perfil de los beneficiarios y de la distribucin de paquetes de alimentos en el programa Atencin de emergencia, fijndose en la seleccin y el perfil de los beneficiarios y su grado de satisfaccin Caracterizacin y evaluacin de los bancos de alimentos implantados en el pas
FAO
2 sem. 2006
Distribucin de Paquetes de Alimentos
FAO
2 sem. 2006
Bancos de Alimentos
FAO
2 sem. 2006
71
72
Programa
Estudio

FAO
Descripcin
El estudio pretende identificar las huertas comunitarias existentes en el pas creadas en asociacin con el Ministerio, describiendo sus diferentes modalidades de implantacin y formas de gestin. El estudio pretende identificar las cocinas comunitarias existentes en el pas y las apoyadas por el Ministerio, describiendo sus formas de gestin y el perfil del pblico objetivo.
Huertas Comunitarias
Caracterizacin y evaluacin de las huertas comunitarias implantadas en el pas
2 sem. 2006
Cocinas Comunitarias
Caracterizacin y evaluacin de las cocinas comunitarias implantadas en el pas Evaluar el perfil nutricional de los nios menores de 5 aos de grupos de poblacin especficos, en situacin de vulnerabilidad social, quilombolas, semirido y asentamientos rurales de la regin Nordeste
FAO
2 sem. 2006
PNUD
Evaluar el perfil nutricional de los nios menores de 5 aos de grupos de poblacin especficos, en situacin de vulnerabilidad social, semirido y asentamientos rurales de la regin Nordeste.
Concluido
Llamada Nutricional
Llamada nutricional Quilombola: Proyecto Zanauand
PNUD
El estudio pretende estimar la prevalencia de la malnutricin proteicoenergtica, del sobrepeso y del bajo peso al nacer, adems de identificar la recepcin de beneficios sociales de las familias quilombolas, comunidades de descendientes de esclavos huidos. El estudio pretende estimar la prevalencia de malnutricin energticocalrica y sobrepeso en aldeas indgenas y caracterizar la situacin de seguridad alimentaria y nutricional.
2007
Encuesta Nutricional entre los Pueblos Indgenas
PNUD
2007
Programa
Estudio

FAO
Descripcin
El estudio pretende identificar las comunidades que recibieron recursos procedentes del proyecto Cartera, describiendo las lneas temticas apoyadas. El estudio pretende evaluar la implementacin del Convenio n 006/2003 establecido entre el MDS y la Fundacin Cultural Palmares para la ejecucin de acciones estructurantes en comunidades quilombolas. Evaluacin, mapeo y georreferenciamiento de los equipamientos de asistencia social bsica y de los servicios asistenciales, y verificacin del acceso de las comunidades quilombolas a los programas del MDS. Este estudio identificar el grado de inseguridad alimentaria de la poblacin brasilea, utilizando como concepto de inseguridad alimentaria el acceso limitado a una alimentacin de calidad suficiente y cantidad necesaria para el buen desarrollo humano por parte de individuos en un grupo de poblacin. El estudio pretende analizar el suplemento de seguridad alimentaria de la Investigacin Nacional por Muestra Domiciliar de 2004 mediante el plan de anlisis de la Escala de (In)Seguridad Alimentaria.
Evaluacin de la efectividad del Proyecto Cartera Indgena
2 sem. 2006
Grupos de Poblacin Especficos
Acciones estructurantes para comunidades quilombolas
FAO
2 sem. 2006
Acceso de las comunidades tradicionales a los programas del MDS
PNUD
2007
1 Seguridad Alimentaria 2
Suplemento sobre inseguridad alimentaria de la Investigacin Nacional por Muestra de Domicilios 2004
Concluido
Anlisis del Suplemento sobre inseguridad alimentaria de la Investigacin Nacional por Muestra de Domicilios 2004
2 sem. 2006
73
74
Todos
Programa
Estudio
Descripcin
Indagacin sobre la comprensin de la opinin pblica brasilea de las polticas y programas sociales implementados por el Ministerio de Desarrollo Social y Lucha contra el Hambre. Indagacin sobre el grado de conocimiento y evaluacin por parte de la poblacin brasilea de los programas del MDS. Indagacin sobre la evolucin temporal de la comprensin de la opinin pblica brasilea de las polticas y programas sociales implementados por el Ministerio de Desarrollo Social y Lucha contra el Hambre. El estudio pretende averiguar la opinin de la poblacin de la regin Centro-Oeste sobre las polticas y programas del MDS intentando medir el grado de conocimiento y evaluacin de las polticas sociales del gobierno federal e, especialmente, de los programas del citado ministerio. El estudio pretende desarrollar y validar la metodologa de control de calidad para el seguimiento de los programas sociales del MDS. Evaluacin del impacto de los programas sociales del MDS comparando beneficiarios y no beneficiarios en las microrregiones Alto, Medio y Bajo Jequitinhonha
Encuesta de opinin sobre los programas del MDS
PNUD
Concluido
Encuesta de Opinin
Encuesta de opinin sobre los programas del MDS
PNUD
Concluido
Evaluar la percepcin de los beneficiarios de programas del MDS en la regin Centro-Oeste
FAO
2 sem. 2006
Evaluacin de la gestin de los Programas del MDS en 10 municipios Evaluacin del impacto de los programas sociales administrados por el MDS Valle de Jequitinhonha, Minas Gerais
UNESCO
2 sem. 2006
UNESCO
2007
Anexo VI - Publicaciones
Soporte Publicacin
n1. A importncia do Bolsa Famlia nos Municpios Brasileiros. 2004 Autora: Rosa Maria Marques n 2. Subnutrio e obesidade em pases em desenvolvimento. Experincia internacional com a escala de percepo da insegurana alimentar. 2004 Autores: Rafael Perez Scamilla e Benjamin Caballero Suplemento al n 2: Textos para a V Conferncia Nacional de Assistncia Social. 2004
Descripcin
Estudio sobre el PBF que compara las transferencias constitucionales como el FPM con los recursos transferidos mediante las ayudas a las familias pobres.
Tirada
1.600
Estado
Concluido
Publicaciones peridicas Cadernos de Estudos Desenvolvimento Social em Debate*
Los artculos tratan cuestiones relacionadas con la paradoja de la desnutricin y la obesidad en pases en desarrollo.
2.000
Concluido
Textos especialmente realizados para la V Conferencia Nacional de Asistencia Social. Trata del modelo economtrico que se desarroll en el proceso de implementacin de la investigacin sobre el PAA Leche en el Nordeste. Textos especialmente realizados para la I Conferencia Nacional sobre los Derechos de los Discapacitados.
2.000
Concluido
n 3. PAA Nordeste
1.000
En curso
Suplemento al n 3. n 1. Contribuies do MDS Conferncia Nacional da Pessoa com Deficincia. 2006
1.300
Concluido
*Pretende divulgar estudios, difundir los resultados y colaborar con las discusiones y las evaluaciones sobre las polticas y programas sociales.
75
7
Soporte
Publicacin
Suplemento al n 3. n 1. Contribuies do MDS Conferncia Nacional da Pessoa Idosa. 2006 N 4. Chamada Nutricional
Descripcin
Textos espacialmente realizados para la I Conferencia Nacional de los Derechos de las Personas de la Tercera Edad. Textos que describen la investigacin realizada en el semirido sobre la situacin nutricional de los nios de 0 a 6 aos. Perfil de los beneficiarios del PETI que se realiz en 2.788 municipios que implementan el Programa. Informe sobre la encuesta de opinin realizada por el IBOPE en 5 capitales entre usuarios de los restaurantes populares. Estudio realizado a partir de datos secundarios sobre el perfil de las familias beneficiarias del PBF constantes en el Cadnico. Estudio realizado a partir de datos secundarios sobre el perfil de las familias beneficiarias del PBF constantes en el Cadnico. Manual de consulta para el uso de la herramienta SAGITec. Manual para los usuarios de la herramienta MI Social.
Tirada
700
Estado
Concluido
Publicaciones peridicas
1.000
En curso
Relatrio PETI. 2005 Pesquisa de opinio usurios dos restaurantes populares (SAGI/IBOPE) 2005 Investigaciones Perfil das Famlias do PBF no Cadnico - Brasil e Regies. 2005. (SAGI) Perfil das Famlias do PBF no Cadnico Regies e unidades da federao. 2005 (SAGI) Manual do Usurio SAGITec 2004 Manuales Manual MI Social. 2006
5.130
Concluido
1.030
Concluido
150
Concluido
570 100 1.000
Concluido Concluido En curso
Soporte
Publicacin
Relatrio das pesquisas realizadas pela SAGI (colaboracin SAGI/UNESCO/FAO) Guia metodolgico dos instrumentos de pesquisas (colaboracin SAGI/UNESCO/FAO)
Descripcin
Registrar el histrico de las principales investigaciones realizadas por la SAGI. Organizar todos los instrumentos y metodologas de investigaciones utilizados por la SAGI. Sistematizar los indicadores producidos por la SAGI para seguimiento de los programas del MDS. Traducir la ejecucin y la expansin de la cobertura de los programas del MDS al formato georeferenciado. Informacin estadstica sobre los principales programas implementados por el MDS durante el ejercicio 2004. Informacin estadstica sobre los principales programas implementados por el MDS durante el ejercicio 2005. Informacin sobre las prximas ediciones de la serie Cuadernos de Estudios El Desarrollo Social a Debate. Sntesis de los principales estudios sobre transferencia de recursos presentados en el Seminario Transferencia de Recursos: qu ha cambiado? Sntesis de los principales estudios sobre transferencia de recursos presentados en el Seminario Los rumbos de la transicin nutricional en Brasil: hambre y obesidad en el contexto de la exclusin social
Tirada
-
Estado
En curso
En curso
Libros Dicionrio de indicadores e variveis En curso
Atlas de desenvolvimento social
No iniciado
Prospecto Datos 2004
25.000
Concluido
Prospectos
Prospecto Datos 2005 Prospecto de divulgacin Cadernos de Estudos Boletn para el Seminario Transferncia de Renda: o que mudou?
30.000
Concluido
5.000
Concluido
300
Concluido
Boletines Boletn para el Seminario Internacional Os rumos da transio nutricional no Brasil: fome e obesidade no contexto de excluso social 500 Concluido
77

Libro Politicas y Programas Sociales Noel

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Libro Politicas y Programas Sociales Noel

Uploaded by

Copyright:

Available Formats

El Sistema de Evaluacin y Seguimiento de las Polticas y Programas Sociales: la experiencia del Ministerio de Desarrollo Social y Lucha contra el Hambre

Policy Papers /17

UNESCO 2006 Impreso en Brasil

32 Diccionario de Variables 34 Diccionario de Indicadores 34 Diccionario de Programas 34 Diccionario de Fuentes 34

38 Trminos de Referencia 39 Seguimiento de los Estudios 39

Anexo IV Recursos Invertidos en Investigaciones y Programas

Anexo V Estudios Contratados Anexo VI Publicaciones

Jeni Vaitsman2, Roberto W. S. Rodrigues3, Rmulo Paes-Sousa4

evaluacin, para llegar a las consideraciones finales.

El Contexto Institucional y Organizacional

Figura 1: MDS Implementacin, Evaluacin y Seguimiento de Programas

El Contexto Institucional y Organizacional

El Contexto Institucional y Organizacional

nacionales e internacionales en diversas funciones, incluyendo los gastos

El Acuerdo Conceptual y Metodolgico

El Acuerdo Conceptual y Metodolgico

Organizacin de la Base de Datos

Figura 2: Repertorio de Datos del MDS - aspecto organizacional

El Sistema de Evaluacin y Seguimiento

El Sistema de Evaluacin y Seguimiento

seleccionadas para la construccin de los indicadores. A continuacin, se

Desarrollo de Herramientas de Informacin

Cobertura del programa Bolsa Famlia segn la estimacin de pobreza

Brasil/Regin/ Mesorregin/ Microrregin/UF/ Municipio

Porcentaje de alcance de la meta de inscripcin para el Programa Bolsa Famlia

Brasil/Regin/ Mesorregin/ Microrregin/UF/ Municipio

Brasil/Regin/ Mesorregin/ Microrregin/UF/ Municipio

Figura 3: Plantilla de Indicadores

El Sistema de Evaluacin y Seguimiento

Figura 4: Herramienta DICI-VIP

El Sistema de Evaluacin y Seguimiento

Crear Diccionario de datos

Crear Diccionario de indicadores Diccionario de indicadores

Figura 5: Instrumentos de Seguimiento y Evaluacin

Matriz de Informacin Social (MI Social)

El Sistema de Evaluacin y Seguimiento

Cobertura del programa Bolsa Famlia % 5559 Registros

Fuente: SENARC Caixa Econmica Federal - PNAD, 2001.

Figura 7: Bolsa Famlia - valores transferidos

Seguimiento de los Estudios

El Sistema de Evaluacin y Seguimiento

15. lConsorciodeInformacionesSocialesesfrutodeunproyectodelNcleodeApoyo E alaInvestigacinsobreDemocratizacinyDesarrollodelaUniversidaddeSoPaulo (NADD-USP),encolaboracinconlaAsociacinNacionaldePosgradoeInvestigacin enCienciasSociales(ANPOCS).

El Sistema de Evaluacin y Seguimiento

SAGI/SF Definicin de la evaluacin que ha de realizarse Relevancia del estudio propuesto

5 - Acompaamiento del estudio

SAGI Cuadernos de estudios Informes de investigacin Libros

Figura 8: Ciclo de Evaluacin

de evaluacin y seguimiento desarrollados en el MDS son objeto de estudio

Anexo I: Breve Descripcin de los Programas del MDS

Anexo I: Breve Descripcin de los Programas del MDS

para servicios de proteccin social bsica y especial y para entidades

colaboracin con universidades e instituciones de investigacin.

peridicas, en las que se podrn incluir o excluir acciones siempre y cuando

II - comprobar la calidad de los Informes de las Evaluaciones Especficas

incisos I, II, VII y VIII del prrafo nico del artculo 2;

Anexo III: Recursos Humanos

Anexo III: Recursos Humanos

Programas sociales del MDS

Anexo IV - Recursos Invertidos en Investigaciones y Programas

Anexo IV - Recursos Invertidos en Investigaciones y Programas

Anexo V Estudios Contratados

rgano de Cooperacin Internacional

1er sem. 2006

Banco Mundial/ PNUD Banco Mundial/ PNUD