Evaluacin de Proyectos Sociales y de Educacin: Lecciones aprendidas a partir de la Ejecucin del Proyector Pictor Provincia de Crdoba1

Lic .Edgardo Temporetti Lic. Toms Gastn Cr. Martn Bolognino

edgardotempo@arnet.com.ar

1.-Presentacin No es posible evitar la sensacin de que los programas y proyectos sociales y educativos, al ser estructurados desde una perspectiva que no de la pobreza y la exclusin. ha incluido, al menos en forma general, consideraciones estrictas de desarrollo humano, han hecho una pobre contribucin al combate Ms precisamente, podra decirse que los procesos de formulacin e implementacin de las polticas pblicas no han tenido, siquiera, relevancia en cuanto a incrementar nuestro conocimiento acerca de lo que es la realidad social que se supone deben transformar los proyectos o programas.2

Una versin preliminar de este trabajo aunque vinculado especficamente con los aspectos que guardan relacin con el uso de tecnologas fue expuesta en el Congreso Internacional La Educacin Superior y las Nuevas Tecnologas organizado por la Universidad Nacional del Litoral y la Secretaria de Polticas Universitarias del Ministerio de Educacin, Ciencia y Tecnologa de la Nacin. Asimismo, en lo relacionado a aspectos ms operativos, se efectu una presentacin en el V Congreso Internacional de Educacin que se desarrollo en Crdoba en Octubre del 2005 2 Inevitablemente, al trabajar con estos temas, surgen dudas acerca de la validez de lo conceptos o categoras utilizados para analizar, interpretar y sugerir soluciones en la materia.

Con relacin a la educacin, parece existir una escasa correlacin entre los procesos de monitoreo y los mecanismos de toma de decisiones. Sin embargo, se sostiene en esta ponencia que la aplicacin de los mtodos de evaluacin tal como se describen ms abajo puede colaborar con la mejora de los procesos y sistemas educativos en aspectos claves, tales como la eficiencia y la equidad de los mismos. En este sentido el anlisis de los procesos de evaluacin de programas dentro de diferentes sistemas posibilita establecer parmetros relevantes para el diseo y ejecucin de la poltica del sector. Como subproducto del trabajo que se describe ms abajo, se han podido extraer conclusiones que creemos son significativas a los fines del diseo de polticas publicas en el sector. 2.-Introduccin El trabajo que presentamos esta basado en las tareas desarrolladas dentro del marco del Programa PICTOR3, ejecutado conjuntamente por la Universidad Nacional de Crdoba y la Universidad Catlica de Crdoba dentro de la localidad de Malvinas Argentinas, Provincia de Crdoba. El mismo tiene, como tema general, el desarrollo de metodologas replicables de intervencin integral dentro de sectores sociales deprimidos. Dentro de los objetivos se planteaba, entre otros, el diseo y aplicacin de metodologas que permitiesen evaluar el real impacto que, sobre los beneficiarios, tienen los programas sociales que se implementan en los niveles municipales. Este tema es de mayor importancia, por cuanto el control y la evaluacin del desempeo gubernamental constituye una demanda en aumento por parte de los ciudadanos quienes exigen a las instituciones publicas, por una parte, resultados concretos en cuanto a los bienes y servicios que stas proveen, y por la otra que cumplan con las condiciones de eficiencia y minimizacin del uso de los recursos estatales. A partir de ello, los gobiernos no slo deben ocuparse de obtener resultados, sino que, adems, deben conseguirlos en forma oportuna y con atributos de calidad y eficiencia, rindiendo cuentas sobre su labor. El proyecto debe tender, por tanto, a aplicar un sistema de Gestin de Programas Sociales que abarque el ciclo completo de los proyectos a los efectos de jerarquizar
3

Un tipo especial de programa de investigacin a travs de trabajo colaborativo en red - a cargo de la Agencia Crdoba Ciencia

la discusin sobre las polticas de ingreso en un contexto de recesin y aumento de la pobreza y desocupacin tendiendo a coordinar los esfuerzos de los diferentes actores estatales y no estatales involucrados. Por otro lado, la mayora de los programas de promocin social, son diseados desde lado de la oferta y por tanto no incluyen ningn mecanismo de revelacin de las preferencias sociales. Por tanto no hay ni mecanismos de mercado va precios.institucionales que y ni siquiera esquemas sealen el camino de la asignacin de los recursos comunitarios.

Asimismo, casi todos los programas estn orientados, ms que a las personas (o grupos), al sector representativo (esto es Programas de Salud, Programas de Educacin, Programas Nutricionales, etc.). Por ello, las necesidades bsicas son estandarizadas con un criterio ofertista y sectorial, que oculta la diferencia de percepcin y de demanda real de cada conjunto de actores: ello se traduce en serias ineficiencias del tipo llamado en la literatura de seleccin adversa tanto en el cumplimiento de los objetivos de cada grupo como en la adecuacin del mecanismo organizativo ms apto en cada circunstancia comunitaria para ser conductores de una poltica social En tales casos, se hacia necesario eficientizar el modelo prestacional, al menos en lo relacionado con el Procedimiento Administrativo de Gestin, a los fines de: Minimizar costos de adquisicin y distribucin de las unidades prestacionales.Asegurar el acceso a los planes de aquellas personas y/ o familias que presenten condiciones de vulnerabilidad acorde a los objetivos del programa Disminuir la arbitrariedad implcita en la distribucin institucional de las asignaciones Mejorar los procedimientos de Identificacin y Seleccin de Beneficiarios de Programas Sociales, Brindar a la Comunidad una informacin relevante en cuanto a la gestacin y gestin de los Planes asistenciales Como resultado sustantivo, el desarrollo del componente Evaluacin del Pictor, debera permitir, finalmente

 Elaborar una batera de Indicadores de eficiencia, eficacia y efectividad de Programas de Desarrollo Comunitario, a travs de el diseo de un mtodo de monitoreo, auditora operativa y control de gestin basado en las tcnicas de Anlisis de Costo Efectividad y Costo Beneficio Contribuir a desarrollar una metodologa sobre la base de variables cualicuantitativas de evaluacin ex ante de programas de impacto social Evaluar la eficiencia de los programa posibilitando realizar un juicio tcnicamente vlido acerca de s los recursos que dicho programa tiene a su disposicin estn siendo optimizados Si bien en los ltimos aos, se ha visto un importante desarrollo en los esfuerzos destinados a crear sistemas que posibiliten estimar los resultados, efectos e impactos de los proyectos, las tecnologas que se proponen, son, sin embargo, destinadas, en gran parte a ser empleadas en niveles de decisin macro polticos o macro administrativos Considerando los objetivos centrales del Proyecto, se decidi redefinir dichas herramientas de forma tal que contribuyesen a la potenciacin de las fuerzas y oportunidades de los Municipios en particular, a esta altura de la Investigacin, Malvinas Argentinas de manera de brindar elemento de sostn a lo que se ha dado en llamar Desarrollo Local. Repetidamente se ha sealado la importancia del Desarrollo Local dentro del objetivo del Desarrollo Econmico-Social pobreza a entendido esto como una forma de comprender y superar la travs de un conjunto de medidas como son la generacin de capacidades y

habilidades de los sectores carenciados para su inclusin en el mbito productivo y tener mayor acceso de servicios de salud, educacin, vivienda, justicia, etc. As, el Desarrollo Local se constituye como un instrumento fundamental de carcter orientador y conductor respecto de las soluciones propuestas como estrategias de superacin de la pobreza.

Por tanto, la insercin de la localidad en el desarrollo y crecimiento econmico y la atencin a las necesidades de la poblacin con mayores carencias, son temas importantes el rol de un municipio, tal como se entiende actualmente Con centro en esa idea, hemos avanzado en el desarrollo de una metodologa de evaluacin y monitoreo de programas de desarrollo social sobre la base de que la misma debe ser un instrumento de gestin y constituir un proceso que procure determinar, de la manera ms sistemtica y objetiva posible, la pertinencia, eficacia, eficiencia e impacto de actividades a la luz de los objetivos especficos. Por otra parte debe constituirse en una herramienta administrativa de aprendizaje y en un proceso organizativo orientado a la accin para mejorar tanto las actividades en marcha, como la planificacin, programacin y toma de decisiones. La evaluacin, en fin, tiene la finalidad de suministrar informacin para tomar decisiones con respecto a: Consistencia de la Planificacin del Proyecto Viabilidad y sustentabilidad de los objetivos y actividades del proyecto Los procesos de distinto tipo que se generan en la ejecucin del proyecto El cumplimiento de las acciones y los resultados del proyecto segn el cronograma y la La perspectiva de los beneficiarios y de la institucin que ejecuta el proyecto acerca de La eficacia, eficiencia y calidad de los resultados as como los impactos que generan los

inversin previstos. los procesos y los resultados del mismo. programas y proyectos. Los resultados que se esperan surjan son, principalmente: a) b) c) Si el programa alcanza las metas de bienestar propuestas Si los cambios producidos son atribuibles al proyecto o programa o son resultado de Si existen efectos diferenciales de impacto en funcin del grupo al que se est tratando

otros factores, identificando las relaciones causales de beneficiar (por ejemplo cuestiones de genero)

d) e)

Si aparecieron efectos no planeados, ya sean positivos o negativos Si el programa es eficiente en comparacin con intervenciones alternativas y por tanto

arroja un adecuado ndice de Costo/ Impacto Asimismo, en esta etapa del Proyecto se est estudiando un mecanismo que cubra las

necesidades de control de gestin de los Programas y Proyectos, a travs del diseo de un Tablero de Comando que constara de cinco componentes: o Evaluacin de resultados o Control de procesos o Control de proyectos o Evaluacin ex-post y o Evaluacin estratgica global

3.-Lecciones aprendidas a partir de la ejecucin del proyecto Como surge de todo lo expresado, en su origen, el Mdulo de Evaluacin presentaba un sesgo fuertemente ligado a las cuestiones de Eficiencia y Eficacia, nfasis derivado tal vez, en la pertenencia de los responsables al rea de las Ciencias Econmicas. Sin embargo, el Pictor es un especial tipo de Proyecto que asigna importancia crucial al trabajo interdisciplinario e interinstitucional - condicin sta requerida para aprobar el mismo -, lo que gener intercambios de opiniones acerca de los alcances de todo el componente 4que dieron origen a modificaciones sustanciales en las estrategias desarrolladas en materia de seguimiento y monitoreo de los programas y proyectos5. Sin dejar de lado la aplicacin de las tecnologas tradicionales6, el grupo fue conducido a interesarse y estudiar el fenmeno de la Evaluacin desde perspectiva diferentes.
4 5

Las experiencias del trabajo interdisciplinario y en red , sern comentadas durante la exposicin de la ponencia Lo que no deja de ser un modo de ejemplificar la auto referencia y los efectos del aprendizaje en el desarrollo de las evaluaciones. 6 En el sentido de los procesos de evaluacin de impacto, desempeo y resultados. De hecho, estamos convencidos que la evaluacin de impacto, por ejemplo, podra ser un vehculo para una mejor asignacin de recursos.

Desde esa ptica - y especialmente en lo vinculado al sector educacin- se revisaron los supuestos de partida en al menos 4 campos: la excesiva preocupacin por la eficiencia7, la estructura de valores, las cuestiones epistemolgicas y el tipo de tecnologas a utilizar para lograr una evaluacin de impacto metodolgicamente slida y con conclusiones relevante para la toma de decisiones. Con relacin al ltimo punto, a esta altura de la investigacin, los esfuerzos se han dirigido en dos sentidos: 1.- Sabemos que los programas de educacin deben poder ser evaluados desde al menos 4 dimensiones: Insumos, Acceso, Productos, Resultados e Impactos Existe suficiente experiencia en la aplicacin de algunos criterios para monitorear el primero y segundo tipo de indicadores. En lo que hace a los productos y resultados - en el sentido de cumplimiento de objetivos inmediatos y mediatos parece necesario redefinir las herramientas metodolgicas para que al menos desde el nivel local sea factible capturar los logros del sistema educativo. Debe notarse que desde el punto de vista de la administracin local, las externalidades del sector son mucho ms importantes que desde una optima ms macro, toda vez que los beneficios y costos repercuten ms directamente sobre la dinmica de funcionamiento comunitario.8 En ese sentido, creemos que el diseo de metodologas de evaluacin basadas en mtodos experimentales aleatorizados o en todo caso cuasiexperimentales -resulta de utilidad para

El trabajo para corregir este sesgo derivado, tal vez, de la pertenencia a las Ciencias Econmicas de los autores ha posibilitado, adems, incursionar en los aspectos que tienen que ver con la separacin de facto de las polticas econmicas y las sociales, especialmente en lo relativo a ciertas ideas sobre la identificacin, gestin y evaluacin de programas y proyectos sociales que se basa en una visin parcial de lo social que tiende a separar la economa y la poltica. Asimismo, lo que posibilita una lnea muy fructfera de investigacin, parece necesario redefinir la relacin de causalidad entre educacin y pobreza o marginalidad, toda vez que, si bien la educacin entre como argumento en la funcin de crecimiento, es muy posible que las pautas de desarrollo sean determinantes de los resultados educativos.
8

Esto es mucho mas importante en estos momentos, en los que la forma de disear las polticas sociales ha diluido la frontera que existe entre los programas considerados tradicionalmente sociales y los educativos, en tanto la escuela ha pasado a ser, de facto , una institucin central en los procesos de asistencia social .

medir los resultados de diferentes abordajes estratgicos. Las caractersticas generales de los enfoques figuran en el Anexo I. En el Anexo II, por otra parte, se vuelcan las caractersticas de los procesos de evaluacin de programas educativos de algunos pases, como intento de ejemplificar el uso de las tcnicas y metodologas propuestas Debe sealarse sin embargo que, independientemente de nuestra conviccin de que dichos procedimientos constituyen la metodologa de evaluacin ms robusta para programas educativos, es necesario efectuar un trabajo profundo para que puedan ser ejecutadas en funcin de las limitaciones institucionales y de recursos. 2.- La aplicacin de mecanismos de evaluacin participativos, principalmente, en este momento, el diseo de un Boletn de Ciudadano9, para obtener informacin de los beneficiarios de los programas, a travs de una metodologa mixta (cualitativa/cuantitativa) sobre los niveles de satisfaccin respecto a la calidad de los servicios. El Boletn tiene 2 objetivos principales: 1.-Suministrar informacin sistemtica sobre la calidad de los bienes y servicios que ofrecen los Programas, transformndose, en si mismo, en un instrumento de evaluacin y monitoreo 2.- Contribuir a incrementar la participacin de los usuarios de los Programas Sociales El mtodo se operativiza a travs de encuestas a la comunidad vinculada al tema, a los efectos de aproximarse a la percepcin de la calidad de los servicios recibidos. En lo que hace a los dos primeros puntos aspectos axiolgicos y metodolgicos el trabajo multidisciplinario obligo a redefinir algunas de la hiptesis de partida, especialmente en lo que hace a:

Mtodo conocido en la literatura como Citizen Report Cards

 La cuestin de los valores asociados a las intervenciones y evaluaciones. A pesar de que el propio concepto de evaluacin remite indefectiblemente a de valor publico 10

conceptos

axiolgicos - y que se reconoce que el fin ultimo de los programas y proyectos es la creacin el tema es de hecho ignorado en las fases de diseo de los procesos de seguimiento. En lo particular, asumimos que nuestra propia formacin - centrada en algo que se da en llamar economa positiva, y que se basa en el supuesto de que los planes se basan en la actitud racional de los agentes - da pie para obviar los aspectos normativos.11 Sin embargo, a poco de avanzar sobre el tema, y en tanto se reconoce que es necesario juzgar los resultados de los cursos de accin, queda claro que es necesario incorporar, como mnimo, aquellos aspectos de la Teora Econmica del Bienestar que se acercan ms a la incorporacin de los aspectos valorativos. Los fundamentos metodolgicos y epistemolgicos Es evidente que un trabajo como el de la evaluacin de polticas publicas, programas y proyectos, con la necesaria integracin de tcnicos y profesionales en las disciplinas ms diversas, debe generar algn tipo de cuestin sobre metodologa y filosofa de la ciencia. Estas cuestiones van desde la discusin de los enfoques de la investigacin12, pasando por la valuacin de los meritos de diferentes tecnologas (mtodos experimentales, cuasiexperimentales, etc.), a argumentos ontolgicas sobre la naturaleza del mundo (realismo, idealismo, p.ej.), las caractersticas de la evaluacin (sumativa/formativa) o de las relaciones entre el investigador y los hechos investigados. Todas las posiciones deberan ser discutidas y consideradas especialmente en el plan de Evaluacin, y, segn creemos para que el mismo pueda ser de utilidad en el proceso de toma de decisiones, deben formar parte de los resultados del trabajo.
10 11

Scriven plantea que es el proceso para la determinacin del mrito o valor. Las polticas pblicas se construyen, indefectiblemente, sobre la base de definiciones respecto a lo que es el desarrollo humano, las necesidades y el bienestar. Estas consideraciones sesgan los procesos de diseo, operacin, asignacin de recursos y evaluacin de los resultados, resultados que estn basados en la misma concepcin valorativa que gui el diseo. 12 No detallamos aqu el aspecto vinculado a las diferencias entre Investigacin y Evaluacin, aunque creemos que el mismo es de suma importancia.

La naturaleza transformadora de las evaluaciones

Aunque implicadas en algunas de las posiciones filosficas a que hacamos mencin ms arriba, nuestro trabajo gener seales acerca de la funcin de la evaluacin como mecanismo autnomo de transformacin social. Independientemente de si uno adopta uno u otro paradigma, parece evidente que la propia ejecucin de las tareas de seguimiento y evaluacin genera algn tipo de modificacin de las expectativas13 de tal manera que posibilitan efectuar acciones transformadoras. El planteo no es nuevo. De hecho, existe toda una corriente iniciada por el ya citado Donald Campbell14, sobre la base de la idea de las reformas sociales como experimentos, y a travs del anlisis de la relacin entre beneficiarios y proyectos o entre aquellos y ciertos tipos de mtodos de evaluacin. Sin embargo, y aun en conocimiento de los cuestionamientos efectuados a esta posicin creemos que deberan efectuarse estudios ms serios sobre esta lnea de investigacin, especialmente en las evaluaciones que utilizan mtodos aleatorizados.15 En ese sentido, podra ser interesante investigar ms a fondo los mtodos desarrollados en el rea de evaluacin de proyectos educativos.16 Significativamente, sobre el particular Michael Kremer, ha sugerido que, durante el siglo XXI, este tipo de evaluaciones puede jugar en la investigacin social el mismo rol que tuvo - durante el siglo XX -sobre el desarrollo de las ciencias de la salud.17
13

la aplicacin de

Algunos economistas tenemos la cuasi certeza de que la poltica econmica, como mucho, puede modificar las expectativas de los agentes. Lo expresado en el texto es una extrapolacin de dicha posicin al rea de las polticas sociales 14 Vase, por ej.:Assessing the Impact of Planned Social Change - The Public Affairs Center. Tambin en Methods for an Experimenting Society . Una interesante lectura es tambin: De Zeeuw, Gerard Can social change be supported by inquiry? - Kybernetes.
15

Otra ptica vinculada es la de la llamada Evidence-based practice, segn la cual la poltica y la prctica deben basarse en la evidencia de investigacin, y que las preguntas de ciencias sociales deberan reformarse para servir a esta necesidad de manera ms efectiva 16 El rea de educacin ha contribuido significativamente al desarrollo de la Metodologa de Evaluacin. 17 Kremer, M: Randomized Evaluations of Educational Programs in Developing Countries: Some Lessons Harvard University. Sobre las limitaciones, vase por ej. Heckman, J, LaLonde R y Smith, J:The Economics and Econometrics of Active Labor Market Programs

10

4.-Conclusiones Si bien en el desarrollo de la ponencia se han ido sugiriendo algunas conclusiones extradas

a partir de nuestro trabajo, exponemos aqu, ciertas consideraciones que nos parecen de la mayor importancia para enmarcar los proyectos de investigacin y procesos de evaluacin en materia de polticas publicas y programas y proyectos sociales. La aplicacin de los mtodos y de los instrumentos desarrollados debe pasar

necesariamente por un proceso de cambio de actitudes y de generacin de cultura que permita que cada nivel de gestin local se apropie de la evaluacin de resultados, procesos e impactos18Toda evaluacin de resultados es un ejercicio para conseguir nueva informacin y para aprender. El entender y aprender es la razn de ser de, por ejemplo, la evaluacin de resultados e impacto19

18

19

Aunque nuestra investigacin propugna por la utilizacin de tcnicas experimentales, debemos reconocer no hay una nica metodologa de evaluacin que pueda considerarse ptima; el enfoque debe adaptarse al contexto concreto, a los interrogantes y prioridades de la evaluacin, y a los recursos disponibles

El valor de una evaluacin debera analizarse, al igual que cualquier otro proyecto o programa, en trminos de su potencial eficacia en funcin de su costo, calculando, ex ante la relacin Beneficio Costo, y, por supuesto, definiendo los indicadores para su evaluacin ex post.

Lecturas sugeridas Attanasio, O. y otros: Education Choices in Mexico: Using a Structural Model and a Randomized Experiment to Evaluate PROGRESA BID 2001 Banerjee,A y otros : Improving the Quality of Education in India: Evidence from Three Randomized Experiments- MIT - 2003

11

Bourguignon, F. y Pereira da Silva, L: Evaluating the Poverty and Distributional Impact of Economic Policies (Techniques and Tools) - Banco Mundial Buckley, J y Shang, Y: Estimating Policy and Program Effects with Observational Data: The "Differences-in-Differences" Estimator - Boston College Connell, James y Kubisch, A.: New Approaches to Evaluating Community Initiatives.Concepts, Methods, and Contexts - The Aspen Institute. Duflo, E.: Scaling Up and Evaluation Banco Mundial E. Chelimsky y otros: Evaluation for the 21st Century. A Handbook - Sage. Grossman, Jean :Evaluating Social Policies: Principles and U.S. Experience - Banco Mundial. Heckman, J. :The Common Structure of Statistical Models of Truncation, Sample Selection and Limited Dependent Variables and a Simple Estimator for Such Models - Annals of Economic and Social Measurement Heckman, J. y otros : Making the Most Out of Programme Evaluations and Social Experiments: Accounting for Heterogeneity in Programme Impacts - Review of Economic Studies Heckman, J. y otros: Matching as an Econometric Evaluation Estimator: Evidence from Evaluating a Job TrainingProgram- Review of Economic Studies 1997 Heckman, James. Instrumental Variables. A Study of Implicit Behavioral Assumptions Used in Making Program Evaluations - Journal of Human Resources Heckman, J: Micro Data, Heterogeneity, and the Evaluation of Public Policy: Nobel Lecture Journal of Political Economy Kremer, M.: Randomized Evaluations of Educational Programs in Developing Countries: Some Lessons - American Economic Review Papers and Proceedings Krueger, A.: Experimental Estimates of Education Production Functions - Quarterly Journal of Economics - 1999 Scriven, M: Evaluation Thesaurus - Sage.

12

Scriven, Michael: Truth and Objectivity in Evaluation, Evaluation for the 21st Century - Sage Sen, A y Nussbaum, M: La Calidad de Vida - Fondo de Cultura Econmica Smith, J. y Heshusius, L: Closing down the conversation. The end of the quantitative-qualitative debate among educational researchers - Educational Research
d

El Pictor es un proyecto de Investigacin aplicada, por lo que debe tender a evitar la complejizacin de los instrumentos. Ello no debe ocultar, sin embargo, que una ms profunda investigacin requiere de la reformulacin de los paradigmas gerenciales implicados en toda nuestra explicacin. Ser necesario, por tanto, y en otra instancia, incluir aspectos como los de reflexividad, autopoiesis, administracin del caos y todo aquello ligado a la corriente conocida como Investigacin Social de Segundo Orden l El investigador social debe ser capaz de discriminar entre los esquemas de distincin propios de aquellos que forman parte del operar de los observados. La verdad, en todo caso, queda subsumida en las mltiples posibilidades de explicacin.

Evaluacin de Proyectos Sociales y de Educacin: Lecciones aprendidas a partir de la Ejecucin del Proyector Pictor Provincia de Crdoba

ANEXO I: ASPECTOS METODOLOGICOS Lic. Edgardo Temporetti Lic. Tomas Gastn

13

Cr. Martn Bolognino

En el presente Anexo, se detallan, con mayor precisin metodolgica, las cuestiones conceptuales relevantes vinculados a la Evaluacin del Impacto de Programas y Proyectos Sociales. Dada la complejidad del tema, hemos decidido esquematizar la presentacin, a los fines de que los aspectos algebraicos no inhiban la comprensin de los conceptos sustantivos.
l

Para comprender el proceso de evaluacin de impacto de un programa o proyecto social es necesario, creemos, definir previamente un par de conceptos centrales. Estado de la Naturaleza, idea que encierra la posibilidad de los diferentes resultados posibles, y que tiene las mismas propiedades que cuando se postula en Teora de la Decisin Estado de tratamiento y no tratamiento, que indica la participacin o no participacin de un individuo en el programa

Flujo de Resultados potenciales que un individuo puede obtener durante el periodo bajo anlisis
a

14

Decisin de participar o no participar en un programa o proyecto

En la figura 1 se muestran las combinaciones posibles de flujos de resultados que puede tener un individuo. Dicho retornos dependern de, por una parte, si el individuo decidi participar en el programa que se est evaluando y, por otra, de si estamos considerando un estado de tratamiento o un estado de no tratamiento.

FIGURA 1

15

Los smbolos D=0 y D=1 discriminan entre quienes decidieron participar o no participar en el programa. Las letras x, w z, etc. representan variables que podran explicar los resultados mientras t, indica, como es usual, el tiempo. La pregunta central de una Evaluacin de Impacto es, principalmente, cmo cambia el flujo de resultados de los individuos que decidieron participar en un programa (D=1), y que efectivamente lo hacen (E=1), cuando se compara sus resultados en un estado de tratamiento con un estado de no-tratamiento

16

Sin embargo, para aquellos individuos que deciden (y efectivamente participan) en un programa social, slo puede medirse su flujo de resultados en el estado de tratamiento, por lo que el trabajo ms importante suele ser la estimacin de la situacin hipottica de las personas - la ganancias potenciales -, si no hubiesen obtenido los beneficios por el programa. A esa situacin hipottica se le conoce como contrafactual. Determinar dicho escenario es, como decamos en el informe, esencial para el diseo de la evaluacin. Se puede realizar usando diversas metodologas que entran en las categoras oportunamente definidas (experimentales, cuasi experimentales, mtodos cualitativos etc.). Ms especficamente, podemos decir que el impacto del programa o proyecto se materializa a travs de la diferencia en la variable resultado (Y) que registra el individuo i con y sin la intervencin del programa.

expresin la que , es el impacto del programa flujo de resultados para el individuo i, Y0i es el resultado potencial en ausencia de tratamiento, mientras que Y1i tratamiento. Como, debe resultar evidente, no es posible observar Y0 e Y1 para un mismo individuo en un momento del tiempo (puesto que de hecho interviene o no interviene en el programa), se presenta lo que se conoce como Problema de Identificacin. refleja el estado de

17

Una primera solucin a ese problema sera medir el impacto promedio esperado, a travs de la expresin:

donde, ahora: es el impacto promedio del programa Y0 e Y1 son los resultados potenciales de quienes han participado y no participado en el programa o proyecto Sin embargo, y en tanto la seleccin de beneficiarios no es aleatoria sino, al menos, por le general, responde a criterios especficos de focalizacin, se presenta lo que en la literatura especializada se denomina Sesgo de Seleccin. Dicha desviacin se relaciona con los elementos no observables que pueden sesgar los

resultados (por ejemplo, capacidad individual, condiciones preexistentes), obligando a efectuar sutiles correcciones a travs de diversas herramientas estadsticas.
s

El sesgo se debe, en gran medida, a dos factores. Quienes deciden participar en un programa lo hacen porque poseen algunas caractersticas particulares en comparacin a quienes deciden no participar.

18

La existencia de variables no observable por parte del evaluador

La asignacin aleatoria no elimina el sesgo de seleccin, pero logra equilibrarlo entre las muestras de participantes y no participantes. En los diseos cuasi experimentales, los modelos estadsticos se acercan a esto modelando los procesos de seleccin para llegar a una estimacin insesgada usando datos no experimentales. Por tanto, el grueso de la tarea consiste en desarrollar una Metodologa slida - y cientficamente robusta - que posibilite efectuar las comparaciones minimizando el problema del Sesgo. Para ello se debe buscar a un grupo de individuos que no han participado del programa para que a partir de sus flujos de resultados podamos comparar los incrementos relativos. Este grupo es el llamado Grupo de Control. La diferencia que se plantea entre mtodos experimentales y no experimentales, tiene que ver con la conformacin y obtencin de datos del grupo de control Los mtodos experimentales, basados en la seleccin aleatoria de los beneficiarios, tienen como ventaja que ambos grupos de beneficiarios y de control tendrn las mismas caractersticas genricas, por lo que el sesgo de seleccin, ser, al menos, similar en ambos. Sin embargo, la asignacin de programas sociales a travs de algn tipo de mtodo de sorteo, es, o polticamente inviable, o viola los principio de focalizacin inherentes a todo proyecto de este tipo

19

El grupo de control, entonces, se suele formar con personas que quisieron participar en el programa pero no pudieron hacerlo, o bien, con aquellos elegibles bajo los criterios de focalizacin y asignacin pero, que por cualquier causa no recibieron los beneficios. Los individuos seleccionados para el grupo de control deben replicar las caractersticas de los beneficiarios del programa, especialmente aquellas ligadas a los flujos de resultados, de forma tal de minimizar el sesgo de seleccin de las variables observables. Si bien la conformacin del grupo puede hacerse utilizando los padrones de potenciales beneficiarios que no recibieron el programa, tambin se pueden obtener a partir de encuestas especficas, seleccionando individuos con caractersticas similares a las de los beneficiarios. A los fines de calcular el resultado diferencial entre beneficiarios e integrantes del Grupo de Control, existen tres estimadores ampliamente usados en la literatura sobre evaluacin: estimador antes-despus, estimador de diferencia en diferencias (doble diferencia) estimador de corte transversal. Para un mejor entendimiento de estos tres estimadores ampliaremos las ideas volcadas en la Figura 1 representando el flujo de resultados para el grupo de beneficiarios y el grupo de control antes y despus del programa. Los estados posibles para cada grupo son:

20

Figura 2

Las letras hacen referencia a los Estados de la Naturaleza, tal como los hemos definido ms arriba. Especficamente: A: Flujo de resultados de los beneficiarios despus del programa en estado de tratamiento B: Flujo de resultados de los beneficiarios despus del programa en estado de notratamiento C: Flujo de resultados de los controles despus del programa en estado de tratamiento D: Flujo de resultados de los controles despus del programa en estado de notratamiento E: Flujo de resultados de los beneficiarios antes del programa

21

 F: Flujo de resultados de los controles antes del programa Para medir la diferencia entre A y B (Impacto del Programa o Proyecto sobre el Grupo de Beneficiarios) es posible contar con los caractersticas son: indicadores mencionados ms arriba, y cuyas

Estimador Antes-Despus: Resulta de comparar la situacin de los beneficiarios del programa antes del programa (E) con su situacin despus de haber pasado por el programa (A). En este caso se usa como grupo de control a los mismos beneficiarios en su situacin anterior al programa, siendo el estimador de impacto el equivalente a A-E. El supuesto detrs de este estimador es que (E) logra aproximar bien la situacin de los beneficiarios en caso no hubieran participado en el programa (B).

Estimador de diferencia de diferencias: Resulta de comparar las situaciones antesdespus de los beneficiarios con aquella de los controles. As, el impacto del programa se estima mediante la frmula (A-E) (D-F). El supuesto detrs de este estimador es que el cambio en la situacin de los controles (D-F) entre el momento previo al programa y el momento posterior al programa es una buena aproximacin del cambio que hubiesen experimentado los beneficiarios durante ese mismo perodo de no haber pasado por el programa (B-E).

Estimador de corte transversal. Slo toma en cuenta la situacin de beneficiarios y controles despus del programa. Directamente el impacto se estima a travs de A-D. Aqu, el supuesto es que D es una buena representacin de B.

22

En el caso de que el diseo de la evaluacin correspondiese a mtodos no experimentales, encontramos las tcnicas siguientes:

Mtodo de matched comparisons Este mtodo consiste en asignar para cada beneficiario un respectivo individuo control. Dicha asignacin se realiza sobre la base de emparejar aquel beneficiario con aquel control que sean lo ms parecidos. Una vez establecidas las parejas de beneficiarios y controles emparejados
p

se podr estimar el impacto

promedio del programa como el promedio del impacto para cada pareja.

Modelo de Estimacin Economtrica. calculando el impacto como resultado de los parmetros estimados mediante modelos de regresin

Dada la multiplicidad de los tipos de proyectos, disponibilidad de datos, restricciones de tiempo cada evaluacin de impacto ser diferente y requerir cierta combinacin de las metodologas adecuadas, tanto cuantitativas como cualitativas. La revisin de las experiencias de evaluaciones exitosas - denominadas Evaluaciones de Practica Optima - pone de relieve que las metodologas elegidas para la evaluacin no son mutuamente excluyentes. Desde luego, en las evaluaciones ms robustas con frecuencia se combinan mtodos para asegurar su solidez y prever las contingencias en su implementacin.

23

Desde una perspectiva metodolgica, una combinacin recomendada es reunir

diversos

enfoques combinando todas las tcnicas disponibles proporcionando, a la vez, el efecto cuantificable de un proyecto y una explicacin de los procesos e intervenciones que originaron estos resultados.
e

octubre de 2005

Anexo II: Mtodos utilizados en evaluaciones de algunos pases seleccionados

Nicaragua

Programa de Reforma de la Autonoma Escolar Se efectuaron evaluaciones cualitativas y se disearon encuesta de panel. La medida de los resultados se centr en la calificacin de pruebas. La evaluacin fue cualitativa y cuantitativa, utilizndose metodologas como el matching y las comparaciones reflexivas. Kenia

Programa de provisin de libros de texto Un caso especial de evaluacin esencialmente cuantitativa, a travs de procesos experimentales y cuasiexperimentales, en el que se usaron pareos, tcnicas de doble diferencia y variables instrumentales. Filipinas

Programa de Abandono Escolar En el mismo se aplicaron mtodos aleatorizados y de variables instrumentales, efectundose, asimismo un anlisis beneficio costo

24

Bangladesh

Programa Alimentos para la Educacin Se uso el mtodo de variables instrumentales India

Programa de Educacin Asistida por Computadoras Uso de tcnicas cuantitativas experimentales y cuasi experimentales para medir el diferencial de rendimiento Chile

Programa Computadoras en la Escuela Estudio cualitativo sobre el impacto de la introduccin de nuevas tecnologas en la Enseanza Costa Rica

Programa Computadoras en la Escuela Medicin del Impacto a travs de tcnicas cualitativas Mxico

Programa Oportunidades Salud, Educacin y Nutricin El programa base para la aplicacin de mtodos robustos de Evaluacin: Se utilizan mtodos experimentales y cuasi experimentales en casi todos los niveles Per Programas Desayunos Escolares y de Alimentacin Escolar Un mecanismo de evaluacin basado en mtodos cuasiexperimentales y anlisis de Costo Beneficio Rendimiento Escolar Modelizacin economtrica de los efectos de la interaccin social ( peer-effects)

25