Professional Documents
Culture Documents
2007 Pact Brasil La reproduccin parcial o completa del documento es permitida siempre que ste sea debidamente citado. Produccin, distribucin e informacin Pact Brasil Alameda Olga 422, cj. 84 01155-040 So Paulo, SP www.pactbrasil.org Tel: +55-11-3825-5211 Elaboracin y Revisin: Laura Murray y Lilia Rossi Esta es una publicacin del Programa de Prevencin del VIH/SIDA del Per, implementado por PACT con fondos de la Agencia de Desarrollo Internacional de los Estados Unidos de Amrica (USAID/Per). Las informaciones en este documento no representan las opiniones o polticas del Gobierno de los Estados Unidos ni de la Agencia de Desarrollo Internacional de los Estados Unidos.
ndice
Presentacin ......................................................................... 4 Conceptos de Monitoreo y Evaluacin ................................ 5 Los Indicadores y su Uso...................................................... 7 Expectativas Realistas de Monitoreo y Evaluacin ............ 12 Plan de Monitoreo y Evaluacin ......................................... 13 Instrumentos de Monitoreo y Evaluacin............................ 16 Estudio de Caso: Cmo Evaluar un Proyecto o Programa . 18 Creacin de la Cultura Organizacional de Monitoreo y Evaluacin .......................................................................... 22 Referencias bibliogrficas................................................... 24 Anexos ................................................................................ 25
Anexo I : Anexo II: Anexo III: Anexo IV: Anexo V: Anexo VI: Anexo VII: Anexo VIII: Ejercicio - Intercambio de ideas ........ ....................25 Ejercicio - Indicadores SMART...................................25 Ejercicio - M&E - Definiciones y Terminologia............25 Ejercicio - Elaboracin del Plan de M&E.................27 Ejercicio - Procesos Organizacionales........................27 Ejercicio - Creacin de una Cultura de M&E...............28 Ejemplos de Instrumentos para el M&E......................29 Ejemplos de Indicadores - PEPFAR y UNGASS........43
Presentacin
Pact es una organizacin internacional independiente sin fines de lucro que inici sus actividades en 1971. Su misin es construir comunidades fuertes que permitan que las personas tengan condiciones de vida dignas, participen en iniciativas de autoayuda y tomen parte en la vida democrtica. Entre el trabajo y las capacidades de Pact se destaca la movilizacin de comunidades y la promocin de capacitacin de organizaciones basadas en la comunidad o que dedican su trabajo a ella. Actualmente, Pact implementa actividades en 54 pases de todo el mundo y mantiene oficinas de campo en 25 pases, entre los cuales se encuentra Brasil. Pact trabaja conjuntamente con las autoridades locales y las entidades de gestin existentes para unir a las comunidades locales, OBC y ONG en los procesos de planificacin, gestin y toma de decisiones, a fin de mejorar las funciones organizacionales, tales como gobernanza, operaciones/gestin, finanzas, gestin de conflictos, fomento de derechos y sostenibilidad. Cientos de organizaciones y redes locales han sido fortalecidas a travs de los programas y la experiencia y conocimientos de Pact en reas especficas, tales como: VIH/SIDA, gobernanza de salud pblica, sistemas de gestin de conocimientos, anlisis y evaluacin de impactos ambientales usando recopilacin y visualizacin de datos por GIS, gestin de recursos naturales, igualdad y fortalecimiento de grupos vulnerables y desarrollo de la capacidad organizativa e institucional. En el Per, Pact es responsable de la implementacin del programa de prevencin de enfermedades de transmisin sexual (ETS)/VIH/SIDA de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) (agosto del 2006 a marzo del 2008), cuyo objetivo es aumentar la calidad y ampliar la cobertura de las acciones de prevencin de la epidemia entre los grupos poblacionales vulnerables: hombres que tienen sexo con hombres (HSH), trabajadoras sexuales (TS), travestis/transgneros (TG), personas que viven con VIH/SIDA (PVVS), personas privadas de libertad (PPL) y personas/efectivos de la Polica Nacional del Per, en las ciudades de Lima, Iquitos y Pucallpa. En este sentido, la estrategia principal es dar apoyo tcnico, financiero y operativo al desarrollo de proyectos y convenios con ONGs, universidades y otras organizaciones locales. Esta Gua de Monitoreo y Evaluacin (M&E) condensa la informacin sobre metodologa, ejercicios prcticos y conceptos especficos, con la premisa y el objetivo de fortalecer a las instituciones asociadas a esta rea, con el fin de desarrollar de forma adecuada los proyectos respaldados y de contribuir a la consolidacin de una cultura organizacional de M&E.
3. Qu es evaluacin?
Proceso sistemtico para determinar hasta qu punto una accin, proyecto o programa alcanz las metas inicialmente establecidas y esperadas. Conjunto completo de informacin sobre las actividades, caractersticas y resultados de una accin, proyecto o programa, que posibilita el anlisis y explicacin y determina su mrito o valor.
5. Qu es una meta?
Es el resultado que se desea obtener al poner en prctica el proyecto. La definicin de metas debe conducir a la puesta en prctica de las operaciones necesarias para lograr el resultado que se desea, previamente definido en los objetivos. Las metas establecen cuantitativamente los efectos esperados en un plazo determinado. Deben ser especficas, factibles y mensurables.
6. Qu es un objetivo?
Es el enunciado de los resultados que se espera obtener mediante la puesta en prctica de un proyecto. Los objetivos determinan las actividades que deben realizarse para alcanzarlos. Los objetivos se expresan con verbos tales como: reducir, incrementar, fortalecer, mejorar, difundir, etc. Objetivo General: Establece, de forma general, las intenciones y los resultados esperados del programa. Objetivo Especfico: Conjunto de eventos o acciones concretas que contribuyen al alcance del objetivo general.
La evaluacin no es una auditora ni la bsqueda de responsables por determinado resultado de una accin.
Objetivo especfico
Resultado
Indicador de resultado
Actividades e insumos
Productos
Indicador de proceso
Monitoreo de Insumos Este monitoreo se hace por medio del seguimiento sistemtico del uso de los insumos o recursos del proyecto o programa durante su puesta en prctica. Sobre la base del ejemplo precedente, el proceso de monitoreo debe responder a las siguientes preguntas: Cuntos consultores fueron contratados como facilitadores de la capacitacin? Cuntas personas componen el equipo tcnico? De cuntos preservativos se dispone por semestre? Qu cantidad de material de IEC se producir o estar disponible para ser distribuido?
Las respuestas a estas preguntas son ejemplos de indicadores de proceso, es decir: Nmero de consultores contratados como facilitadores de la capacitacin Nmero de personas que forman parte del equipo tcnico de campo Nmero de preservativos obtenidos, por semestre, por el proyecto o programa Nmero de material IEC producido o disponible para distribucin
B. Actividades
Las actividades son los procedimientos o acciones del proyecto o programa ejecutados con el fin de producir el impacto u obtener los resultados esperados inicialmente. Con respecto a un proyecto de prevencin de VIH/SIDA, los siguientes son ejemplos de actividades: Capacitacin tcnica de educadores de pares Talleres para multiplicar la informacin sobre prevencin Acciones educativas cara a cara Distribucin de preservativos durante el trabajo en campo Distribucin de material de IEC durante el trabajo en campo
Monitoreo de las Actividades Este monitoreo se realiza por medio del seguimiento sistemtico de la ejecucin de las actividades y sus procesos. Tomando como base el ejemplo anterior, el monitoreo debe responder a las siguientes cuestiones: Cuntos educadores de pares fueron capacitados? Cuntos talleres se llevaron a cabo? Cuntas personas fueron alcanzadas durante las acciones educativas? Cuntos preservativos se distribuyeron? Cunto material de IEC se distribuy?
Las respuestas a estas preguntas son los efectos de las actividades, tambin llamados productos, que corresponden a los indicadores de proceso de un proyecto o programa, es decir:
8
Nmero de personas capacitadas Nmero de participantes en los talleres Nmero de personas alcanzadas en las acciones educativas Nmero de material de IEC distribuido
Evaluacin de Actividades e Insumos o Evaluacin de Proceso La evaluacin de las actividades e insumos explica la forma en que se ejecutaron las acciones del proyecto o programa, y complementa la informacin recopilada durante el proceso de monitoreo. Tomando como base los ejemplos anteriores, la evaluacin debe responder a las siguientes interrogantes: El trabajo de campo fue implementado conforme a lo esperado? Las personas alcanzadas quedaron satisfechas con las acciones desarrolladas? La poblacin beneficiada tuvo acceso a los preservativos? Qu factores u obstculos facilitaron, dificultaron o impidieron ese acceso?
C. Resultados
El resultado es el efecto obtenido por las actividades con el grupo poblacional objetivo. Los resultados incluyen varios tipos de efectos y se centran prioritariamente en la modificacin de conocimientos, actitudes y practicas del grupo poblacional intervenido. Con respecto a los ejemplos usados anteriormente, son ejemplos de resultados, los siguientes: Aumento del 20% del uso de preservativos durante las relaciones sexuales con el ltimo compaero casual Aumento del 30% del conocimiento de las formas correctas de prevencin del VIH/SIDA Aumento del 40% en la percepcin de la calidad de los servicios de salud prestados
Monitoreo de Resultados El monitoreo es el seguimiento sistemtico de la informacin relacionada con los resultados esperados y obtenidos por la puesta en prctica del proyecto. Siguiendo con los ejemplos anteriores, el monitoreo de resultados debe responder a preguntas del siguiente tipo: Los talleres educativos aumentaron el conocimiento de los participantes? Los participantes de los talleres sobre negociacin del uso del preservativo asimilaron los conceptos relacionados con el uso de preservativos? Los cursos de capacitacin sobre cmo promover la prestacin de servicios de calidad a la poblacin HSH y transgnero resultaron en un incremento de la calidad de esos servicios?
Las respuestas a las preguntas precedentes integran los indicadores de resultado que son: Porcentaje de la poblacin con conocimientos correctos sobre la transmisin del VIH. Porcentaje de la poblacin que reporta el uso de preservativos durante la ltima relacin sexual con un compaero casual. Porcentaje de las personas entrevistadas que reportaron haber recibido servicios de salud de calidad.
9
Evaluacin de Resultados La evaluacin de los resultados determina la eficacia de un proyecto o programa, al demostrar hasta qu punto los resultados obtenidos responden a los resultados esperados y cumplen con los objetivos previamente establecidos. Enfatiza las relaciones de causa entre la accin educativa y el efecto, por medio de una dimensin explicativa, y responde a las siguientes preguntas: El proyecto, programa o accin educativa funcion de la forma inicialmente planificada? Por qu? La accin educativa explica los resultados obtenidos? Tomando como base el ejemplo precedente es necesario demostrar que el aumento del uso de preservativos y del conocimiento sobre VIH/SIDA se debi a las actividades desarrolladas por el proyecto. Este poder explicativo es lo que marca la diferencia entre la evaluacin de resultados y el monitoreo de resultados.
D. Impacto
El impacto es el efecto acumulado de la ejecucin de varios proyectos o programas sobre determinado problema en un determinado tiempo. En el caso de la prevencin del VIH/SIDA, entre los ejemplos de impacto se pueden citar: Disminucin de la incidencia del VIH Disminucin de la tasa de transmisin vertical del VIH Disminucin de la discriminacin y el estigma
Monitoreo del Impacto El monitoreo del impacto se refiere al seguimiento de las tendencias epidemiolgicas y debe responder, por ejemplo, a la siguiente pregunta: Qu efecto tuvieron sobre la tasa de incidencia del VIH todas las acciones educativas ejecutadas en un determinado perodo de tiempo?
La respuesta a esa pregunta involucra dos indicadores de impacto, como por ejemplo: Tasa de incidencia del VIH en la poblacin HSH Tasa de transmisin vertical del VIH
Evaluacin del Impacto La evaluacin del impacto determina los efectos obtenidos por un conjunto de proyectos o programas sobre la poblacin en general con respecto a un problema especfico. En el rea sanitaria, por ejemplo, se centrar en el anlisis de la relacin entre las tendencias epidemiolgicas de determinada enfermedad y los efectos de los programas de prevencin y tratamiento. En este sentido, la evaluacin del impacto debe responder, por ejemplo, a las siguientes preguntas: Qu porcentaje de la variacin de la incidencia del VIH se debe a los proyectos y programas puestos en prctica durante los ltimos 10 aos? Qu porcentaje de la magnitud de reduccin de la prevalencia del VIH/SIDA se debi a los proyectos y programas implementados durante los ltimos 10 aos?
10
EJEMPLOS
Nmero de personas que forman parte del equipo tcnico Nmero de consultores contratados para encargarse de la capacitacin Nmero de trabajadores sanitarios capacitados Nmero de participantes en los talleres Nmero de personas alcanzadas en las acciones de prevencin Nmero de preservativos distribuidos Nmero de material de IEC distribuido Nmero de talleres realizados Porcentaje de la poblacin con conocimientos correctos sobre la transmisin del VIH. Porcentaje de la poblacin que reporta el uso de preservativos durante la ltima relacin sexual con un compaero casual. Porcentaje de las personas entrevistadas que reportaron haber recibido servicios de salud de calidad.
Indicadores de impacto
Tasa de incidencia del VIH en la poblacin HSH Tasa de transmisin vertical del VIH
11
Es importante destacar que un Plan de M&E sea: Elaborado colectivamente durante la definicin del proyecto o programa; Alimentado sistemticamente: es imprescindible que el equipo de la organizacin o el responsable de la implementacin del proyecto o programa asuma el plan como un instrumento colectivo y comprenda que todos son responsables de su elaboracin y alimentacin y de los posibles ajustes; Revisado frecuentemente: el Plan de M&E no es esttico, sino que es un instrumento dinmico que debe ser ajustado siempre que sea necesario.
Despus de la definicin de los indicadores de una accin, proyecto o programa se debe verificar si: El indicador especifica claramente lo que va a medir El indicador es mensurable El indicador es relevante respecto a los objetivos generales y especficos del proyecto o programa El indicador es factible dados los recursos y experiencia disponibles
13
Los medios de verificacin de los indicadores especifican un plazo realista en que podrn ser medidos
14
Grfico 2: Ejemplo de Plan de M&E (Proyecto de un ao centrado en la prevencin del VIH/SIDA para HSH)
Objetivo General*
- Contribuir a la reduccin de la incidencia del VIH en la poblacin de HSH de So Paulo.
Objetivo Especfico
- Aumentar el uso del preservativo durante la ltima relacin sexual con un compaero casual en la poblacin HSH alcanzada por las actividades de prevencin desarrolladas en So Paulo. - Aumentar el acceso de la poblacin HSH a los servicios de salud especializados en ETS y VIH de calidad en So Paulo.
Indicador de Resultados
- Porcentaje de la poblacin que reporta el uso del preservativo durante la ltima relacin sexual con un compaero casual.
Medio de Verificacin
- Cuestionario CAP aplicado al inicio y trmino del proyecto
Responsables
- Consultor externo para disear el cuestionario y el muestreo, y analizar los resultados - Educadores de pares
Actividad
- Talleres educativos sobre negociacin del uso del preservativo, con distribucin de preservativos masculinos y material IEC
Medios de Verificacin
- Listas de asistencia - Informe de las actividades - Planilla de control de la distribucin de material de IEC - Planilla de control de la distribucin de preservativos
Responsables
- Facilitador de los talleres - Educadores de pares
- Porcentaje de los HSH que reportaron haber recibido servicios de salud de calidad. - Porcentaje de HSH derivados que concurrieron al servicio de salud especializado.
- Cuestionario CAP. - Registro en el centro sanitario - Informe de campo de los educadores de pares
- Promover servicios de salud por medio de actividades educativas semanales en lugares frecuentados por la poblacin HSH de SP. - Cursos de capacitacin dictados por el personal de los centros de salud de referencia.
- Nmero de personas alcanzadas en las acciones educativas - Nmero de referencias dadas - Nmero de cursos de capacitacin dictados - Nmero de personas capacitadas
*Dado que se trata de un ejemplo para un proyecto de un ao de duracin, no es posible medir los indicadores del impacto.
15
Planilla de Control de Preservativos y Otros Insumos de Prevencin Este instrumento se usa para registrar la entrada y salida de preservativos y otros insumos de prevencin. La primera entrada debe ser asentada cuando la organizacin recibe los insumos y las salidas, al ejecutarse cada accin educativa. Planilla de Control de Material Educativo Este instrumento se usa para registrar la entrada y salida de material educativo producido y distribuido. La primera entrada debe ser asentada cuando la organizacin recibe el material de la imprenta o de entidades asociadas y las salidas, al ejecutarse cada accin educativa. Es importante que la planilla tenga columnas distintas para registrar los datos sobre el material producido y distribuido por la organizacin y el material recibido de terceros y distribuidos por ella. Cuestionario de Evaluacin del Material de IEC Antes de empear esfuerzos y recursos en la produccin de material de IEC es importante realizar entrevistas y grupos focales con la poblacin objetivo para recopilar informacin y opiniones sobre la propuesta de material a ser producido, a fin de garantizar que sea adecuado a las particularidades del grupo poblacional al que se destina y que el mensaje y la informacin transmitidos sean claros y pertinentes (ver modelo en el Anexo VII-H). Cuestionario para Evaluar la Calidad de una Actividad Puntual Despus de un taller de capacitacin, es importante evaluar la opinin de los participantes sobre la actividad y solicitar sugerencias sobre la forma de perfeccionarla. Ver ejemplo de cuestionario de evaluacin en el Anexo VII-I. Prueba pre/post-actividad Esta tcnica se usa para monitorear el resultado obtenido entre los participantes de una actividad educativa. Se trata de un cuestionario nico que debe ser respondido antes y despus de la ejecucin de la actividad, a fin de mensurar el nivel (o aumento) del conocimiento o la satisfaccin de los participantes.
17
Hacer una prueba piloto del cuestionario CAP y del guin del grupo focal con miembros del grupo poblacional objetivo. Este es un paso fundamental para garantizar que el grupo poblacional comprende las preguntas planteadas, que las respuestas corresponden a los objetivos de la evaluacin y que el formato del cuestionario facilita la tarea de los entrevistadores. De acuerdo con los resultados de la prueba piloto, el cuestionario debe ser revisado para luego definir su versin final.
Grupo focal
Por lo general, cada grupo focal contiene de 6 a 12 personas del grupo poblacional objetivo. Para maximizar la informacin obtenida en el grupo focal, es necesario que los participantes tengan un perfil sociodemogrfico similar (por ejemplo: igual sexo, clase social, profesin, etc.). Los participantes del grupo focal pueden ser seleccionados de la lista de participantes en las actividades de la ONG y en los lugares en que se ejecutaron las acciones educativas. Al invitar a participar a los participantes de las acciones educativas, es importante cursar una invitacin formal por escrito que contenga todos los detalles del grupo focal y garantizar el transporte de las personas para facilitar su llegada al lugar de reunin. Tambin es recomendable invitar al doble de personas previstas para componer el grupo focal, debido a que es comn que las personas no concurran. La cantidad de grupos focales de discusin a ser realizados depende del tiempo y de los recursos disponibles para hacer la evaluacin. Por lo general, es recomendable que se hagan de 3 a 5 grupos focales de discusin por cada subgrupo de la poblacin objetivo del proyecto en evaluacin.
19
Grupo focal
Debido a que se trata de un mtodo ms abierto y cualitativo, el grupo focal debe estar a cargo de un facilitador profesional con experiencia y conocimientos sobre el rea o tema a ser evaluado. Adems, se debe garantizar la participacin de otra persona para que tome notas durante la reunin del grupo focal y registre observaciones sobre la conversacin y los temas debatidos.
Grupo focal
Los grupos focales se renen generalmente en un lugar privado y seguro, y el debate se graba en cinta de audio. Se pone a disposicin de los participantes un refrigerio y obsequios por su participacin.
Grupo focal
Si hubiera recursos financieros suficientes, la grabacin del debate de los grupos focales debe ser transcripta inmediatamente despus de la reunin. En caso contrario, los facilitadores de los grupos deben reunirse despus de las reuniones y elaborar un informe lo ms detallado posible sobre la percepcin que tuvieron de los participantes con respecto a los temas debatidos, destacando los distintos matices del debate y las opiniones expresadas.
en prctica del proyecto o programa, adems de proveer los datos necesarios para reportar los indicadores de resultados del proyecto o programa. En este sentido, es imprescindible contrastar los resultados de la evaluacin con los objetivos del proyecto o programa. Para explicar por qu hubo o no cambios a medio trmino y al final del proyecto o programa, es fundamental triangular la informacin obtenida a travs de los cuestionarios y los grupos focales de discusin con otros datos cuantitativos (por ejemplo, la cantidad de personas que participaron de los talleres, la cantidad de sketches teatrales, etc.) y cualitativos (por ejemplo, la informacin contenida en los informes de los trabajadores de campo) recopilados y reportados durante el proceso de monitoreo de la implementacin de las actividades.
7. Cronograma de la Evaluacin
Puesto que se trata de una evaluacin, el cuestionario CAP y los grupos focales deben aplicarse al comienzo, al medio y al final del proyecto. A continuacin se presenta, a modo de ejemplo, el cronograma de la evaluacin de un proyecto de dos aos, dividido en sus tres momentos: lnea de base, evaluacin a medio trmino y evaluacin final. Lnea de base: primer mes del proyecto Aplicar el cuestionario CAP en los lugares en que tendr lugar la accin educativa, antes del comienzo de las actividades del proyecto; Realizar los grupos focales; Tabular los resultados del cuestionario CAP en una base de datos; Analizar la informacin obtenida en la lnea de base para adecuarla a las actividades del proyecto; Implementar las actividades del proyecto y monitorearlas.
Evaluacin parcial: transcurrido un ao de actividades del proyecto Aplicar el mismo cuestionario y realizar los grupos focales; Tabular los resultados del cuestionario CAP en una base de datos; Analizar los resultados obtenidos y compararlos con los resultados anteriores; Es imprescindible que los resultados sean contrastados con la informacin recopilada en el monitoreo para poder determinar la eficacia del proyecto y la relacin causal entre los resultados y la accin educativa. Sobre la base de estas observaciones, verificar si es necesario hacer cambios: intensificar acciones, adoptar nuevos enfoques, etc.
Evaluacin final: al final del proyecto Aplicar el mismo cuestionario y realizar grupos focales; Tabular los resultados del cuestionario CAP en una base de datos; Analizar los resultados obtenidos y compararlos con la informacin de la primera ronda del cuestionario y de los grupos focales; Observar si hubo o no cambios durante la puesta en prctica del proyecto; Para explicar por qu hubo o no cambios, triangular la informacin con los datos obtenidos a travs de los cuestionarios y la informacin recopilada durante el monitoreo y en el debate de los grupos focales; Para obtener el resultado de la evaluacin del proyecto es imprescindible contrastar los resultados de la evaluacin con los objetivos del proyecto para verificar si la accin educativa explica los resultados esperados y si funcion de la forma inicialmente planificada.
21
Planificacin
Implementacin
Efectos
la situacin
Monitorear y evaluar
Conocer
Implementar Planificar
22
Ejemplo de un modo de pensar evaluativo: El proyecto prevea diez campeonatos de ftbol con los participantes del proyecto. La actividad se puso en prctica, pero despus de realizados tres campeonatos, a travs del monitoreo, el equipo del proyecto percibi que la asistencia de los participantes haba disminuido. El equipo realiz grupos focales con los participantes en los partidos para comprender por qu dejaban de concurrir. El resultado del grupo focal mostr que los participantes estaban ms interesados en campeonatos de voley. En ese caso, se adecu la actividad a los intereses del grupo poblacional objetivo y se garantiz, de este modo, la obtencin de mejores resultados con respecto a los objetivos del proyecto. Eso es M&E, es decir, el equipo del proyecto hizo un seguimiento de la ejecucin de una actividad, not que no estaba alcanzando sus objetivos y la adecu sobre la marcha. En este caso, se debe registrar el cambio de la actividad en el Plan de M&E. El registro servir como una observacin para el equipo del proyecto que, para fines de la planificacin futura, considerar que el campeonato de ftbol no es la mejor alternativa de accin para ese grupo poblacional especfico y en esa zona geogrfica.
23
Referencias Bibliogrficas
BERTRAND, J., Escudero, G. (2002). Compendium of Indicators for Evaluating Reproductive Health Programs. MEASURE Evaluation Manual Series 1(6): USAID. CONTANDRIOPOULOS, A.P., CHAMPAGNE, F., POTVIN, P., DENIS., JL., BOYLE, P. (1997) Saber Preparar uma Pesquisa. Rio de Janeiro: FIOCRUZ, ABRASCO. HARTZ, Z., Arajo, M. (Org.). (1997) Avaliao em Sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: FIOCRUZ. 131p. MONITORAIDS. (2006) Sistema de Monitoramento de Indicadores do Programa Nacional de DST e Aids. Ministrio da Sade. Programa Nacional de DST Aids. Fundao Oswaldo Cruz. http://www.aids.gov.br/monitoraids Monitoring & Evaluation Capacity Building for Program Improvement Field Guide - Version 1 - December 2003 - Global AIDS Program - Centers for Disease Control and Prevention - ORC Macro. Traduzido por PN-DST/Aids - rea de Avaliao: Aristides Barbosa Junior, Elizabeth Moreira dos Santos e Ana Roberta Pati Pascom. Com o apoio de: PN-DST/Aids - Unidade de Desenvolvimento Institucional e Humano: Silvana Solange Rossi e Larissa Polejak, CDC GAP Brasil: Willian Brady e Suzanne Westaman. Colaborao de: Clia Landamann Szwarcwald, Maria Cristina R. Baggio, Maria Elizabeth da S. H. Corra, Maria Snia Natal, Teresa Seabra Soares e Zulmira Hartz. PATTON, Michael Quinn. (2005) Os desafios para tornar a avaliao til. Cadernos Atividades Mestrado Profissional em Vigilncia em Sade e Avaliao de Programas de Controle de Processos Endmicos. Dimenso Tcnica Operacional. Vol 2 (2). No prelo. REHLE, T., Saidel, T., Mills, S., Magnani. (2001). Evaluating programs for HIV/AIDS prevention and care in developing countries. Washington DC: Family Health International SESSIONS, G. (2001) Avaliao em VIH/AIDS: Uma perspectiva Internacional, Fundamentos de Avaliao, n2, Coleo ABIA, Rio de Janeiro. UNGASS. (2005) Monitoring the Declaration of Commitment on HIV/AIDS: Guidelines on Construction of Core Indicators. Geneva, Switzerland.
24
Anexos
A continuacin se presentan algunos ejercicios que pueden ser usados en actividades de grupo para debatir y revisar contenidos conceptuales y metodolgicos sobre monitoreo y evaluacin, as como ejemplos de los instrumentos o procesos descritos anteriormente en esta gua.
1. Durante cada taller, el equipo del proyecto hizo circular una lista de asistencia para ser firmada por los presentes. Al trmino del taller, la persona responsable entreg la lista al coordinador del proyecto, que incorpor la cantidad de participantes a la base de datos del proyecto. Respuesta del ejercicio A:
2.
Antes y despus de la realizacin de los talleres, se aplic un cuestionario sobre comportamiento a las trabajadoras sexuales que participaron. El mismo cuestionario fue aplicado tambin a un grupo similar de trabajadoras sexuales que no participaron de los talleres. Se compara el resultado de esas observaciones para ver si hay cambios de comportamiento y si los cambios se dan de forma diferente en los dos grupos. Respuesta del ejercicio A:
3. Antes de comenzar el proyecto, se hizo un estudio con trabajadoras sexuales de la ciudad sobre las formas de transmisin del VIH y el uso de preservativos con el compaero fijo. Despus de transcurrido un ao de la implementacin del proyecto, se aplic el mismo cuestionario y los resultados se compararon con los obtenidos el ao anterior. Respuesta del ejercicio A:
Respuesta del ejercicio B: 4. El equipo del proyecto estableci un acuerdo de cooperacin con un centro de salud para registrar la cantidad de trabajadoras sexuales que accedieron al servicio a lo largo del proyecto. Al trmino del proyecto, la cantidad del ltimo mes fue comparada con la registrada antes del proyecto. Respuesta del ejercicio A:
Respuesta del ejercicio B: 5. La ONG quiere saber si la accin educativa est surtiendo efecto. Para lograrlo, recopila diferentes tipos de datos usando el registro de los participantes y los cuestionarios. Tambin se realizaron varios grupos focales de discusin con los participantes en las actividades del proyecto. Todos los datos fueron incorporados a un archivo y nunca fueron consultados o usados. Respuesta del ejercicio A:
26
27
Preguntas 1. 2. 3. 4. 5. 6. 7. 8. Tenemos un sistema claro para identificar las necesidades de nuestra poblacin? Es eficaz nuestro sistema de evaluacin de las necesidades de la poblacin? En nuestra organizacin usamos indicadores claros para el M&E de proyectos? La poblacin objetivo participa directamente de nuestras actividades de M&E? Tenemos un sistema de calidad para recopilar informacin programtica y operativa? Tenemos un sistema de calidad par analizar informacin programtica y operativa? Estamos haciendo los cambios adecuados, en funcin del anlisis de la informacin obtenida con el monitoreo de las actividades y los insumos? Documentamos sistemticamente las lecciones aprendidas durante la implementacin de nuestros proyectos?
No
28
De este modo, libre y con conocimiento de causa, acepto participar de la evaluacin definida anteriormente.
________________, ___ de ____________ del 2007.
Entrevistador: _____________________________
Contacto: ________________________
Los cuestionarios (Guin de entrevista exhaustiva, Guin para grupos focales de discusin, Cuestionario de evaluacin, Cuestionario sobre hbitos y Cuestionario de evaluacin de IEC) fueron adaptados de instrumentos usados por Pact Brasil, ONG brasileas y otras instituciones nacionales e internacionales. 2 Una vez firmado, el Consentimiento libre y con conocimiento de causa debe ser guardado en un lugar aparte del cuestionario o guin llenado para garantizar la proteccin de la privacidad del participante. Es importante hacer notar que, si el participante no quiere, no necesita poner su nombre verdadero. El participante debe firmar el Consentimiento por duplicado: una copia queda con l y la otra con la persona que recibi la firma. Una vez firmado, el Consentimiento debe ser guardado por separado en un lugar seguro.
29
B.
Informacin demogrfica 1. 2. 3. 4. 5. Ciudad:_____________________________ Edad:_______ Trabajadora Sexual ( ) HSH ( ) Transgnero ( ) Lugar de trabajo: ( ) Calle ( ) Boite ( ) Bar ( ) Otro:______________ Escolaridad: Primaria incompleta ( ) Primari completa ( ) Secundaria incompleta ( ) Secundaria completa ( ) Superior incompleto ( ) Superior completo ( ) Universidad ( ) Postgrado + ( ) 6. Raza: Negro ( ) Mulato ( ) Blanco ( ) Oriental ( ) Indgena ( ) Guin cualitativo EXPERIENCIA CON LA ONG 1. Cuntame un poco acerca del tipo de contacto que tuviste durante el ltimo ao con (nombre de la ONG) ___________________________. Profundizar: De qu actividades participaste? (Nivel de la participacin) Qu relevancia/importancia tuvieron esas actividades para ti? Cules fueron los puntos fuertes de esas actividades? Cules fueron los puntos dbiles? Cmo se las podra mejorar...? Qu otros tipos de actividad te gustara que hubiera? En una escala de 1 a 5, cmo calificaras tu satisfaccin con las actividades en que participaste? (1 insatisfecho, 2 poco satisfecho, 3 ms o menos satisfecho, 4 satisfecho, 5 muy satisfecho) RESULTADO DEL PROYECTO 2. Cuntame un poco sobre cmo tu participacin en esas actividades afect tu vida. a. Si la persona no lo mencionara, preguntar: autoestima, participacin ms activa en la comunidad, negociacin del uso de preservativos con el compaero y los clientes, mayor cuidado de la salud, negociacin con los clientes MATERIAL/INSUMOS 3. Cuntame sobre el material que la ONG te dio. Si la persona no lo mencionara, preguntar: Material de IEC a. Leste el folleto/panfleto/revista? b. Qu te pareci ese material? Te gust? No te gust? c. La persona que te entreg ese material te explic algo sobre el tema? qu? d. Pasaste el folleto a alguna otra persona? Preservativo masculino: La ltima vez que la ONG te entreg condones, cuntos te dio? Fueron suficientes? 4. Adems de la ONG, en qu otros lugares sueles conseguir ese tipo de material del que me hablaste ahora?
30
Si no lo mencionara, preguntar directamente sobre preservativos masculinos. 5. Has notado alguna diferencia en la calidad de los preservativos distribuidos por la ONG y los que consigues en otro lugar? Cules prefieres? Alguna vez se rompi alguno? 6. Las actividades de la ONG te ayudaron a negociar el uso de preservativos? En caso afirmativo, cmo? En caso negativo, por qu? a. Explorar el contexto del uso de preservativos: con quin, cundo, tipo de compaero
ESTIGMA y DISCRIMINACIN 7. Qu significa ser un TG/TS/HSH aqu en (nombre de la ciudad)? 8. Les cuentas a las personas tu profesin/orientacin sexual? a. Por qu s? o porqu no? Cul es la reaccin de las personas cuando hablas sobre eso?
9. Alguna vez sentiste que no se respetaron tus derechos porque eres TG/TS/HSH? En caso afirmativo, cmo sucedi? 10. Alguna vez la ONG trat el tema de la discriminacin (falta de respeto) contigo? En caso afirmativo, en qu contexto? 11. Te gustara comentar o preguntar alguna otra cosa? AGRADECER Y FINALIZAR
31
C.
Informacin demogrfica Fecha: ________________________________________________________ Cantidad de participantes: ________________________________________ Ciudad: _____________________________ Lugar de reunin del grupo focal: ___________________________________________ Grupo poblacional: Trabajadoras sexuales( ) HSH ( ) Transgneros ( ) EXPERIENCIA CON LA ONG 1. Cuntenme un poco acerca del tipo de contacto que tuvieron durante el ltimo ao con (nombre de la ONG) ___________________________. Profundizar: De qu actividades participaron? (Nivel de la participacin) Qu relevancia/importancia tuvieron esas actividades para ustedes? Cules fueron los puntos fuertes de esas actividades? Cules fueron los puntos dbiles? Cmo se las podra mejorar...? Qu otros tipos de actividad les gustara que hubiera? RESULTADO DEL PROYECTO 2. Para ustedes,cules fueron los resultados de esas actividades con TG/TS/HSH de las que hablaron? 3. Cuntenme un poco sobre la forma en que la participacin en esas actividades afect sus vidas. Profundizar: a. Si las personas no lo mencionaran, preguntar: autoestima, participacin ms activa en la comunidad, negociacin del uso de preservativos con el compaero y los clientes, mayor cuidado de la salud, conocimiento de sus derechos, negociacin con los clientes MATERIAL/INSUMOS 4. Cuntenme sobre el material que la ONG les reparte. Si no lo mencionaran, preguntar directamente: Material de IEC, preservativos masculinos Material de IEC b. Leyeron el folleto/panfleto/revista? c. Qu les pareci el material? Les gust? No les gust? d. La persona que les entreg ese material les explic algo sobre el tema? qu? e. Pasaron el folleto a alguna otra persona? Condones: La ltima vez que la ONG les entreg condones, fueron suficientes? 5. Adems de la ONG, en qu otros lugares suelen conseguir ese tipo de material del que me hablaron ahora? Sondear: Centros de salud, compras en la farmacia, otras ONG. 6. Han notado alguna diferencia en la calidad de los preservativos/gel/preservativos femeninos distribuidos por la ONG y los que consiguieron en otro lugar? a. b. Cul prefieren? Por qu? Alguna vez se rompi algn preservativo? Averiguar si fue uno de la ONG o si fue comprado, si se acuerdan de la marca o del color del preservativo.
32
7. Cules son las dificultades relacionadas con el uso de condones entre los TG/TS/HSH? a. Sondear las diferencias entre los tipos de compaeros, el precio ofrecido y la disponibilidad del preservativo. 8. Entre las actividades del proyecto en que participaron, alguna los ayud a negociar el uso de preservativos? Cul o cules? Por qu s o no? Qu ms se podra hacer para facilitar el uso de condones? ESTIGMA Y DISCRIMINACIN 9. Qu significa ser un TG/TS/HSH aqu en (nombre de la ciudad)? a. Les cuentan a las personas su profesin/orientacin sexual? Por qu s? o porqu no? Cul es la reaccin de las personas cuando ustedes hablan sobre eso? 10. Alguna vez alguno de los presentes sinti que no se respetaron sus derechos porque es TG/TS/HSH? En caso afirmativo, cmo sucedi? 11. Alguna vez la ONG trat el tema de la discriminacin (falta de respeto) con ustedes? En caso afirmativo, en qu contexto? 12. Durante el ltimo ao, percibieron algn cambio en el tratamiento de los servicios sanitarios o de la polica? En caso afirmativo, cules son esos cambios? 13. Les gustara comentar o preguntar alguna otra cosa? AGRADECER Y FINALIZAR
33
Nombre del proyecto Nmero del cuestionario: ___________________ Cdigo del entrevistador: ___________________ Fecha de la entrevista: _________________________ Ciudad: ______________ Urbanizacin:__________________________ Lugar: ____________________
Edad
Primaria incompleta Primaria completa Secundaria incompleta Secundaria completa Universidad + No sabe
Cul es tu raza?
Cunto ganas por mes levantando clientes? (Si no fuera profesional del sexo, pasar a la pregunta nmero X)
Dnde naciste?
Estado civil?
34
CONOCIMIENTOS SOBRE ETS Y VIH/SIDA Qu te parece que pueden hacer las personas para evitar las enfermedades que se contagian al tener sexo? (Leer cada respuesta y esperar que el entrevistado responda) A. Usar condones en todas las relaciones sexuales B. Tomar remedios C. Disminuir la cantidad de compaeros de sexo D. Tener sexo slo con personas conocidas E. Higienizar los genitales A. Por los besos? B. Por los abrazos? C. En los baos pblicos? D. Tomando del mismo vaso que una persona con VIH/SIDA? E. Trabajando junto con alguien con VIH/SIDA? F. Por el sexo anal? G. Por el sexo oral? H. Por el sexo vaginal? I. Por la picada de un mosquito? J. Compartiendo agujas hipodrmicas? K. De madre a hijo durante el embarazo, el parto o el amamantamiento? A. S B. S C. S D. S E. S A. S B. S C. S D. S E. S F. S G. S H. S I. J. K. S S S No No No No No No No No No No No No No No No No No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe No sabe
Crees que el VIH/SIDA se contagia (Leer cada respuesta y esperar que el entrevistado responda):
S No No sabe S No No sabe
10
11
S No No sabe
12
Una persona a la que se le diagnostic el VIH, tiene que pagar por la atencin o tratamiento mdico?
S No No sabe
35
USO DE CONDOMS La ltima vez en que tuviste relacin con un cliente nuevo, usaste un condn? (Si no fuera trabajadora sexual, pasar a la pregunta nmero 14) S No No sabe
13
14
Durante los ltimos tres meses, tuviste relaciones sexuales con un compaero o compaera casual (alguien con quien no tienes relaciones sexuales regulares)? La ltima vez en que tuviste relacin con un compaero o compaera casual, usaste un condn?
15
16
17
18
Por lo general, por qu motivos dejas de usar condn? (Leer cada opcin y sealar la respuesta correspondiente a cada una) A. Es muy caro A. S No No sabe B. Dificulta el placer o interfiere en la B. S No No sabe relacin sexual C. Al compaero o cliente no le C. S No No sabe gusta o se niega a usarlo D. No es necesario, confo en el D. S No No sabe compaero E. No s cmo se usa E. S No No sabe F. Siempre uso F. S No No sabe G. Otro: G. S No No sabe
SERVICIOS DE SALUD Durante los ltimos meses, has ido a un centro de salud? S No pasar a la pregunta n. 21 No sabe
19
20
Qu motiv tu visita?
____________________________________________
21
La ltima vez que fuiste al centro de salud, quedaste satisfecho con la calidad del servicio que te dieron?
S No No sabe
36
ESTIGMA Y DISCRIMINACION Ya pasaste por alguna situacin en que fuiste vctima de prejuicio o discriminacin por causa de tu profesin? S No pasar a la pregunta n. 24 No sabe
22
23
Durante los ltimos seis meses, te sentiste discriminado en un centro de salud por causa de tu profesin u orientacin sexual?
S No No sabe
24
Algunas de las personas que conviven contigo diariamente no saben sobre tu profesin? (Si no fuera trabajadora sexual, pasar a la pregunta nmero 25)
S No No sabe
PARTICIPACIN EN ACTIVIDADES EDUCATIVAS Durante los ltimos tres meses, recibiste la visita de un educador o de compaeros de profesin para conversar sobre prevencin del VIH? Durante los ltimos tres meses, participaste de alguna actividad educativa sobre prevencin del VIH?
25
S No No sabe
26
De cules de las siguientes actividades sobre VIH/SIDA participaste?: A. Taller sobre sexo seguro 27 B. Reunin entre pares C. Capacitacin en sexo seguro D. Charla sobre prevencin de las ETS/sida E. Recibiste panfletos sobre ETS/sida? F. Recibiste condones durante tu jornada de trabajo? Sabes el nombre de la organizacin a cargo de esas actividades? A. S B. S C. S D. S E. S F. S No No No No No No No sabe No sabe No sabe No sabe No sabe No sabe
28
37
Fecha: _______________________________
Ciudad: ______________
Lugar: ____________________
MARQUE CON UN CRCULO EL NMERO QUE CORRESPONDE A SU RESPUESTA ESCALA: 1. No est de acuerdo en absoluto 2. No est de acuerdo parcialmente 3. Est de acuerdo parcialmente 4. Est de acuerdo totalmente.
Lo que dos adultos hacen juntos, por libre consentimiento, en el mbito de la sexualidad, solo les concierne a ellos. 1 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Tener una ETS o el VIH implica una cierta promiscuidad sexual. 2 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
La educacin sexual incita a los jvenes a tener una vida sexual precoz. 3 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
La aceptacin de la homosexualidad favorece la diseminacin del SIDA. 4 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Las travests deben ser respetadas por su eleccin de gnero. 5 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Una persona viviendo con VIH/SIDA debe ser apartada de los compaeros de trabajo. 6 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Una persona viviendo con VIH/SIDA puede concurrir normalmente a ambientes pblicos como bares, restaurantes, discotecas, etc. NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Yo usara el mismo bao que usa una persona viviendo con VIH/SIDA. 8 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Yo permitira que mis hijos jueguen con un nio viviendo con VIH/SIDA. 9 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
Yo aceptara que mi hijo se casase con una persona del mismo sexo. 10 NO EST DE ACUERDO 1 : 2 : 3 : 4 EST DE ACUERDO
38
Anexo F: Mapa de Abordaje del Trabajo de Campo INFORME SEMANAL - TRABAJO DE CAMPO
SEMANA: del __/__/__ al __ / __/__ REA
Mujer TS
PROMOTOR
PERSONAS CONTACTADAS HSH TG PVVS Mujer TS HSH PRESERVATIVOS TG PVVS MATERIAL DISTRIBUIDO REFERENCIAS Se sospecha que tiene Anlisis ETS de VIH Otra
PUNTO/LUGAR
Nuevas
Antiguas Nuevas Donados Vendidos Donados Vendidos Donados Vendidos Donados Vendidos
Tema
TOTAL
39
FORMULARIO DE REFERENCIA
(NOMBRE DE LA ONG)
ENTREGAR ESTE FORMULARIO EL DA DE TU CONSULTA NOMBRE DE LA PERSONA REFERIDA: NOMBRE DEL PEP:______________ URBANIZACIN: ___________________
FECHA Y HORARIO DE LA CONSULTA: ________________________________________ FECHA DE HOY_______________________ CENTRO DE SALUD (MARCAR EL CENTRO DE SALUD DE REFERENCIA):
Centro de Salud 1 Avenida Independencia 15 Centro Tel: 555-0101 Horario de atencin: 9.00 15.00
Centro de Salud 2 Avenida 25 de Marzo Miraflores Tel: 555-5500 Horario de atencin: 9.00 18.00
40
41
Mis expectativas fueron satisfechas. 1 2 3 El taller me gust. 1 2 II. Facilitadores Las presentaciones fueron claras. 1 2 3 3
Los facilitadores estimularon el debate participativo y colectivo. 1 2 3 4 Los facilitadores respondieron con claridad a las preguntas planteadas. 1 2 3 4 III. Material e informacin provistos El material era claro y fcil de entender. 1 2 3 4
El material era relevante y apropiado a las necesidades de mi organizacin. 1 2 3 4 El material era completo. 1 2 IV. Aprendizaje Tuve oportunidad de participar efectivamente. 1 2 3 Las tres cosas ms tiles que aprend fueron Me gustara que se profundizaran ms los siguientes temas Recomendara que, en el futuro, el taller... Otros comentarios 4 3 4
42
43
44
45
46
* Fuente: Plan Presidencial de Emergencia para el Alivio del Sida: Gua de Referencia de los Indicadores. Enero del 2007.
47
INDICADORES UNGASS PERODO EXTRAORDINARIO DE SESIONES DE LA ASAMBLEA GENERAL DE LAS NACIONES UNIDAS SOBRE EL VIH/SIDA 2005*
Epidemias Generalizadas Compromiso y Accin Nacional ndice compuesto de polticas nacionales Gastos anuales relacionados con el SIDA Proporcin de escuelas con profesores capacitados en VIH que dieron clases durante el ltimo ao escolar Proporcin de grandes empresas que cuentan con polticas y programas de trabajo relacionados con el VIH/SIDA Proporcin de mujeres y hombres con ETS en centros de salud, adecuadamente diagnosticados, tratados y aconsejados Proporcin de mujeres embarazadas que reciben profilaxis anti-retroviral para reducir el riesgo de transmisin vertical del VIH Proporcin de personas con infeccin avanzada con el VIH, que reciben terapia anti-retroviral Proporcin de hurfanos y nios vulnerables que viven en hogares que reciben apoyo externo sin cargo para cuidar al nio Porcentaje de las unidades de sangre transfusionada debidamente analizadas para detectar el VIH Comportamiento y Conocimiento Porcentaje de jvenes de 15 a 24 aos, que identifican correctamente las formas de prevencin de la transmisin sexual del VIH y que rechazan los principales conceptos errneos sobre la transmisin del VIH Porcentaje de jvenes de 15 a 24 aos que tuvieron relaciones sexuales antes de los 15 aos Proporcin de jvenes de 15 a 24 aos que tuvieron relaciones sexuales con un compaero no regular durante los ltimos 12 meses Proporcin de jvenes de 15 a 24 aos que informan del uso de preservativos durante las relaciones sexuales con el ltimo compaero no regular Razn de la asistencia escolar actual entre hurfanos y no hurfanos de 10 a 14 aos Impacto Proporcin de jvenes de 15 a 24 aos que estn infectados con el VIH Proporcin de nios infectados con el VIH que nacieron de madres infectadas con el VIH Proporcin de adultos y nios infectados con el VIH que estn vivos despus de transcurridos 12 meses desde el comienzo de la terapia antiretroviral.
48
INDICADORES UNGASS PERODO EXTRAORDINARIO DE SESIONES DE LA ASAMBLEA GENERAL DE LAS NACIONES UNIDAS SOBRE EL VIH/SIDA 2005*
Epidemias Concentradas Compromiso y Accin nacional Gastos anuales relacionados con el SIDA Proporcin de las poblaciones que corren mayor riesgo que se sometieron a prueba para detectar el VIH durante los ltimos 12 meses y conocen el resultado de la prueba Proporcin de las poblaciones que corren mayor riesgo, cubiertas por programas de prevencin Comportamiento y Conocimiento Proporcin de las poblaciones que corren mayor riesgo, que identifican correctamente las formas de prevencin de la transmisin sexual del VIH y rechazan los principales conceptos errneos sobre la transmisin del VIH Porcentaje de hombres y mujeres profesionales del sexo, que informan del uso de preservativo con su ltimo cliente Proporcin de hombres y mujeres que informan del uso de preservativo en la ltima relacin anal con un compaero masculino Proporcin de usuarios de drogas inyectables que adoptaron hbitos que reducen la transmisin del VIH, es decir, que informan del uso de preservativos y evitaron el uso de jeringas no esterilizadas durante el ltimo mes Impacto Porcentaje de la poblacin que corre mayor riesgo que est infectado con el VIH
49
50