Professional Documents
Culture Documents
Actualizacin de diciembre 2001 W.K. Kellogg Foundation One East Michigan Avenue East Battle Creek, Michigan 49017-4058 www.wkkf.org Para recibir copias adicionales de la Gua de Desarrollo de Modelos Lgicos, haga el favor de llamar al 1/269/968-1611, extensin 2009, y solicitar el tem #1209.
Contenido
Introduccin Captulo 1 Introduccin a los Modelos Lgicos ................................................................................1 El Qu y Porqu del Modelo Lgico................................................................................1 Definicin de Modelo Lgico....................................................................................1 Propsito del Modelo Lgico ....................................................................................3 Ejemplo de Modelo Lgico: Planificacin de Viaje ..................................................3 Porqu Usar un Modelo Lgico? ....................................................................................5 xito del Programa....................................................................................................5 Inversiones del Programa ..........................................................................................6 Aspectos Bsicos del Modelo Lgico Simple ....................................................................7 Desarrollo de un Modelo Lgico ..............................................................................7 Lectura de un Modelo Lgico ..................................................................................7 Otros Ejemplos de Modelos Lgicos................................................................................8 Modelo Tipo Terico ................................................................................................9 Modelo Tipo Resultados..........................................................................................10 Modelo Tipo Actividades ........................................................................................10 Captulo 2 Desarrollo de un Modelo Lgico Bsico para Su Programa............................................15 Demostracin de Avance Hacia el Cambio ....................................................................16 Ejercicio 1 Descripcin de Resultados ........................................................................16 Lista de Revisin del Ejercicio 1 ....................................................................................20 Ejercicio 2 Descripcin de Acciones ..........................................................................21 Lista de Revisin del Ejercicio 2 ....................................................................................23 Plantilla de Implementacin del Programa Ejercicios 1 y 2 ........................................25 Captulo 3 Desarrollo de un Modelo Lgico de Teora del Cambio para Su Programa ....................27 Ejercicio 3 Construccin de una Teora de Programa..................................................28 Planificacin del Programa ......................................................................................28 Lista de Revisin del Ejercicio 3 ..............................................................................33 Plantilla de Planificacin del Programa Ejercicio 3 ..............................................34
Pgina I
Captulo 4 Uso de Su Modelo Lgico para Planificar la Evaluacin ................................................35 Ejercicio 4 Formulacin de Preguntas de Evaluacin ..................................................35 Preguntas de Evaluacin Formativas/Sumativas ......................................................35 Puntos Estratgicos de Evaluacin: Contexto, Implementacin, Resultados ............36 reas Foco, Pblicos, Preguntas, Uso de la Informacin ........................................38 Lista de Revisin del Ejercicio 4 ..............................................................................43 Plantilla de Planificacin de la Evaluacin Ejercicio 4 ................................................44 Ejercicio 5 Establecimiento de Indicadores ................................................................45 Indicadores de xito................................................................................................45 Lista de Revisin del Ejercicio 5 ..............................................................................47 Plantilla de Desarrollo de Indicadores Ejercicio 5 ................................................48
Pgina II
Introduccin
Si no sabes hacia donde vas, cmo sabrs que ya has llegado? Yogi Berra En armona con su misin bsica Ayudar a las personas a ayudarse a s mismas a travs de la aplicacin prctica del conocimiento y recursos para mejorar su calidad de vida y aquella de las generaciones futuras la Fundacin W.K. Kellogg ha hecho de la evaluacin de programas una prioridad. En la medida que nuestro personal y donatarios trabajan sobre una amplia gama de programas de mejoramiento social, la necesidad de modelar y contribuir al acervo de conocimientos relacionados con la evaluacin se hace cada vez ms evidente. Nuestra primera gua, la Gua de Evaluacin de la Fundacin W.K. Kellogg, fue publicada en 1998, y ha sido entregada a casi 7.500 personas. La Gua de Evaluacin es un prctico manual de instrucciones punto por punto para realizar evaluaciones. Con ella, introdujimos el concepto de modelo lgico de programa y las formas en las cuales la aplicacin de este concepto ha agregado valor a nuestro propio trabajo. El modelo lgico de programa se define como una imagen de cmo su organizacin hace su trabajo la teora y supuestos implcitos del programa. Un modelo lgico de programa vincula los resultados (corto y largo plazo) con las actividades/procesos del programa y con los supuestos/principios tericos del programa. La Gua de Desarrollo de Modelos Lgicos de la Fundacin W.K. Kellogg, una publicacin compaera de la Gua de Evaluacin, apunta al desarrollo y uso del modelo lgico de programa. Hemos encontrado que el modelo lgico y sus procesos facilitan el pensar, planificar y comunicar los objetivos del programa y los logros reales. Por medio de esta gua, esperamos entregar una orientacin respecto de los principios implcitos y lenguaje del modelo lgico de programa de modo que pueda usarse efectivamente en la planificacin, implementacin y difusin de los resultados. El principio detrs de esta gua y nuestra propia visin del papel de la evaluacin en la programacin es simple: Una buena evaluacin refleja un pensamiento claro y una gestin responsable del programa. Con el correr de los aos, nuestra experiencia en el uso de modelos lgicos en iniciativas como las Kellogg Youth Initiative Partnerships, Devolution, ENLACE (Engaging Latino Communities for Education), y la Native American Higher Education Initiative, por nombrar solo unas pocas, ha suministrado amplia evidencia de la efectividad de estos mtodos. El aprendizaje y uso de herramientas como los modelos lgicos puede servir para pulir el accionar del profesional en los dominios de la planificacin, diseo, implementacin, anlisis y generacin de conocimiento. El proceso de desarrollo del modelo es una oportunidad para trazar el rumbo. Es un proceso consciente que crea una comprensin explcita de los retos inmediatos, recursos disponibles y momento en el cual alcanzar el objetivo. Adicionalmente, ayuda a mantener una perspectiva equilibrada respecto del cuadro general como tambin de las partes componentes. En general, el modelado lgico puede aumentar en gran medida la funcin participativa y utilidad de la evaluacin como herramienta de gestin y aprendizaje. El desarrollo y uso de modelos lgicos constituye un paso importante en la creacin de la capacidad comunitaria y fortalecimiento de la participacin comunitaria. La posibilidad de identificar resultados y anticipar maneras de medirlos ofrece a todos los participantes del programa un mapa claro del camino que se extiende ms adelante. Mapa en mano, los participantes estn ms seguros del lugar que ocupan en el esquema de las cosas y, consecuentemente, es ms probable que engranen en forma activa y menos probable que se desven del rumbo y cuando as suceda, lo hagan de manera consciente e intencional. Por su particular facilidad para ser representado visualmente, el modelado lgico de programas puede ser una herramienta poderosa en la comunicacin con diversos audiencias pblicos aquellos con criterios mundiales variables y diferentes niveles de experiencia en el desarrollo y evaluacin de programas.
Pgina III
Introduccin
La Gua de Desarrollo de Modelos Lgicos contiene cuatro captulos y dos apndices integrados. El Captulo 1 presenta una introduccin bsica al modelo lgico como una herramienta orientada a la accin para la planificacin y evaluacin de programas. Ofrece tambin una serie de modelos lgicos de muestra. El Captulo 2 consiste de ejercicios y ejemplos enfocados en el desarrollo de un modelo lgico de programa simple. Los ejercicios incluyen ejemplos prcticos, listas de verificacin para revisar la calidad del contenido y una plantilla para desarrollar un modelo lgico. El Captulo 3 entrega instrucciones sobre cmo expandir un modelo lgico bsico para explorar y explicar la teora del cambio que describe el fundamento para su programa. Se entregan una plantilla y lista de verificacin. El Captulo 4 ofrece dos ejercicios que brindan al lector una introduccin sobre cmo las tcnicas de modelado lgico bsico introducidas en los captulos previos pueden aplicarse para informar qu debe incluirse en un plan de evaluacin. Se entregan tambin plantillas y listas de verificacin. El Apndice de Recursos entrega recursos para el desarrollo de modelos lgicos referencias y sitios Web dignos de visitarse. El Apndice de Formularios incluye plantillas en blanco que pueden ser copiadas al desarrollar sus propios modelos lgicos.
Reconocimientos
Este trabajo se basa en la experiencia de muchos en la Fundacin W.K. Kellogg (WKKF) que iniciaron la aplicacin del modelado lgico a sus iniciativas. Por ejemplo, se usaron modelos lgicos por primera vez con las Kellogg Youth Initiative Partnerships (KYIP). En esta aplicacin, los modelos fueron tiles para ayudar al personal a establecer un marco para la direccin, implementacin y evaluacin direccin del programa, un marco de evaluacin y los y resultados a travs de tres sitios. En las KYIP, el modelado lgico se us para facilitar y guiar el desarrollo de supuestos y procesos especficos que en definitiva llevaron a la transicin de la iniciativa desde un programa operado por WKKF a un programa de propiedad de la comunidad. El personal de programacin WKKF, incluyendo a Tyrone Baines, Phyllis Meadows, Gerald Smith, Judy Watson Olson, Steve Peffers, Joyce Brown, y John Seita, fue fundamental en estos esfuerzos. Nuestro trabajo en el perfeccionamiento de la Gua de Desarrollo de Modelos Lgicos comenz a pedido del Director de Programas de la Fundacin W.K. Kellogg, Blas Santos, quien expres una necesidad de herramientas y procesos amistosos con el usuario para respaldar el trabajo de los donatarios en Latinoamrica y El Caribe. La Gua de Desarrollo de Modelos Lgicos representa un esfuerzo de colaboracin. En particular, deseamos reconocer los esfuerzos del ex-director de evaluacin de la Fundacin W.K. Kellogg, Ricardo Millett, y su equipo de gerentes de evaluacin, incluyendo a Astrid Hendricks-Smith y Mark Lelle, quienes se han alejado ya de la organizacin. Su inagotable trabajo entre con el personal y donatarios continua promoviendo el uso de modelos lgicos para planificar, disear y gestionar iniciativas. Dale Hopkins y Karin Ladley fueron vitales para llevar el material a impresin. Tambin deseamos reconocer el trabajo de los Vicepresidentes de Programas de la Fundacin W.K. Kellogg: Rick Foster, Gail McClure, Dan Moore y Gloria Smith, conjuntamente con la Vicepresidente de Programas Senior, Anne Petersen, quien ha subrayado la importancia de la evaluacin, acogi el mtodo del modelo lgico y lo adopt como una valiosa herramienta de soporte de programas. Extendemos nuestros agradecimientos especiales a Cynthia Phillips, una escritora y consultora fundamental a lo largo del desarrollo de esta gua, y a Work Volk Consultants, LLP, por el formateo y asistencia editorial. Nuestros agradecimientos son Gracias tambin para Beverly Parsons de In Sites; Andrew Hahn y los estudiantes de la Florence Heller Graduate School for Advanced Studies in Social Welfare, Brandeis University; Marc Osten, Summit Consulting Collaborative; Sally Bond, The Program Evaluation Group; Joel Meister y Eva Moya, University of Arizona; Amy Coates-Madsen y personal en la Maryland Association of Nonprofit Organizations; y Gail Randall, Greater Worchester Community Foundation. El Personal de Programacin de la Fundacin W.K. Kellogg
Pgina IV
Captulo 1
Introduccin a los Modelos Lgicos
El Captulo Uno define los modelos lgicos y explica su utilidad para los participantes de un programa. Aprender la importancia de esta herramienta de avanzada para planificar, evaluar y mejorar programas.
Un modelo lgico de programa es una imagen de cmo funciona su programa la teora y supuestos implcitos del programa. Este modelo ofrece un mapa caminero de su programa, resaltando cmo se espera que funcione, qu actividades deben ir antes que otras, y cmo se obtienen los resultados deseados (p. 35). Gua de Evaluacin de la Fundacin W.K. Kellogg (1998)
a evaluacin de programas efectiva hace ms que slo recolectar, analizar y suministrar datos. Le permite a ustedes los participantes del programa reunir y usar informacin, aprender continuamente y mejorar los programas que operan o financian. La Fundacin W.K. Kellogg cree que la evaluacin especialmente en la forma de modelo lgico de programa es una herramienta de aprendizaje y gestin que puede usarse durante la vigencia del programa independientemente de su inters en el programa. El uso de la evaluacin y del modelo lgico resulta en una programacin efectiva y ofrece mayores oportunidades de aprendizaje, mejor documentacin de los resultados y conocimiento compartido sobre qu funciona y por qu. El modelo lgico es una herramienta de evaluacin beneficiosa que facilita la planificacin, implementacin y evaluacin efectiva de programas.
Recursos/ Insumos
Actividades
Productos
Resultados
Impacto
Su Trabajo Planificado
El modelo lgico ms bsico es una imagen de cmo cree usted que funcionar su programa. Usa palabras y/o imgenes para describir la secuencia de actividades que se piensa traern el cambio y cmo estas actividades se vinculan con los resultados que se espera obtener del programa.
Pgina 1
Captulo 1
Se definen a continuacin los componentes del Modelo Lgico Bsico, mostrados en la Figura 1 arriba. Estos componentes ilustran la conexin entre su trabajo planificado y sus resultados intencionados. Se representan numricamente mediante los pasos 1 al 5.
SU TRABAJO PLANIFICADO describe qu recursos cree usted necesitar para implementar su programa y lo que intenta hacer. 1. Los Recursos incluyen los recursos humanos, financieros, organizacionales y comunitarios que un programa tiene disponible para emplearlos en la realizacin del trabajo. Algunas veces este componente se conoce como Insumos. 2. Las Actividades del Programa son lo que el programa hace con los recursos. Las actividades son los procesos, herramientas, eventos, tecnologa y acciones que son una parte intencional de la implementacin del programa. Estas intervenciones se usan para originar los cambios o resultados intencionados del programa. SUS RESULTADOS INTENCIONADOS incluyen todos los resultados deseados del programa (productos, resultados e impacto). 3. Los Productos son los productos directos de las actividades del programa y pueden incluir tipos, niveles y metas de servicios que sern prestados por el programa. 4. Los Resultados son los cambios especficos en el comportamiento, conocimiento, aptitudes, condicin y nivel de funcionamiento de los participantes del programa. Los resultados a corto plazo debern ser asequibles dentro de 1-3 aos, mientras que los resultados a largo plazo debern serlo dentro de 4-6 aos. La progresin lgica desde los resultados de corto plazo a los de largo plazo deber reflejarse en el impacto ocurriendo dentro de 7-10 aos aproximadamente. 5. El Impacto es el cambio intencionado o involuntario fundamental que ocurre en las organizaciones, comunidades o sistemas como resultado de las actividades del programa dentro de 7-10 aos. En el modelo actual de otorgamiento de donaciones y evaluacin WKKF, el impacto a menudo ocurre despus de concluido el financiamiento del proyecto. El trmino modelo lgico se usa frecuente e indistintamente con el trmino teora de programa en el campo de la evaluacin. Los modelos lgicos pueden ser referidos alternativamente como teora, porque describen cmo funciona un programa y con qu finalidad (las definiciones de teora de programa para cada uno empleadas por importantes expertos en evaluacin se incluyen en el Apndice de Recursos).
La mayor parte del valor en un modelo lgico est en el proceso de crear, validar y modificar el modelo La claridad de pensamiento que ocurre desde la construccin del modelo es crtica para el xito general del programa (p. 43). Gua de Evaluacin de la Fundacin W.K. Kellogg (1998)
Pgina 2
Muestra de Factores que Influyen Sobre el Viaje: Programas escolares y laborales de los miembros de la familia Las vacaciones Clima invernal Disponibilidad de millas de Viajero Frecuente Muestra de Actividades: Crear/revisar programas familiares Recolectar informacin de programas de vuelo y Viajero Frecuente durante el perodo de vacaciones Obtener transporte hacia y desde el aeropuerto Notificar a los parientes en Iowa
Si tiene acceso a ellos, entonces podr usarlos para llevar a cabo sus actividades planificadas Actividades
Si lleva a cabo sus actividades planificadas, entonces, con optimismo, podr suministrar la cantidad de producto y/o prestar la cantidad de servicio intencionado Productos
Si lleva a cabo sus actividades planificadas en la medida intencionada, entonces sus participantes se beneficiarn de ciertas maneras Resultados
Si se obtienen estos beneficios para los participantes, entonces puede esperarse que ocurran ciertos cambios en las organizaciones, comunidades o sistemas Impacto
Un Ejemplo:
Proponemos un viaje familiar poco costoso desde Charleston, Carolina del Sur, a Des Moines, Iowa, para visitar parientes durante las vacaciones escolares de diciembre. El viaje estacional que soamos hacer desde Charleston a Des Moines es el programa. Los supuestos bsicos de nuestro programa de viaje son: Queremos visitar parientes entre el 10/12/00 y 5/1/01 mientras los nios estn de vacaciones. Volaremos desde Carolina del Sur a Iowa porque resulta ms rpido que manejar y porque hay millas de viajero frecuente (FF) disponibles. El uso de las millas de viajero frecuente disminuir los costos de viaje. Debemos determinar los factores que influyen sobre nuestro viaje, incluyendo los recursos necesarios, tal como el nmero de miembros del grupo familiar, tiempo de vacaciones programado, cantidad de millas de viajero frecuente disponibles, reservas de pasajes areos ida y vuelta para cada miembro de la familia y transporte hacia y desde nuestra casa, desde y hasta hasta el aeropuerto. Las actividades necesarias para que esto suceda son la creacin de nuestro programa de vacaciones familiares, obtencin del programa de nuestros parientes en Iowa, recoleccin de informacin de lneas areas y reservas, y planificacin del transporte hacia y desde el aeropuerto.
Pgina 3
Captulo 1
En este ejemplo, los resultados de nuestras actividades o productos son mayormente informacin, como los programas familiares, programas de vuelo e informacin de costos basada en el marco cronolgico del viaje. Esta informacin ayuda a identificar resultados o metas inmediatas. Por ejemplo, si hacemos las reservas tan pronto como nos sea posible, seremos capaces de encontrar vuelos con espacios para viajeros frecuentes disponibles y probablemente tendremos ms opciones para aquellos vuelos que encajan dentro del marco cronolgico. Sabiendo esto, nuestros resultados mejoran las reservas hechas bien por adelantado resultan en programas de vuelo y costos de lneas areas que se ajustan a nuestro itinerario y presupuesto de viaje. El impacto a largo plazo de nuestro viaje no es relevante aqu, pero puede proyectarse como la continuidad de unas buenas relaciones familiares hasta el 2010. No podr haber una buena evaluacin si se dispone de un programa deficientemente planificado. Beverly Anderson Parsons (1999) El uso de un modelo lgico simple como una herramienta de planificacin del viaje produjo beneficios tangibles. Nos ayud a reunir informacin para influir en nuestras decisiones sobre los recursos y nos permiti cumplir con nuestras metas propuestas. La aplicacin de este proceso consistentemente a lo largo de nuestra planificacin del viaje nos sita convenientemente a las puertas del xito al poner a la vista el mejor curso de accin y entregarnos puntos de referencia para medir el avance cuando descendemos en Charlotte y cambiamos de avin para llegar a Cincinnati, sabemos que estamos en camino a Des Moines. Los modelos lgicos tpicos usan formatos tipo tablas y diagramas de flujo como los presentados aqu para catalogar factores, actividades y resultados e ilustrar las dimensiones de un programa. La mayora usa texto y flechas o una representacin grfica de las ideas del programa. As se ver nuestro programa de planificacin del viaje en formato de modelo lgico.
Su Trabajo Planificado Planificacin del Viaje Recursos/ Insumos Programas de viaje de vacaciones Programas familiares Opciones de viajero frecuente durante el perodo de vacaciones Clima en vacaciones Sus Resultados Intencionados Resultados del Viaje
Actividades Crear programa familiar Obtener informacin de vuelos durante el perodo de vacaciones Obtener pasajes Arreglar transporte terrestre 2
Productos Pasajes para todos los miembros de la familia Uso de millas de viajero frecuente Dinero ahorrado
Fue fcil organizar planes de viaje en un diagrama de flujo, pero pudimos tambin elegir organizar y presentar nuestro pensamiento de otras maneras. Un modelo lgico no tiene que ser lineal. Puede aparecer como una imagen simple o mapa conceptual para describir conceptos de programa ms complejos. El decidirse por una imagen particular de un programa es a veces el paso ms difcil para los participantes de un programa.
Pgina 4 Gua de Desarrollo de Modelos Lgicos
Si los planificadores del programa carecen de hiptesis capaces de actuar como guas, su capacidad potencial de aprender de la iniciativa ser baja, y el programa probablemente estar en problemas (p. 1). Todo lo que Quiso Saber Sobre Modelos Lgicos, Pero que Temi Preguntar, Connie Schmitz y Beverly Anderson Parsons (1999)
El mal de la evaluacin es un programa deficientemente diseado. Ricardo Millett, Director, Unidad de Evaluacin WKKF
Los modelos lgicos pueden ayudar a crear la estructura y organizacin que posibilitar el diseo del programa y establecer la autoevaluacin sobre la base del entendimiento compartido de lo que va a ocurrir. Durante la fase de planificacin, el desarrollo de un modelo lgico requiere que los participantes examinen la evidencia disponible de mejor prctica y experiencia de profesionales a la luz de las estrategias y actividades seleccionadas para producir resultados. 2. En la Implementacin del Programa, un modelo lgico forma el ncleo de un plan de gestin enfocado que le ayudar a identificar y recolectar los datos necesarios para monitorear y mejorar la programacin. El uso del modelo lgico durante la implementacin y gestin del programa requiere de la concentracin de energas sobre la obtencin y documentacin de resultados. Los modelos lgicos le ayudan a considerar y priorizar los aspectos del programa ms crticos para el seguimiento y presentacin de informes, y para hacer los ajustes necesarios. 3. En la Evaluacin del Programa y Presentacin de Informes Estratgica, un modelo lgico presenta informacin del programa y el avance hacia las metas va mtodos que informan, recomiendan un modo particular de abordar el programa, y ensean a los participantes del programa.
Pgina 5
Captulo 1
Todos sabemos de la importancia de informar los resultados a los financiadores y participantes comunitarios por igual. La comunicacin es un componente clave del xito y sustentabilidad de un programa. Los modelos lgicos pueden ayudar en los esfuerzos de marketing de tres maneras principales: Describiendo programas en un idioma claro y suficientemente especfico como para ser entendido y evaluado. Enfocando la atencin y recursos sobre las operaciones prioritarias del programa y resultados clave con el propsito de aprender y mejorar el programa. Existen muchas formas de realizar evaluaciones, y los evaluadores profesionales tienden a estar de acuerdo que no existe la mejor forma para hacer una evaluacin. Ms bien, una buena evaluacin requiere pensar cuidadosamente en las preguntas que se deben responder, el tipo de programa que se evala, y las formas como se va a utilizar la informacin que se ha generado. De acuerdo a nuestro punto de vista, una buena evaluacin debera proveer informacin til sobre el funcionamiento de los programas y debera poder contribuir al mejoramiento de los programas. Unidad de Evaluacin de la Fundacin W.K. Kellogg Desarrollando la comunicacin dirigida y estrategias de marketing. La Tabla abajo describe la relacin entre un programa exitoso y los beneficios derivados del uso de modelos lgicos.
Elementos de un Programa Criterios para el xito de un Programa1 Beneficios de los Modelos Lgicos de Programa2
Encuentran vacos en la teora o lgica de un programa y trabajan para resolverlos.
Planificacin y Diseo Las metas, objetivos y efectos secundarios importantes de un programa se definen claramente con antelacin. Las metas y objetivos del programa son plausibles y posibles. Implementacin y Gestin del Programa Pueden obtenerse datos de situacin pertinentes, crebles y tiles. Los usuarios intencionados de los resultados de la evaluacin han coincidido en cmo usarn la informacin.
Construyen un entendimiento compartido de lo que un programa realmente es y cmo funcionan juntas las partes. Concentran la atencin de la gestin administrativa sobre las conexiones ms importantes entre la accin y los resultados. Ofrecen una forma de involucrar y comprometer a los participantes en el diseo, procesos y uso de la evaluacin.
Wholey, J. S., Hatry, H. P., & Newcomer, K. E. (Eds.). (1994). Handbook of Practical Program Evaluation. San Francisco: Jossey-Bass Publishers. Barley, Z., Phillips, C., & Jenness, M. (1998). Decoding Program Logic Models. Workshop presentado en la Renin Anual de la American Evaluation Association, Chicago, IL, November 1998.
Pgina 6
El Desarrollo de un Modelo Lgico de Programa Requiere de una Imagen Simple y Un Enfoque Directo
Una imagen vale por mil palabras. Desarrollamos un modelo lgico con la idea de llegar a una imagen relativamente simple que refleje cmo y porqu funcionar su programa. El hacer esto como grupo aporta el poder del consenso y el examen de grupo de valores y creencias sobre los procesos de cambio y resultados del programa.
Supuestos SIENTONCES del MODELO LGICO: Ciertos recursos son necesarios para operar su programa. Si tiene acceso a ellos, entonces podr usarlos para llevar a cabo sus actividades planificadas. Si lleva a cabo sus actividades planificadas, entonces, con optimismo, podr suministrar la cantidad de producto y/o prestar la cantidad de servicio intencionado. Si lleva a cabo sus actividades planificadas en la medida intencionada, entonces sus participantes se beneficiarn de maneras especficas. Si se obtienen estos beneficios para los participantes, entonces puede esperarse que ocurran ciertos cambios en las organizaciones, comunidades o sistemas bajo condiciones especficas.
Tal Como los Programas, los Modelos Lgicos Pueden Cambiar con el Tiempo
A medida que un programa crece y se desarrolla, tambin lo hace su modelo lgico. Un modelo lgico de programa es meramente una instantnea de un programa en un punto en el tiempo; no es el programa con su flujo real de eventos y resultados. Un modelo lgico es un trabajo en curso, un borrador de trabajo que puede ser refinado a medida que el programa se desarrolla.
Pgina 7
Captulo 1
Pgina 8
Planificacin y Diseo
Tipos de Modelos Lgicos: nfasis y Fortalezas Un programa es una teora y una evaluacin es su prueba. Para organizar la evaluacin con el propsito de producir una prueba responsable, el evaluador necesita comprender las premisas tericas sobre las cuales descansa el programa (p. 55). Carol Weiss (1998)
des
cmo haremos lo que decimos que vamos a hacer Trabajo Planificado Entonces, las actividades que planea hacer que se basan en estos supuestos...
Descripciones de los Tres Tipos de Modelos Lgicos: Cul es el Mejor para Su Programa?
1. Los Modelos Tipo Tericos enfatizan la teora del cambio que ha influido sobre el diseo y plan para el programa. Estos modelos lgicos ofrecen una rica explicacin de los motivos para comenzar a explorar una idea para un programa determinado. En ocasiones tienen partes adicionales que especifican el problema o asunto abordado por el programa, describen las razones para seleccionar ciertos tipos de estrategias de solucin y conectan estrategias comprobadas con actividades potenciales y otros supuestos en poder de los planificadores que influyen sobre la efectividad. Estos modelos ilustran cmo y porqu usted cree que su programa funcionar. Estn construidos a partir de pensamientos e ideas del tipo gran imagen que contribuyeron a conceptuar su programa. Cada vez se emplean ms para construir el caso en las propuestas de donacin. Los modelos describen en detalle los inicios de un programa y son muy tiles durante la planificacin y diseo de programas.
Pgina 9
tip
oa
ctiv
ida
Implementacin
dos
Captulo 1
2. Los Modelos Tipo Resultados se concentran sobre los aspectos tempranos de la planificacin de programas e intentan conectar los recursos y/o actividades con los resultados deseados en un programa viable. Estos modelos a menudo subdividen los resultados e impacto en el tiempo para describir los resultados a corto plazo (1-3 aos), largo plazo (4-6 aos) e impacto (7-10 aos) que pudieran resultar de un conjunto dado de actividades. Aunque estos modelos se desarrollan con una teora del cambio en mente, este aspecto no siempre se enfatiza explcitamente. Los modelos que delinean el enfoque y expectativas que subyacen los resultados intencionados de un programa tienen su mayor utilidad en el diseo de estrategias efectivas de evaluacin y presentacin de informes.
El propsito de usar modelos lgicos de programa en la entrega de donaciones WKKF es ayudar a los participantes internos y externos a entender cmo la inversin de la Fundacin contribuir a lograr las metas intencionadas. Esta comprensin debe ayudar a estos varios participantes a tomar decisiones informadas sobre las prioridades del programa, prioridades de financiamiento, asistencia a donatarios, evaluacin del impacto de la programacin, y marketing, comunicacin y estrategias de marketing. Gua de Evaluacin de la Fundacin W.K. Kellogg (1998)
3. Los Modelos Tipo Actividades prestan la mayor atencin a los detalles del proceso de implementacin. Un modelo lgico de este tipo vincula entre s las varias actividades planificadas de una manera que representa grficamente el proceso de implementacin del programa. Estos modelos describen qu intenta hacer un programa y como tales tienen su mayor utilidad en el monitoreo y gestin de programas. Este tipo entrega los pasos detallados que usted cree deber seguir para implementar su programa. Muestra qu har en su comunidad si su propuesta es financiada. Los modelos que enfatizan el trabajo planificado de un programa se usan a menudo para informar actividades de planificacin de gestin.
Particularidades del Enfoque Terico Los Modelos Lgicos Enfatizan los Supuestos
Un modelo lgico tipo terico vincula ideas tericas entre s para explicar los supuestos implcitos de un programa. El nfasis aqu se pone sobre el problema o asunto y en las razones para proponer la solucin sugerida en su enfoque del programa. Recuerde, el modelo lgico terico es amplio y es sobre grandes ideas no sobre las nimiedades de un programa especfico. El notable evaluador y terico de programas Carol Weiss (1998) explica que para la planificacin, monitoreo y evaluacin de programas, es importante saber no slo qu espera lograr el programa sino tambin cmo. Debemos comprender los principios sobre los cuales se basa el programa, una nocin no incluida en la evaluacin hasta hace poco. Las discusiones sobre los si, cmos y porqus del xito de un programa requieren de evidencia creble y atencin a los medios a travs de los cuales se producen los resultados e impactos. El modelo lgico terico es apropiado para ser usado por financiadores y donatarios. Un caso prctico sobre su uso se presenta ms abajo. En este caso, el modelo describe una estrategia de programacin de la iniciativa de grupo WKKF (Comprehensive Community Health Models of Michigan) o su teora del cambio. Advierta que este modelo pone nfasis en Sus Comienzos incluyendo los supuestos identificados por los programadores como los principios detrs del diseo de la iniciativa.
Pgina 10
Supuestos
Insumos
Actividades
Productos
Impacto
La salud es un problema comunitario y las comunidades formarn sociedades para resolver los problemas de atencin de salud. Las comunidades pueden influir y moldear la poltica pblica y de mercado a nivel local, estatal y nacional. Agentes externos, trabajando en sociedad con las comunidades, pueden servir como catalizadores del cambio. El desplazamiento de los ingresos e incentivos a la atencin primaria y prevencin mejorar el nivel de salud. Se necesita informacin sobre el nivel de salud y sistemas para la toma de decisiones informada.
Consumidores Participacin Activa en el Proceso de Reforma Distribucin Ms Efectiva de Recursos de Atencin de Salud Comunitaria
Proveedores
Estos modelos ayudan a construir un entendimiento comn entre gerentes y evaluadores Dicho acuerdo es un prerrequisito para el trabajo de evaluacin que con toda probabilidad ser til para la gestin administrativa. [Estos modelos] muestran los eventos clave (insumos, actividades, resultados) que pueden ser monitoreados y los vnculos causales asumidos que pueden ser probados en las evaluaciones del programa. Joseph S. Wholey, Harry P. Hatry, y K.E. Newcomer (1994)
Pagadores Toma de Decisiones Comunitaria Integrada Procesos Administrativos para Datos, Poltica y Defensa de la Salud Evaluacin de Salud Comunitaria Mayor Eficiencia del Sistema de Atencin de Salud
Personal
Sus Comienzos
Su Trabajo Planificado
Ejemplo de un Modelo Lgico Terico (Adaptado de los Comprehensive Community Health Models of Michigan de la Fundacin W.K. Kellogg Foundation).
El Trabajar con Modelos Tipo Resultados Resalta las Actividades y la Implementacin del Programa
Los modelos lgicos tipo resultados muestran las interrelaciones entre las actividades especficas del programa y sus resultados. En la pgina siguiente puede encontrarse un ejemplo extrado del Calhoun County Health Improvement Program, financiado bajo la iniciativa Comprehensive Community Health Models of Michigan. Este modelo columnar lineal enfatiza los vnculos causales que se piensa existen entre los componentes del programa. Las flechas muestran qu conjuntos de actividades los programadores creyeron que contribuiran a cules resultados. Estos enunciados sirven como aserciones lgicas sobre la relacin percibida entre las operaciones del programa y los resultados deseados y constituyen el sello del proceso de modelo lgico. Advierta que este modelo enfatiza Sus Resultados Intencionados en el ms completo detalle relativo y anticipa el logro fuera del tiempo asignado para la iniciativa.
Pgina 11
Captulo 1
Actividades Actividades que estimulan a consumidores, proveedores y pagadores a buscar apoyo y alcanzar las metas comunes. Actividades que aumentan la percepcin del consumidor y el acceso a la promocin de la salud, prevencin de enfermedades y servicios de atencin primaria. Actividades que aumentan los vnculos entre los sistemas de servicios mdicos, sanitarios y humanos. Actividades que llevan al desarrollo de un plan de acceso y cobertura comunitaria. Actividades que llevan al desarrollo de una red de informacin de salud comunitaria. Actividades que llevan al desarrollo de un programa de evaluacin y presentacin de informes de salud comunitaria.
Productos Los consumidores, proveedores y pagadores sirviendo en el Consejo de Administracin CCHIP buscan, apoyan y alcanzan metas comunes.
Resultados El Consejo de Administracin CCHIP es considerado polivalente y responsable por de los participantes comunitarios. Un mayor nmero de miembros de la comunidad utilizan la promocin de la salud, prevencin de enfermedades y servicios de atencin primaria facilitados.
Impacto
Aumento del acceso y participacin comunitaria en la promocin de la salud, prevencin de enfermedades y servicios de atencin primaria. Se forjan vnculos entre los sistemas de servicios mdicos, sanitarios y humanos. Hay vigente un contrato administrado por terceros para la cobertura de toda la comunidad.
Personal suficiente con experiencia y dotes de mando para implementar el programa a nivel local.
Suficiente asistencia tcnica externa para apoyar al personal en la implementacin del programa.
Los miembros de la comunidad utilizan la red CHIN para recolectar, almacenar, analizar e intercambiar informacin. La informacin suministrada por laTarjeta de Registro de Salud se emplea en la toma de decisiones de salud comunitaria.
Su Trabajo Planificado
Ejemplo de un Modelo Tipo Resultados (ejemplo extrado de Calhoun County Health Improvement Program, financiado bajo la iniciativa Comprehensive Community Health Models of Michigan).
Un modelo lgico no slo aclarar cada elemento de su programa, tambin le permitir responder la pregunta: De qu quiero tener que responder por? El Foro de Evaluacin (1999)
Pgina 12
Se priorizan los problemas del mercado de seguros sobre la base de la reforma exitosa potencial.
A SuministrarDisponible6 La Alianza Compradora identificar los problemas del mercado de seguros y se desarrollarn e implementarn estrategias para reformar aquellos problemas identificados.
Se identifican los agentes de cambio con capacidad y recursos suficientes para ejecutar exitosamente la reforma del mercado de seguros.
Se contratan agentes de cambio para implementar la reforma del mercado de seguros (mnimo 2).
Actividades para aumentar la inscripcin de beneficiarios y participacin de proveedores en Medicaid1 y otros planes de seguro y reembolso patrocinados por terceros (2P1).
Porcentaje de disminucin de personas no aseguradas (201). Porcentaje de disminucin de nuevos consumidores elegibles Medicaid obteniendo cobertura antes en el hospital (203). Porcentaje de proveedores participantes en Medicaid que usan nivel umbral de $1000 (204).
Productos
Adaptado de Calhoun County Health Improvement Program, un sitio de la iniciativa Comprehensive Community Health Models of Michigan de la Fundacin W.K. Kellogg.
Captulo 1
Supuestos
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
ACTIVIDADES
Para abordar nuestro problema o activo, realizaremos las siguientes actividades:
RESUMEN DE PRODUCTOS
Esperamos que una vez realizadas, stas actividades producirn la siguiente evidencia de prestacin de servicios:
IMPACTO
Esperamos que si se realizan, estas actividades llevarn a los siguientes cambios dentro de 7-10 aos:
2. RESULTADOS: Identifique los resultados a corto y largo plazo que espera obtener para cada actividad. 3. IMPACTO: Describa el impacto que anticipa en su comunidad dentro de 7-10 aos con cada actividad como resultado de su programa. 4. ACTIVIDADES: Describa cada una de las actividades que planea realizar en su programa. 5. RECURSOS: Describa los recursos o factores influyentes disponibles para respaldar sus actividades del programa.
1. REA FOCO: De su modelo lgico terico de programa, liste los componentes de los aspectos ms importantes de su programa. 2. PBLICO: Identifique loas pblicos clave para cada rea foco. Quin tiene un inters en su programa? 3. PREGUNTAS: Para cada rea foco y pblico, liste las preguntas que puedan tener sobre su programa. 4. USO DE LA INFORMACIN: Para cada pblico y pregunta que haya identificado, determine las formas en que usar la informacin de evaluacin. 5. INDICADORES: Describa qu informacin puede recolectarse de cada pregunta que pudiera indicar la situacin de su programa y sus participantes para cada pregunta.
6. ASISTENCIA TCNICA: Indique la medida de la experiencia en evaluacin y gestin de datos de su organizacin para recolectar y analizar los datos que se relacionan con este indicador.
Pgina 14
Captulo 2
Desarrollo de un Modelo Lgico Bsico para Su Programa
Creacin de una imagen de cmo su programa obtendr resultados a sea usted una persona en busca de donacin desarrollando una propuesta para conseguir fondos iniciales o un donatario con un programa ya en operacin, el desarrollo de un modelo lgico puede fortalecer su programa. Los modelos lgicos ayudan a identificar los factores que impactarn su programa y le permitirn anticipar los datos y recursos que necesitar para tener xito. A medida que se sumerge en el proceso de crear su modelo lgico de programa, su organizacin abordar sistemticamente los siguientes importantes puntos de planificacin y evaluacin del programa: Catalogacin de los recursos y acciones que usted cree necesitar para obtener los resultados intencionados. Documentacin de las conexiones entre sus recursos disponibles, actividades planificadas y resultados que espera obtener. Descripcin de los resultados hacia los cuales est apuntando en trminos de resultados especficos, medibles, orientados hacia la accin, realistas y temporizados. Los ejercicios en este captulo renen la materia prima que usted necesita para delinear un modelo lgico bsico que ilustre cmo y porqu su programa funcionar y qu lograr. Puede beneficiarse de la creacin de un modelo lgico en cualquier momento de la vigencia de cualquier programa. El proceso de desarrollo del modelo lgico ayuda a las personas dentro y fuera de su organizacin a entender y mejorar el propsito y proceso de su trabajo. El Captulo 2 est organizado en dos secciones Implementacin del Programa y Resultados del Programa. La mejor receta para el xito de un programa es completar ambos ejercicios. (Hay originales de tamao natural de cada ejercicio y listas de verificacin en el Apndice de Formularios en la parte de atrs de su gua para que los fotocopie y use con los grupos de participantes a medida que disea su programa). Ejercicio 1: Resultados del Programa. En una serie de tres pasos, describe los resultados que planea obtener con su programa. Ejercicio 2: Recursos y Actividades del Programa. Le lleva a travs de tres pasos que conectan los recursos del programa con las actividades reales que planea llevar a cabo. El Ejemplo Mytown A travs de los Ejercicios 1 y 2 nos guiaremos por un programa ilustrativo para ver cmo pueden aplicarse los pasos del modelo lgico. En nuestro ejemplo, la gente de Mytown, EE.UU., est luchando por satisfacer las necesidades de nmeros crecientes de residentes no asegurados que recurren a la sala de emergencia del Hospital Memorial para recibir atencin. Debido a que esa atencin es cara y porque no es la mejor manera de entregar atencin, la comunidad est trabajando para crear una clnica gratuita. A lo largo de los captulos, la informacin del programa Mytown ser incorporada a las plantillas del modelo lgico para permitir la Planificacin, Implementacin y Evaluacin del Programa.
En el transcurso de los ltimos aos he cambiado decididamente mi actitud hacia el modelado lgico. Me he convencido de que hay una diferencia considerable si se hacen primero los resultados antes de planificar las actividades. Definitivamente recomiendo hacer primero los resultados! He encontrado que las personas dan con actividades mucho ms efectivas cuando as lo hacen. Use el lema, planifique hacia atrs, implemente hacia adelante. Beverly Anderson Parsons, Evaluadora de Grupo WKKF
Pgina 15
Captulo 2
Los modeladores lgicos novatos pueden preferir tener copias de la Plantilla de Modelo Lgico Bsico al frente y dejarse guiar. Aquellos lectores con ms experiencia y familiaridad pueden desear explorar el texto y luego saltar al Modelo Lgico Bsico completado para el Ejemplo Mytown en la pgina 34.
Pgina 16
Cmo puede demostrar que su programa contribuy al cambio intencionado? Un modelo lgico bien estructurado puede sostener que es razonable afirmar que su programa contribuy de manera sustancial a su cambio intencionado. Cuando los programas operan en comunidades reales donde las influencias y fuerzas estn ms all de su control, la evaluacin generalmente es ms sobre documentar la contribucin de un programa que sobre probar algo. Las iniciativas basadas en la comunidad operan en ambientes complejos donde la certeza de la prueba cientfica es raramente asequible. Aqu es donde los modelos lgicos pueden ser especialmente tiles. INSTRUCCIONES: El Ejercicio 1 usar la Plantilla de Desarrollo del Modelo Lgico Bsico. En particular, usar la informacin presentada en los recuadros de texto en gris que vienen a continuacin sobre el programa ilustrativo Mytown para determinar qu resultados estn intencionados para este programa. Se entrega informacin demostrativa sobre resultados, impactos y productos. Usted completar la Plantilla de Desarrollo del Modelo Lgico Bsico para mostrar primero los resultados e impactos buscados y luego los productos. Puede ver luego la plantilla completada en la pgina 25 para comparar su interpretacin con aquella producida por la gente de Mytown.
Impacto
Esperamos que una vez terminadas o en ejecucin, estas actividades producirn la siguiente evidencia de prestacin de servicios:
Esperamos que una vez terminadas, estas actividades llevarn a los siguientes cambios dentro de 7-10 aos:
Los Resultados e Impactos deben ser EMORT: Especficos Medibles Orientados hacia la accin Realistas Temporizados
Pgina 17
Captulo 2
Algunos modelos lgicos numeran las listas dentro de una columna para facilitar la discusin. Algunos modelos lgicos tabulares usan filas para ordenar y mostrar las relaciones entre los componentes. Algunos modelos lgicos, como los ejemplos de resultados y actividades presentados en el Captulo Uno, usan un formato de recuadro y flecha para ilustrar los vnculos causales, demostrando cmo se conectan sus recursos, actividades, productos, resultados e impactos para formar cadenas. Estas representaciones ayudan a aclarar su modelo lgico/plan de evaluacin. Sin embargo, para el ms bsico de los modelos lgicos, el mtodo tipo inventario que ilustramos es suficiente para esclarecer su pensamiento respecto a cmo funcionar un programa. Las otras tcnicas mejorarn su utilidad, pero la tarea ms importante es la de primero categorizar y describir las partes componentes. Una vez completada la tabla de inventario para ste ejercicio y el Ejercicio 2, sintase en libertad para experimentar con la identificacin de relaciones entre los tems a travs de las columnas. Los resultados a corto plazo son los resultados que usted espera obtener despus de 1-3 aos de haberse iniciado una actividad del programa. Los resultados a corto plazo son cambios especficos en cosas como actitudes, comportamientos, conocimiento, aptitudes, condicin o nivel de funcionamiento que se espera resulten de las actividades del programa. stas generalmente se expresan a nivel individual entre los participantes del programa.
EJEMPLOS: Memorndum de Acuerdo firmado del colegio tcnico local donando espacio para la clnica, cambio en las actitudes de los participantes respecto de la necesidad de un centro asistencial, aumento del nmero de exmenes mdicos anuales programados, aumento del nmero de visitas de pacientes postratamiento, cambio en la toma de conciencia del personal respecto de los retos de la programacin de pacientes, aumento en las remisiones apropiadas desde la sala de emergencia. Inserte los resultados a corto plazo Mytown en la columna Resultados a Corto y Largo Plazo de la Plantilla de Desarrollo del Modelo Lgico Bsico.
Los resultados a largo plazo son los resultados que usted espera obtener dentro de 4-6 aos. Los resultados a largo plazo tambin son cambios especficos en cosas como actitudes, comportamientos, conocimiento, aptitudes, condicin o nivel de funcionamiento que se espera resulten de las actividades del programa. Estos generalmente se basan en el avance esperado de los resultados a corto plazo.
EJEMPLOS: La clnica sirve como centro asistencial para 500 pacientes no asegurados. La clnica cuenta con fuentes de financiamiento continuo: los copagos de pacientes ($10/visita) cubren el 20% de los costos de operacin de la Clnica, United Way aporta un 20%, el Hospital Memorial dona un 20%, la Sociedad Mdica contribuye con un 20%, y una dotacin establecida en la Fundacin Comunitaria provee el 20% final. Un torneo de golf anual organizado por el Club Kiwanis financia proyectos clnicos especiales. Ha habido una disminucin del 25% en la atencin de emergencia no asegurada desde que la Clnica Gratuita Mytown abri sus puertas cinco aos atrs. En el quinto ao de la Clnica hay una disminucin del 15% en las visitas no aseguradas a la sala de emergencia. Anualmente, prestan sus servicios en la Clnica regularmente 75 administrativos voluntarios y 300 profesionales mdicos voluntarios. Cinco compaas donan todos los suministros mdicos necesarios. Fondos provenientes de donaciones compran los computadores y el software necesario para crear registros electrnicos de los pacientes. Durante cinco aos las calificaciones de satisfaccin de los pacientes han sido del 90%. Inserte los resultados a largo plazo Mytown en la columna Resultados a Corto y Largo Plazo de la Plantilla de Desarrollo del Modelo Lgico Bsico.
Pgina 18
El Impacto se refiere a los resultados esperados dentro de 7-10 aos de haberse iniciado una actividad el futuro cambio social que su programa est tratando de crear. Los impactos son los tipos de cambios organizacionales, comunitarios o sistmicos que se espera resulten de las actividades del programa y que pueden incluir el mejoramiento de condiciones, aumento de capacidad y/o cambios en la estructura normativa.
EJEMPLOS: Disminucin especfica del uso inapropiado de la sala de emergencia, aumento de donaciones de suministros clnicos para satisfacer las necesidades identificadas, disponibilidad estable de voluntarios mdicos, dotacin respaldando el 35% de los fondos de operacin de la clnica, 900 pacientes atendidos/ao. Inserte los impactos Mytown en la columna Impacto de la Plantilla de Desarrollo del Modelo Lgico Bsico.
Los productos son datos sobre actividades. Son los resultados directos de las actividades del programa. Generalmente se describen en trminos del tamao y alcance de los servicios o productos prestados o producidos por el programa. Indican si un programa fue entregado a loas pblicos intencionadoas a la dosis intencionada. Por ejemplo, productos del programa pueden ser la cantidad de clases dictadas, reuniones sostenidas, materiales distribuidos, tasas de actividad del programa u horas de prestacin de servicios totales.
EJEMPLOS: Nmero de pacientes remitidos a la Clnica Gratuita desde la sala de emergencia Memorial/ao, nmero de pacientes examinados/ao, nmero de pacientes idneos registrados en la Clnica Gratuita/ao, nmero promedio de visitas de pacientes/da, nmero total de visitas de pacientes/ao, nmero y especialidades de voluntarios mdicos, nmero de administrativos voluntarios capacitados, nmero y ubicaciones de afiches clnicos distribuidos, nmero de pacientes potenciales que llaman por informacin/mes. Inserte los productos Mytown en la columna Productos de la Plantilla de Desarrollo del Modelo Lgico Bsico.
Pgina 19
Captulo 2
Criterios de Calidad del Avance Hacia los Resultados 1. Se toma en consideracin una variedad de pblicos durante la especificacin de productos, resultados e impactos crebles. Los participantes y/o socios elegidos como objetivo son descritos y cuantificados como productos (por ejemplo, 100 profesores de 5 escuelas de enseanza secundaria rurales). Los eventos, productos o servicios listados se describen como productos en trminos de un tratamiento o dosis (por ejemplo, 30 agricultores participarn en al menos 3 sesiones del programa, o se distribuir el plan de estudios al menos a 12 agencias). La intensidad de la intervencin o tratamiento es apropiada para el tipo de participante previsto (por ejemplo, los participantes de ms alto riesgo justifican mayores intensidades). La duracin de la intervencin o tratamiento es apropiada para el tipo de participante previsto (por ejemplo, los participantes de ms alto riesgo justifican una mayor duracin). Los resultados reflejan pasos razonables y progresivos que los participantes pueden dar hacia los resultados a ms largo plazo. Los resultados abordan la conciencia, actitudes, percepciones, conocimiento, aptitudes y/o comportamiento de los participantes. Los resultados estn dentro del alcance del control o esfera de influencia razonable del programa. Parece justo o razonable hacer al programa responsable de los resultados especificados. Los resultados son especficos, medibles, orientados hacia la accin, realistas y temporizados. Los resultados se anotan como afirmaciones de cambio (por ejemplo, las cosas aumentan, disminuyen o se mantienen igual). Los resultados son obtenibles dentro de los perodos de financiamiento y presentacin de informes especificados. El logro del impacto, como fue especificado, no est ms all del alcance del programa.
2.
3.
4.
5.
6.
7.
8. 9. 10. 11.
12. 13.
Pgina 20
Pgina 21
Captulo 2
EJEMPLOS: El Comit de Personal emprende y completa la bsqueda de un director a tiempo completo. El director es contratado y familiarizado con el consejo y comunidad. El consejo y el personal visitan la Clnica Gratuita Anywhere para aprender de su experiencia y seleccionar documentos para reproducir (es decir, polticas y procedimientos, descripciones de cargos, necesidades de equipo, presupuestos, estrategias de financiamiento, registros de voluntarios y pacientes). El consejo y el personal realizan un retiro de planificacin del programa. Sobre la base del plan de financiamiento de Anywhere, el consejo obtiene financiamiento para el primer ao de la Clnica Gratuita. El Comit de Marketing crea una campaa de relaciones pblicas en colaboracin con el Comit de Voluntarios para obtener voluntarios y pacientes. El Comit de Medios crea y completa un Memorndum de Acuerdo con el colegio tcnico para obtener las instalaciones para la clnica. El Comit de Garanta de la Calidad crea un plan de evaluacin en cooperacin con el personal de la sala de emergencia del Hospital Memorial y la Cmara de Comercio local. Resuma las actividades Mytown en la columna Actividades de la Plantilla de Desarrollo del Modelo Lgico Bsico.
Que recursos se necesitan? Una vez que ha especificado lo que planea hacer, determine los recursos que necesitar para respaldar las soluciones que su programa propone. Para algunos tipos de programas puede ser til tambin describir los factores influyentes con los cuales cuenta para respaldar sus esfuerzos en la comunidad.
EJEMPLOS: El Grupo de Estudio del No Asegurado de la Sociedad Mdica/Hospital Memorial se convertir en un Consejo de Administracin de la Clnica Gratuita y obtendr la categora 501(c)(3) del Servicio de Impuestos Internos. El Consejo reclutar 7-10 representantes adicionales de compaas farmacuticas, escuela tcnica local, United Way de Mytown, Cmara de Comercio, Fundacin Comunitaria, Centro de Voluntarios, Asociacin de Enfermeras, etc. Durante un perodo de planificacin de 6 meses, se crearn comits del consejo; el personal ser reclutado/contratado/orientado; se realizar una visita en terreno; y se obtendr el financiamiento para el primer ao de la Clnica ($150.000/ao). Los comits crearn un Memorndum de Acuerdo con el Hospital Memorial y la Sociedad Mdica para obtener el equipo requerido: 5 mesas de reconocimiento mdico, 7 escritorios, 5 esfigmomanmetros, 5 otoscopios, 5 estetoscopios, 5 PDRs, 1 juego de balanzas, 10 termmetros, tres computadores y un kit de emergencia de primeros auxilios. Resuma los recursos Mytown en la columna Recursos de la Plantilla de Desarrollo del Modelo Lgico Bsico.
Pgina 22
2.
3.
4.
5.
Pgina 23
Captulo 1
Aqu incluimos un diagrama de flujo que resume los pasos para completar su modelo lgico bsico. Recuerde que puede usar esta plantilla estilo inventario para luego describir adicionalmente las relaciones entre los componentes usando los tems numerados, filas, o recuadros y flechas como mencionamos anteriormente.
Paso 1.1
Para cada una de las actividades especficas que ha planificado realizar, qu resultados a corto y largo plazo espera obtener como indicadores del avance logrado por su programa hacia sus resultados deseados?
RECURSOS
ACTIVIDADES
IMPACTO
Paso 1.2
Para cada una de las actividades especficas que ha planificado realizar, qu productos (prestacin de servicios u objetivos de implementacin) espera obtener a travs de la operacin de su programa?
RECURSOS
ACTIVIDADES
PRODUCTOS
RESULTADOS
IMPACTO IMPACTO
Paso 1.3
Para cada una de las actividades especficas que ha planificado realizar, qu impacto espera lograr en su comunidad?
RESULTADOS
IMPACTO
Paso 2.1
Sabiendo lo que sabe sobre qu funciona para resolver problemas o desarrollar activos segn se especifica en la teora del cambio para su programa, qu actividades especficas ha planificado realizar?
PRODUCTOS
RESULTADOS
IMPACTO
Paso 2.2
Qu recursos hay disponibles para su programa para respaldar las actividades especficas que ha planificado realizar (para algunos programas puede ser importante tambin explicar aquellos factores influyentes con los cuales cuenta para respaldar su trabajo)?
Pgina 24
RECURSOS
Para realizar nuestro conjunto de actividades, necesitaremos lo siguiente:
ACTIVIDADES
Para abordar nuestro problema o activo, realizaremos las siguientes actividades:
RESUMEN DE PRODUCTOS
Esperamos que una vez realizadas, stas actividades producirn la siguiente evidencia de prestacin de servicios: # de pacientes remitidos desde la sala de emergencia a la clnica/ao # de pacientes idneos registrados en la clnica/ao # de visitas de pacientes/ao # de voluntarios mdicos sirviendo/ao # de volantes para pacientes distribuidos # de llamadas/mes solicitando informacin sobre la clnica
IMPACTO
Esperamos que una vez realizadas, stas actividades llevarn a los siguientes cambios dentro 7-10 aos: Copagos de pacientes aportan el 20% de los costos de operacin de la clnica Disminucin del 25% en el nmero de visitas/ao no aseguradas en la sala de emergencia 300 voluntarios mdicos sirviendo regularmente cada ao La clnica es una Agencia United Way Se establece dotacin para la clnica 90% de satisfaccin de pacientes durante 5 aos 900 pacientes atendidos/ao
Categora 501(c)(3) del Servicio de Impuestos Internos Consejo de Administracin diverso y dedicado representando a socios potenciales Respaldo del Hospital Memorial, Sociedad Mdica Mytown y United Way Instalaciones donadas para la clnica Descripciones de cargos para el consejo y personal Financiamiento durante el primer ao ($150.000) Equipamiento clnico Proceso de orientacin de consejo y personal Presupuesto para la clnica
Inicio/conclusin de bsqueda de director ejecutivo Visita en terreno a Clnica Gratuita Anywhere del consejo y personal Retiro de planificacin del consejo y personal Diseo e implementacin de estrategia de financiamiento Diseo e implementacin de reclutamiento y capacitacin de voluntarios Obtencin de instalaciones para la clnica Creacin de plan de evaluacin Diseo e implementacin de campaa de relaciones pblicas
Pgina 26
Captulo 3
Desarrollo de un Modelo Lgico de Teora del Cambio para Su Programa
Creacin de una imagen del porqu su programa debe tener xito a sea usted una persona en busca de donacin desarrollando una propuesta para conseguir fondos iniciales o un donatario con un programa ya en operacin, el desarrollo de un modelo lgico puede fortalecer su programa. Los modelos lgicos ayudan a identificar los factores que impactarn su programa y le permitirn anticipar los datos y recursos que necesitar para tener xito. A medida que se sumerge en el proceso de crear su modelo lgico de programa, su organizacin abordar sistemticamente los siguientes importantes puntos de planificacin y evaluacin del programa: Descripcin de la estrategia del cambio que su programa apoya. Definicin del problema que est tratando de abordar. Cuantificacin del alcance de las necesidades o activos que justifica su seleccin del problema que aborda. Reconocimiento de los factores que pueden influir en su capacidad para crear el cambio en su comunidad. Aplicacin de la investigacin de mejor prctica que apoye las estrategias de solucin verosmil para el rea problemtica identificada. Declaracin de sus supuestos sobre el porqu las estrategias que seleccion funcionarn en su comunidad en las formas que ha descrito. Ejercicio 3: La Planificacin del Programa construye una teora del programa. Los programas exitosos crean cambio y estn construidos sobre la base de un conocimiento slido sobre de qu funciona la teora de su programa. El Ejercicio 3 le gua a travs de una serie de seis pasos que diagraman la teora fundamental sobre la cual se apoya su programa. sta se soporta y basa en el modelo lgico bsico. En la mayora de los casos, si est usted desarrollando un programa nuevo, este paso debe venir primero para comunicar su pensamiento preliminar. En este caso lo hemos puesto despus de los modelos lgicos bsicos porque es un ejercicio ligeramente ms complejo.
Pgina 27
Captulo 3
Supuestos
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Pgina 28
INSTRUCCIONES: El Ejercicio 3 usar la Plantilla de Teora del Cambio. En particular, usted usar la informacin presentada en los recuadros de texto en gris que vienen a continuacin sobre el programa ilustrativo Mytown para determinar qu teora del cambio se us para disear y desarrollar este programa. Se entrega informacin demostrativa sobre factores influyentes, el problema, necesidades/activos comunitarios, estrategias y supuestos. Usted completar la Plantilla de Teora del Cambio presentada en el ndice de Formularios (p. 56) para ilustrar la teora del programa para el ejemplo Mytown. Puede ver luego la plantilla completada en la pgina 34 para comparar su interpretacin con aquella producida por la gente de Mytown. Qu problema(s) est tratando de resolver o qu asunto(s) se esfuerza por abordar? Una teora de programa bien construida apunta hacia la efectividad eventual de su programa. Comience su planteamiento del problema explicando concisamente el asunto que abordar, exponindolo como un problema o activo comunitario. Su modelo lgico de teora del cambio se basar en este planteamiento que ilustra cmo funcionar el programa y qu espera lograr en su comunidad. Es til referirse a la investigacin sobre el problema o asunto abordado por de su programa en su planteamiento: las bsquedas va Internet pueden ofrecer informacin adicional sobre programas exitosos o mejores prcticas.
EJEMPLO DE PLANTEAMIENTO DE PROBLEMA: Hay cada vez ms trabajadores masculinos no asegurados, entre 40-55 aos de edad, en Mytown, EE.UU., debido al cierre de plantas locales. Mientras el resultado final de los hospitales se contrae, los costos de la atencin no asegurada en las salas de emergencia locales estn impactando negativamente los sistemas de salud locales. Para satisfacer las necesidades humanas y financieras de Mytown, EE.UU., debe crearse un centro asistencial gratuito accesible para ofrecer atencin mdica y educacin en salud para los residentes no asegurados de Mytown. Inserte el problema o asunto Mytown en el recuadro Problema o Asunto de la Plantilla de Teora del Cambio.
Qu necesidades o activos le llevaron a abordar este problema? Si se ha realizado una evaluacin de las necesidades comunitarias o si tiene usted necesidades comunitarias priorizadas y capacidad, existen datos que hacen su caso ms slido y especfico al identificar y escoger los participantes y actividades de su programa. La documentacin de las necesidades y activos comunitarios ayuda tambin a su plan de evaluacin ms tarde. Puede convertirse en un punto de referencia aportando indicadores que miden el avance de su programa en el tiempo. (Se discute en ms detalle en el Captulo 4).
EJEMPLO DE NECESIDADES/ACTIVOS DOCUMENTADOS: La Memoria Anual del Hospital Memorial establece que un 28% de los pacientes masculinos no asegurados, entre 40-55 aos de edad, recibieron atencin en la sala de emergencia durante el ao previo. La Evaluacin de Necesidades Comunitarias United Way del ao pasado identific la atencin de salud para el no asegurado como el problema de atencin de salud comunitaria #1. El Grupo de Estudio del No Asegurado de la Sociedad Mdica/Hospital Memorial est investigando formas de abordar las necesidades del no asegurado y reducir el uso costoso e inapropiado de la sala de emergencia. Inserte las necesidades/activos comunitarios Mytown en el recuadro Necesidades/Activos Comunitarios de la Plantilla de Teora del Cambio.
Pgina 29
Captulo 3
Cules son sus resultados deseados? Identifique qu espera obtener su programa en el corto y largo plazo. Estos se convierten en sus productos, resultados e impactos.
EJEMPLO DE RESULTADOS DESEADOS: Aumentar la atencin de salud accesible y permisible para el no asegurado y disminuir la incidencia de atencin no reembolsable prestada en la salas de emergencia. Crear una clnica gratuita que combine un centro asistencial gratuito, accesible y apropiado con la educacin del paciente para disminuir la cantidad de pacientes masculinos no asegurados, entre 40-55 aos de edad, que buscan atencin en la salas de emergencia. Anticipar un aumento del 15% en la cantidad de pacientes masculinos, entre 40-55 aos de edad, con un centro asistencial gratuito, y una disminucin del 25% en la incidencia de pacientes masculinos no asegurados buscando atencin en la sala de emergencia dentro de 5 aos. Inserte los resultados deseados Mytown (advierta que estos estn orientados hacia los pacientes masculinos no asegurados de un cierto grupo etario, lo que es ms especfico que en el ejemplo de modelo lgico bsico) en el recuadro Resultados Deseados de la Plantilla de Teora del Cambio.
Qu factores influyentes (protectores y/o de riesgo) pueden influir sobre el cambio en su comunidad? Cules son las barreras y/o soportes potenciales que pueden impactar el cambio que usted espera?; Existen polticas u otros factores que puedan afectar su programa?
EJEMPLO DE FACTOR INFLUYENTE: Hay una necesidad documentada de una clnica gratuita. En su Informe para el Nuevo Milenio, la Cmara de Comercio de Mytown proyecta un aumento del 35% en la cantidad de pequeas empresas incapaces de cubrir las prestaciones de salud de sus empleados durante los prximos cinco aos. Hay un fuerte apoyo comunitario en favor de una clnica gratuita. A solicitud de Mytown, United Way, Hospital Memorial y la Sociedad Mdica han creado un grupo de estudio conjunto para explorar la creacin de una clnica gratuita. Inserte los factores influyentes Mytown en el recuadro Factores Influyentes de la Plantilla de Teora del Cambio.
Pgina 30
Supuestos
Factores Influyentes
Problema o Asunto
Describa el(los) problema(s) que su programa intenta resolver o el(los) asunto(s) que su programa abordar.
Necesidades/Activos de la Comunidad
Estrategias
Supuestos
Necesidades/Activos Comunitarios
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Especifique las necesidades y/o activos de su comunidad que llevaron a su programa a abordar el(los) problema(s) o asunto(s).
Estrategias
Supuestos
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Identifique sus resultados deseados, o visin del futuro, describiendo qu espera lograr al corto o largo plazo, si su programa es financiado.
Estrategias
Supuestos
Factores Influyentes
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Liste los factores (por ejemplo, factores protectores o de riesgo, ambiente normativo existente u otros) que usted cree influirn sobre el cambio en su comunidad.
Estrategias
Supuestos
Estrategias
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Liste estrategias exitosas generales o mejores prcticas identificadas por su investigacin que hayan ayudado a las comunidades como la suya a obtener los tipos de resultados que su programa promete.
Estrategias
Supuestos
Supuestos
Por mayores detalles, vea la Plantilla de Planificacin del Programa Ejercicio 3 en la p. 34.
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Exponga los supuestos implcitos del cmo y porqu las estrategias de cambio identificadas funcionarn en su comunidad (por ejemplo, principios, creencias, ideas).
Pgina 31
Captulo 3
Porqu cree que su programa funcionar? Busque un fundamento firme basado en la investigacin de mejor prctica que conecte lo que planea hacer con el porqu su enfoque tendr xito. Los financiadores estn ansiosos de recibir evidencia que respalde el porqu usted se ha decidido por las soluciones que ha propuesto en desmedro de otras. Es una buena idea relacionar su enfoque con estrategias de cambio similares que han probado ser efectivas en comunidades como la suya. La revisin de la literatura e informes de evaluacin pretritos de otros programas (o su propio trabajo) le aportar amplia informacin para construir el fundamento de su programa. La Internet facilita la bsqueda de estrategias de programa efectivas.
EJEMPLO DE ESTRATEGIA DE PROGRAMA: Una clnica empleando profesionales mdicos voluntarios redujo las visitas a la sala de emergencia en Anothertown, EE.UU., en 1977 en un 25%. Una clnica gratuita en Mytown, EE.UU., empleando profesionales mdicos voluntarios, podra ofrecer atencin de salud centros asistenciales accesibles cruciales para un creciente nmero de residentes no asegurados impidiendo el uso costoso e inapropiado de la sala de emergencia por pacientes masculinos de 40-55 aos de edad experimentando emergencias coronarias. Inserte las estrategias Mytown en el recuadro Estrategias de la Plantilla de Teora del Cambio.
Porqu ser efectivo su enfoque? Despus de establecer su punto de vista que le llev a seleccionar una estrategia especfica de entre las alternativas que investig, plantee claramente porqu se necesita esta estrategia y porqu funcionar en su comunidad. Es importante documentar tempranamente las instancias que describen la condicin general de la reaccin pblica a su problema/asunto y posibles soluciones. Deber extraer conclusiones directas del planteamiento de necesidades y capacidades en su comunidad en su supuesto. Adems, deber ser bastante aparente cmo su programa intenta funcionar como una intervencin para resolver problemas identificados o desarrollar activos existentes. Listamos los supuestos al final en este ejercicio porque en este formato de aprendizaje resumido, el modelador lgico tiene el beneficio de toda la informacin que respalda a los supuestos. Son ms fciles de localizar y articular con todos los hechos al frente suyo. En condiciones del mundo real, los supuestos son mejores cuando se plantean desde el inicio mucho antes en el proceso de desarrollo del modelo lgico. Muchos modelos lgicos bsicos que hemos visto incluyen una pgina de apoyo con un diagrama que lista los supuestos que contradicen el modelo elaborado.
EJEMPLO DE SUPUESTOS: Como se prob en Anothertown, el acceso permisible a la atencin mdica reduce la incidencia de visitas de emergencia entregando atencin primaria preventiva apropiada. Una clnica mdica gratuita debera ser exitosa en Mytown debido a su historial de voluntariado extraordinario. La Sociedad Mdica de Mytown exhorta oficialmente a sus 400 miembros profesionales mdicos para ofrecer voluntariamente 20 horas cada ao para ayudar a los residentes comunitarios mdicamente subatendidos. La Asociacin de Servicios de Enfermera de Mytown est tambin interesada en colaborar con una clnica gratuita. El Hospital Memorial ha acordado ayudar en la planificacin y financiamiento de una clnica gratuita. Hay prioridad para facilitar instalaciones gratuitas a los proyectos mdicos que sirven a los necesitados. El Colegio Tcnico de Mytown dona espacio para la clnica dental voluntaria de Mytown. La Clnica Gratuita Mytown estar decididamente apoyada por la gente, negocios e instituciones de Mytown, EE.UU. Inserte los supuestos Mytown en el recuadro Supuestos de la Plantilla de Teora del Cambio.
Pgina 32
An No
Comentarios/ Revisiones
2.
3.
4.
5.
6.
7.
8.
9.
Pgina 33
Estrategias
Crear una clnica gratuita atendida principalmente por mdicos, enfermeras y farmacuticos voluntarios como en Anywhere, EE.UU. Pedir a los doctores atender gratuitamente a los pacientes en sus propias consultas/Columbia, Carolina del Sur
Supuestos
Mytown tiene un historial de programas voluntarios exitosos La Sociedad Mdica exhortar a los voluntarios y entregar apoyo continuo La clnica puede encontrar espacio donado y operar en l El hospital respaldar una clnica gratuita para mejorar la atencin de pacientes y ahorrar dinero
Factores Influyentes
La Cmara predice un aumento del nmero de pequeas empresas incapaces de ofrecer seguro mdico a sus empleados Hay un fuerte apoyo comunitario para una clnica gratuita generado por el Grupo de Estudio del No Asegurado Tres importantes lderes corporativos han expresado su inters en una clnica gratuita
Problema o Asunto
Aumento del nmero de trabajadores no asegurados El cierre de plantas locales limita los trabajos Los costos de la atencin no asegurada en la sala de emergencia estn aumentando Los hospitales no pueden financiar la atencin gratuita en la sala de emergencia para siempre
Necesidades/Activos de la Comunidad
La Memoria Anual del Hospital Memorial establece que el 28% de los pacientes masculinos no asegurados son atendidos en la sala de emergencia
La Evaluacin United Way lista la atencin de salud para el no asegurado como una prioridad principal El Hospital Memorial y la Sociedad Mdica formaron un Grupo de Estudio del no asegurado para buscar soluciones
Captulo 4
Uso de Su Modelo Lgico para Planificar la Evaluacin
ensar en preguntas de evaluacin del programa en trminos de los componentes del modelo lgico que ha desarrollado puede ayudar a establecer el marco de referencia para su plan de evaluacin. Con un marco de referencia, aumenta la efectividad de su evaluacin al permitirle concentrarse en las preguntas que tienen un valor real para los participantes. Priorizacin de dnde la inversin en actividades de evaluacin contribuir con la informacin ms til para los participantes del programa. Descripcin de su enfoque de la evaluacin. Hay dos ejercicios en este captulo; el Ejercicio 4 trata la formulacin de preguntas de evaluacin y el Ejercicio 5 examina la seleccin de indicadores de avance que enlazan con el modelo lgico bsico o el modelo de teora del cambio dependiendo del enfoque de la evaluacin y sus audiencias pblicos primarios intencionadoas.
Adaptado de Bond, S.L., Boyd, S. E., & Montgomery, D.L. (1997 Taking Stock: A Practical Guide to Evaluating Your Own Programs, Chapel Hill, NC: Horizon Research, Inc. Disponible online en http://www.horizonresearch.com.
Pgina 35
Captulo 4
Qu Partes de Su Programa Sern Evaluadas? Uso de un modelo lgico para formular sus preguntas de evaluacin.
Contexto Relaciones y Capacidad Implementacin Calidad y Cantidad Resultados Efectividad, Magnitud y Satisfaccin
Productos
Resultados Intermedios
Actividades
Evaluacin Sumativa
Qu hemos aprendido acerca de realizar este tipo de trabajo en una comunidad como la nuestra?
Recuerde que puede recurrir al modelo lgico bsico en los Ejercicios 1 y 2 y al modelo de teora del cambio en el Ejercicio 3. Los estudios de factibilidad y evaluaciones de necesidades sirven como recursos valiosos para la informacin de referencia sobre influencias y recursos recolectados durante la planificacin del programa. El Contexto es cmo funciona el programa dentro del ambiente econmico, social y poltico de su comunidad y aborda preguntas que exploran cuestiones de relaciones y capacidad del programa. Qu factores pueden influir en su capacidad para realizar el trabajo que ha planificado? Estos tipos de preguntas de evaluacin pueden ayudarle a explicar algunas de las fortalezas y debilidades de su programa como tambin el efecto sobre l de las influencias no anticipadas y externas.
Pgina 36
PREGUNTAS DE CONTEXTO ILUSTRATIVAS: Podemos obtener una instalacin donada? Con la baja moral creada por el alto nivel de desempleo, podemos obtener el respaldo financiero y de voluntarios que necesitamos? Cuntos voluntarios mdicos podemos reclutar? Cuntos se necesitarn cada noche? Cmo se enterarn los pacientes potenciales de la clnica? Qu tipo de atencin mdica necesitarn los pacientes? Cmo podemos dar a conocer la clnica y sus servicios a las posibles fuentes de remisin? Qu suministros necesitaremos y cmo conseguiremos proveedores para ellos? Qu tiene la clnica gratuita que le permite soportar su capacidad para disminuir el nmero de pacientes que buscan atencin en la sala de emergencia del Hospital Memorial?
La Implementacin evala la medida en la cual las actividades fueron ejecutadas segn lo planificado, ya que la capacidad de un programa para entregar sus resultados deseados depende de si las actividades producen la calidad y cantidad de productos especificados. Cuentan la historia de su programa en trminos de qu sucedi y porqu.
PREGUNTAS DE IMPLEMENTACIN ILUSTRATIVAS: Qu instalacin obtuvimos? Cuntos pacientes fueron atendidos cada noche/mes/ao? Qu organizaciones remitieron pacientes a la clnica con mayor frecuencia? Cmo se enteraron los pacientes de la clnica? Cuntos voluntarios mdicos sirven cada noche/mes/ao? Cul fue el valor de sus servicios? Cul fue el diagnstico ms comn? Qu suministros fueron donados? Cuntos pacientes al ao atendi la Clnica en su primer/segundo/tercer ao?
Los Resultados determinan la medida en la cual se avanza hacia los cambios deseados en los individuos, organizaciones, comunidades o sistemas. Las preguntas de resultados buscan documentar los cambios que ocurren en su comunidad como resultado de su programa. Generalmente estas preguntas generan respuestas sobre la efectividad de las actividades en producir cambios en magnitud o satisfaccin con los cambios relacionados con las cuestiones medulares de su programa.
PREGUNTAS DE RESULTADOS ILUSTRATIVAS: Cuntos pacientes no asegurados inapropiados buscaron atencin mdica en la sala de emergencia del Memorial durante el primer/segundo/tercer ao de la Clnica? Hubo una disminucin en las visitas a la sala de emergencia sin respaldo? Cmo se compar el nmero de pacientes no asegurados con los aos previos cuando la clnica no estaba funcionando? Cul fue el costo/visita en la Clnica Gratuita? Cul es el costo/visita en la sala de emergencia del Memorial? Cmo se comparan? Cul fue el ahorro en costos para el Hospital Memorial? Cun satisfechos estuvieron los pacientes de la Clnica con la atencin recibida? Cun satisfechos estuvieron los voluntarios con su servicio en la Clnica?
Pgina 37
Captulo 4
Creacin de Foco
Aunque raro, puede encontrar que el examen de ciertos componentes de su programa es suficiente para satisfacer sus necesidades de informacin. Ms a menudo, sin embargo, desarrollar sistemticamente una serie de preguntas de evaluacin como se muestra en el Diagrama de Flujo para el Desarrollo de Preguntas de Evaluacin.
PblicoAudience
Audiencia
PreguntaQuestion
Uso e
2 2 2
Pblico
Qu audiencia pblico clave tendr preguntas sobre sus reas foco? Para cada rea foco identificada, liste los pblicos que probablemente estarn ms interesadoas en esa rea.
PblicoAudience
Uso e
3 Pregunta 3
Qu preguntas tendr su pblico clave sobre su programa? Para cada rea foco y pblico identificadoa, liste las preguntas que pudiesen tener sobre su programa.
PblicoAudience
PreguntaQuestion
4 4
Por mayores detalles, vea la Plantilla de Planificacin de la Evaluacin Ejercicio 4 en la p. 44.
4 Uso de Informacin
Si responde una pregunta dada, para qu se usar esa informacin? Para cada pblico y pregunta identificada, liste las maneras y medida en la que planea hacer uso de la informacin de evaluacin.
Pgina 38
Qu va a ser evaluado?
Para cada rea sobre la cual se enfoca su programa, liste los aspectos ms importantes de su teora de programa y modelo lgico. Enfoque su evaluacin sobre ellos.
Los beneficios de formular y responder preguntas de evaluacin dependen de cun claro tenga usted el propsito de su evaluacin, quin necesita saber qu y cundo, y los recursos que tiene disponible para apoyar el proceso de evaluacin.
Pgina 39
Captulo 4
Pblico
Direccin y Personal del Programa
Preguntas Tpicas
Estamos llegando a nuestra poblacin beneficiaria? Estn nuestros participantes satisfechos con nuestro programa? Se est haciendo funcionar el programa en forma eficiente? Cmo podemos mejorar nuestro programa? Decisiones de programacin, operaciones cotidianas Me ayud el programa y le ayud a gente como yo? Qu puede mejorar el programa la prxima vez? Es el programa apropiado para las necesidades de nuestra comunidad? Qu est logrando realmente el programa? A quin sirve el programa? Qu diferencia ha marcado el programa? Est el programa llegando a su poblacin beneficiaria? Qu piensan lo participantes del programa? Vale la pena el programa? Se est logrando lo prometido? Est funcionando el programa? Vale la pena el programa?
Uso de la Evaluacin
Decisiones de programacin, operaciones cotidianas
Participantes
Miembros de la Comunidad
Funcionarios Pblicos
Decisiones sobre compromiso y apoyo. Conocimiento de la utilidad y factibilidad del enfoque del programa.
Financiadores
Cun a menudo tiene que recolectar datos? La naturaleza ms formativa o sumativa de una pregunta ofrece una pista sobre cundo debe recolectarse informacin. La informacin formativa debe ser peridica e informada/compartida rpidamente para mejorar sus esfuerzos. La informacin sumativa tiende a ser como fotos instantneas del antes y despus informadas despus de la conclusin del programa para documentar la efectividad y lecciones aprendidas de su experiencia.
Pgina 40
Qu audiencias pblicos clave tendrn preguntas sobre sus reas foco de evaluacin?
Para cada rea foco que haya identificado en el paso previo, liste los pblicos que probablemente estarn ms interesadoas en esa rea. Resuma sus pblicos y trasfiralos a la columna Audiencia Pblico de la Plantilla de Desarrollo de Preguntas de Evaluacin para la Planificacin de la Evaluacin, Ejercicio 4.
ContextoRelaciones y Capacidad
Pblicos tipo: Profesionales mdicos, Consejo de Administracin y personal (especialmente el personal de la sala de emergencia) del Hospital Memorial, asociaciones mdicas, fundaciones, Cmara de Comercio, United Way, Colegio Tcnico, residentes no asegurados, compaas de suministros mdicos, medios de informacin locales, funcionarios pblicos.
ImplementacinCalidad y Cantidad
Pblicos tipo: Financiadores, donantes en especies, voluntarios mdicos y administrativos, Consejo de Administracin, personal, pacientes, funcionarios pblicos, medios de informacin, asociaciones mdicas, empresas locales, organizaciones de atencin de salud.
Pgina 41
Captulo 4
Pgina 42
An No
Comentarios/ Revisiones
Pgina 43
Pregunta
Es el programa eficaz en funcin de los costos? Estn los voluntarios y pacientes satisfechos con los servicios de la Clnica?
Uso
Costo-beneficios/recaudacin de fondos Promocin del programa/recaudacin de fondos
Voluntarios Mdicos
Cul es el diagnstico ms comn? Cmo estarn los voluntarios mdicos protegidos contra las demandas? Estoy recibiendo atencin de calidad?
Pacientes Por cunto tiempo puedo recibir atencin aqu? Estamos llegando a nuestra poblacin beneficiaria? Personal Cmo saben nuestros pacientes de nosotros? Cul es nuestro mejor enfoque promocional? Financiadores/ Donantes Presupuesto del Programa? Costo/visita? Voluntarios Visitas/mes/ao? Ahorro de costos para el Hospital Memorial?
Anlisis de costo-beneficio Memoria Anual/promocin del programa/relaciones pblicas Memoria Anual/promocin del programa/recaudacin de fondos Memoria Anual/reclutamiento de voluntarios Mejoramientos del programa/capacitacin del personal
Resultados
Pacientes
Personal
El mayor problema es que generalmente las personas estn tratando de obtener demasiados resultados. Una vez que se enfrascan en una discusin sobre indicadores, comienzan a darse cuenta de cunta ms claridad necesitan en sus actividades. Tambin encuentro importante que sea el programa, no el evaluador, quien identifique a los indicadores. En caso contrario, el programa puede fcilmente desacreditar la evaluacin diciendo que no piensan que los indicadores son importantes, vlidos, etc. Beverly Anderson Parsons, Evaluadora de Grupo WKKF
rea Foco
Factores Influyentes
Indicadores
Mediciones de factores influyentes pueden requerir de estudios generales de la poblacin y/o comparacin con conjuntos de datos nacionales2. Registros o informes de condicin financiera/dotacin de personal. Descripciones de actividades planificadas. Registros o informes de actividades reales. Descripciones de participantes. Registros o informes de actividades reales. Productos concretos entregados. Actitudes, conocimiento, aptitudes, intenciones y/o comportamientos de los participantes que se piensa resultan de sus actividades3.
Cmo Evaluar1
Compare la naturaleza y medida de las influencias antes (punto de referencia) y despus del programa. Compare los recursos reales adquiridos contra los anticipados. Compare las actividades reales realizadas, tipos de participantes alcanzados contra aquello que fue propuesto. Compare la calidad y cantidad de la entrega real contra lo esperado.
Recursos
Actividades
Productos
Resultados e Impactos
Pgina 45
Captulo 4
Nuestro consejo es que mantenga su evaluacin simple y directa. Las tcnicas de modelado lgico que ha estado practicando le guiarn hacia el desarrollo de un plan de evaluacin significativo y manejable. Determine los tipos de datos que necesitar y disee mtodos para recolectar los datos (es decir, formularios de registro de pacientes, formularios de registro de voluntarios, tarjetas de asistencia diaria, estadsticas nacionales, estatales y locales). En ocasiones, una vez que se selecciona un indicador (tipo de datos), los programadores establecen un objetivo especfico a alcanzar como una medicin del xito si ste se alcanza (por ejemplo, una disminucin del 25% en el nmero de visitas inapropiadas a la sala de emergencia). Como en los ejercicios previos, use el espacio abajo para organizar libremente sus pensamientos. Luego, una vez que el ejercicio se ha completado y evaluado, use la Plantilla de Desarrollo de Indicadores en la pgina 61 para registrar sus indicadores y necesidades de asistencia tcnica.
Columna 1: reas FocoDe la informacin recolectada en el Ejercicio 4, transfiera las reas en las cuales se enfocar su evaluacin a la primera columna (por ejemplo, salud de los pacientes, participacin de voluntarios, socios de respaldo permanente). Columna 2: PreguntasTransfiera del Ejercicio 4 las preguntas principales relacionadas con cada rea focopreguntas importantes que sus audiencias pblicos desean ver contestadas. Recuerde mantener su evaluacin tan simple como sea posible. Columna 3: IndicadoresEspecifique los indicadores (tipos de datos) contra los cuales medir el xito/avance de su programa. A menudo es til registrar las fuentes de datos que planea usar como indicadores (cuando pueda encontrar o tener acceso a estos datos). Columna 4: Asistencia TcnicaCul es la medida de la competencia de su organizacin en evaluacin y gestin de datos para recolectar y analizar los datos que se relacionan con cada indicador? Liste cualquier asistencia que pueda ser de utilidaduniversidades, consultores, expertos en datos nacionales y estatales, departamentos de evaluacin de fundaciones, etc.
Pgina 46 Gua de Desarrollo de Modelos Lgicos
Lista de Revisin del Ejercicio 5: Repase lo que ha creado usando la lista de revisin siguiente para evaluar la calidad de su plan de evaluacin.
Establecimiento de Criterios de Calidad del Establecimiento de Indicadores
1. Las reas foco reflejan las preguntas formuladas por una variedad de audienciaspblicos. Los indicadores responden a las reas foco y preguntas identificadas. Los indicadores son EMORT Especficos, Medibles, Orientados Hacia la Accin, Realistas y Temporizados. El costo de recolectar datos sobre los indicadores est dentro del presupuesto de evaluacin. Se conoce la fuente de los datos. Est claro cules estrategias de recoleccin, gestin y anlisis de datos sern las ms apropiadas para cada indicador. Se han identificado las estrategias y la asistencia tcnica requerida y estn dentro del presupuesto de evaluacin para el programa. La asistencia tcnica necesaria est disponible.
An No
Comentarios/ Revisiones
2.
3.
4. 5.
6.
7.
Pgina 47
Pregunta
Estn los voluntarios y pacientes satisfechos con la atencin de la clnica?
Indicadores
Encuestas de satisfaccin de pacientes
Relaciones
Pruebas de satisfaccin de voluntarios Estamos llegando a nuestra poblacin beneficiaria? % de pacientes clnicos vs. % de ciudadanos no asegurados en Mytown, EE.UU. # de pacientes clnicos idneos/ao Cmo se enteran los pacientes de la clnica? Anlisis anual de registros de remisin telefnica Pregunta de remisin en formulario de admisin de pacientes Ahorra la clnica dinero a la comunidad? Costo/visita
Resultados
# de pacientes no asegurados atendidos en la sala de emergencia del hospital comenzando el ao antes de la apertura de la clnica Qu entrega la clnica? Diagnstico ms comn
Manual de trabajo/tablas DRG (personal del hospital) Aporte de datos del personal de cobranza del hospital Encuestas e instrumentos de anlisis de Anywhere
Encuesta de voluntarios anual Encuesta de satisfaccin de pacientes # de voluntarios/ao # de voluntarios contribuyendo a las operaciones de la clnica
Base de datos de gestin de voluntarios Base de datos de donantes (Lmite del Recaudador?)
Apndice de Recursos
Este Apndice entrega informacin sobre recursos impresos y electrnicos disponibles para apoyarle en el proceso de desarrollo de su modelo lgico.
Pgina 49
Apndice de Recursos
Bickman, L. (Ed.). (1987). Using program theory in evaluation. New Directions for Program Evaluation Series (no. 33). San Francisco: Jossey-Bass. Chen, H. T. (1990). Theory Driven Evaluations. Newbury Park, CA: Sage. Wholey, J. S. (Ed). (1987). Organizational Excellence: Stimulating Quality and Communicating Value. Lexington, MA: Lexington Books. Wholey, J. S., Hatry, H. P., & Newcomer, K. E. (Eds.). (1994). Handbook of Practical Program Evaluation. San Francisco: Jossey-Bass Publishers. Weiss, C. H. (1998). Evaluation: Methods for Studying Programs and Policies. (2nd Ed). Upper Saddle River, NJ: Prentice Hall.
Pgina 50
Freddolino, P. P. (1999). The Program Logic Model: What It Is and How To Teach It. A preconference workshop presented at the 1999 Conference of the Michigan Association for Evaluation, East Lansing, MI, May. Targeting Outcomes of Programs. http://deal.unl.edu/TOP/synopsis.htm Innovation Network, Inc. electronic logic model development tool. http://www.inetwork.org
Pgina 51
Pgina 52
Apndice de Formularios
Este Apndice proporciona las plantillas de trabajo y listas de revisin para los Ejercicios 1-5:
Pgina 53
RECURSOS
Para realizar nuestro conjunto de actividades, necesitaremos lo siguiente:
ACTIVIDADES
Para abordar nuestro problema o activo, realizaremos las siguientes actividades:
RESUMEN DE PRODUCTOS
Esperamos que una vez realizadas, stas actividades producirn la siguiente evidencia de prestacin de servicios:
IMPACTO
Apndice de Formularios
Esperamos que si se realizan, estas actividades llevarn a los siguientes cambios dentro de 7-10 aos:
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
Pgina 55
Apndice de Formularios
An No
omentarios/Revisiones
2.
3.
4.
5.
Pgina 56
Estrategias
Supuestos
Factores Influyentes
Problema o Asunto
Necesidades/Activos de la Comunidad
Apndice de Formularios
2.
3.
4.
5.
6.
7. 8.
9.
Pgina 58
Apndice de Formularios
An No
Comentarios/ Revisiones
2.
3.
4.
5.
6.
7.
8.
Pgina 60
Apndice de Formularios
An No
Comentarios/Revisiones
2.
3.
4. 5.
6.
7.
Pgina 62
W.K.KELLOGG FOUNDATION
One Michigan Avenue East Battle Creek, MI 49017-4058 USA 269-968-1611 TDD on site Telex: 4953028 Facsimile: 269-968-0413 Internet: http://www.wkkf.org