Professional Documents
Culture Documents
EVALUACIN DE LAS
HABILIDADES PARA
LA VIDA ORIENTADAS
AL DESARROLLO
DE LA JUVENTUD
Vo lu m e n 1: D i r e c t r i c e s
B |
F U N DAC IN JAC O B S
SEGUIMIENTO Y EVALUACIN
DE LAS HABILIDADES PARA
LA VIDA ORIENTADAS AL
DESARROLLO DE LA JUVENTUD
Volu m e n 1: Di r e c t r ic e s
De s a r rol l a da s e n c ol a b or ac in c on
C l a r e H a n bu ry y T i n a M a lt i
Directrices
AGRADECIMIENTOS
Estas directrices de seguimiento y evaluacin han sido elaboradas por la Fundacin Jacobs, sus
organizaciones asociadas y dos especialistas en el tema de seguimiento y evaluacin (S&E) de las
habilidades para la vida y desarrollo de la juventud. Queremos mostrar nuestro sincero agradecimiento a las especialistas Clare Hanbury-Leu y Tina Malti, as como a los representantes de las
organizaciones asociadas: Gideon Arulmani, The Promise Foundation, India; Simon Bailey, Aflatoun
(una red global), Pases Bajos; Jeff DeCelles, Grass Root Soccer/Streetfootball world, EE.UU.,
frica del Sur; Marta Freire, Deutsche Kinder und Jugendstiftung (DKJ), Alemania; Enyo Gbedemah,
Save the Children Suecia, Senegal; Gustavo Genuso, Gente Nueva, Argentina; Estefania Montoya,
Ftbol con Corazn, Colombia; Gabriela Pinheiro, Luta pela Paz, Brasil; Amsatou Salambere, Swiss
Contact, Burkina Faso, y Olga Vsquez, Stiftung Kinderdorf Pestalozzi, El Salvador, por su gran
contribucin a la publicacin de estas directrices. En el anexo se facilitar ms informacin sobre
estos colaboradores.
publisher
Jacobs Foundation
Seefeldquai 17
P.O. Box
CH-8034 Zurich
Switzerland
Phone +41 44 388 61 23
Fax
+41 44 388 61 37
jf@jacobsfoundation.org
www.jacobsfoundation.org
2011 Jacobs Foundation
Layout/prepress/printing
Linkgroup, Zurich
www.linkgroup.ch
2 |
F U N DAC IN JAC O B S
Directrices
TABLA DE CONTENIDO
AGRADECIMIENTOS2
GLOSARIO DE TRMINOS CLAVE
PRLOGO
IntroducCIN
9
10
22
22
23
25
27
IntroducCIN
27
UNA DEFINICIN
27
30
32
ANEXO
39
58
58
61
64
71
72
73
74
DISEOS DE ESTUDIO
75
85
REFERENCIAS
86
List of templates
88
F U N DAC IN JAC O B S
| 3
Directrices
losario de trminos
G
clave1
4 |
F U N DAC IN JAC O B S
http://www.oecd.org/dataoecd/29/21/2754804.pdf
Directrices
F U N DAC IN JAC O B S
| 5
Directrices
PRLOGO
6 |
F U N DAC IN JAC O B S
Directrices
PRLOGO
confianza y mejoren sus recursos para poner en prctica y compartir su habilidad para pensar de
forma evaluativa.
2)
http://philanthropyjournal.org//special-reports/corporate-giving/
wallace-aims-%E2%80%98harvest%E2%80%99-know-how
F U N DAC IN JAC O B S
| 7
Directrices
PRLOGO
FORMATOS
Las directrices estn disponibles en varios formatos, en ingls, francs y espaol:
Una versin impresa de las Directrices de la Fundacin Jacobs sobre Seguimiento y Evaluacin
de las Habilidades para la Vida orientadas a la Juventud;
Una versin resumida;
Una versin online actualizada de forma regular (las actualizaciones estarn disponibles en la
lengua local).
Esperamos que estas directrices le resulten tiles y le deseamos un gran xito en su trabajo con
programas de habilidades para la vida orientados al desarrollo infantil y juvenil.
8 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
CAPTULO 1
EL DESARROLLO DE HABILIDADES PARA LA VIDA ORIENTADAS
A LOS JVENES
p o r T i n a M a lt i , Ph D, D e pa r ta m e n t o d e P s ic o l o g a , U n i v e r s i da d
d e T o r o n t o , C e n t r o J a c o b s p a r a e l D e s a r r o l l o d e u n a J u v e n tud
P r o du c t i v a , U n i v e r s i d a d d e Z r i c h
I NTRODUCCIN
Las habilidades para la vida ayudan a los jvenes a navegar entre los retos de la vida cotidiana. Les permiten convertirse en adultos sanos, responsables y productivos. Las habilidades para la vida orientadas a adolescentes son
el foco principal de teoras psicolgicas que
pretenden comprender cmo se desarrollan los
recursos y las competencias. Desde un punto
de vista prctico, la promocin de las habilidades para la vida ha sido identificada como un
recurso clave para mejorar el desarrollo positivo
y productivo de los jvenes. Este captulo ofrece
una introduccin al desarrollo de habilidades
para la vida orientadas a los jvenes. Tras proponer una definicin actual sobre habilidades
para la vida, se identifican cuatro dimensiones
principales de las habilidades para la vida y se
ofrecen ejemplos en relacin con cada dimensin. A continuacin, se resaltan los principales
marcos de habilidades para la vida orientadas a
los jvenes. Estos marcos incluyen el marco del
Desarrollo Positivo de los Jvenes y el marco
Riesgo de Desarrollo. Finalmente, se desarrollan las implicaciones del seguimiento y la evaluacin de programas de intervencin.
L DE SAR ROLLO DE
E
HAB I LI DADE S PARA LA
VI DA E N LA J UVE NTU D
Debido a que las sociedades actuales se diversifican rpidamente tanto en lo que respecta
tanto a la demografa como a la poltica nuestros
jvenes y adolescentes se enfrentan a retos que
comprenden mltiples aspectos. Cmo influyen
las demandas de la sociedad sobre los habilidades clave que los jvenes tienen que adquirir? La
respuesta a esta pregunta no slo es importante
para mantener la calidad de la cohesin civil y
social, sino tambin para permitir que los nios y
adolescentes se conviertan en adultos sanos,
productivos y autnomos. La definicin de dichos
recursos puede ayudarnos a mejorar la evaluacin sobre que tan bien preparados estn los jvenes para enfrentarse a los retos de la vida y
tambin a identificar objetivos generales para
llevar a cabo un seguimiento y evaluar las actividades de educacin e intervencin.
Tanto acadmicos como profesionales y administradores institucionales estn de acuerdo
en que el hecho de disponer de habilidades para
la vida ayuda a los jvenes a enfrentar los retos
que plantea la sociedad y por lo tanto, contribuyen a su desarrollo saludable, positivo y productivo. Pero, qu son las habilidades para la vida, y
cmo se desarrollan? El objetivo de este captulo
es definir las habilidades para la vida orientadas
a los jvenes, identificar sus principales mbitos
F U N DAC IN JAC O B S
| 9
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
10 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
F U N DAC IN JAC O B S
| 11
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
sino tambin la poltica educacional que identifique las habilidades principales, un grupo de objetivos especficos y los sistemas de apoyo que
necesitan los jvenes para alcanzar un desarrollo positivo (Partnership for 21st Century Skills,
2009).
La mayora de las definiciones de habilidades para la vida son bastante amplias y generales; con frecuencia, incluyen el trmino habilidades vitales, que hacen referencia a las capacidades bsicas necesarias para perseguir
objetivos econmicos individuales y familiares
(p. ej.: habilidades tcnicas/vocacionales, recursos para la bsqueda de empleo y habilidades
empresariales). A pesar de que no tendra sentido tratar las habilidades para la vida sin tener
en cuenta lo que uno gana durante su vida, las
habilidades vitales por s mismas no son suficientes para provocar cambios a largo plazo; los
jvenes, por lo tanto, necesitan habilidades superiores o habilidades intra e interpersonales
mencionadas anteriormente.
Dado que se pretende aplicar las definiciones anteriores a la poblacin en general, puede
decirse que no estn orientadas hacia el desarrollo. Si lo que interesa son los jvenes, la adaptacin y los resultados positivos deben estar
orientados hacia el desarrollo. Esto significa que
el nivel de una habilidad para la vida determinada tiene que ser considerado en relacin con
la edad del joven y con su desarrollo biolgico,
cognitivo, emocional y social general (es decir,
habilidades para la vida apropiadas para su
edad). Por ejemplo, se han definido las habilidades para la vida como competencias que permiten a los jvenes hacer frente a los retos que se
presentan en la vida de forma adecuada a su
edad, que le permiten desarrollarse de una
forma sana y positiva (p. ej.: Malti y Noam,
2008). Qu significa la adaptacin positiva durante los sucesivos perodos de la adolescencia
y la juventud? En general, se considera que la
12 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
y obtener un resultado positivo, es necesario alcanzar un equilibrio entre las diferentes habilidades cognitivas, emocionales y de comportamiento, al igual que las capacidades creativas y
psicolgicas, como actitudes, motivos y valores.
Esta capacidad para integrar diferentes habilidades para la vida depende de cmo construyen los jvenes sus experiencias sociales, incluyendo sus pensamientos, emociones y relaciones con los otros y de cmo las integran dentro
del concepto que tienen de s mismos (Keller,
2004). Esta tarea requiere alcanzar un nivel de
madurez social que les permita distanciarse de
cualquier presin social, adoptar perspectivas
diferentes (sintiendo lo que otros sienten como
si se tratase de sus propios sentimientos), hacer
juicios independientes y asumir la responsabi
lidad por sus acciones (Rychen y Sarganik,
2003). La adopcin de este marco de integracin ha permitido reconocer entre 10 y 12 habilidades especficas para la vida intra e interpersonales que los jvenes deben adquirir para
enfrentarse de forma efectiva y adecuada a su
edad, a los retos que les presenta en la vida. Estas habilidades principales incluyen la capacidad de toma de decisiones, de resolver conflictos y problemas de manera constructiva, pensar
de forma creativa y crtica, comunicarse de
forma efectiva, autoconocerse, manejar el estrs, controlar las propias emociones, tener empata con los dems, y establecer y mantener
buenas relaciones sociales (p. ej.: Wenzel, Weichold y Silbereisen, 2009; OMS, 1997). Estas
habilidades principales pueden clasificarse en
cuatro dimensiones generales: (a) pensamiento
crtico y habilidades cognitivas, (b), habilidades
sobre el manejo y el autocontrol, (c) habilidades
sociales y morales y (d) habilidades de comunicacin (Tabla 1).
F U N DAC IN JAC O B S
| 13
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
centes (Eccles y Gootman, 2002; Roth y BrooksGunn, 2003) proponen las Seis C del desarrollo (competencia, confianza, conexin, carcter,
cuidado y contribucin). Son una forma de
conceptualizar el desarrollo positivo de los jvenes y de integrar sus diferentes indicadores, incluyendo la autoestima, la empata y el control
de las emociones (Lerner, 2004). Del mismo
modo, el modelo basado en los elementos fundamentales del desarrollo incorpora una serie
de elementos internos que favorecen el desarrollo positivo de los jvenes. Incluyen el compromiso con el aprendizaje, valores positivos (p. ej.:
responsabilidad y cuidado), capacidad social e
identidad positiva (Benson y Scales, 2009). En
particular, en la literatura especializada se le ha
dado muy poca importancia a la contribucin a la
sociedad y a los componentes de las habilidades
para la vida, a pesar de la importancia que tienen, considerando que las habilidades para la
vida se conciben incluyendo la capacidad para
asumir responsabilidades con respecto a uno
mismo y a los dems (ver Tabla 1; y Latzko y
Malti, 2010).
Tabla 1
Nivel
Dimensin
Intrapersonal
Comunicacin
Interpersonal
14 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
tancia a aquellas habilidades que slo son empleadas en determinadas ocupaciones o dentro
de un grupo especfico. Finalmente, tanto la
doctrina como los profesionales estn de
acuerdo en que las principales habilidades para
la vida son aplicadas en una gran variedad de
contextos sociales y reas de contenido acadmico. Tambin son crticos con intervenciones
como el abuso del consumo de medicamentos
y la prevencin del VIH/SIDA, el aumento de la
resistencia, la promocin de la paz, la prevencin de agresiones y problemas de desarrollo y
la orientacin profesional, entre otros.
Es preciso tener en cuenta que las definiciones de habilidades para la vida presentadas
anteriormente no incluyen sistemas de apoyo
externo. Realmente, se centran en las competencias y capacidades internas, junto con sus
valores y actitudes. Ello contrasta con otras
teoras tradicionales sobre el desarrollo positivo
de los jvenes, que tienen en cuenta determinadas dimensiones de sistemas de apoyo externo como una serie de elementos, tales
como las relaciones de apoyo (p. ej.: Benson,
2007). De este modo, esta ltima aproximacin
resalta la importancia del contexto social en el
desarrollo. En el contexto de proyectos de socios de la Fundacin Jacobs, el componente del
contexto social resulta, con frecuencia, fundamental ya que muchos de estos programas
para jvenes pretenden mitigar factores adversos del contexto social.
F U N DAC IN JAC O B S
| 15
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
ARCOS DE HAB I LI
M
DADE S PARA LA VI DA
OR I E NTADOS
AL D E SAR ROLLO
DE LA J UVE NTU D
La respuesta a la pregunta de qu habilidades necesitan los jvenes para enfrentarse a los
retos del mundo actual debe estar basada en un
marco de desarrollo. Dicho marco contribuye a
entender los conocimientos sociales, las emociones y los motivos que los jvenes aplican a la
hora de construir su realidad en determinado
momento. Adems, ayuda a los profesionales a
comunicarse con los jvenes de una forma que
corresponda con su concepcin del mundo social y de ese modo, les permite apoyarles durante su crecimiento y desarrollo.
Las principales teoras sobre el desarrollo
de los adolescentes con frecuencia han estado
influenciadas por las teoras cognitivas y psicosociales tradicionales. Estas teoras suelen describir el desarrollo en trminos de secuencias
de niveles de complejidad, madurez y diferenciacin crecientes (p. ej.: Piaget, 1955). Por ejemplo, la teora psicosocial de Erikson describe el
desarrollo de la identidad a lo largo de la vida en
trminos socio-histricos (Erikson, 1968). La
identidad hace referencia a los sentimientos de
autoconfianza que se desarrollan durante nuestras interacciones diarias con el apoyo de los
otros. En cada etapa, las personas experimentan los conflictos tpicos de esa etapa, lo que
supone un momento crucial en su desarrollo. El
hecho de resolver con xito este conflicto, al
igual que el refinamiento de la identidad durante
la adolescencia, ayuda a aumentar las fortalezas. Por el contrario, las crisis no resueltas provocan resultados de desafeccin y de inadaptacin.
Gran parte de las primeras teoras sobre el
desarrollo observaban el desarrollo de los adolescentes a travs del prisma de un modelo ba-
16 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
Tabla 2
Principios bsicos
Modelo de ejemplo
En el desarrollo, las
fortalezas son ms
importantes que las
debilidades
de desarrollo, pero las estrategias para fomentar este elemento pueden variar considerablemente en funcin del contexto social (Benson y
Scales, 2009).
Los jvenes son considerados los mayores
agentes en su propio entorno, lo que significa
que tienen la capacidad de crear las relaciones
de apoyo y comunidades que necesitan para
crecer y desarrollarse (Larson, 2006). Por ello,
el enfoque del desarrollo positivo de los jvenes
resulta holstico en el sentido de que considera
a la comunidad en relacin con el joven en su
conjunto y al joven como un colaborador pleno
en esta relacin (Damon, 2004). El conjunto de
habilidades clave en el que est incluido no
hace referencia slo al desarrollo de la propia
identidad personal (habilidades intrapersonales), sino tambin a las contribuciones y a la relacin que uno mismo establece con la sociedad
civil (habilidades interpersonales y morales;
Youniss y Yates, 1997; Damon, 2004). Adems,
el desarrollo positivo de los jvenes es un proceso que ocurre de forma inherente durante los
continuos intercambios que se producen entre
individuos y un contexto social que les apoye.
Se establece una trayectoria de desarrollo positivo cuando los jvenes participan en mltiples
F U N DAC IN JAC O B S
| 17
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
18 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
Tabla 3
Principios bsicos
Modelo de ejemplo
Las asociaciones de
resultados positivos
(es decir, capacidad
de resistencia) y
negativos (es decir,
riesgo) y las habilidades para la vida
estn entrelazadas
Modelo Trbol:
perarse, al igual que para desarrollar resistencia, sea tratada como una capacidad para desarrollarse apoyada por la adopcin de un enfoque
diferenciado del desarrollo. A pesar de que los
riesgos se puedan convertir en problemas, tambin pueden estimular la evolucin de las fortalezas, el desarrollo y la resiliencia. La capacidad
de resiliencia ha sido definida como la capacidad de un individuo para desarrollarse y tener
xito a pesar de la adversidad (Masten et al.,
2009). No es estable sino que evoluciona continuamente cuando los individuos interactan con
su entorno social. Dado que los jvenes son activos creadores de significados, que construyen
e inventan su mundo, pueden superar traumas
anteriores dndole un nuevo significado a eventos pasados, a travs de la autoreflexin y explorando pensamientos y acciones alternativos.
Los cientficos que estudian el desarrollo
han identificado dos resultados fundamentales
del desarrollo, que son aplicados en mltiples
situaciones y campos del desarrollo. El primero
es la competencia ampliada (es decir, la capacidad de resistencia, que se demuestra con la
adquisicin y el posterior desarrollo de conoci-
F U N DAC IN JAC O B S
| 19
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
20 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
F U N DAC IN JAC O B S
| 21
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
PONDERACIN DE LA EVIDENCIA
P ONDERACIN
DE LA EVIDENCIA
El desarrollo y la aplicacin de estrategias
de intervencin efectivas implica comprender
las habilidades para la vida que son objeto de la
intervencin. Tambin es necesario comprender
cundo y cmo se manifiestan dichas habilidades, al igual que cundo y por qu tiene lugar
determinado problema, comportamiento o disfuncin durante el proceso de desarrollo. Cul
es la forma de desarrollo adecuada para fomentar en los adolescentes la salud mental, la productividad y la contribucin a la sociedad? Tras
el debate anterior, queda claro que la intervencin debe estar hecha a medida del nivel de desarrollo del adolescente. Es este nivel de habilidad o competencia el que ofrece informacin
clave sobre las fortalezas del adolescente y los
sistemas de apoyo social que son necesarios
para su crecimiento y desarrollo. Un desequilibrio entre las capacidades de desarrollo del
adolescente y la percepcin que un profesional
o creador de un programa tiene de dichas capacidades puede tener un efecto adverso sobre la
intervencin y/o los programas de seguimiento
(Noam y Malti, en prensa).
22 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
E S U M E N Y FUTU RAS
R
DI R ECCION E S
La laguna entre la teora del desarrollo y los programas de intervencin basados en resultados,
sin embargo, no se ha resuelto por completo.
Una meta importante de cara al futuro es la rigurosa aplicacin de conceptos integradores
que relacionen de forma sistemtica la teora
del desarrollo con prcticas de prevencin
orientadas a los jvenes.
Cules son los retos para futuras investigaciones e intervenciones en el rea de las habilidades para la vida orientadas al desarrollo de los
jvenes? Lo principal es el aumento de la fragmentacin social a la que tienen que enfrentarse
F U N DAC IN JAC O B S
| 23
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
24 |
F U N DAC IN JAC O B S
CA P T ULO 1 | EL DES A RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES
REFERENCIAS
R EFERENCIAS
F U N DAC IN JAC O B S
| 25
EL DESA RROLLO DE H A B ILIDA DES PA R A L A V IDA ORIEN TA DAS A LOS JV ENES | CA P T ULO 1
REFERENCIAS
26 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
INTRODUCCIN/UNA DEFINICIN
CAPTULO 2
SEGUIMIENTO Y EVALUACIN
DE LAS HABILIDADES PARA
LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
Por Cl a r e H a nbury
I NTR ODUCCIN
Este captulo est dirigido a aquellos profesionales que no cuentan con formacin cientfica
en materia de evaluacin. Estas pautas pretenden proporcionarles recursos y confianza para
evaluar su trabajo de forma efectiva y eficiente.
Son un trabajo de colaboracin en progreso, ya
que nuestros conocimientos se desarrollan con
su uso.
U NA DE F I N ICIN
Este apartado recoge diferentes opiniones
sobre las habilidades para la vida y expone la
definicin y el enfoque que se emplean en estas
directrices.
Un grupo de educadores cre esta lista en
un taller como respuesta a la pregunta qu son
las habilidades para la vida?
F U N DAC IN JAC O B S
| 27
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
UNA DEFINICIN
Tabla 5
Tabla 4
Dimensin
Pensamiento
crtico y habilidades cognitivas
Manejo y
autocontrol
Habilidades
sociales y morales
Comunicacin
28 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
UNA DEFINICIN
Otras definiciones
Naciones Unidas
Wikipedia
International Youth
Foundation (IYF)
http://www.unicef.org/spanish/
http://www.paho.org/Spanish/HPP/
http://en.wikipedia.org/wiki/Life_skills
http://www.iyfnet.org/document/1139
lifeskills/index_7308.html
HPF/ADOL/Habilidades.pdf
* La IYF incluye las habilidades para la vida dentro de su proyecto entra21. Hay numerosos documentos online sobre este proyecto.
Esta es una evaluacin de la fase uno del proyecto entra21 realizado en 13 pases de Centro- y Sudamrica. http://www.iyfnet.org/document/1139
F U N DAC IN JAC O B S
| 29
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
QU SIGNIFICA
HABILIDADES
PARA LA VIDA EN
TU PROYECTO?
Cada organizacin que trabaja en el mbito
de desarrollo de las habilidades para la vida en
los jvenes tendr su propia definicin y su ma-
CASO DE ESTUDIO
Luta Pela Paz (LPP): Cuando se trabaja en una favela, en Ro de Janeiro, el contexto lo significa
todo. Luta Pela Paz (LPP) trabaja en el Complejo de Mar, llamado as porque est formado
por 17 comunidades con bajos ingresos que son el hogar de cerca de 135 mil personas, de las
cuales la mitad tiene entre 0 y 25 aos. La realidad a la que se enfrenta esta poblacin es similar
a realidad a la que se enfrentan muchos de los jvenes que participan en proyectos que conocemos o en los que trabajamos, pero se agrava por la presencia de tres facciones de narcotraficantes que estn presentes en la regin, as como de violencia policial. Las oportunidades para
acceder a la educacin o a una profesin son muy limitadas y muchos de ellos no terminan sus
estudios ya sea por tener que buscar un empleo remunerado cuando todava son muy jvenes,
o porque fracasaron en un sistema de educacin que no se adaptaba a su realidad o necesidades.
Con el proyecto Novos Caminhos, LPP ha intentado retornar a estos jvenes a las aulas, darles
un ttulo de educacin bsica y secundaria y prepararles para introducirlos en el mercado de
trabajo. No importa lo riguroso que sea el proyecto, lo importante es que debe contar con una
habilidad para la vida que en otro contexto se podra dar por sentado: la perseverancia. El
programa puede, como es deseable, y de forma bastante explcita mostrar a sus participantes
tcnicas de comunicacin y solucin de problemas, slo por nombrar algunas de las habilidades
bsicas para la vida, pero para los jvenes que ya han fracasado una vez en la escuela y que
han estado fuera de ella hasta cinco aos, la perseverancia es la clave. La elaboracin de
indicadores para medir la capacidad de los jvenes para permanecer en el programa, continuar
avanzando por los diferentes niveles hasta conseguir entrar en mercado laboral, resulta fundamental, en un contexto en que los aspectos ms bsicos de la supervivencia se les presentan
constantemente con preguntas tan fundamentales como: Seguir vivo el ao que viene?
En nuestro proyecto, es fundamental que los jvenes perseveren con el programa y continen
avanzando por los diferentes niveles hasta alcanzar el mercado de trabajo. Esto resulta clave en
un contexto en el que la violencia es una amenaza constante.
Gabriela Pinheiro, Luta Pela Paz
30 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
CASO DE ESTUDIO
Save the Children, Regin de frica Occidental y Swiss Contact en Burkina Faso, trabajan
con nios y jvenes marginados que son susceptibles de emigrar o estn de un lado para otro.
La principal prioridad de este programa es desarrollar una Affirmation de Soi (autoafirmacin).
Esta habilidad para la vida incluye elementos de otras descritas anteriormente.
Cuando se mudan, los nios y los jvenes se enfrentan a varios riesgos como explotacin, trfico,
abusos, etc. En la fase de reintegracin se enfrentan a dificultades como: falta de conocimiento
del mercado de trabajo local, falta de recursos y cualificacin. Intentamos desarrollar en ellos las
habilidades de Affirmation de Soi (autoafirmacin). Consideramos que esto:
les ayuda a protegerse del abuso,
desarrolla su capacidad para soportar presiones por parte de sus compaeros para que
abandonen el proyecto y para defender sus opiniones, por ejemplo, su decisin de seguir en
el proyecto o de escoger un camino profesional,
les ayuda a mostrar confianza en s mismos con respecto a las opciones que asumen para
protegerse y a ser capaz de mantener una decisin,
significa que esta habilidad va ms all de la autoestima y la autoconfianza. Esto muestra
elementos de determinacin, valor y perseverancia.
Enyo Gbedemah, Save the Children Suecia, Senegal, y Amsatou Salambere, Swiss Contact, Burkina Faso
Su definicin
Antes de planificar la evaluacin de las habilidades para la vida, hay que asegurarse de que todos los que participan en el proyecto entienden
lo que son las habilidades para la vida y lo que
se est desarrollando con un proyecto sobre
habilidades para la vida. Esto ayudar a comprender con ms claridad los objetivos de la
evaluacin.
La definicin puede variar de un contexto a
otro y puede depender tambin de la lengua.
Por ejemplo, en el taller realizado con colaboradores de campo de la Fundacin Jacobs, un
grupo subray la responsabilidad poltica
como una habilidad para la vida diferente,
mientras que otros la consideraron un resultado
del desarrollo de varias habilidades para la vida
como la habilidad para la vida n.9 mencionada
en la lista anterior: responsabilidad social y cooperacin. Esto es lo que el grupo entendi que
incluye la responsabilidad poltica:
F U N DAC IN JAC O B S
| 31
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
SEGUMIENTO Y EVALUACIN
DURANTE LA PLANIFICACIN DEL
PROYECTO
A veces, la evaluacin se lleva a cabo al final, o
es considerada algo que aadir al final del proyecto. Sin embargo, las buenas evaluaciones
son elementos muy valiosos en las primeras fases de la planificacin y diseo de un proyecto.
Permiten asignar el tiempo y los recursos adecuados. La actividad de evaluacin debe empezar justo al principio del proyecto para establecer una lnea de base para medir el cambio. La
evaluacin necesita recopilar informacin a travs del seguimiento del proyecto. Por eso, hay
que dedicar tiempo y recursos a las actividades
de seguimiento que se llevarn a cabo durante
el transcurso del proyecto. En vez de considerar
las actividades de seguimiento y la evaluacin
como parte de la planificacin del proyecto, hay
que considerarlas el ncleo de la planificacin y
del proceso de planificacin. Para ms informacin, ver las directrices de la Fundacin Jacobs
sobre planificacin de proyectos
(www.jacobsfoundation.org).
32 |
F U N DAC IN JAC O B S
Seguimiento
El seguimiento consiste en supervisar durante
el desarrollo de un proyecto, la trayectoria de los
objetivos alcanzados en un tiempo determinado
y los resultados finales (momentos cruciales).
Se trata de recopilar informacin durante el desarrollo del mismo, por lo que constituye una
parte importante para la evaluacin. Al principio
del proyecto es preciso preguntarse: Qu
quiero conseguir? Cundo? Sobre qu aspectos quiero hacer un seguimiento y por qu?
Despus, hay que preguntarse cmo, quin y
cundo lo har.
Por ejemplo, el seguimiento ms sencillo
consistira en llevar un registro de los asistentes
a una sesin sobre habilidades para la vida.
Algo un poco ms avanzado, sera proponer a
los participantes una o varias preguntas antes y
despus de la sesin y recopilar sus respuestas
o plantearles una votacin sobre qu (o cmo)
han aprendido. Esto nos dar una idea sobre si
se han entendido los mensajes clave. En esto
consiste el seguimiento.
El seguimiento se realiza durante el desarrollo de un proyecto. Por ejemplo, puede que haya
un proyecto que se lleve a cabo durante un ao
acompaado de sesiones semanales sobre habilidades para la vida. El seguimiento consiste en
entender qu sucede en esas sesiones semanales y cmo sucede. La recopilacin de esta informacin es til para y alimenta la evaluacin.
Por lo tanto, el seguimiento es una parte de
la actividad bsica del proyecto y normalmente,
es llevado a cabo por las personas que trabajan
en el proyecto.
Un seguimiento regular permite que las personas que trabajan en el proyecto aprendan y
apliquen de forma continua este aprendizaje a
sus aproximaciones y actividades sobre una
base de continuidad.
Para informacin ms detallada sobre la
actividad de seguimiento, ver Anexo 2 Otros
recursos, pginas 6163.
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
EVALUACIN
La evaluacin tambin consiste en hacer preguntas y detectar determinados aspectos del
avance del proyecto, sus xitos y resultados.
Hay cinco criterios especficos que se suelen
emplear en este mbito: ver Captulo 3, pgina 73.
Relevancia (nuestro proyecto es lo que
necesita la gente con la que trabajamos)
Eficiencia (estamos empleando todos los
recursos y capacidades disponibles. Por
ejemplo: tiempo, habilidades, financiacin,
etc.)
Eficacia (estamos haciendo lo que dijimos
que haramos)
Sostenibilidad (lo que estamos haciendo, se
puede mantener); e
Impacto (el proyecto est aportando
cambios)
EFICAZ
Est alcanzando el proyecto sus metas y objetivos?
Est teniendo los efectos esperados sobre el comportamiento?
Dnde hemos mejorado/necesitamos mejorar?
Podemos esperar lograr cambios similares en un proyecto de
mayor dimensin?
EFICIENTE
o que estamos consiguiendo, se est llevando a cabo de la
L
mejor manera posible?
Le gusta el programa a las personas que forman parte del
mismo? Por qu? Por qu no?
Encaja con el tiempo, el presupuesto y la gente disponible?
F U N DAC IN JAC O B S
| 33
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
dos en trabajos posteriores del proyecto o programa conjunto por evaluadores e investigadores
externos.
Podr encontrar informacin ms extensa
sobre los objetivos de una evaluacin fiable y un
anlisis ms profundo sobre evaluaciones de
impacto rigurosas de los programas sobre habilidades para la vida orientados a los jvenes en
el Captulo 3.
Normalmente, las evaluaciones se disean
al principio del proyecto para ofrecer una lnea
de partida o base. Se trata de recopilar datos
que posteriormente sern evaluados. Slo recopilando informacin al principio, podemos asegurar que el proyecto est surtiendo un mayor
efecto de lo esperado en relacin con el desarrollo o con otras cuestiones. El reconocimiento
de una buena lnea de base refuerza considerablemente el poder de la evaluacin.
Las evaluaciones se llevan a cabo en medio
de la marcha del proyecto (evaluacin parcial) y
al final (evaluacin final). Tambin resulta til llevar a cabo algunas actividades de evaluacin en
el intervalo de tiempo que va desde la planificacin del proyecto hasta su comienzo real. Esto
nos permite saber si debemos cambiar algo del
plan.
34 |
F U N DAC IN JAC O B S
INDICADORES DE HABILIDADES
PARA LA VIDA
Los indicadores de habilidades para la vida son
las caractersticas de la habilidad que examinaremos en las actividades de seguimiento y evaluacin. Antes de hacer un seguimiento y evaluar una habilidad para la vida, es importante
aclarar qu significan y comprobar que este significado es comn para todas las personas involucradas en la realizacin de actividades sobre
las habilidades para la vida, incluyendo a aquellos que se encargan de llevar a cabo su seguimiento y evaluacin. El hecho de tener claros
estos indicadores tambin ayuda a identificar
las mejores herramientas que se deben utilizar.
En las prximas pginas, haremos sugerencias
sobre indicadores para cada una de las 14 habilidades universales para la vida. Estos listados
aclaran qu significa cada habilidad para la vida.
Pretendemos que los lectores adopten, adapten
y encuentren inspiracin para nuevos indicadores.
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
Indicadores
Autorreflexin
P
iensa sobre cmo realizar una tarea
Reflexiona sobre autoconfianza y competencia
Reflexiona sobre fortalezas y cualidades propias
Es capaz de pararse y pensar antes de llevar a cabo una accin
P
iensa antes de culpar a otros por cosas que no han salido bien
Autonoma
Solucin de problemas
Manejo y autocontrol
Indicadores
F U N DAC IN JAC O B S
| 35
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
Indicadores
10
Empata
11
Establecimiento y mantenimiento
de relaciones
12
Indicadores
14
Asertividad o autoafirmacin
Es capaz de hablar de los roles, las responsabilidades y los inconvenientes de su propio gnero con fuerza y orgullo
Responde a una pregunta provocadora dando su propia opinin e
ideas, y con seguridad
Es capaz de expresar sus propias ideas y perspectivas incluso cuando
difieren de las de los dems
36 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
F U N DAC IN JAC O B S
| 37
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
Indicadores
Autoafirmacin
Perseverancia
38 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
OS 12 PASOS PARA
L
P LAN I F ICAR E L
S EG U I M I E NTO Y LA
E VALUACIN DE
U N P R OYECTO SOB R E
HAB I LI DADE S PARA
LA VI DA
El seguimiento y la evaluacin tienen varios
niveles de complejidad, pero las buenas evaluaciones de proyectos comparten caractersticas
similares. En estas directrices hemos establecido 12 pasos para planificar e implementar la
evaluacin de un proyecto. En la prctica, los
pasos no tienen por qu seguir siempre el orden
Paso Uno
O bjetivo
Una evaluacin tiene que tener unos objetivos claros. Qu y para qu se hace una evaluacin? Es decir, Cul es el OBJETIVO de la evaluacin? Tenemos que plantearnos los objetivos
generales del propio proyecto y reflexionar sobre los aspectos del proyecto que deben ser
evaluados. Es fundamental entender y aclarar el
objetivo de la evaluacin con respecto al proyecto en su conjunto. A veces, podemos querer
abarcar temas amplios y otras veces temas de
menor dimensin o ms limitados. La eleccin
debe estar basada en lo que necesitamos
aprender.
Ejemplo
El objetivo de la evaluacin es descubrir
si y cmo nuestro programa de un ao sobre
liderazgo en la comunidad orientado a los jvenes ha aportado el conocimiento, las habilidades y las actitudes necesarias para convertirse
en un eficaz joven lder comunitario.
Paso Dos
reguntas clave
P
El objetivo general de la evaluacin dar lugar a PREGUNTAS CLAVE a las que habr que
dar respuesta para alcanzar el/los objetivo(s) de
la evaluacin.
Ejemplo
Est nuestro programa creando lderes
comunitarios?
Cules son los aspectos ms importantes
de nuestro programa sobre liderazgo y por qu
son eficaces?
Estn los participantes en nuestro programa
sobre liderazgo asumiendo roles de liderazgo
en su comunidad?
Estas preguntas se centran en los QUs, los
CMOs y en el IMPACTO respectivamente.
F U N DAC IN JAC O B S
| 39
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
Paso Tres
S eleccin de los
indicadores
Para dar respuesta a estas preguntas de la
evaluacin tenemos que entender qu caracteriza a un buen lder comunitario o que hace que
un programa de liderazgo sea eficaz. Es probable que las respuestas a estas preguntas se encuentren en los documentos originales de planificacin. Se llaman INDICADORES, es decir, la x
que demuestra o es capaz de medir que y es el
caso. (Para obtener ms informacin sobre indicadores, consultar la pgina 34).
Ejemplo
a temperatura corporal es un
L
indicador de salud
Las horas y los minutos son indicadores de
tiempo
Los resultados de un examen son un
indicador del progreso en el colegio
Ser capaz de hablar de forma clara y
centrada en nombre de otros puede ser un
indicador de liderazgo
Es importante que los indicadores estn
directamente relacionados con las actividades
de tu proyecto. En las pginas 35/36 hemos
sugerido algunos indicadores para cada una de
las 14 habilidades universales para la vida.
Definir los indicadores puede ayudar a aclarar
tambin otros aspectos del proyecto, tal y como
se seala en el siguiente ejemplo.
40 |
F U N DAC IN JAC O B S
Ejemplo
He aprendido que el hecho de definir los
indicadores en la fase de planificacin supone
una mayor coherencia en el diseo del enfoque
pedaggico a utilizar en la implementacin de
las actividades sobre habilidades para la vida y
en el diseo de la evaluacin. Las actividades
de evaluacin tienen que centrarse en comprobar el rendimiento de los indicadores y esto
incluye cualquier pregunta que exija a los participantes una reflexin. Tambin es importante
comprender y crear una matriz que te ayude a
identificar en qu punto se encuentran los
jvenes, ya que no todos estarn en el mismo
nivel. Tienes que ser capaz de entender esto
y entender su progreso. Es importante informar
a los jvenes sobre cmo y cundo se llevar
a cabo la evaluacin, ya que esta motiva
durante el proceso de aprendizaje. La evaluacin por si misma les har ms conscientes
sobre el progreso que hacen.
Olga Vazquez, Stiftung Kinderdorf Pestalozzi, El Salvador
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
CASO DE ESTUDIO
Los indicadores sobre la iniciativa social y financiera de los jvenes
incluyen (Aflatoun*)
Indicadores cuantitativos (cuantificables):
Ingresos generados a partir de los proyectos por clase/escuela
Nmero de proyectos sociales y financieros que se han llevado
con xito a la prctica
Nmero de actividades en las que participan nios
Nmero de nios que participan en proyectos y actividades
sociales y comunales
Indicadores cualitativos (interpretados):
Deseo y capacidad de colaborar/trabajar en equipo
Capacidad de los nios para planificar y poner en prctica un
proyecto
Nios entusiasmados por participar en la comunidad
Habilidades para tomar decisiones y solucionar problemas
* http://www.aflatoun.org/downloads/aflatounevaluationmanual.pdf
Ejemplo
Los indicadores para hacer seguimiento y
evaluacin del liderazgo podran incluir:
Un joven muestra capacidad para hablar de
forma clara y centrada en nombre de otros.
Un joven es capaz de articular, planificar y
organizar a otros para ayudarles a alcanzar
determinada meta.
Un joven es considerado como un lder
por sus amigos y familia.
Estos indicadores se pueden tanto contar
como describir.
Uno de nuestros socios, Aflatoun, cre un resumen visual sobre estos tres primeros pasos.
Objetivo
Eficiencia; aprendizaje eficacia
Preguntas
Establecen lo que quieres aprender.
Te dan indicaciones sobre la evaluacin.
Ayudan a tomar decisiones sobre otros
aspectos de la evaluacin.
Tienen que poder medirse de forma realista.
Indicadores
Una variable (algo que se puede medir)
que demuestra que se est produciendo
una actividad especial o un cambio.
Tienen que estar directamente relacionados
con la pregunta formulada.
F U N DAC IN JAC O B S
| 41
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
F U N DAC IN JAC O B S
I
AC
RV
SE
OB
42 |
US
SC
DI
Una vez seleccionados los indicadores (elegidos, adaptados o ampliados), la siguiente decisin que hay que tomar consiste en elegir cmo
comprobar o medir el indicador y cundo hacerlo. Para ello, utilizaremos las herramientas
de seguimiento y evaluacin HERRAMIENTA(S).
Para obtener ms informacin sobre tipos de
herramientas, ejemplos de evaluacin y casos
de estudios que muestran cmo proyectos han
empleado estas herramientas para evaluar determinados proyectos sobre habilidades para
la vida, ver volumen 2/Herramientas. A continuacin, presentamos un resumen sobre la finalidad de comprender cmo encaja esta parte del
proceso de planificacin con los otros pasos.
Paso Cuatro
H erramientas
DOCUMENTOS
Las HERRAMIENTAS de cada una de las tres
categoras (ODD) pueden estar: altamente estructuradas y la informacin recogida se puede
contar o medir fcilmente. Por ejemplo, la informacin generada a partir de documentos como
registros, cuestionarios, programas de observacin e incluso algunas entrevistas. La informacin que se puede contar o medir fcilmente se
denomina CUANTITATIVA.
Cuando las herramientas estn menos estructuradas, hay que recopilar, limpiar, organizar y analizar cuidadosamente los datos generados. Normalmente, hace falta llevar a cabo una
interpretacin, y la persona que lleva a cabo el
anlisis tiene que usar su intuicin. Estos tipos
de herramientas suelen denominarse CUALITATIVAS.
En la evaluacin, es importante usar tanto
herramientas CUANTITATIVAS como CUALITATIVAS. Existen numerosas formas de combinar
ambos tipos de herramientas.
Como lo importante es el diseo especfico
de una herramienta de evaluacin, resulta til
probar la herramienta para asegurarse que genera el tipo de informacin que esperamos y
deseamos. Esto se llama PRUEBA PILOTO. Es
especialmente importante llevar a cabo una
prueba piloto sobre un cuestionario que tenga
que ser llevado a la prctica. Merece la pena
que te tomes el tiempo necesario para disear
bien tu herramienta, ya que ms adelante, te
ahorrar tiempo. Sin embargo, un fallo en la seleccin de las preguntas a realizar y en cmo
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Ejemplo
Podemos utilizar una gran variedad de
actividades de seguimiento y evaluacin para
aplicar el esquema de planificacin basado
en las herramientas ODD a nuestro ejemplo
sobre liderazgo:
Las actividades de seguimiento pueden
incluir:
Registro de la asistencia anotando los
nombres y las sesiones a las que se asiste/
falta. (Do)
Un programa de observacin que utilice
una escala de 15 en funcin de las
contribuciones realizadas al grupo siendo 5
el valor mximo/mejor. (O)
Notas del diario sobre cosas que han dicho
los jvenes de manera informal acerca del
desarrollo del proyecto/de esta fase del
proyecto. (Di)
Las actividades de evaluacin pueden
incluir:
A) Probar el indicador: Un joven es capaz de
articular, planificar y organizar a otros para
ayudarles a alcanzar una meta determinada.
Proponiendo a los jvenes una actividad
especfica y empleando un sistema de registro
para observar cmo se manejan ante dicha
tarea en un intervalo determinado de tiempo.
Esto nos permite saber quin asume qu papel.
Un ejemplo de una actividad podra ser:
Identificar un problema relacionado con la
salud que afecte a tu familia o comunidad.
Busca una solucin que entre t y tus amigos
podis asumir o apoyar en los prximos 6
meses. Desarrolla un plan y empieza tu
proyecto. Si es demasiado complejo logstica-
F U N DAC IN JAC O B S
| 43
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
Paso Cinco
R egistro
El siguiente paso consiste en cmo REGISTRAR la informacin para llevar a cabo la evaluacin y el seguimiento.
Para los cuestionarios, esto es parte del diseo y los que participan en la evaluacin aportan informacin al realizar elecciones o establecer prioridades, o al dar una o ms respuestas
previsibles. Esto puede ser fcilmente registrado utilizando un programa como Excel o con
un registro en el que se recogen, cuentan y analizan las respuestas. A veces, en el diseo del
cuestionario cabe la posibilidad de formular ms
preguntas abiertas.
Cuando se lleva a cabo una discusin o actividad en la cual se examinan, observan o articulan habilidades para la vida, hay que planificar
minuciosamente cmo registrar la informacin.
Hay que registrarla inmediatamente. Los encargados del cuestionario no deben confiar en su
memoria. Las herramientas ms cualitativas
tienden a generar ms informacin de la que se
necesita. Es importante recordar el objetivo y
registrar la informacin para cumplir con el objetivo. Tambin resulta til estar abierto a lo ines-
Ejemplo
1. Registro de la informacin obtenida
durante las actividades de seguimiento.
Registro de la asistencia anotando los nombres y las sesiones a las que se asiste/falta
Una plantilla de observacin basado en una
escala de 15 en funcin de las contribuciones realizadas en el grupo, siendo 5 el
valor mximo/mejor.
Notas del diario sobre cosas que han dicho
los jvenes de manera informal sobre el
desarrollo del proyecto/de esta fase del
proyecto.
Probar el indicador
Template 1
Un joven es capaz de articular, planificar y organizar a otros para ayudarles a alcanzar una meta determinada
Nombres/nmeros
de diez jvenes
elegidos de tres
grupos del proyecto
44 |
Descripcin de la
actividad e intervalo
de tiempo
F U N DAC IN JAC O B S
Otros
(es decir, sugerencias
del joven)
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Probar el indicador
Template 2
Un joven se describe a s mismo y/u a otros como un lder entre amigos y familia
Nombre:
Edad:
Sexo:
Nombre:
Edad:
Sexo:
F U N DAC IN JAC O B S
| 45
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
Paso Seis
M uestra
Este paso consiste en seleccionar a las personas que van a participar en la evaluacin.
Puede ser que esta decisin ya haya sido tomada en el momento de tratar el objetivo de la
evaluacin. Puede que est llevando a cabo actividades de seguimiento en un grupo grande
de, por ejemplo, 100 jvenes que participan en
el programa de liderazgo, pero que slo tenga
tiempo y capacidad para llevar a cabo una evaluacin formal y profunda en un grupo ms pequeo de, por ejemplo, el 10% o con 10 lderes.
En investigacin, este grupo se llama
MUESTRA y se da mucha importancia al hecho
de asegurarse de que los que participan en la
investigacin sean una MUESTRA REPRESENTATIVA de los grupos a los que va dirigido el
proyecto (o impacto, si los dos son diferentes).
Esto significa, aquellos jvenes cuyas habilidades para la vida son representativas del grupo al
que va dirigido su proyecto. A no ser que exista
un motivo especfico para ello, no escoja a todos
aquellos jvenes que lo estn haciendo bien o a
todos aquellos a los que el proyecto les parece
un desafo. Esto se llama SESGO.
Para evitar el sesgo, puede utilizar mtodos
sencillos, como darle un nmero a cada persona
del grupo que quiera evaluar y sacar nmeros
de un sombrero. O pdale a alguien que utilice
una secuencia para seleccionar nombres de la
lista (como cada tercer nombre, hasta alcanzar
el nmero que necesitas en tu muestra). Cuando
necesite una muestra, busque un mtodo que
se adapte a su proyecto y que asegure que no
se produce un sesgo.
De forma alternativa, planifique la recogida
de informacin de un grupo ms grande para
despus, utilizar slo la informacin de un pequeo porcentaje del grupo. Esto funciona bien
cuando recopilamos informacin en soporte papel, como cuestionarios o herramientas cualitativas de dibujo y escritura. (Para ms informacin, ver volumen 2/Herramientas).
46 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Paso Siete
F ormacin
El prximo factor a tener en cuenta consiste
en seleccionar, informar y si hace falta, FORMAR a aquellos que se encargarn de llevar a
cabo las actividades de evaluacin. A estas personas tambin se las llama ENCUESTADOR(ES).
Hay que tener cuidado a la hora de emplear
este trmino, ya que un encuestador puede hacer mucho ms que dirigir una encuesta.
Cuando est utilizando grupos de sondeo y
otros tipos de actividades creativas, el encuestador necesita unas buenas tcnicas de facilitacin. Es recomendable que aquellos que estn
involucrados en la recopilacin de datos no se
encarguen luego de analizarlos.
Las actividades de seguimiento son parte
de las buenas prcticas y las llevan a cabo los
empleados que forman parte del proyecto. Las
actividades de evaluacin son particulares. Pueden ser llevadas a cabo por los empleados que
forman parte del proyecto, pero tienen que recibir formacin como encuestadores.
Hay que ser consciente del efecto que una
relacin especial entre los encuestadores y
aquellos que van a ser evaluados puede tener
sobre los resultados, especialmente, cuando las
herramientas de evaluacin incluyen discusiones abiertas. Esto puede ser especialmente importante cuando un director est evaluando a
sus empleados/-as o un profesor evala a sus
estudiantes. Las herramientas que ofrecen anonimato y confidencialidad a los participantes o
el hecho de que el encuestador garantice confidencialidad y que sea neutral pueden ser una
solucin. La eleccin del encuestador depende
del objetivo de la evaluacin.
Si las actividades son llevadas a cabo o facilitadas por ms de una persona, el equipo necesita FORMACIN para poder llevar a cabo la
actividad de uniforme y coherente. Si un encuestador facilita las actividades de evaluacin
de forma diferente a otro, los resultados pueden no ser el resultado de las preguntas o actividades que se haban diseado, sino que pueden estar relacionadas con la forma en que se
dirigi la evaluacin. Si un nmero determinado
de encuestadores estn involucrados y cuentan
con experiencia y recursos, puede resultar til
facilitarles un guin a seguir. El significado de
las preguntas puede variar en funcin del ritmo
del discurso! Repite estas tres frases en alto:
Qu opinas de TI mismo como lder
comunitario?
Qu opinas de ti mismo como lder
COMUNITARIO?
Qu opinas de ti mismo como LDER
comunitario?
Hay que tener en cuenta que el nfasis en las
diferentes palabras cambia el significado de la
pregunta. Cada pregunta, con las mismas palabras, pero dicha de diferente manera, provoca
una respuesta diferente. En la evaluacin de tu
proyecto, puede ser fundamental que se formulen las preguntas empleando las mismas palabras y de la misma forma, o empleando la misma
entonacin. Esto requiere un aumento de la
concienciacin, una formacin y prctica por
parte de los encuestadores que llevan a cabo la
evaluacin.
Los encuestadores tienen que practicar
tanto la puesta en prctica de la evaluacin,
como la manera cmo se van a presentar y a
explicar el objetivo de la evaluacin. Tal como se
seal anteriormente, all donde hay jvenes involucrados, hay que tener en cuenta determinados aspectos ticos. (Para ms informacin sobre la puesta en prctica de evaluaciones con
jvenes, ver Appendix 1, pagna 58).
F U N DAC IN JAC O B S
| 47
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
Paso Ocho
R ealizacin de actividades de seguimiento
y evaluacin
Este paso est dirigido a la aplicacin de las
actividades de seguimiento y evaluacin planeadas, empleando las herramientas y registrando la informacin que ha sido designada.
Paso Nueve
R ecopilacin, limpieza
y organizacin de la
informacin obtenida
Este paso consiste en transformar la informacin que se ha recopilado durante el seguimiento y la evaluacin en DATOS a modo de
preparacin para el ANLISIS DE DATOS. Tendremos que RECOPILAR, LIMPIAR y posteriormente, ORGANIZAR la informacin.
RECOPILAR consiste en juntar toda la informacin obtenida de las diferentes fuentes
durante la evaluacin y el seguimiento, leerla,
examinarla, escucharla y hacerse una idea de lo
que se tiene. Resulta til hacerlo con otra persona para poder contrastar opiniones.
LIMPIAR la informacin consiste en eliminar
informacin o grupos de informacin. Por ejemplo, puede que una pregunta no haya sido traducida correctamente, o que un grupo de los que
est siendo evaluado haya llevado a cabo una
actividad de forma diferente a la mayora de los
grupos, y que los resultados de este grupo parezcan errneos.
ORGANIZAR la informacin consiste en volver a formatear la informacin y/o agruparla
para poder compararla o contabilizarla posteriormente. La informacin recopilada puede probar ms de un indicador o ms de un aspecto
de este indicador. La informacin puede ser registrada de formas diferentes y en diferentes
lugares. Estos pueden ser:
otas o casillas marcadas en una plantilla
N
de observacin;
Notas o grabacin de audio de notas
tomadas en un grupo de discusin;
Fotos o vdeos;
Informacin de diferentes secciones de un
cuestionario;
Informacin de diferentes cuestionarios, o
Notas tomadas en una entrevista.
48 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Puede ser recomendable (dependiendo del objetivo) organizar toda la informacin sobre un
indicador o grupos de indicadores en un mismo
lugar. Simplemente bastara con un corta y
pega de informacin o con dividir las partes de
un cuestionario en dos o ms.
Si la evaluacin se realiza al principio o en la
mitad del proyecto y se va a repetir, vale la pena
plantearse si se necesita identificar claramente
los datos de determinados individuos o grupos
para poder detectar y verificar los cambios
cuando se vuelva a realizar la evaluacin.
Si necesita identificar los diferentes trozos
de informacin, hgalo mientras la organiza.
Puede utilizar un nombre o un CDIGO. Los
CDIGOS son tiles en el caso de que el anonimato sea importante o til a efectos de la confidencialidad. Si va a separar diferentes trozos de
informacin, acurdese de identificarlos posteriormente, para poder volver a recopilar y a utilizar la informacin.
No olvide incluir la informacin relevante generada por las personas que se encargan de
hacer el seguimiento del proyecto.
Ejemplo
3)
F U N DAC IN JAC O B S
| 49
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
50 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Paso Diez
A nlisis
Una vez que se ha recopilado, limpiado y organizado la informacin, sta se convierte en
DATOS. El penltimo paso en la planificacin de
la evaluacin consiste en plantearse cmo
ANALIZAR los datos. Tiene que recordar la FINALIDAD de la evaluacin. Normalmente, durante las actividades de seguimiento y evaluacin se han obtenido ms datos de los que necesitas. Tenga claro lo que necesita y case a
ello. Si es posible, considere la posibilidad de
que surja algo inesperado.
Los mismos datos pueden ser analizados de
diferentes maneras y empleando diferentes niveles de dificultad. El mtodo que utilice depender del tiempo que tenga disponible para ello y
de la finalidad de la evaluacin. Recuerde que si
tiene buenos datos y los tiene bien organizados,
puede volver a ellos ms tarde y analizarlos con
mayor profundidad y con diferentes finalidades.
Aqu le presentamos unos sencillos pasos
que le pueden ser tiles para analizar datos.
Existen diversas maneras de hacerlo y este no
es EL mtodo, sino UN mtodo de recopilar, entender e interpretar los datos. Si su proyecto u
organizacin ya ha establecido una forma de hacerlo, utilice el mtodo que le sea ms familiar.
1. Recuerde la finalidad de la evaluacin y
los objetivos de la actividad especfica que gener los datos que va a analizar.
2. Familiarcese con los datos para empezar el
proceso de abstraccin y conceptualizacin:
Lea documentos, examine notas de
observacin, escuche casettes (segn sea
oportuno), etc.
Elabore una lista de los temas clave y
sub-temas que van saliendo.
Empiece a buscar consistencias, inconsistencias y otros patrones.
Tome nota de cualquier aspecto relevante.
Por ejemplo, del humor de los participantes,
el ambiente, etc.
| 51
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
Template 3
Tema a analizar:
Finalidad de la evaluacin:
Objetivos de la evaluacin:
Temas clave
Sub-temas
Ejemplo
Para evaluar el liderazgo en su proyecto, puede
analizar los resultados de la siguiente manera:
Cuente el nmero de jvenes que han
participado
Realice los porcentajes de asistencia y falta
de asistencia junto con los motivos que
alegaron los jvenes para justificar su falta
de asistencia
Calcule el alcance y la escala de la
actividad realizada por los jvenes, de la
que se tom muestra durante su desarrollo
Cuente la puntuacin global del resultado
Mida el nivel de progreso y comprelo con
el dato anterior
52 |
F U N DAC IN JAC O B S
Datos de todos
las fuentes de
sub-temas
(cdigo de colores en
funcin de la fuente.
Es decir, entrevistas,
encuestas, observaciones)
Frecuencia/Escala/
Qu puede ser
contado en estos
sub-temas
Otras notas
incluyendo cosas
relevantes que se
hayan dicho
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Ejemplo*
La mayora de los jvenes mejor
considerablemente al participar en el proyecto
sobre liderazgo. Cuatro de los jvenes pro
meten. Todos los jvenes de los grupos de
muestra, excepto uno, demostraron un gran
progreso. El mayor progreso fue alcanzado por
una joven que presentaba pocas habilidades o
seguridad al principio, a pesar de que al final
no fue una de las que obtuvo mayor puntuacin
en liderazgo. El comentario que hizo en el
ltimo debate es muy significativo: No voy a
dejar la escuela para casarme. Continuar
estudiando, y me casarr ms adelante.
Tambin es importante destacar que algunos
de los jvenes reconocen que NO son lderes
por naturaleza, pero que el proyecto les aport
la seguridad y las habilidades para identificar
un grupo de habilidades. Como (E) que dijo:
Este proyecto me ha hecho darme cuenta de
que no soy un lder, soy un organizador
Ejemplo*
A continuacin se presentan tres
estrategias que favorecen el cambio y los
avances que han surgido a partir de esta
evaluacin. Puede haber muchas ms.
1. Se necesit ms informacin de lnea de
base sobre habilidades y actitudes de jvenes
lderes antes de empezar con el programa.
Tenemos que elaborar un cuestionario o una
forma de obtener informacin ms detallada y
relevante sobre el perfil de cada participante.
2. Tenemos que encontrar una forma de
reconocer el progreso que hacen los jvenes y
lo que logran al llegar al final.
3. Nuestro foco en liderazgo en este proyecto
puede ser demasiado limitado, ya que muchos
jvenes no se identifican como lderes, pero
tienen otros grupos de habilidades que son igual
de importantes, como por ejemplo planificacin, ideas creativas o trabajo en equipo.
F U N DAC IN JAC O B S
| 53
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
Paso Once
R edaccin
El hecho de desarrollar y presentar un informe de evaluacin escrito da la oportunidad a
otros (agencias de financiacin, funcionarios,
investigadores y otras entidades) de aprender
de la evaluacin. Antes de decidirse a redactar
un informe, piense sobre cmo se comunica usted en el marco de su organizacin. Relacione
Template 4
4)
Adaptacin del libro Monitoring and Evaluation of a Street Children Project: A training Package on substance use, Sexual and
Reproductive Health including HIV/AIDS and STDs, Organizacin Mundial de la Salud 2002.
54 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
Paso Doce
C omunicar
El paso final consiste en COMUNICAR LOS
RESULTADOS de la evaluacin. Puede hacerse
mediante un informe, una presentacin o empleando ambos recursos. La evaluacin supone
un duro trabajo y requiere el esfuerzo de muchas
personas. Hay que limitar el tiempo que se dedicar a comunicar y a tratar interna y externamente los datos. Hay que reconocer y premiar los
aspectos positivos de la evaluacin, tratar a conciencia los aspectos que suponen un reto y relacionar los resultados de estas discusiones con la
planificacin y el diseo de nuevas actividades.
Es importante asegurarse de que hay suficientes
recursos para comunicar los resultados y hacer
el mejor uso de los resultados mientras el proyecto sigue adelante.
Un grupo importante que debe ser informado es l de los jvenes que participaron en la
El proceso de planificacin
Este esquema compuesto por 12 pasos puede
ayudar a los encargados del proyecto a planificar las evaluaciones. Como todo el material que
se encuentra en estas directrices este esquema
est diseado para ser utilizado, adaptado y ampliado.
Tabla 6
FINALIDAD
PREGUNTAS CLAVE
INDICADORES
HERRAMIENTAS
Decidir cmo REGISTRAR la informacin que hay que registrar y disear sus
propias hojas de registro
REGISTRO
MUESTRA
FORMACIN
IMPLEMENTACIN
RECOPILACIN,
LIMPIEZA
Y ORGANIZACIN
10
ANLISIS
11
REDACCIN
12
COMUNICACIN
Y AMPLIACIN DEL
PROYECTO
F U N DAC IN JAC O B S
| 55
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
LOS 12 PASOS
A travs del siguiente ejemplo, se proponen algunas ideas sobre los aspectos que podra contener un plan.
PROPSITO
PREGUNTAS
CLAVE
INDICADORES
HERRAMIENTAS
REGISTRO
56 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
LOS 12 PASOS
MUESTRA
FORMACIN
IMPLEMEN
TACIN
Recopile los cuatro grupos diferentes de informacin: nmero y sexo de los registros;
planes de sesiones, resultados de cada sesin y reflexiones de las notas de los
facilitadores, respuestas a cada una pregunta del cuestionario y respuestas a cada
una de las preguntas presentadas en las discusiones de grupo focal.
Compruebe la informacin para asegurarse de que se entendieron las preguntas.
Elimine cualquier informacin que demuestre que el participante malinterpret la
pregunta. Asegrese de no eliminar la informacin slo porque le sorprende.
Si fuera oportuno, copie la informacin a organizar.
RECOPILACIN,
LIMPIEZA Y
ORGANIZACIN
10
Recuerde la finalidad de la evaluacin. Familiarcese con los datos, elabore una tabla,
identifique los temas y sub-temas, introduzca los datos, indexe, examine, interprete
y extraiga conclusiones sobre lo que se ha aprendido de los resultados. Tome nota de
cualquier resultado inesperado o recomendacin que haya hecho un individuo
particular.
ANLISIS
11
REDACCIN
12
COMUNICACIN
Y AMPLIACIN
DEL PROYECTO
F U N DAC IN JAC O B S
| 57
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 1
A N E XO 1
ASPECTOS TICOS A CONSIDERAR
CUANDO HAY JVENES IMPLICADOS EN LA EVALUACIN DE
PROYECTOS SOBRE HABILIDADES
PARA LA VIDA
La mayora de los aspectos ticos que se
aplican a los adultos se aplican tambin a los
jvenes, sin embargo existan algunos asuntos
adicionales que hay que tener en cuenta. Algunos proyectos tienen polticas que incluyen estos aspectos que regulan que cualquier persona
relacionada o contratada por la organizacin
est obligada a leer, entender y confirmar que
aceptan dicha poltica.
Seguridad
Asegura que las actividades de evaluacin se
llevan a cabo en el inters superior de los jvenes y no los perjudicar. Tenga en cuenta que
existe un desequilibrio de influencia entre un
joven y los adultos (o incluso entre jvenes,
cuando uno de ellos tiene una posicin social
ms elevada). La evaluacin da al evaluador acceso privilegiado a los jvenes y a sus opiniones. Por ello el deber de protegerlos es primordial. Examina cualquier posible riesgo. Estos
riesgos pueden incluir: abuso psicolgico; sentirse avergonzado, expuesto o asustado y abuso
fsico o sexual.
Claridad y franqueza
Los jvenes necesitan sentir que sus ideas son
valiosas y tiles. Sin embargo, las actividades no
deberan crear expectativas poco realistas. Est
abierto a las decisiones que surgirn de la evaluacin, por ejemplo, la continuidad de la financiacin del proyecto. Permanezca abierto ante
la posibilidad de tener que acortar cualquier
tiempo extra de la evaluacin.
58 |
F U N DAC IN JAC O B S
Confidencialidad y confianza
Los jvenes necesitan saber si/cundo se romper la confidencialidad (por ejemplo, en caso
de que se revele un caso de abuso) y cules son
los parmetros.
Apoyo emocional y
consentimiento informado
Asegrese de que los jvenes saben lo que se
les est pidiendo que hagan y que pueden decir
que no a cualquier cosa que no quieran hacer.
Djeles escoger y sea consciente de las dificultades que algunos nios pueden tener para decir que no a un adulto.
Discutir sobre algunos temas puede resultar
doloroso para los nios. Piense cuidadosamente
a la hora de disear la evaluacin y asegrese
de que no despierta demasiados sentimientos
negativos o dolorosos.
Si se van a tratar temas delicados, asegrese de que hay adultos de confianza cerca que
puedan ofrecerles apoyo psicolgico.
Relaciones con adultos
Cuando se trabaja con jvenes, hay que tener
cuidado de no crear conflictos con los adultos,
especialmente, en sus familias. Esto es especialmente importante en actividades que impliquen tanto a jvenes como a adultos y que animen a expresar abiertamente opiniones.
Es fcil aceptar el punto de vista de los jvenes cuando coincide con nuestras propias
ideas. Asegrese de que aquellos que estn involucrados en el proceso de evaluar a los jvenes cuentan con las habilidades necesarias
para escuchar realmente y registrar el punto de
vista de los jvenes. Puede ser necesario llevar
a cabo actividades de instruccin y formacin.
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
ANEXO 1
Preguntas a formular
Antes de empezar con las actividades de evaluacin de jvenes y comunidades, es importante plantearse las siguientes preguntas:
Por qu se est llevando a cabo la
evaluacin?
Entienden los jvenes y sus familias/comunidad por qu se est llevando a cabo la
evaluacin? (Es decir, se trata de estar
abierto y ser transparente ante decisiones
que haya que tomar en funcin de la
evaluacin).
Quin se va a beneficiar de lo que se
aprenda de la evaluacin?
Quin establece los trminos de referencia
para la evaluacin? Por qu?
Qu mtodos se usarn para recopilar
informacin? Ayudarn a los jvenes a
sentirse cmodos y valorados, y a ser
creativos?
Supone el proceso de evaluacin, una
carga para los jvenes? En caso positivo,
cul es nivel mnimo en que tienen que
involucrarse para que su participacin sea
eficaz?
Cmo pueden participar los jvenes, sus
familias y sus comunidades en el aprendizaje derivado de la evaluacin?
Qu medios se utilizarn para permitir el
acceso de los jvenes y los adultos de la
comunidad a los resultados de la evaluacin? (Algunos pueden tener poca formacin).
Qu pasar despus de la evaluacin?
Cules son las reglas de confidencialidad?
Cmo se van a proteger los intereses y la
seguridad de las personas?
Qu tipo de consentimiento informado se
exige a los jvenes y sus padres/tutores?
F U N DAC IN JAC O B S
| 59
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 1
60 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
ANEXO 2
AN E XO 2
OTROS RECURSOS:
LISTADO COMENTADO
A continuacin, presentamos una pequea
seleccin de directrices adicionales sobre seguimiento y evaluacin que son importantes
para llevar a cabo una evaluacin sobre el terreno, para trabajar con jvenes y para el seguimiento y la evaluacin de programas de habilidades para la vida. Todas ellas estn disponibles de forma gratuita online.
Conjunto de herramientas sobre seguimiento y evaluacin, Janet Shapiro, CIVICUS
Este conjunto de herramientas hace referencia
a los detalles prcticos (los bsicos) relativos a
la elaboracin y el uso de un sistema de seguimiento y evaluacin para un proyecto u organizacin. Aclara el concepto de seguimiento y
evaluacin, cmo planearlo, cmo disear un
sistema que proporcione todo esto de forma til
y conjunta. Explica cmo recopilar la informacin que se necesita y cmo evitar sobrecargarse de datos, analizando la informacin de
una forma relativamente sencilla. Finalmente,
plantea e intenta tratar algunos de los aspectos
que tienen que ver con las medidas a adoptar
con base en lo que se ha aprendido.
CIVICUS: World Alliance for Citizen Participation (Alianza Mundial para la Participacin
Ciudadana) es una asociacin internacional con
miembros y socios, que trabaja desde hace ms
de una dcada en el fortalecimiento de la accin ciudadana y la sociedad civil en todo el
mundo, especialmente en regiones donde la democracia participativa y la libertad de asociacin ciudadana estn amenazadas.
Haga clic aqu para descargar el conjunto de herramientas:
http://www.civicus.org/new/media/Monitoring%20
and%20Evaluation.pdf
F U N DAC IN JAC O B S
| 61
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 2
62 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
ANEXO 2
F U N DAC IN JAC O B S
| 63
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 3
A N E XO 3
DETALLES SOBRE EL TRABAJO DE
LOS SOCIOS QUE COLABORARON
EN EL DESARROLLO DE ESTAS
DIRECTRICES
Aflatoun
Socios Aflatoun con organizaciones que desarrollan un programa de educacin social y financiera orientado a nios de entre 6 y 18 aos
tanto en escuelas como en entornos no for
males.
Aflatoun ofrece programas de actividades
que ensean a los nios valores y recursos, animan a ahorrar, les informan sobre sus derechos
y deberes y les ayuda a crear microempresas
sociales y financieras. A travs de una Educacin Social y Financiera, los nios estn capacitados para realizar cambios positivos en sus vidas y en sus comunidades.
A da de hoy, el programa de Aflatoun se
est llevando a cabo en ms de 50 pases y con
cerca de 600.000 nios.
http://www.aflatoun.org/
64 |
F U N DAC IN JAC O B S
Los programas y proyectos de la DKJS proporcionan respuestas prcticas a cuestiones urgentes sobre aspectos relacionados con los nios y los jvenes. Se buscan soluciones en
colaboracin con educadores adultos, autoridades gubernamentales, empresas, expertos acadmicos y los propios jvenes. La DKJS utiliza
su estatus de organizacin polticamente independiente para juntar comunidades diferentes y
para servir de puente entre las distanciadas
reas de responsabilidad de la administracin
pblica y los servicios de bienestar que existen
en Alemania.
Se asign a la DKJS la tarea de ofrecer una
organizacin-paraguas que acte como defensora de los intereses de nios y jvenes. El
pequeo fondo fiduciario (Childrens Hour),
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
ANEXO 3
F U N DAC IN JAC O B S
| 65
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 3
Grassroot Soccer
Grassroot Soccer (GRS) es una organizacin
que utiliza el poder del ftbol para educar, inspirar y movilizar a las comunidades para que luchen contra la propagacin del VIH. GRS proporciona modelos de conducta a la comunidad
local (jugadores profesionales de ftbol, entrenadores de deportistas jvenes, profesores,
educadores de jvenes, etc.) para ensear a los
jvenes cmo protegerse del VIH/SIDA. GRS
conduce directamente programas en Sudfrica,
66 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
ANEXO 3
F U N DAC IN JAC O B S
| 67
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 3
68 |
F U N DAC IN JAC O B S
CAPTULO 2 | SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES
ANEXO 3
F U N DAC IN JAC O B S
| 69
SEGUIMIENTO Y EVALUACIN DE LAS HABILIDADES PARA LA VIDA ORIENTADAS AL DESARROLLO DE LOS JVENES | CAPTULO 2
ANEXO 3
Nuestra investigacin y experiencia han sido publicados ampliamente, como por ejemplo:
Career Counselling: A handbook (Tata
McGraw Hill, 2004).
Cerca de 12 artculos cientficos publicados
en revistas tanto de La India como internacionales.
Presentaciones en conferencias nacionales e
internacionales.
Artculos populares, tales como columnas en
peridicos y revistas.
TPF se ha convertido en una institucin que
cuenta a la vez con la experiencia cientfica y el
conocimiento para la realizacin del potencial de
nios y jvenes.
Visite la pgina Web www.thepromisefoundation.org y
www.jivacareer.org
70 |
F U N DAC IN JAC O B S
CAPTULO 3
INTRODUCCIN
CAPTULO 3
EVALUACIN DE IMPACTO
DE LOS PROGRAMAS SOBRE
HABILIDADES PARA LA VIDA
ORIENTADOS A LOS JVENES: UN EXAMEN SELECTIVO
p o r T i n a M a lt i , Ph D, D e pa r ta m e n t o d e P s ic o l o g a
d e l a U n i v e r s i da d d e T o ro n t o, C e n t ro J ac o b s pa r a
e l D e s a r r o l l o P r o du c t i v o d e l o s J v e n e s , U n i v e r sida d de Z r ich.
I NTR ODUCCIN
Las evaluaciones de programas sobre habilidades para la vida orientados a los jvenes suelen tratar la cuestin de si la intervencin produce cambios positivos o negativos en la vida de
los grupos a los que van dirigidos los programas.
Las evaluaciones de impacto deben proporcionar
pruebas rigurosas de que los programas son eficaces o ineficaces, lo que supone un pre-requisito para su eventual xito. En otras palabras,
ofrecen respuestas fiables a la pregunta de si la
intervencin produce cambios positivos o negativos en la vida de los jvenes. Este captulo repasa algunos aspectos conceptuales y enfoques
metodolgicos a la evaluacin de impacto de los
programas sobre habilidades para la vida orientados a los jvenes. Despus de proponer una
definicin de evaluacin de impacto, trataremos
algunas de las razones para llevar a cabo una
evaluacin de impacto. A continuacin, se resumen los factores que pueden reducir la credibilidad de los cambios propuestos en los resultados.
La siguiente seccin ofrece un enfoque sobre los
diseos de estudios que se suelen utilizar para
responder a la pregunta de si la intervencin provoc cambios en los resultados. Especficamente, se resumen diseos experimentales, diseos cuasi-experimentales y no-experimentales. Finalmente, se trata el tema de la aplicabilidad
F U N DAC IN JAC O B S
| 71
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
Este captulo ofrece una introduccin a estas preguntas describiendo aproximaciones metodolgicos especficas para evaluar el impacto
de programas sobre habilidades para la vida
orientados a los jvenes. Estas aproximaciones
se encuentran resumidas bajo el trmino evaluacin de impacto. El presente captulo pretende ayudar al lector a entender el papel de la
evaluacin de impacto en este contexto ofreciendo algunas pautas generales. No pretende
profundizar en cmo dirigir evaluaciones de impacto. Su principal objetivo consiste, en realidad,
en presentar las aproximaciones ms comunes.
El tema de la aplicabilidad de las evaluaciones
de impacto a proyectos de socios de la Fundacin Jacobs ser tambin analizado5.
QU E S U NA E VALUA
CIN DE I M PACTO?
A pesar de que existe un acuerdo general
sobre el papel de las evaluaciones rigurosas de
impacto en las prcticas de prevencin e intervencin, existe cierto desacuerdo sobre cmo
definir los criterios de una evaluacin rigurosa
de impacto (White, 2009). A lo largo de este captulo, se emplea la siguiente definicin de evaluacin rigurosa de impacto (International Initiative for Impact Evaluation, 2010):
Lo ideal es que muestre una conexin causal entre el cambio y el programa, al igual que la
magnitud de dicho cambio. Esto es lo que diferencia una evaluacin de impacto, de otro tipo
de evaluaciones, que no suelen ser capaces de
demostrar claramente que un cambio observado puede ser atribuido a la intervencin. Las
evaluaciones estndares suelen centrarse en el
seguimiento de los resultados y no tienen en
cuenta nada que sea contrafactual. Una evaluacin de impacto, a diferencia, busca una rela-
5)
72 |
F U N DAC IN JAC O B S
CUN DO Y P OR QU
S E LLE VA A CAB O
U NA E VALUACIN DE
I M PACTO?
Las evaluaciones de impacto de los programas de intervencin tales como los programas
sobre habilidades para la vida orientados a los
jvenes son importantes por diversos motivos:
Ante todo, tienen el potencial de revelar con
un gran nivel de credibilidad, si los cambios
observados se deben o no a la intervencin.
A pesar de que en ocasiones, otro tipo de
enfoques de evaluacin miden los cambios,
no aclaran necesariamente si el cambio
medido se debe a la intervencin. Para
responder a esta pregunta es necesario
emplear evaluaciones de impacto rigurosas.
na evaluacin de impacto rigurosa
U
tambin tiene la ventaja de poder controlar
muchos de los factores que amenazan la
validez y por ello incrementan el nivel de
credibilidad de las evaluaciones ms que
los diseos que no son capaces de
controlar dichas amenazas (para ms
informacin sobre factores que amenazan
la validez de la evaluacin.
Tabla 8
Por esta razn, las evaluaciones de impacto rigurosas tienen un gran potencial para mostrar
pruebas sobre lo que funciona y lo que no. Estas
pruebas sirven a los profesionales, investigadores y financiadores a llevar a la prctica los programas ms eficaces (OCDE DAC, 2010). Tambin presenta mejoras sobre los siguientes
criterios comunes de evaluacin: relevancia, eficiencia, eficacia, sostenibilidad e impacto (OCDE
DAC, 2010). La Tabla 1 define brevemente estos
criterios.
Sin embargo, las oportunidades inherentes y las
ventajas que proporcionan las evaluaciones de
impacto rigurosas, descritas anteriormente, deben ser examinadas teniendo en cuenta los
retos que presentan:
Uno de los principales inconvenientes de
las evaluaciones de impacto rigurosas es
que llevarlas a la prctica requiere numerosos recursos, habilidades y tiempo.
Adicionalmente, no existe un acuerdo sobre
si el hecho de mostrar diferencias entre
los grupos de tratamiento y control es
suficiente para demostrar el impacto. En
realidad, se ha propuesto un enfoque ms
terico para las evaluaciones de impacto.
Este enfoque pretende explicar el campo
causal del inicio de la intervencin a los
resultados teniendo en cuenta el contexto
social y econmico en el que se lleva a
cabo la intervencin (Leeuw y Vaessen,
2009; Programa de las Naciones Unidas
para el Desarrollo, PNUD, 2009).
F U N DAC IN JAC O B S
| 73
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
M E NA ZAS PARA
A
LA VALI DE Z
DE LA E VALUACIN
El diseo de cualquier evaluacin de una intervencin sobre habilidades para la vida se expone al riesgo de amenazas que afecten su validez, es decir, a factores que pueden reducir la
credibilidad de los cambios propuestos en los
resultados. En trminos generales, la validez implica que las herramientas midan lo que deben
medir. Se suele establecer una diferencia entre
validez interna y externa. La validez interna hace
referencia a si la intervencin modifica los resultados especficos que son de inters (es decir, si
existe una relacin causal entre la intervencin
y los resultados, o si la intervencin contribuye
directamente a alcanzar los resultados deseados; ver Royce, Thyer y Padgett, 2010). Por otro
lado, la validez externa hace referencia al punto
hasta el que los resultados de la intervencin
pueden extenderse a otros contextos (Trochim,
2006).
74 |
F U N DAC IN JAC O B S
DISEOS DE ESTUDIO
Historia
Determinados eventos que no estn relacionados con el programa de intervencin pero que
afectan a sus resultados, al igual que a su proceso de evaluacin, pueden ser experimentados
por algunos participantes y por otros no. Llevar
a cabo un seguimiento de tales eventos puede
ayudar a entender sus efectos.
claro hasta qu punto se puede extender la intervencin a otros contextos. Por ello, a pesar
de que puede resultar a menudo difcil y/o inviable, es recomendable extraer las muestras a
partir de un amplio abanico de contextos, tales
como participantes de diferentes estratos socioeconmicos.
Sesgo de confirmacin
Este problema hace referencia al hecho de que
la experiencia de la primera prueba realizada
antes de la intervencin puede tener un impacto
sobre posteriores reacciones frente al tratamiento o futuras pruebas.
Un modo de controlar este problema consiste en comparar los resultados del grupo de
control/comparacin y el grupo de tratamiento
del pretest y del postest.
Como no existe ningn anteproyecto de evaluaciones de impacto sobre programas de habilidades para la vida orientados a los jvenes la
primera pregunta que hay que formular es cmo
seleccionar el diseo apropiado para responder a
la pregunta adecuada (ver OCDE, 2010).
Cambios de instrumento
En cualquier test en que se utilicen instrumentos antes de la intervencin y tras la misma, se
puede producir un sesgo en la medicin del impacto de la intervencin. Para evitar este sesgo
es importante formular las preguntas previas y
posteriores a la intervencin exactamente de la
misma manera.
Diferencias en las tasas de abandono
Si los participantes que abandonan un grupo
entre el pretest y el postest, difieren sistemticamente de aquellos que abandonan el otro
grupo, no sabemos si los resultados se deben a
la intervencin o a las diferencias en las caractersticas de las muestras finales. Por ello, debemos comparar las caractersticas clave de los
participantes que completaron el programa, con
aquellas de los que lo abandonaron.
Heterogeneidad de impacto
Si existe una diferencia en los resultados que
sea atribuible a factores del contexto, no queda
Antes de planificar una evaluacin de impacto rigurosa y su diseo, es fundamental establecer un sistema de seguimiento adecuado y
manejable, al igual que un sencillo sistema interno y/o externo de evaluacin que permita
asegurar que los proyectos mejoran constantemente (ver Captulo 2).
Es importante tener en cuenta que cualquier
diseo debe aplicar los principios de evaluacin
generalmente aceptados (ver, por ejemplo, los
DAC Evaluation Quality Standards, 2010). La
mayora de evaluaciones de impacto se dirigen
a las principales amenazas para la validez tal y
como describimos anteriormente y emplean
tanto mtodos cuantitativos como cualitativos.
Adicionalmente es preciso aclarar los aspectos
ticos. Estos temas van unidos a la eleccin del
diseo del estudio e incluyen, por ejemplo, preguntas sobre la seleccin, informacin y recopilacin de muestras y el anlisis y la publicacin
de los resultados (ver Eisner, Malti y Ribeaud,
en prensa; Grupo de Evaluacin de las Naciones Unidas, 2008). Por ultimo y no menos importante, cualquier entorno de una evaluacin
de impacto debe ser tratado en relacin con el
ratio coste-beneficio y los retos deben ser estimados de forma realista.
F U N DAC IN JAC O B S
| 75
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
DISEOS DE ESTUDIO
Diseos experimentales
Los experimentos aleatorios, o las pruebas controladas aleatorias (RCTs, por sus siglas en ingls), son mtodos de eleccin para probar la
eficacia o eficiencia de los programas sobre habilidades para la vida orientados a los jvenes.
Tanto las pruebas de eficacia como las de
efectividad son importantes formas de evaluacin en cualquier estudio de intervencin y pueden documentar su impacto. Sin embargo, las
pruebas de efectividad son especialmente importantes a la hora de traducir los resultados
a recomendaciones polticas (Eisner et al., en
prensa).
El tpico diseo experimental incluye un
grupo de control. En el contexto que nos atae,
el grupo de control est compuesto por adolescentes que tienen caractersticas similares a
aquellos que recibirn la intervencin de habilidades para la vida en el grupo experimental. A
diferencia del grupo experimental, el grupo de
76 |
F U N DAC IN JAC O B S
control no participa en el programa de intervencin. Los grupos de control nos ayudan a observar cmo cambian los resultados a lo largo del
tiempo cuando no se aplica ningn programa.
Para controlar los factores que pueden influir
sobre los resultados que nos interesan (por
ejemplo, edad, nivel de desarrollo, entorno socioeconmico), la asignacin de los participantes a los grupos experimental y de control debe
realizarse de forma aleatoria.
Los experimentos aleatorios pueden ser
clasificados en funcin de dos tipos de diseos:
pretest y postest y slo postest. Ambos diseos
asignan a los adolescentes al grupo experimental y de control de forma aleatoria, pero slo el
primero mide los resultados antes y despus de
la intervencin presentando el impacto correspondiente como un cambio en el resultado. Por
el contrario, el diseo slo postest mide nicamente los resultados una vez haya sido implementada la intervencin. En este caso, el impacto es representado por las diferencias entre
los resultados del grupo experimental y el grupo
de control.
Tabla 9
DISEOS DE ESTUDIO
F U N DAC IN JAC O B S
| 77
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
DISEOS DE ESTUDIO
Tabla 10
Experimentos Aleatorios
Descripcin
Diseos
Evaluacin de
habilidades
para la vida
Evaluacin de
impacto
Fortalezas
Desafos
Asignacin
aleatoria de los
participantes al
grupo experimental y al grupo de
control
Pretest y postest
Implementacin
antes y despus
del programa
Diferencias en
los cambios de la
puntuacin de
habilidades para
la vida obtenida
por el grupo
experimental y el
grupo de control
Alto nivel de
fiabilidad
Asignacin
aleatoria
no siempre
posible
Slo postest
Implementacin
despus del
programa
Diferencias en la
puntuacin de
habilidades para
la vida obtenida
por el grupo
experimental y el
grupo de control
Fcil recopilacin
de datos
No existen datos
del pretest sobre
el desarrollo de
habilidades para
la vida
Diseos cuasi-experimentales
Los diseos de las investigaciones cuasi-experimentales son similares a los de los experimentos
aleatorios: comparten muchos elementos, pero
no todos (ver Cook y Campbell, 1979). La princi-
78 |
F U N DAC IN JAC O B S
pal diferencia entre experimento y cuasi-experimento radica en que a pesar de que ambos emplean un grupo de control/comparacin, en el
caso de los cuasi-experimentales el grupo de
comparacin no es seleccionado de forma alea-
DISEOS DE ESTUDIO
Un ejemplo de un cuasi-experimento:
el programa AmeriCorps
AmeriCorps es un programa de servicio en los Estados Unidos. Cuenta con 75.000 participantes
anuales, la mayora de ellos de entre 18 y 24 aos. Los voluntarios colaboran en una gran
variedad de programas de servicio. El objetivo del estudio consista en evaluar a largo plazo el
impacto del voluntariado AmeriCorps sobre las habilidades para la vida de los participantes y
otros resultados. Se compar a cerca de 2.000 jvenes que participaron a tiempo completo en
ms de 100 programas de AmeriCorps entre los aos 1999 y 2000 con un nmero semejante de
jvenes que no particip en el programa. Para asegurar todava ms la similitud de ambos grupos,
el grupo de comparacin estaba compuesto por individuos que haban demostrado conocer y
estar interesados en AmeriCorps tras haber contactado con su lnea de informacin y haber
solicitado informacin sobre el programa, pero que no participaron en el mismo durante el
intervalo en que se llev a cabo el estudio. Se evaluaron determinadas habilidades para la vida,
tales como la responsabilidad social y la participacin civil tanto antes como despus de la
participacin en el programa y se compararon los cambios observados entre ambos grupos.
Mattero y Campbell-Patton, 2010
| 79
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
DISEOS DE ESTUDIO
Tabla 11
Estudios cuasi-experimentales
Descripcin
Diseo
Evaluacin de
habilidades
para la vida
Evaluacin de
impacto
Fortalezas
Desafos
Asignacin no
equivalente,
correspondiente
de los participantes a la intervencin y al grupo de
comparacin
Pretest y postest
Implementacin
antes y despus
del programa
Diferencias en
los cambios de la
puntuacin de
habilidades para
la vida obtenida
por el grupo de
comparacin y el
grupo de
intervencin
Asignacin por
similitud ms
sencilla que la
aleatoria
El grupo de
intervencin y el
de control
pueden ser
diferentes en
factores que las
similitudes no
captan
Slo postest
Implementacin
despus del
programa
Diferencias en la
puntuacin de
habilidades para
la vida obtenida
por el grupo de
comparacin y el
grupo de
intervencin
Fcil recopilacin
de datos
No existen datos
del pretest sobre
el desarrollo de
habilidades para
la vida
Diseos no-experimentales
Al contrario que los experimentos y cuasi-experimentos, los no experimentos no utilizan un grupo
de control o comparacin para evaluar el impacto
de un programa. Sin embargo, suelen utilizar tcnicas sofisticadas y modelos tericos estrictos
para demostrar los efectos causales en los resultados de un programa. En otras palabras, suelen
80 |
F U N DAC IN JAC O B S
DISEOS DE ESTUDIO
La mayor diferencia entre los diseos experimentales y no-experimentales es que los ltimos proporcionan al investigador un menor control sobre los factores externos durante las
diferentes fases del proceso ver captulo 3. Lo
ms importante, es que los diseos no-experimentales no permiten controlar muchos factores que pueden modificar los resultados. Por
este motivo, no pueden descartar explicaciones
| 81
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
DISEOS DE ESTUDIO
Tabla 12
Estudios no-experimentales
Descripcin
Diseos
Evaluacin de
las habilidades
para la vida
Evaluacin de
impacto
Fortalezas
Desafos
No existe grupo
de comparacin
o grupo de
control
Pretest-postest
Implementacin
antes y despus
del programa
Prueba cambios
en la puntuacin
por su envergadura
Puede detectar
cambios en los
resultados
Resulta difcil
identificar el
impacto del
programa
Slo postest
Implementacin
despus del
programa
No presenta
fortalezas para
medir el impacto
No puede medir
los cambios en los
resultados a lo
largo del tiempo
82 |
F U N DAC IN JAC O B S
DISEOS DE ESTUDIO
Comentarios finales
Se ha discutido ampliamente sobre el enfoque
metodolgico ms apropiado para llevar a cabo
una evaluacin de impacto. Ha quedado claro
que no existe una regla de oro para evaluar el
impacto de un programa de habilidades para la
vida orientado a los jvenes. En cambio, se ha
dejado claro que una teora del cambio convincente, el rigor y la diversidad metodolgica, un
anlisis razonable de la relacin coste-beneficio
y las cuestiones ticas son factores importantes que hay que tener en cuenta a la hora de
escoger un enfoque para disear una evaluacin de impacto.
Existen dos puntos de vista diferentes sobre
lo que se consideran buenas prcticas en las
evaluaciones de impacto (Hawe, Shiell y Riley,
2004). Un grupo argumenta que los diseos experimentales y aleatorios son los nicos mtodos fiables para determinar el impacto ya que
tan slo estos procedimientos son capaces de
explicar la variedad de factores que provocan
los cambios en las habilidades para la vida,
aparte de la propia intervencin. El otro grupo
afirma que la aleatoriedad que se requiere para
utilizar el primer enfoque suele ser inapropiada
porque a) las intervenciones llevadas a cabo en
diferentes lugares deben ser estandarizadas
y/o b) la aleatoriedad no resulta viable en contextos de la vida real, especialmente, con grupos de alto riesgo y/o programas que hay que
llevar a cabo en contextos que suponen un desafo. Por lo tanto, concluyen que los experimentos no son mejores que los no-experimentos en cuanto a la obtencin de conocimientos
veraces (Deaton, 2009, 2010).
A pesar de este debate y del hecho de que
cualquier evaluacin de impacto tiene que ser
diseada de forma individual y debe tener en
cuenta las caractersticas especficas y contextuales de los programas sobre habilidades para
la vida y las particularidades de la poblacin objeto de estudio (Jiang, Pepler y Yao, 2010),
existe el consenso de que una evaluacin de
impacto satisfactoria debe demostrar causalidad. Es decir, los cambios observados en las
habilidades para la vida tienen que ser atribuibles al programa. Para alcanzar este objetivo
hace falta una teora del cambio que cuente con
supuestos demostrables (es decir, cmo pronostica la intervencin los cambios en los resultados esperados). Hay que tener en cuenta que
la simple demostracin del impacto no es suficiente para los financiadores o los responsables
de poltica. Lo ideal es que los ratios costeefectividad y coste-beneficio tambin sean evaluados (Cunningham, Cohan, Naudeau y McGinnis, 2008a, 2008b).
La Tabla 13 resume las caractersticas clave
de los diferentes diseos de investigacin.
F U N DAC IN JAC O B S
| 83
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
DISEOS DE ESTUDIO
Tabla 13
Diseo de investigacin
Experimental
Cuasi-experimental
No-experimental
Caractersticas
Grupo de comparacin
asignado por similitud
Evaluacin del
impacto (diseo
pretest-postest)
Prueba cambios en la
puntuacin por su envergadura
Fortalezas
Desafos
La aleatoriedad no es siempre
posible; muy exigente en
cuanto a costes y recursos
La similitud no es siempre
posible; puede ser muy
exigente en cuanto a costes y
recursos
84 |
F U N DAC IN JAC O B S
postest de los resultados clave de habilidades para la vida y que este enfoque es
recomendable para proyectos de los socios
de la Fundacin Jacobs. Por otra parte, el
grupo de control y el grupo de comparacin
necesarios para los diseos experimentales
y cuasi-experimentales suelen ser, por
diversos motivos, inviables. Por lo tanto, no
son especialmente recomendables para los
proyectos de los colaboradores de la
Fundacin Jacobs. Normalmente, los
diseos no-experimentales suelen ser la
mejor opcin.
a mayora de las evaluaciones de impacto
L
deben basarse en una combinacin de
mtodos cuantitativos y cualitativos,
que refuercen las conclusiones por
triangulacin. Sin embargo, un nmero
reducido de proyectos todava se basan en
un nico mtodo para documentar los
cambios.
Los estudios sobre evaluaciones de impacto
de los socios de la Fundacin Jacobs deben
no slo analizar qu funciona y qu no, sino
por qu funciona o por qu no. El hecho
de responder a esta ltima pregunta
requiere disear un seguimiento y una
evaluacin sistemtica que incluya programar procedimientos lgicos, tericos, un
modelo de cambio y procedimientos de
seguimiento sistemtico.
En resumen, los proyectos de los socios de la
Fundacin Jacobs tendrn, en la mayora de los
casos, que documentar que el programa objeto
de estudio supone un impacto. Sin embargo, el
rigor de la evaluacin de impacto podr variar
en funcin de las caractersticas especficas del
proyecto, al igual que en funcin de los requisitos y las circunstancias contextuales. Por ello,
los socios de la Fundacin Jacobs deben analizar minuciosamente si resulta viable llevar a
F U N DAC IN JAC O B S
| 85
E VA LUACIN DE IMPACTO DE LOS PROGR A M AS S OB RE H A B ILIDA DES PA R A L A V IDA ORIEN TA DOS | CAPTULO 3
A LOS JV ENES: UN E X A MEN S ELECTI VO
REFERENCIAS
86 |
F U N DAC IN JAC O B S
R E F E R E NCIAS
Adamchak, S., Bond, K., MacLaren, L., Magnani, R.,
Nelson, K., & Seltzer, J. (2000). A guide to monitoring and
evaluating adolescent reproductive health programs. Retrieved
from http://www.fhi.org/en/index.htm
Biglan, A., Mrazek, P.J., Carnine, D., & Flay, B.R. (2003).
The integration of research and practice in the prevention of
youth problem behaviour. American Psychologist, 58 (67),
433440.
Boruch, R. (1997). Randomized experiments for planning
and evaluation: A practical guide (Applied Social Research
Method Series, No. 44). Thousand Oaks: Sage.
Cook, T.D, & Campbell, D.T. (1979). Quasi-experimentation: Design and analysis for field settings. Chicago: Rand
McNally.
Cunningham, W., Cohan, L.M., Naudeau, S., &
McGinnis, L. (2008a). Supporting youth at risk: A policy toolkit
for middle-income countries. The World Bank, Washington, DC,
In Moving from wish list to action #3. The importance of
evaluating youth interventions by Mattias K.A. Lundberg.
Cunningham, W., Cohan, L.M., Naudeau, S., &
McGinnis, L. (2008b). Supporting youth at risk: A policy toolkit
for middle-income countries. The World Bank, Washington, DC.
Moving from wish list to action #4. Selecting programs based on
cost-effectiveness and cost-benefit analysis by Mattias K.A.
Lundberg.
DAC Evaluation Quality Standards (2010). Quality
standards for development evaluation. Retrieved from http://
nzaidtools.nzaid.govt.nz/evaluation-quality-standards-dacstandards
Deaton, A. (2009). Instruments of development:
Randomization in the tropics, and the search for the elusive keys
to economic development. Working Paper, National Bureau of
Economic Research. Retrieved from http://www.princeton.
edu/~deaton/downloads/Instruments_of_Development.pdf
Deaton, A. (2010). Instruments, randomization, and
learning about development. Journal of Economic Literature, 48,
424455.
Domitrovich, C.E., & Greenberg, M.T. (2000). The study
of implementation: Current findings from effective programs that
prevent mental disorders in school-aged children. Journal of
Educational and Psychological Consultation, 11 (2), 193221.
Durlak, J., & DuPre, E. (2008). Implementation matters: A
review of research on the influence of implementation on
program outcomes and the factors affecting implementation.
American Journal of Community Psychology, 41 (3), 327350.
Eisner, M., Malti, T., & Ribeaud, D. (in press). Large-scale
criminological field experiments: The Zurich Project on the
Development of Children. In S. Gadd, S. Karstedt & S. Messner
(Eds.), Sage Handbook of Criminological Research Methods.
Elliott, D.S., & Mihalic, S.F. (2004). Issues in disseminating and replicating effective prevention programs. Prevention
Science, 5 (1), 4753.
European Commission (2010). Evaluation guidelines.
Retrieved from http://ec.europa.eu/europeaid/evaluation/
methodology/guidelines/gca_en.htm
Flay, B.R., Biglan, A., Boruch, R., Castro, F., Gottfredson, D., Kellam, S., et al. (2005). Standards of evidence:
Criteria for efficacy, effectiveness and dissemination. Prevention
Science, 6 (3), 151175.
REFERENCIAS
F U N DAC IN JAC O B S
| 87
Directrices
LISTADO DE TABLAS
LIST of templates
Template
Template
Template
Template
88 |
1 Probar el indicador
2 Probar el indicador
3 Tabla de actividad de anlisis de datos
4 Muestra de esquema de un informe de evaluacin
F U N DAC IN JAC O B S
www.jacobsFoundation.org