Professional Documents
Culture Documents
Para:
Hctor Salazar
Gerente Sectorial, SCL/SCL
Emiliana Vegas
Jefe de Divisin, SCL/EDU
Arturo Galindo
Jefe de Divisin, SPD/SDV
De:
Gina Montiel
Gerente General, CID/CID
Asunto:
HONDURAS. Programa de Educacin Primaria e Integracin Tecnolgica (HOL1062). Aprobacin final del Informe de Terminacin de Proyecto (PCR).
De acuerdo con los lineamientos de las guas para preparacin de PCR (OP-12423), el PCR de la operacin HO-L1062 Programa de Educacin Primaria e
Integracin Tecnolgica, ha cumplido con los procedimientos previstos para
obtener su aprobacin. Por tal motivo, adjunto para su conocimiento el Informe
aprobado con la calificacin y nota de efectividad adjunta.
Finalmente, informamos que de acuerdo a los plazos establecidos en el documento
(OP-1242-3) la Representacin enviar al gobierno la versin final del PCR
aprobado para no-objecin a su divulgacin.
Documentos includos:
- Informe de Terminacin de Proyecto (PCR)
- Anexo:
Nota de Efectividad en el Desarrollo
Banco Interamericano de Desarrollo 1300 New York Ave. NW Washington, D.C. 20577 USA www.iadb.org
Programa de Educacin
Primaria e Integracin
Tecnolgica
(2524/BL-HO / HO-L1062)
Informe de Terminacin de
Proyecto
(PCR)
Equipo de Proyecto Original: Eugenio Severin (SCL/EDU), Jefe de Equipo; Carlos
Olivares (EDU/CES), Jefe de Equipo Inicial Alterno; Jess Duarte, Ernesto Martnez, Ana
Santiago, Carla Jimnez y Claudia Cox (SCL/EDU); Bernadete Buchsbaum (LEG/SGO);
Rene Herrera (VPC/PDP); Nalda Orfilia Morales Vsquez (FMP/CHO); Kelvin Menoscar
Suero (FMP/CHO); Edissa Rivera (CID/CHO); Karen Mariela Suazo Padilla (CID/CHO);
Juan Carlos Martell (FMP/CHO); Fernando Pavn (CID/CHO); Bessy Romero (CID/CHO);
y Miguel Orellana (PDP/CHO).
Equipo PCR: Javier Luque (EDU/CHO); Hernn Jacobo Lagos (Consultor); y Claudia Cox
(SCL/EDU).
0
ndice
I.
Introduccin ........................................................................................................................ 1
1.1
Contexto ...................................................................................................................... 1
1.2
a.
II.
Componentes .............................................................................................................. 1
Efectividad ................................................................................................................... 2
a.
b.
c.
Resultados ................................................................................................................... 5
d.
e.
2.2
Eficiencia ....................................................................................................................18
2.3
Relevancia ..................................................................................................................22
2.4
Sostenibilidad .............................................................................................................22
III.
3.1
3.2
3.3
a.
b.
c.
3.4
3.5
IV.
4.1
4.2
4.3
4.4
4.5
Enlaces Electrnicos
1. Nota de Evaluabilidad
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39938627
2. Versin Final de Reporte de Progreso del Monitoreo (PMR)
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877373
3. Anlisis Costo - Beneficio
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877414
4. Informes de Evaluacin de Impacto
4.1
Resultado de las Evaluaciones de Impacto en el Marco del PEPIT
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877427
4.2
Informe de Poverty Action Lab
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877436
5. Minuta de la Reunin de QRR
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39667023
6. Informes Ejecutor
6.1
Informe de Cierre
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877447
6.2
Minuta del Primer Taller de Cierre
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877503
6.3
Minuta del Segundo Taller de Cierre
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=39877512
7. Propuesta de Prstamo
http://idbdocs.iadb.org/wsdocs/getDocument.aspx?DOCNUM=36580419
Acrnimos y Abreviaciones
APP
BID
B/C
CCEPREB
EFA
FEREMA
FITT
GOH
J-PAL
LFE
PBDM
PEPIT
POD
PRIDI
SACE
SE
TICs
TIR
UAP/SP
UCP
UMCE
UPNFM
VA
VMO
VMR
I.
Introduccin
1.1
Contexto
1.2
a. Componentes
Componente 1. Expansin de la cobertura de educacin pre-bsica (US$5,08 millones).
Se busc mejorar el acceso a educacin pre-bsica para nios de familias beneficiarias del
Programa Bono Diez Mil (PBDM) mediante: i) el financiamiento de intervenciones de
capacitacin y acompaamiento a educadores voluntarios; ii) la dotacin de mobiliario,
1
2
er
do
er
Las tasas de repitencia eran de: 20,3% en 1 grado; 14,3% en 2 grado; y 8,9% en 3 grado.
Estrategia de aprendizaje guiado, que provee de instrucciones especficas a los facilitadores para el
trabajo diario en aula.
Una evaluacin realizada en el 2007 encontr que los nios que participaron del programa tenan
er
significativamente mejores resultados y permanencia en la educacin bsica: la aprobacin en el 1
grado era mayor (90,8% versus 84,1% de quienes no haban asistido a los centros); la desercin era
er
menor (1,5% versus 5,1% tambin en 1 grado); y las habilidades en motricidad fina y gruesa, y
vocabulario y socializacin eran superiores.
II.
Efectividad
a. Objetivo(s) de desarrollo
Objetivo general: El objetivo general es mejorar los aprendizajes de los estudiantes de las
escuelas de educacin bsica que atienden a la poblacin ms pobre del pas, por medio de
acciones de capacitacin y acompaamiento a los docentes, la dotacin de textos y materiales
educativos y la incorporacin intensiva del uso de nuevas tecnologas en los procesos
educativos.
Objetivos especficos: Los objetivos especficos son: i) ampliar el acceso de la niez
desfavorecida al nivel pre-bsica, para mejorar las condiciones de escolaridad con que asisten
al primer ciclo de educacin bsica; ii) mejorar los aprendizajes escolares en la educacin
bsica en las escuelas beneficiarias del programa, especialmente en lectura, escritura y
matemtica; iii) aumentar las tasas de promocin de grado a grado y mejorar las tasas de
terminacin del 6to grado en las escuelas beneficiarias del programa; y iv) transferir a las
escuelas una estrategia para el uso educativo de las tecnologas, orientada a elevar los
Ver Documento de Marco Sectorial de Educacin y Desarrollo Infantil Temprano (GN-2708-2) por
una discusin sobre la literatura en pre-escolar.
El BID y la Tecnologa para Mejorar el Aprendizaje. Nota Tcnica IDB-TN-670. Arias y Cristia, 2014.
La lgica vertical se cumpli, los productos fueron los correctos para obtener los resultados e
impactos. No obstante, la ruralidad de las comunidades, la disponibilidad de fondos fiscales, la
ampliacin de plazo en procesos de licitacin, retos de dominio de contenido de los docentes,
la escasa preparacin previa en trmino de familiaridad con TICs de profesores y tcnicos,
entre otros, redujo la exposicin de los estudiantes a la intervencin en el periodo de ejecucin
del programa (ver informe del ejecutor, Enlace 6.1).
Dada la ruralidad y aislamiento de las escuelas los equipos de la UAP y la Unidad Coordinadora
de Proyectos (UCP), requirieron de recursos adicionales para acceder a muchas escuelas para
realizar instalaciones de equipos y su mantenimiento; y/o acompaamientos pedaggicos. Esto
demor la ejecucin del programa. Por otro lado, la identificacin de contratistas para las
adecuaciones elctricas requiri de diversas estrategias dados los elevados costos de transporte
de trabajar con las escuelas beneficiarias. Adicionalmente, dado el nivel de aislamiento de las
escuelas, la interaccin entre las mismas se limit a los eventos de capacitacin, y a las ferias de
intercambio de experiencias realizadas en el marco del programa7.
Diagnsticos del programa sobre el dominio de contenidos de los docentes mostr importantes
brechas de conocimiento del currculo de matemtica y lenguaje. As, que previo a la
capacitacin en el uso de las TICs, se tuvo que realizar actividades de reforzamiento del
currculo.
La implementacin del programa enfrent la falta de experiencia previa con TICs de los
profesores, as como de tcnicos especializados para realizar las actividades relacionadas a TICs
(el diseo de especificaciones tcnicas, la supervisin de trabajo de campo, etc.). Con relacin a
los docentes, en las capacitaciones se implementaron mdulos de habilidades bsicas en TICs 8.
Con relacin a los tcnicos, el personal de la UAP/SP fue ganando experiencia a lo largo del
proceso.
Si bien las asignaciones presupuestales permitieron la implementacin del programa, la
disponibilidad oportuna de recursos afect la velocidad de implementacin de las actividades del
mismo. Por ejemplo, en algunos casos los docentes y alumnos ya contaban con los equipos,
pero los docentes no haban recibido capacitacin en uso de tecnologa por falta de presupuesto.
La ejecucin operativa del programa se vio afectada por la existencia de dos unidades ejecutoras
separadas. Si bien, la coordinacin entre ambas fue lenta al comienzo de la operacin, la
coordinacin entre ambas aument considerablemente a medida que el programa fue
avanzando. Adicionalmente, la velocidad de implementacin se vio afectada por la extensin de
procesos de licitacin. Para garantizar una competencia adecuada, el proceso de licitacin de
computadores se extendi por un plazo de seis meses. Esto gener un retraso importante en la
llegada de los equipos a las escuelas.
Al momento del diseo de la operacin, solo se identific como riesgo la limitada experiencia
previa de Honduras con las TICs.
El equipo considera que las relaciones de causa-efecto implcitas en la lgica vertical fueron las
correctas. No obstante, la lgica vertical de futuras intervenciones en tecnologa debe incluir
mecanismos para garantizar la correcta cadena de implementacin de los diversos productos.
Esto es particularmente relevante en los casos en que la implementacin de los productos
c. Resultados
Para medir la efectividad del programa con relacin a los objetivos propuestos, se plante una
serie de indicadores, los mismos que, de acuerdo a la lgica vertical, incluyen indicadores de
impacto, resultado y producto. Los objetivos del programa se mantuvieron constantes a lo largo
de la implementacin del mismo. Se registraron cambios en indicadores de resultado y
producto de acuerdo a las condiciones que se observaron durante la ejecucin. A continuacin
se describen los cambios a la matriz de resultados y los logros del programa por tipo de
intervencin.
Intervencin en pre-bsica (Componente 1). La dispersin poblacional en zonas rurales
gener retos en la identificacin de comunidades rurales con la matrcula mnima de estudiantes
requerida (ocho nios de cinco aos), lo cual hizo necesario realizar los siguientes cambios en la
matriz de resultados:
Ajustar el nmero de CCEPREBs a ser creados de 645 a 624, una reduccin de 11. Este
ajuste gener una cadena de cambios en los productos del programa, todos los que
disminuyeron en 11: nmero de educadores capacitados, nmero de educadores
recibiendo seguimiento, nmero de paquetes Juego y Aprendo distribuidos, y pagos de
bonos a educadores (ver Tabla 1).
Cambiar el indicador del nmero de cupos creados con los nuevos CCEPREBs. Este
indicador se cambi de indicador de producto a indicador de resultado. Esto respondi
a la necesidad de alineacin con los indicadores corporativos de la divisin de
educacin, y a que se registr la matrcula efectiva, no la potencial.
Mientras se pudo medir adecuadamente, la meta del indicador de impacto fue cumplida:
Para los alumnos que asistieron a los CCEPREBs en 2012, la tasa de repitencia en 1er
grado baj de 20,3% a 13%, por debajo al 16% esperado para dicho cohorte. Dado que,
en el ao 2014, la SE adopt la promocin automtica entre el 1er y el 2do grado, el
indicador de repitencia es 0%, logrndose el objetivo, pero perdiendo la validez para
medir el impacto del programa sobre la cohorte que asisti a CCEPREBs en el ao 20139.
10
11
El indicador nmero de cupos creados con los nuevos CCEPREB no fue logrado. Este
indicador busca reflejar la inscripcin de estudiantes en el grupo de edad objetivo, y la
meta del indicador no se logr dado que solo 5.128 alumnos se matricularon11. Dada la
Los indicadores de impacto fueron apropiados con relacin a la evidencia en la literatura sobre
el impacto de pre-escolar12. Los indicadores de resultado y de producto fueron adecuados, pero
al formularse no se tomaron en cuenta los retos para la apertura de CCEPREBs.
Provisin de TICs a las escuelas (Componente 2 y 3) Si bien la ejecucin financiera fue
adecuada, la licitacin de compra de computadores adquiri 51.000 computadores de
estudiantes, frente a las 54.500 estimados durante la preparacin del programa. Frente a ello, la
entidad encargada de la seleccin de escuelas, la Unidad de Medicin de la Calidad Educativa
(UMCE), sugiri una disminucin del nmero de escuelas beneficiarias de 530 a 466 escuelas.
Este cambio afect el indicador de resultado: Nios beneficiados con acciones de refuerzo en
espaol y matemtica; y, los indicadores de producto: i) centros educativos que han recibido
textos de espaol y matemtica para estudiantes de 1er a 6to grado; ii) docentes capacitados en
lectoescritura, matemtica y uso educativo de tecnologa; iii) directivos capacitados en gestin
pedaggica y iv) centros educativos beneficiados con asistencia tcnica.
Con relacin a los indicadores de impacto se lograron:
Por otro lado, no se logr detectar cambios en resultados en matemtica y lenguaje a fines de
2013. La evaluacin de impacto del programa no registr cambios en los aprendizajes
estudiantiles en espaol ni matemtica. Esta falta de impacto puede ser atribuida a problemas en
la lgica vertical como a la capacidad de la evaluacin para detectar el impacto. Con relacin a la
lgica vertical, la exposicin de los estudiantes a la tecnologa fue solo de nueve meses en
promedio, versus a los dos aos considerados en la lgica vertical original, dado el aislamiento
de las escuelas, las visitas de acompaamiento fueron limitadas, los recursos no fluyeron
adecuadamente para apoyar las intervenciones, los docentes tenan retos no solo en TICs, sino
tambin en contenidos curriculares. Por otro lado, la evaluacin de impacto no estableci grupos
tratamiento y grupos control directamente comparables. Anlisis complementarios muestran
resultados distintos, favorables al programa con la informacin proveniente de la evaluacin de
impacto, a fines del 2013, pero restringida a zonas rurales; y, con informacin proveniente de las
pruebas censales de la SE a finales del ao 2014 (ver Enlace 4.1).
Con relacin a los indicadores de resultados:
12
Ver Documento de Marco Sectorial de Educacin y Desarrollo Infantil Temprano (GN-2708-2) por
una discusin sobre la literatura en pre-escolar.
Centros educativos que han recibido textos de lenguaje y matemtica para estudiantes de
1er a 6to grado.
13
Tabla 1
Cambios a la Matriz de Resultados
Seccin de
la Matriz
de
Resultados
Cambio especfico
realizado
Tipo de cambio
Resultado
Indicador de resultado
adicional que se
relaciona con el objetivo
del programa.
Producto
Eliminacin de un
indicador de producto
para ser considerado
indicador de resultado
en la matriz.
Producto
Nmero de educadores(as)
capacitados(as) en la
metodologa CCEPREB.
El indicador de resultado
inclua una meta original
de 645 CCEPREBs, la
cual se redujo a 624.
Producto
Nmero de educadores(as)
recibiendo seguimiento en
sus centros educativos en la
metodologa CCEPREB.
El indicador de resultado
inclua una meta original
de 645 CCEPREBs, la
cual se redujo a 624.
Fecha de
cambio
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Fecha de
cambio
acordado con
la entidad
ejecutora
Abril 2013.
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Abril 2013.
Enmienda al
contrato con
FEREMA el 21
de octubre de
2013.
Enmienda al
contrato con
FEREMA el 21
de octubre de
2013.
No objecin a
la enmienda
(fines 2013).
No objecin a
la enmienda
(fines 2013).
Seccin de
la Matriz
de
Resultados
Producto
Producto
Impacto
Resultado
Resultado
Producto
Cambio especfico
realizado
Tipo de cambio
Nmero de centros
educativos beneficiados del
paquete metodolgico y los
materiales Juego y Aprendo.
El indicador de resultado
inclua una meta original
de 645 CCEPREBs, la
cual se redujo a 624.
Dificultad de encontrar
comunidades con nmero
de alumnos requeridos
para establecer un
CCEPREB.
Nmero de educadores
El indicador de resultado Dificultad de encontrar
comunitarios recibiendo
inclua una meta original comunidades con nmero
bonos anuales.
de 645 CCEPREBs, la
de alumnos requeridos
cual se redujo a 624.
para establecer un
CCEPREB.
to
Graduacin de 6 grado.
Cambios en el indicador de Informacin actualizada
impacto: se elev la meta
por el sistema de
final de 75,48 a 90 en 2013. estadstica de la SE.
Se considera solo la
graduacin de dicho ao.
Nmero de nios
Se redujo el nmero de
Ajuste relacionado a la
beneficiarios con acciones
100.000 a 70.000
disminucin de las
de refuerzo en espaol y
nios(as).
escuelas incorporadas en
matemtica.
el programa de acuerdo a
disponibilidad de
computadores y estudio la
UMCE.
Nmero promedio de das
Se elimin.
Por razones de seguridad,
de la semana que los
el equipo no es retirado de
estudiantes utilizan recursos
la escuela.
tecnolgicos.
Nmero de centros
educativos que han recibido
textos de espaol y
matemticas para
er
to
estudiantes de 1 a 6
grado.
Ajuste relacionado a la
disminucin de las
escuelas incorporadas en
el programa de acuerdo a
disponibilidad de
computadores y estudio de
la UMCE. El cambio fue
recomendado por el
equipo de evaluacin.
Fecha de
cambio
Enmienda al
contrato con
FEREMA el 21
de octubre de
2013.
Enmienda al
contrato con
FEREMA el 21
de octubre de
2013.
Noviembre 2013.
Fecha de
cambio
acordado con
la entidad
ejecutora
No objecin a
la enmienda
(fines 2013).
No objecin a
la enmienda
(fines 2013).
Abril 2014.
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Abril 2013.
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Enero 2012.
Abril 2013.
Abril 2013.
Seccin de
la Matriz
de
Resultados
Cambio especfico
realizado
Tipo de cambio
Ajuste relacionado a la
disminucin de las
escuelas incorporadas en
el programa de acuerdo a
disponibilidad de
computadores y estudio de
la UMCE. El cambio fue
recomendado por el
equipo de evaluacin.
Ajuste relacionado a la
disminucin de las
escuelas incorporadas en
el programa de acuerdo a
disponibilidad de
computadores y estudio de
la UMCE. El cambio fue
recomendado por el
equipo de evaluacin.
Ajuste relacionado a la
disminucin de las
escuelas incorporadas en
el programa de acuerdo a
disponibilidad de
computadores y estudio de
la UMCE. El cambio fue
recomendado por el
equipo de evaluacin.
La SE incluy en las guas
pedaggicas en los
materiales incluidos en los
computadores.
Producto
Nmero de docentes
capacitados en
lectoescritura, matemtica y
uso educativo de tecnologa.
Producto
Nmero de directivos
capacitados en gestin
pedaggica.
Producto
Nmero de centros
educativos beneficiados con
la asistencia tcnica.
Producto
Producto
Adecuacin de
infraestructura en las
escuelas.
Adicin de un nuevo
indicador de producto.
10
Enero 2012.
Fecha de
cambio
acordado con
la entidad
ejecutora
Abril 2013.
Enero 2012.
Abril 2013.
Enero 2012
Abril 2013.
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Abril 2013.
Fecha de
cambio
Abril 2013.
Seccin de
la Matriz
de
Resultados
Cambio especfico
realizado
Tipo de cambio
Resultado
Cambio en el indicador
de impacto aumento de
5 a 15 das.
Producto
Computadores porttiles
para estudiantes
distribuidos.
Producto
Computadores porttiles
para docentes distribuidos.
Producto
Centros educativos
habilitados y conectados.
Producto
Nmero de computadores
porttiles distribuidos a
tcnicos y facilitadores.
Producto
Eliminacin del
indicador.
La figura de facilitador no
se utiliz en la ejecucin
del programa, solo
entregndose equipos a
los tcnicos.
Las condiciones de acceso
al internet solo
garantizaban el acceso
adecuado de los
estudiantes, por lo que se
evit crear ms usuarios
de la conectividad.
11
Al momento de realizar la
licitacin se recomend
cambiar los tiempos de
servicio, las condiciones
geogrficas de las
escuelas.
Ajuste por condiciones de
mercado registrados en el
momento de la licitacin.
Fecha de
cambio
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Preparacin de
PMR
correspondiente
a diciembre 2012
(abril 2013).
Fecha de
cambio
acordado con
la entidad
ejecutora
Abril 2013.
Abril 2013.
Abril 2013.
Abril 2013.
Abril 2013.
Abril 2013.
Tabla 2
Matriz de Resultados
Fecha en
la que las
Unidad de
Medio de
Metas y Resultados
Impacto/Indicador
metas
Medida
Verificacin
Alcanzados
fueron
alcanzadas
Impacto #1: Ampliar el acceso de la niez desfavorecida al nivel pre-bsica, para mejorar las condiciones de escolaridad con
que asisten al primer ciclo de educacin bsica
16,0
2012 (En
Valor Meta
(2012)
2014 se
Objetivo
12,0
instaur
(VMO)
(2013)
promocin
Encuesta a
automtica
Valor Meta
er
educadores a Ajustado
en 1
er
Tasa de Repitencia en 1
comienzos de
grado, no
(VMR)
grado de alumnos que
Tasa de
2014 sobre la
pudindose
20,3
2008
pasaron el programa versus
Repitencia
cohorte
medir el
aquellos de no lo hicieron
graduado de
indicador
CCEPREBS
para la
Valor
13,0
en 2012
cohorte
Alcanzado
(2012)
graduado
(VA)
de
CCEPREB
en 2013)
Impacto #2:Mejorar los aprendizajes escolares en la educacin bsica, especialmente en lectura, escritura y matemtica, en las
escuelas beneficiarias del programa
Resultados de aprendizaje en
VMO
0,2
2013 (ao
pruebas de espaol y
Desviacin
Evaluacin de VMR
de la
matemtica a estudiantes de
0,0
2010
estndar
impacto
evaluacin
er
to
3 a 6 grado (diferencias
VA
0
de impacto)
respecto del grupo control)
VMO
75,5
79,5
Tasa de
Datos
to
VMR
90,0
Graduacin en 6 grado
Actualizado
2010
2013
graduacin
administrativos
a 83,9
VA
90,0
Impacto #3: Transferir a las escuelas una estrategia para el uso educativo de las tecnologas orientada a elevar los aprendizajes
en escuelas de bsica que atienden a nios y jvenes de bajos recursos socioeconmicos
VMO
80
Porcentaje de computadores
Datos
VMR
de estudiantes disponible el
Porcentaje
0,0
2010
2013
administrativos
90% del tiempo escolar
VA
96
Valor de
Lnea de
Base
Ao de
Lnea de
Base
12
Resultado/Indicador
Unidad de Medida
Valor de Lnea
de Base
Ao de Lnea
de Base
Medio de
Verificacin
Metas y Resultados
Alcanzados
Fecha en la
que las
metas fueron
alcanzadas
Resultado #1: Ampliar el acceso de la niez desfavorecida al nivel pre-bsica, para mejorar las condiciones de escolaridad con
que asisten al primer ciclo de educacin bsica
VMO
2.000
Nmero de Centros
Centros
Datos
educativos con CCEPREB
1.500
2010
VMR
2013
educativos
administrativos
completamente operativos
VA
2.124
VMO
6.500
Nmero de cupos creados
Datos
Cupos
0
2010
2013
VMR
con los nuevos CCEPREB
administrativos
VA
5.128
Resultado #2: Mejorar los aprendizajes escolares en la educacin bsica, especialmente en lectura, escritura y matemtica, en las
escuelas beneficiarias del programa
VMO
100.000
Nios beneficiados con
Datos
acciones de refuerzo en
Estudiantes
0
2010
VMR
70.000
2013
administrativos
espaol y matemtica
VA
75.695
VMO
50
Habilidades en el uso
Datos
educativo de TICs por parte Porcentaje
0,0
2010
VMR
2013
administrativos
de docentes
VA
58
Promedio de das de la
VMO
2,0-3,0
semana en que los
Datos
VMR
docentes recurren a
Das
0,0
2010
2013
administrativos
recursos tecnolgicos en su
VA
3,3
prctica educativa
Resultado #3: Transferir a las escuelas una estrategia para el uso educativo de las tecnologas orientada a elevarlo aprendizajes
en escuelas de bsica que atienden a nios y jvenes de bajos recursos socioeconmicos
VMO
5
Tiempo promedio total para
Datos
Das hbiles
0,0
2010
VMR
15
2013
la reparacin de equipos
administrativos
VA
7
13
Producto/Indicador
Unidad de
Medida
Valor de
Lnea de
Base
Ao de
Lnea de
Base
Medio de
Verificacin
Datos
administrativos
Datos
administrativos
Datos
administrativos
Datos
administrativos
Metas y Resultados
Alcanzados
VMO
VMR
VA
VMO
VMR
VA
2013
2013
624
VMO
VMR
2.145
2.124
VA
2.124
VMO
VMR
2.145
2.124
VA
2.008
Componente #2:Fortalecimiento de la calidad de la oferta educativa en los dos primeros ciclos de bsica
Centros educativos que han
VMO
recibido textos de espaol y Centros
Datos
VMR
0
2011
matemtica para
educativos
administrativos
VA
er
to
estudiantes de 1 a 6 grado
VMO
Docentes capacitados en
Datos
lectoescritura, matemtica y Docentes
0
2011
VMR
administrativos
uso educativo de tecnologa
VA
Directivos capacitados en
VMO
Datos
gestin pedaggica
Directivos
0
2011
VMR
administrativos
VA
VMO
Centros educativos
Centros
Datos
beneficiados con la
0
2011
VMR
educativos
administrativos
asistencia tcnica
VA
Portal educativo operativo
VMO
Datos
Portal
0
2011
VMR
administrativos
VA
Adecuacin de
VMO
Centros
Datos
infraestructura en las
0
2011
VMR
educativos
administrativos
escuelas
VA
14
2.145
2.124
2.124
645
624
Fecha en la
que las
metas
fueron
alcanzadas
530
466
2013
2012 (los
pagos fueron
inferiores en
2013 y 2014)
2013
466
2.208
1.845
2.311
530
466
466
530
466
466
1
2013
2013
2013
2013
1
466
466
466
2014
Producto/Indicador
Unidad de
Medida
Valor de Lnea
de Base
Ao de Lnea
de Base
Medio de
Verificacin
Metas y Resultados
Alcanzados
15
54.500
51.000
51.000
1.833
2.311
2.410
550
466
466
500
260
161
Fecha en la que
las metas
fueron
alcanzadas
2013
2014
2013
2013
15
16
17
18
Del total de escuelas de Honduras, se seleccionaron las 1.200 con peores condiciones
socioeconmicas (pero con electricidad). De stas, las 466 escuelas que participaron en el programa
fueron escogidas de forma aleatoria, generndose, de esta manera, un grupo de escuelas control.
No obstante, por consideraciones de costos, la muestra de la evaluacin de impacto se redujo a 136
escuelas, incluyendo tanto las escuelas tratamiento como control.
Auto reporte de los alumnos.
Dada la caracterstica censal de la prueba de fin de ao, de las 905 escuelas incluidas en la muestra
del programa (tratamiento y control), se cont con informacin para 732 escuelas en el ao 2013 y
784 escuelas en el ao 2014.
17
a sus alumnos en dichas materias), y su mejor dominio de las TIC (ver Tabla 9, pgina 25 y
Tabla 23, pgina 37, Enlace 4.2). La SE ha manifestado que no hubo otras actividades de
capacitacin a escala durante la implementacin del programa (ver Minuta del Segundo Taller
de Cierre). Con relacin al indicador de resultado, promedio de das de la semana en que los
docentes recurren a recursos tecnolgicos en su prctica educativa, la evaluacin de externa
mostr un aumento en dicho indicador (ver Tabla 8, pgina 25, Enlace 4.2). Finalmente, con
relacin al indicador, Tiempo promedio total para la reparacin de equipos, los indicadores de
monitoreo del programa mostraron su cumplimiento. Si bien la evaluacin externa no incluy
indicadores sobre el mantenimiento tecnolgico, son consistentes con una adecuada
disponibilidad de los equipos, e indica una alta tasa de satisfaccin con la calidad de los
computadores (ver Tabla 5, pgina 23, Enlace 4.2).
2.2
Eficiencia
El B/C del programa total fue de 5,0, mientras que al aadir costos administrativos y de
evaluacin se reduce a 4,1. La TIR del programa total fue de 8,6%, mientras que al aadir
costos administrativos y de evaluacin se reduce a 7,0%
En el caso de la intervencin de educacin pre-escolar como de TICs en educacin bsica, las
tasas de retorno responden a un lmite inferior, dado que el anlisis no incluy mejoras en los
aprendizajes de los estudiantes, por lo que se esperara aumentos en la productividad de los
mismos una vez que lleguen al mercado laboral. Para esto, se llev a cabo un anlisis de
sensibilidad. El anlisis muestra que el B/C (TIR) del programa con gastos administrativos
aumentara de 4 (7%) a 18 (19%) con un aumento de productividad de 5% y a 33 (21,9%), con
un aumento de productividad de 10%.
El anlisis B/C muestra una mayor eficiencia del programa sobre el indicador original del POD,
2,04 versus 4. No obstante ello, el anlisis de eficiencia basado en TIRs muestra una menor
TIR del programa versus al valor original consistente con el POD, 14,6% versus 8,6%. Estas
diferencias provienen de distintos supuesto y estructura temporal de los beneficios (ver
Enlace 7). Al incluir ganancias en productividad, los resultados del programa exceden a los
presentados en el POD (ver prrafo anterior).
19
Tabla 3
Costos del Proyecto
Componente
Expansin de la
cobertura de
educacin prebsica
Fortalecimiento de la
calidad de la oferta
educativa en los dos
primeros ciclos de
bsica
Producto
Educadores(as)
capacitados(as) en la
metodologa CCEPREB
Educadores(as)
recibiendo seguimiento
en sus centros
educativos en la
metodologa CCEPREB
Educadores(as)
comunitarias recibiendo
estipendios
Centros Educativos
beneficiarios del paquete
metodolgico y los
materiales Juego y
Aprendo
Centros educativos que
han recibido textos de
espaol y matemtica
er
para estudiantes de 1 a
to
6 grado
Docentes capacitados en
espaol, matemtica y
uso educativo de
tecnologa
Directivos capacitados
en gestin pedaggica
Centros educativos
beneficiados con
Asistencia Tcnica
Portal Educativo
Operativo
Adecuacin de
infraestructura fsica en
las escuelas
220.941
220.941
303.492
303.492
20.548
20.548
65.562
65.562
1.801.800
359.732
832.883
4.296.829
4.296.829
11
4.235.483
4.235.483
11
1.602.000
1.602.000
1.157.171
1.157.171
1.644.440
1.644.440
1.292.943
1.292.943
693.540
693.540
405.551
405.551
563.950
563.950
389.647
389.647
455.000
455.000
377.556
377.556
2.725.000
2.315.587
2.315.587
541.800
1.260.000
2.725.000
20
473.151
Componente
Producto
Computadores porttiles
para estudiantes
distribuidos
Computadores porttiles
para docentes
Introduccin de la
distribuidos
tecnologa para el
mejoramiento de la
Centros Educativos
educacin bsica
habilitados y conectados
a internet
Computadores porttiles
distribuidos a tcnicos y
facilitadores
Sub-Total (Componentes)
[*]
Administracin y Otros Costos
Total (Proyecto)
13.146.475
13.146.475
34
15.477.976
15.477.976
42
3.499.810
3.499.810
1.078.231
1.078.231
1.182.000
1.182.000
1.835.409
1.835.409
120.670
115.075
115.075
31.973.003
6.286.997
38.260.000
84
16
100%
29.409.413
7.122.297
36.531.710
29.882.564
7.122.297
37.004.862
81
19
100%
120.670
30.713.003
6.286.997
37.000.000
1.260.000
* Intereses, auditoras, imprevistos/contingencias, y otros costos que no estn relacionados con productos.
21
473.151
2.3
Relevancia
El objetivo del programa fue el de mejorar los aprendizajes de los estudiantes de las escuelas
de educacin bsica que atienden a la poblacin ms pobre del pas, a travs de la ampliacin
de la oferta de educacin pre-bsica y la mejora de la calidad de la educacin bsica en las
zonas ms pobres del pas. De esta forma, el programa estaba alineado con el Plan de Pas
2010-203819, el Plan de Nacin 2010-2022. Con relacin al Plan de Pas, el programa est
alineado con el Objetivo 1, Una Honduras sin pobreza extrema, educada y sana, con sistemas
consolidados de previsin social, y su Meta 1.3, Elevar la escolaridad promedio a nueve
aos. Con relacin al Plan de Pas, el programa est alineado con su cuarto lineamiento
estratgico, Educacin y cultura como medios de emancipacin social, en particular sus
Metas 15, 16, 17 (aumento en matrcula en pre-escolar, primaria y tercer ciclo) y 21 (mejora en
rendimiento promedio en espaol y matemtica)20.
La relevancia del programa se ha mantenido, as el programa es relevante con el Plan de
Todos Para Una Vida Mejor (Plan Estratgico de Gobierno 2014-2018). Dentro del Plan de
Todos Para Una Vida Mejor, el programa apoya al primer objetivo estratgico: Fortalecer la
proteccin social a las familias en condiciones de extrema pobreza, apoyando al cumplimiento
de su segundo resultado sectorial: Ampliar cobertura y mejorar calidad de educacin; y, la
estrategia de ejecucin del plan en el sector de desarrollo e inclusin social: Ampliar cobertura
en diversos niveles y mejorar la calidad de la educacin bsica.
Adicionalmente, el programa est alineado con el Plan Estratgico Institucional 2014-2018 de la
Secretara de Educacin de Honduras. Entre los indicadores priorizados en el Plan Estratgico
Institucional relacionados con el programa encontramos: i) aumentar la tasa neta de cobertura
en el ao obligatorio de educacin pre-bsica (rea estratgica de acceso); ii) mejorar los
logros de aprendizaje estudiantil en espaol y matemtica (rea estratgica de calidad); y iii)
aumentar el nmero de centros educativos con acceso a TICs (rea estratgica de
competitividad)21.
En este sentido, el programa era consistente con la estrategia del Banco con Honduras (GN2475) vigente al momento de aprobacin, en lo referente al rea de focalizacin nmero 3:
Fomentar la formacin del capital humano. El programa tambin es consistente con la
estrategia vigente, especficamente con el objetivo de reducir las brechas en la generacin y
acumulacin de capital humano, particularmente en reas rurales, y de lograr una efectiva
inclusin social (GN-2796-1)22. El programa tambin est alineado con los objetivos del
Documento de Marco Sectorial de Educacin y Desarrollo Infantil Temprano (GN-2708-2),
aprobado por el directorio en mayo 2013.
2.4
Sostenibilidad
http://www.sefin.gob.hn/wp-content/uploads/2010/01/VISION_DE_PAIS.pdf.
http://www.scgg.gob.hn/sites/default/files/Plan_Gobierno_16junio_Capacitacion_POA_Presupuesto_2015.pdf.
http://www.se.gob.hn/institucional_planes/14/.
Las estrategias GN-2475 y GN-2796-1 tienen como indicadores la matrcula en tercer ciclo. El
programa, a travs de mayor graduacin y mayores aprendizajes en primaria y menor repitencia y
er
mejor preparacin en 1 grado debe afectar directamente la matrcula y la probabilidad de xito en
tercer ciclo.
22
23
a conexin a internet. Se estima que la materializacin de estos riesgos sobre el uso de los
computadores en el aula tiene una baja probabilidad.
III.
Criterios no Centrales
3.1
3.2
3.3
Monitoreo y Evaluacin
Dado el carcter innovador de las acciones apoyadas por la presente operacin, el GOH y el
BID dedicaron recursos para monitorear desafos en la implementacin de las intervenciones,
medir la efectividad de las mismas y buscar soluciones oportunas. Adicionalmente, de acuerdo
al POD del programa, para garantizar la calidad de la evaluacin de impacto del programa, su
diseo fue realizado por J-PAL.
a. Diseo del Sistema de Monitoreo y Evaluacin
La matriz de resultados (ver Tabla 2) fue la herramienta central para el monitoreo del programa.
Los indicadores modificados se consideran adecuados, ya que permitieron monitorear
adecuadamente los avances tanto por el lado pedaggico y como por el lado tcnico. El
programa fue diseado para permitir la evaluacin experimental del componente de TICs.
Adicionalmente, el programa fue acompaado de una Cooperacin Tcnica (ATN/OC-12957HO) para evaluar el componente de pre-escolar.
b.
Los indicadores de producto de la matriz de resultados fueron adecuados para medir el avance
del programa y detectar posibles dificultades para el logro de los objetivos. El programa
implement una Unidad de Monitoreo para recopilar la informacin a ser incluida en la matriz
de resultados; la misma realiz visitas peridicas para verificar el avance del programa y la
calidad del mismo.
La evaluacin de impacto fue implementada con importantes restricciones. Por un lado, la
escala de la misma se tuvo que reducir de forma significativa por consideraciones de costos.
Por otro lado, demoras en la compra de los computadores afectaron la exposicin de los
estudiantes a la intervencin, disminuyendo el periodo de exposicin de los alumnos a la
intervencin, y por ende, las probabilidades de identificar el impacto de la misma en los
resultados de los alumnos (ver Enlace 4.1).
El componente de educacin pre-escolar fue evaluado mediante un mtodo cuasi-experimental
(ver Enlace 4.1)23. El equipo identific un grupo control adecuado en trminos de edad y
pertenencia a la misma comunidad.
c. Utilizacin del Sistema de Monitoreo y Evaluacin
Los resultados de las actividades de monitoreo fueron utilizados para apoyar oportunamente la
implementacin de las actividades del programa, contribuyendo a mejorarla. Por ejemplo, los
23
25
3.4
Por invitacin del BID, el programa particip en un piloto para emplear al Tribunal de Cuentas
para realizar la auditora del programa. Esta iniciativa contribuy al fortalecimiento institucional
del Tribunal de Cuentas.
Con relacin al sector educacin, el programa gener informacin para la mejora de los
sistemas de bases de datos de la SE en el nivel pre-escolar. Adicionalmente, durante la
ejecucin del programa, la SE con apoyo del BID en el marco del PBDM mejor
sustantivamente sus sistemas de informacin y gestin de la educacin bsica25. El programa
us dichos sistemas como mecanismos de monitoreo adicionales a los previstos originalmente.
3.5
IV.
Hallazgos y Recomendaciones
26
26
4.1
Lgica vertical
4.2
Ejecucin y presupuesto
El logro de una coordinacin efectiva entre los ejecutores permiti la ejecucin oportuna del
programa.
La ruralidad y aislamiento de las comunidades intervenidas gener importantes retos en
ejecucin del programa. A pesar de brechas importantes en la matrcula de pre-escolar, fue difcil
encontrar comunidades que tuviesen los nmeros mnimos de estudiantes necesarios para abrir
centros de pre-escolar. Por otro lado, dada la ruralidad y alto grado de aislamiento de las
escuelas beneficiarias de tecnologa gener dificultades tanto para acompaamiento pedaggico
como tcnico. Adems, aspectos fiscales afectaron la velocidad en la que se ejecut el programa.
El diseo del programa para una ejecucin rpida demand la existencia de muchos procesos en
paralelo, sin una clara lgica de secuencialidad. Por ejemplo, las actividades de capacitacin
registraron retrasos debido a demoras en la provisin de equipos.
4.3
El programa fue ejecutado en un plazo relativamente corto y de forma satisfactoria, a pesar de las
dificultades de implementacin por las caractersticas geogrficas de las zonas priorizadas. Si
bien se registr un aumento en el plazo de ejecucin del programa, esto respondi a la extensin
de la licitacin inicial de compra de computadores para garantizar transparencia, lo que afect la
secuencialidad en las intervenciones.
4.4
Evaluacin de impacto
Con el objetivo de guiar futuras intervenciones tanto en la expansin del acceso a la educacin
pre-escolar como en la introduccin de TICs en el proceso educativo, el PEPIT se dise para
facilitar una evaluacin experimental. Si bien el diseo busc garantizar la calidad de la muestra
de las escuelas tratamiento y control, el mismo increment los retos logsticos, limit la
interaccin entre las escuelas, y gener mayores costos de mantenimiento de equipos y de
visitas de acompaamiento docente. Evaluaciones de impacto en el futuro deberan analizar en
detalle los beneficios y costos del proceso de aleatorizacin: por ejemplo, escoger grupos de
escuelas, en vez de escuelas individuales, para garantizar una mayor concentracin,
fortalecindose las redes educativas y reducindose los costos logsticos en capacitacin,
acompaamiento y asistencia tcnica. Si bien la evaluacin del componente de TICs mantuvo su
(http://www.sep.gob.hn/sitio/noticias/1271-educatrachos-impulso-la-integracion-tecnologica-en-lasescuelas-publicas).
Para
ver
reacciones
de
otros
agentes,
visitar
https://www.youtube.com/user/EducatrachosEDUCA.
27
4.5
Asuntos no resueltos
La falta de provisin educacin media (post-bsica) en las zonas de intervencin del programa
limita los impactos potenciales positivos del mismo. Es decir, el mayor rendimiento de los
alumnos, y posible mayor inters en seguir estudiando, se ver truncada, en muchos casos, por
la falta de oferta de educacin media.
Con relacin a la sostenibilidad de los CCEPREBs, el GOH ha manifestado que los costos de los
mismos sern financiados con fondos del programa EFA. En el corto plazo, existe el riesgo de
que la falta de pagos o demoras en hacer efectivos los mismos pueda generar mayores
deserciones de educadores capacitados por el programa, incrementando as los costos de la
intervencin. Adicionalmente, la poca penetracin financiera en zonas rurales genera desafos
especiales para el pago del personal del programa en esas zonas. Es necesario buscar
mecanismos adecuados para la realizacin de los mismos tales como, por ejemplo, pagos a nivel
del municipio o la comunidad.
Con relacin a la sostenibilidad del uso de TICs, aunque se ha logrado empoderar a los
profesores en el uso de las TICs en su prctica docente, es necesario el mantenimiento continuo
de equipos y el aseguramiento de la conectividad. Pese a que los recursos pedaggicos
desarrollados en el marco del PEPIT pueden funcionar sin conexin a internet, otros elementos
clave tales como las actualizaciones del software y el mantenimiento y/o acceso a otros recursos
educativos s requieren de una conexin estable y adecuada, por lo que se convierten en los
elementos ms vulnerables con respecto a la sostenibilidad de la inversin.
Con relacin a la sostenibilidad de la conexin a internet, se ha previsto que la futura
conectividad de los centros escolares sea financiada por el FITT, cuyo financiamiento proviene
del 1% de los ingresos brutos de los proveedores de servicios de telecomunicaciones. Este fondo
est recin operando. Es importante que estos fondos apoyen las adquisiciones y contrataciones
requeridas, de manera que el servicio de mantenimiento y conectividad no se suspenda al
concluir el programa.
28
Tabla 4
Hallazgos y Recomendaciones
Hallazgos
Recomendaciones
Lgica vertical
El diseo tcnico pedaggico de la intervencin tiene que ser
acompaado de un diseo tcnico operativo.
Intervenciones en el sector educativo tienen que tener el soporte
de los docentes.
Ejecucin y presupuesto
La cohesin del equipo ejecutor facilit la implementacin a
tiempo del programa.
29
Hallazgos
Recomendaciones
Asuntos no resueltos
Los actores son los factores clave para sostenibilidad.
30