Mejorando la Calidad de

Docentes en Amrica
Latina: Estrategias y
Evidencia de su impacto
Resultados preliminares
Estudio Regional sobre Docentes
Banco Mundial
Lima, Per
13 de marzo de 2012

Barbara Bruns, Javier Luque,

David Evans, Ines Kudo, Jessica
Rodriguez, Martha Hernandez

El aprendizaje de los
alumnos
es el principal determinante
de los retornos de la
educacin
(Hanushek y Woessmann,
2007)

Qu determina el aprendizaje de los alumnos?

no son los gastos en educacin

Resultados en Matemtica (Primaria) vs.
Gasto Pblico en Educacin

Tasa de aprobacin del examen de salida

de secundaria en Malawi (PSLE) vs. gasto
por estudiante

pero profesores y su productividad

Evidencia creciente que la productividad de los
profesores vara enormemente:
(medida como la capacidad de generar ganancias de habilidades)
Los mejores profesores pueden aumentar el
aprendizaje de los alumnos en 2 a 3 grados en
apenas un ao (Hanushek y Rivkin, 2005)

Efectos acumulados de estas variaciones son

enormes principalmente si tomamos en
consideracin que los profesores con ms baja
calidad se concentran en las escuelas ms
pobres
Alta variabilidad en la eficacia de los
profesores, entre pases pero tambin dentro
de las escuelas

pero, cmo existe dificultad en

identificar a buenos maestros: ni las credenciales
formales de los maestros ni aos de experiencia son
buenos identificadores.
Desempeno dos alumnos de profesores CON y SIN
maestria
40

Puntos Serce

30
20
10
0
-10

-20
-30

Paises en SERCE - 3er Grado

Sin Efecto Escuela

Con Efecto Escuela

Nota: Colores suaves denotan efecto no estadsticamente diferente de

cero.
Elaboracin propia.

La literatura no ha
encontrado evidencia firme
del impacto positivo de
caractersticas observables
de los maestros en el
desempeo de los alumnos.
Existe un consenso sobre el
impacto de la experiencia en
los primeros anos de
docencia, pero la evidencia
sobre las maestras es muy
heterognea.

Qu determina la efectividad de un
docente dentro del saln de clase?

Tener materiales dentro del saln de clase no

es suficiente

Tener computadoras dentro del saln de clase no es

suficiente

Tener un profesor dentro del saln de clase no es

suficiente

Estrategias para tener mejores profesores

Seleccin, apoyo continuo al desarrollo profesional
y motivacin de talentos

Seleccin
Fallas en la seleccin de talentos

Nuevas politicas de seleccin de talentos

Profesores son reclutados del tercio inferior

de estudiantes e de instituciones de baja
calidad. Es decir, por lo general poseen una
baja capacidad cognitiva.

Beca Vocacion Professor (Chile)

Pruebas de seleccin ms exigentes: Brasil
(Examen Nacional), Chile, Colombia, Jamaica,
Guyana, Guatemala
Certificacin alternativa para entrar en el
servicio pblico(Model Ensena Peru)
Chile, Per, Argentina, Brasil, Colombia, Mxico

Bajos requisitos de programas de

pedagogia:escuelas privadas sin acreditacion.

Standards mas elevadas para credenciamento

de programas de pedagogia (Peru)

Escasez de profesores de matemticas

ciencias y bajo nivel de conocimientos.

Incentivos especiales para materias criticas.

Apoyo continuo al desarrollo prof.

Problemas en el apoyo

Mejores prcticas de apoyo

Poca supervisin y apoyo para profesores

nuevos a pesar de la baja productividad
documentada durante el primer ao.

Programas inductivos (como la residencia

mdica):
Apoyo efectivo, soporte y evaluacion de
desempeo en los primeros aos.

No hay procesos de para despedir profesores

de bajo desempeo despus de ser
contratados. Existe una alta tasa de desercin
de la carrera en algunos pases.

Reformas permitan retirar del aula a los

profesores ineficientes.
Chile reforma del 2011: los directores de las
escuelas pueden separar el 5% de los
profesores que presenten el peor desempeo
cada ao.
Singapur 10% inferior directores son
separados cada ao.

Capacitaciones ineficientes

Capacitacin/entrenamientos basados en las

prcticas observadas en el aula.

Profesores no estn convencidos que todos los

estudiantes deben aprender.

Seleccionar y formar profesores para que

tengan valores como la perseverancia y crean
en los estudiantes.

Motivacin
Fallas en la motivacin

Motivando un alto desempeo

Escalas salariales planas. Salario promedio

despus de 15 aos de servicios slo 30 por
ciento ms que el salario de entrada.

Programas de carrera ms atrayentes

Chile AVDI, Sao Paulo Prova de Promoco,
Mxico CM, Per CPM ofrecen grandes
aumentos con promociones basadas en la
competencia

Esquemas salariales no son estratgicos.

Incentivos para atraer a los mejores

profesores a las escuelas con los mayores
desafos. (RJ, Brasil)

Los padres por lo general no ejercen presin

sobre el desempeo de los profesores.

Dar a los padres el poder de decisin para

demandar servicios de calidad y ser
informados sobre el desempeo de la
escuela.

Disculpas para el fracaso: pobreza, falta de

apoyo de los padres, escasez de recursos en
las escuelas

Si un estudiante no est aprendiendo es

culpa nuestra
Secretario de Educacin del Estado de Sao Paulo

Motivacin
Evidencia del Pago por desempeo
Evidencia global basada en experimentos
Impacto Positivo

Impacto Nulo

India rural, Kenia rural, Israel - escuelas de secundaria en

Chile Programa SNED
(pero los tamao de los efectos son muy variados)

EE.UU. (Nashville), ciudad de Nueva York (primer ao)

Evidencias emergentes de Brasil

Las caractersticas del diseo del
programa importan
Tamao del bono
Criterios para recibir el bono
Cobertura
Anticipacin de efectos negativos (enseanza
para el examen, y otros)

Cules son los cambios que ocurren dentro del

aula una vez que se reciben los incentivos?

Evaluaciones en marcha en tres sistemas

educativos. Impacto positivo en Pernambuco.

Evidencia de Pago por Resultados?

PE

Observando a los docentes

Analizando la caja negra del Saln de Clase

Mtodo de Stallings: Instrumento para

analizar la caja negra
Evidencias sobre las prcticas de los profesores
y la dinmica del saln de clase en Amrica
Latina y el Caribe
En anlisis: Brasil (Pernambuco, Minas
Gerais, Ro de Janeiro), Mxico (DF),
Jamaica, Honduras, Colombia y Per
En proceso: Guatemala
Planeado: El Salvador, Paraguay, Repblica
Dominicana

Muestra de Estudio Stallings, 2009-2012

2009-2010

Mexico, D.F.

2011
2012

Honduras

Jamaica

Colombia

Pernambuco

Peru

Minas Gerais
Paraguay
Rio de Janeiro
Argentina

El mtodo Stallings nos permite identificar:

1. Uso del tiempo por los docentes

2. Uso de materiales instructivos
3. Prcticas pedaggicas centrales
4. Habilidad de mantener a los alumnos
involucrados

El mtodo permite crear una fotografa del

saln de clase
En una clase se realizan 10 observaciones en
intervalos regulares de tiempo

Hoja de Observacin

7 tipos de material
MATERIAL
MATERIAL
MATERIAL

14 tipos de
Actividades:

Acadmicas

ACTIVIDAD
ACTIVIDAD
ACTIVIDAD
1.
LECTURA
EN
VOZ
ALTA
1.LECTURA
LECTURA EN
EN VOZ
VOZ ALTA
1.
Marque
sisi es
LECTURA
A CORO
Marquesi
es LECTURA
LECTURA A
Marque
es
CORO
2.
EXPOSICION
YY DEMOSTRACIN
2.EXPOSICION
EXPOSICION Y
DEMOSTRACIN
2.
DEMOSTRACIN
3.
PREGUNTAS
YY RESPUESTAS
3.PREGUNTAS
PREGUNTAS Y
RESPUESTAS
3.
RESPUESTAS
/DEBATE/DISCUSIN
/DEBATE/DISCUSIN
/DEBATE/DISCUSIN
4.
PRCTICA/MEMORIZACIN
4.PRCTICA/MEMORIZACIN
PRCTICA/MEMORIZACIN
4.
5.
TAREA/TRABAJO
5.TAREA/TRABAJO
TAREA/TRABAJO
5.
INDIVIDUAL/EJERCICIO
INDIVIDUAL/EJERCICIO
INDIVIDUAL/EJERCICIO
6.
COPIAR
6.COPIAR
COPIAR
6.
7.
INSTRUCCIN
VERBAL
7. INSTRUCCIN
INSTRUCCIN VERBAL
VERBAL
7.
8.
8.INTERACCIN
INTERACCIN SOCIAL
SOCIAL
8. INTERACCIN SOCIAL
9.
9.ALUMNO
ALUMNO NO
NO INVOLUCRADO
INVOLUCRADO
9. ALUMNO NO INVOLUCRADO

8 No acadmicas

C UA D E R N O S
CCUA
M A T E R IA
UADDEERRNNOOSS
MMAATTEE
RR
IAIA
S IN
/
S
//
LIB R O D E
P IZ A R R
L
SIN
IN
LL
M A T E R IA LIB
LIBRRO
O DDEE E LE M E N T O S PPIZIZAARRRR
MA
EELE
T EXT O
N
D ID C T IC
A TT E
ER
RIA
IA
LEMMEENNTTOOSS
TTEEXXTTO
NN
DDIDIDCC
TT
ICIC
L
DE
O
LL
DDEE
O
OO
E S C R IT UR A
EESSCCRRIT
ITUR
URAA

10.DISCIPLINA
DISCIPLINA
10.
10. DISCIPLINA
11.ADMINISTRACIN
ADMINISTRACIN DE LA
11.
11. ADMINISTRACIN DE LA
CLASE
CLASE
CLASE
12.ADMINISTRACIN
ADMINISTRACIN DE LA
12.
12. ADMINISTRACIN DE LA
CLASE
POR S
S SOLO
SOLO
CLASE POR
CLASE POR S SOLO
13.INTERACCION
INTERACCION SOCIAL
SOCIAL DEL
13.
13. INTERACCION SOCIAL DEL
DOCENTE O
O DOCENTE
DOCENTE NO
DOCENTE
DOCENTE O DOCENTE NO
INVOLUCRADO
INVOLUCRADO
INVOLUCRADO
14.DOCENTE
DOCENTE FUERA
FUERA DEL
DEL AULA
AULA
14.
14. DOCENTE FUERA DEL AULA

D
D
A
A
D
D
D
A
A
A
D
D
D
A
A
A
D
D
D
A
A
A
D
D
D
A
A
A
D
D
A
A

11
11
11
1
11
1
11
1
11
1
11
1
11
1
11
1
11
1
1
1
11

PP
PP
PP
P
PP
P
PP
P
PP
P
PP
P
PP
P
PP
P
PP
P
P
P
PP

G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G

TTT 111 PP
P
1
P
11 PP
TTT 111 PP
P
111 PP
P
TTT 111 PP
P
111 PP
P
TTT 111 PP
P
111 PP
P
TTT 111 PP
P
111 PP
P
TTT 111 PP
P
111 PP
P

GG
G
G
GG
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G

D
D
A
A
D
D
A
A

11
1
1
1
1

PP
P
P
P
P
P
P

G
G
G
G
G
G
G
G
G
G
G
G

TTT 111
11
1
T
T
T

T 1 P G T 1
GG
G TT 11 PP GG TT 11
GG
11 PP GG
11
G
1 P G
1

D
D
D
D
D
D
D
D

1
1
1
1
1
1
1
1

P
P
P
P
P
P
P
P

G
G
G
G
G
G
G
G
G
G
G
G

GG
G
G
GG
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G

TTT 111 PPP

111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP

GG
G
G
GG
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G
GG
G

TTT 111 PPP

111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP

C OOP ER A
CC
OOO
PE
PR
EA
RA
T IV O
T IV
OO
T IV

T 1 P G T P G T
GG
G T T 1 1 P P GG T T P P G G T T
GG
111 P PP GG
P PP GG
G
G
G
T 11 P P GG T T P P GG T T
GG
T
G T 1 P G T P G T
GG
111 P PP GG
P PP GG
G
G
G
T 11 P P GG T T P P GG T T
GG
T
G T 1 P G T P G T
GG
111 P PP GG
P PP GG
G
G
G
T 1 P G T P G T
GG
G T T 1 1 P P GG T T P P G G T T
GG
111 P PP GG
P PP GG
G
G
G
T 11 P P GG T T P P GG T T
GG
T
G T 1 P G T P G T
GG
111 P PP GG
P PP GG
G
G
G
T 11 P P GG T T P P GG T T
GG
T
G T 1 P G T P G T
GG
111 P PP GG
P PP GG
G
G
G

En este espacio se codifica la

actividad con el material y el
nmero de participantes

G
A 1 P G
A 1 P G
D
D
A
A
D
D
A
A

TTT 111 PPP

111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP
TTT 111 PPP
111 PPP

T IC
TT
ICIC

TT
T

PP
P
PP
P

PPP
PP
P

T 1
GG
G TT 11
GG
11
G
1

PPP
PP
P

T 1 P G T P G T
GG
G T T 1 1 P P GG T T P P G G T T
GG
11 P P GG
P P GG
G
1 P G
P G

En D se codifican las actividades

del Docente y los Alumnos que
trabajan con l

TT
T

En A se codifican las actividades de

los Alumnos que trabajan de forma
independiente al Docente

Resultados Emergentes

Uso del tiempo en el aula

Pases latinoamericanos vs. OECD

100%
90%
80%

12.2%
21.9%

70%

15.7%
22.2%

15.6%

32.4%

13.3%

26.4%

20.7%

15.0%

18.3%

60%
50%
85.0%

40%
30%

65.8%

62.1%

52.0%

60.3%

61.0%

RJ, BR

Jamaica

20%
10%
0%
Colombia

Ant, CO

DF, MX

Off task

No acadmica

Acadmica

OECD

Uso del tiempo en el aula

Pases latinoamericanos vs. OECD

100%
15.0%

90%
80%

21.9%

70%

22.2%

32.4%

26.4%

18.3%

60%
50%
85.0%

40%
30%

65.8%

62.1%

52.0%

60.3%

61.0%

RJ, BR

Jamaica

20%
10%
0%
Colombia

Ant, CO

DF, MX

No acadmica

Acadmica

OECD

Uso del tiempo en el aula

Actividades Acadmicas

100%
90%
80%
70%
60%

11.8%

12.1%

9.7%

50%

5.5%

5.4%
85.0%

40%
30%

54.0%

50.0%

46.6%

50.6%

55.4%

Colombia

Ant, CO

DF, MX

RJ, BR

Jamaica

20%
10%
0%

Grupo Pequeo

Grupo Grande

OECD

Uso del tiempo en el aula

Actividades Acadmicas con grupo GRANDE

100%
90%
80%
70%
60%
50%
85.0%

40%
30%

54.0%

50.0%

46.6%

50.6%

55.4%

Colombia

Ant, CO

DF, MX

RJ, BR

Jamaica

20%
10%
0%

Grupo Grande

OECD

Actividades de los Docentes

Discusion y Demostracion

Asignacion

Copiado

45%
40%

40%
35%

35%

34%

32%

32%

30%
25%

21%
20%
15%

22%

17%
12%

10%
5%

25%

24%
22%

8%

10%

11%
5%

0%
Colombia

Antioquia-Colombia

Honduras

DF Mexico

4%
Jamaica

6%
Rio Janeiro-Brazil

Mucho tiempo com alumnos no involucrados

Alumnos Off Task

Grupo Grande

71%
66%

65%

26%

Colombia

63%

61%

57%

29%

22%

Antioquia-Colombia

Honduras

20%

Jamaica

23%

DF-Mexico

22%

Pernambuco-Brazil

Ejemplo sobre la utilizacin de materiales

Use de Materiales Colombia

2% 3%

Uso de Materiales en Antioquia

3% 2%

Sin material

7%

24%

5%

Libro

21%

Cuaderno
30%

11%

Pizarral

31%

14%

Materiales
23%

TIC
Cooperativo

24%

La prctica docente vara mucho entre las

escuelas o instituciones educativas.
Resultados para Quinto grado - Colombia
3

2.5

1.5

Quinto

0.5

0
0%

20%

40%

60%

80%

% del tiempo en actividades acadmicas

100%

La prctica docente vara mucho entre las

escuelas o instituciones educativas.
Resultados para Noveno grado - Colombia
3

2.5

1.5

Noveno

0.5

0
0%

20%

40%

60%

80%

% del tiempo en actividades acadmicas

100%

La prctica docente vara mucho entre las

escuelas o instituciones educativas.
Resultados para Onceavo grado Colombia
2.5
2

1.5

Onceavo
1

0.5

0
0%

20%

40%

60%

80%

% del tiempo en actividades acadmicas

100%

La prctica docente vara mucho entre las

escuelas, pero tambin dentro de las
escuelas[Resultados Colombia]
% del tiempo en actividades acadmicas

100%

100%

90%

88%

80%

78%

77%
80%

66%

79%

77%

77%

50%

66%

50%

80%

65%

80%

55%
50%

54%

55%

53%

55%

40%
30%

89%

88%

50%

70%
60%

88%

33%

33%

33%

20%
10%
0%
Quinto grado
Noveno grado
Onceavo grado

Quinto grado (within)

Noveno grado (Within)
Onceavo grado (within)

El modelo de multigrado en Colombia [Escuela Nueva]

muestra importantes logros en actividades academicas del
docente
Colombia

Honduras
71%

69%

58%

65%

Normales

Multigrado

Normales

porque hay gran diferencia en tiempo en actividades de aprendizaje

entre escuelas normales y multigrado

Multigrado

Relacin entre observaciones

Stalling y resultado de alumnos

COLOMBIA
En general, ms tiempo en actividades
acadmicas est asociado a un mejor
resultado en la prueba SABER
Resultados para Quinto grado
310

305

305

300
300

295

295
290

290

285

285

280

280

275

275

270
0%

20%

Acadmicas

40%

Lenguaje

60%

80%

Acadmicas Grupo Grande

100%

Off task

0%

20%
Acadmicas

40%
60%
80%
Matemticas
Acadmicas
Grupo Grande

100%
Off task

Uso del tiempo en el aula y resultados en la

prueba SABER por quintil de desempeo

Quinto grado
Lenguaje

Matemticas

80%
70%

70%
63%

68%

60%

64% 62%

60%

63%
51%

56%
50%

50%

50%
40%

40%

30%

30%
20%

20%

13%

13%

7%

10%

10%

9%

0%
*Acadmicas

*Acadmicas
Grupo Grande

Peor Quintil

Mejor Quintil

*Off task

0%
*Acadmicas

*Acadmicas
Grupo Grande

*Off task

Uso del tiempo en el aula y resultados en la prueba

SABER- Matemticas por quintil de desempeo

Quinto grado
Tipo de Actividad Acadmica
Peor

Tipo de Materiales

Mejor

Peor

25%

60%

20%

50%

15%
10%

40%
30%
20%

5%
10%
0%
0%

Mejor

MEXICO

Tiempo en actividades academicas

Relacin entre el resultado en ENLACE y el %

del tiempo del docente en actividades
acadmicas
75%

73.3%

70%
65%

55%

59.9%

59.0%

60%
54.9%

54.6%

54.0%

50%
45%

40%

3rd 1st

3rd 6th - 6th 9th 5th

1st
5th
1st
Resultados ENLACE por quintil de desempeo

9th 5th

70%
64.8%

65%

academicas

Porcentaje en actividades

Relacin entre el resultado en ENLACE y el

% del tiempo del docente en actividades
acadmicas con grupos grandes

60%
55%
50%

53.2%

54.8%
51.2%

50.0%

47.4%

45%
40%

3rd 1st

3rd 5th

6th 1st

6th 5th

9th 1st

Resultados ENLACE por quintil de desempeo

9th 5th

Relacin entre el resultado en ENLACE y el

% del tiempo del docente en Off-Task
25%
21.8%

Tiempo OFF TASK

20%
15.9%

15.2%

15%

15.6%

10.5%
10%
6.7%
5%
0%

3rd 1st

3rd 5th

6th 1st

6th 5th

9th 1st

Resultados ENLACE por quintil de desempeo

9th 5th

Rio de Janeiro, Brazil

5th grade

* Statistically Significant at 10%

** at 5%

Cmo motivar los docentes

Pago por desempeno en el estado
de Pernambuco (Brazil)

Pernambuco Contexto Sector Educativo

Estructura salarial con bajo rol de

incentivos (escala salarial unica
90% de los salarios explicados por
edad, experiencia)
Sanciones bajas y falta de
supervision (no existen medidas
correctivas dado bajos resultados o
alta ausentismo)
Bajo enfoque en resultados

Unused school library and

computer lab

Sistema de Bonos por Desempeo en Pernambuco: Diseo

El gobierno contrato una firma consultora en administracin del
sector pblico para disear el sistema.
Incentivos grupales-todos los maestros y personal de la escuela
son benefiicarios (en forma proporcional a sus salarios).
Diferentes metas por escuela: Meta para un ndice combinado de
mejora en la promocion de alumdnos en cada ciclo (grados 1-4, 58, secundaria) y resultados en pruebas estandarizadas en
matematicas y portugues
El bonus incentivo:
Resultados en la prueba de desempeo estatal (SAEPE) y
Mejoras en tasa de promocin.
Las escuelas deben lograr por lo menos 50% de suas metas para
lograr el bonus.

Sistema de Bonos por Desempeo en Pernambuco :

Preguntas de pesquisah
Pregunta 1: Funcion el sistema de pago por mritos? Mejoro los
resultados en pruebas estandarizas y tasas de aprobacin?
Pregunta 2: Cmo funcion?

Cmo respondieron las escuelas en el corto y mediano plazo?

La conducta de los maestros cambi en relacin a los incentivos?

Los efectos variaron de acuerdo a las condiciones de estudiantes,
maestros y escuelas?

Hubo efectos negativos? (gaming, cheating, teaching to the test,

egtrampas en los examenes )

Pregunta 3: Cmo las escuelas respondieron a metas diferenciadas?

Las escuelas que no ganaron el bonos promovierno o no el esfuerzo?

Sistema de Bonos por Desempeo en Pernambuco :

Resultados del programa

Schools achieved 100% or more of targets

Schools achieved 50-99% of targets
Total, bonus recipients as % of all schools
Schools did not receive bonus
Average teachers bonus (Rs)
Total Schools given targets

2008
233
244
51%
454
1661.92
931

2009
550
211
81%
183
1270.3
944

2010
474
176
70%
281
1469.58
931

Evaluacin de Impacto: Funcion el bono?

Estrategia: Diferencias en diferencias (triple differences)
Podemos responder a la pregunta: Las escuelas pblicas en Pernambuco mejoraron
ms de lo que lo hubiesen hecho si no se hubiese introducido el programa de
bonus?

Metodo: Explotar la rica data en desempeo a nivel nacional y estatal para los
periodos antes y despues del bono para comparar tendencias en :

Escuelas pblicas de Pernambuco con otras escuelas del Noreste.

Escuelas municipales en Pernambuco con escuelas municipales en otros
estados del Nroeste.

Escuelas pblicas de Pernambuco con ambos (diferencias triples)

= + 1 + 2 2007 + 3 2007 +

Post-bonus: Escuelas pblica de PE vs. esculeas de otros estados

del NE
Efectos on pruebas estandarizadas Portugus 5to grado

150

155

160

165

170

State schools

2005

2007
Year
PE

2009
Rest of Northeast

Post-bonus Escuelas pblica de PE vs. esculeas de otros

estados del NE
Efectos on pruebas estandarizadas Matemticas 5to grado

165

170

175

180

185

190

State schools

2005

2007
Year
PE

2009
Rest of Northeast

Prova Brasil: Pernambuco vs. Noreste

9th grade

5th grade

PE
Post2007
PE Post2007
Observations
R-squared

4th grade
8th grade
Math
Language
Math
Language
(1)
(2)
(1)
(2)
0.029
0.084
-0.373
-1.366
[0.120]
[0.138] [0.044]*** [0.177]***
-0.023
0.013
-0.078
-0.028
[0.108]
[0.109]
[0.063
[0.052]
0.123
-0.074
0.415
0.364
[0.108]
[0.109] [0.063]*** [0.052]***
7,025
0.01

7,025
0.01

10564
0.01

10564
0.01

Prova Brasil: PE vs. Northeast States vs. PE municipalities

PE
Post2007
PE Post2007
State school
PE State school
State school Post2007
PE State school Post2007
Observations
R-squared

5th year
Math
Language
(1)
(2)
-0.048
-0.068
[0.075]
[0.098]
-0.144
-0.122
[0.127]
[0.132]
0.133
0.06
[0.127]
[0.132]
0.165
0.163
[0.109]
[0.128]
0.077
0.152
[0.109]
[0.128]
0.121
0.135
[0.114]
[0.127]
-0.01
-0.134
[0.114]
[0.127]
34683
0.01

34683
0.01

9th year
Math
Language
(1)
(2)
-0.268
-0.292
[0.068]***[0.037]***
-0.126
-0.1
[0.092]
[0.104]
0.197
0.135
[0.092]* [0.104]
0.228
0.307
[0.047]***[0.058]***
-0.105
-0.028
[0.047]* [0.058]
0.048
0.043
[0.050]
[0.055]
0.218
0.169
[0.050]*** [0.055]**
23590
0.02

23590
0.03

Impacto de Bonos
Mejoras en pruebas estandizadas para 9no grado, tanto para
Portugus y Matemticas.

Magnitudes varian de 0.17-0.20 SD (usando la diferencia triple

compararando escuelas municipales/estatales; PE/resto del NE;
antes y despues) hasta 0.41 usando diferencias en diferencias
simples entre Pernambuco y otros estados del NE

Mayores efectos en matemticas que portugues.

No hay efectos para 5to ao (menores efectos en paneles
balanceados).

Aumento de 10 a 12% en la tasa de promocin para grados 6to to

8to grados.

No hubo efectos en promocin de 1st a 5th grado

Impacto de Bonos
Porque los resultados son diferentes?

Menor matricula en primaria (5to grado) en escuelas

estatles (officialmente, este nivel esta descentralizado a
las municipalidades)

Polticas estatales han enfocado ms recursos en los

ltimos aos de primaria y secundaria.l

Polticas estatales como los bonos pueden tener

resultados cumulativos (los resultados presentados son
de corto plazo)

Pregunta #2: Cmo funcionaron los bonos?

Diseo de evaluacin: Observaciones en salones de clase en un panel de 1800
clases en 300 escuelas.

Podemos responder:
Los maestros se comportaron diferente en las escuelas que lograron on no
el bono?

La conducat de los maestros cambion a travs del tiempo en las esculeas

estatales de Pernambuco?

Se correlacion la practica de docentes en el aula con los resultados?

Encuestas/entrevistas con directores de escuelas, maestros y supervisores
regionales

Podemos responder:
Qus estrategias emplearon las escuelas para tratar de lograr sus metas?

Cmo se correlacionan estas estrategias con los resultados de los bonos?

Tiempo dedicado a instruccn es predictor del pago de

bonos (Pernambuco)

** Statistically significant at 5%
*** at 1%

Pequeo incremento en el tiempo en instruccin y

disminucion en el tiempo dedicado a manejo de clase de
ano 1 a ano 2

Pero un aumento en tiempo off task (interaccion social con

estudiantes) y no hubo cambios en ausencia de maestros del
aula

Mejora en la eficiencia de los maestros para

mantener a todos los estudiantes involucrados
70%

60%

50%

25%

30%
Everyone

40%

Large Group
Small Group

30%

One Student
30%

20%

29%

10%
4%
3%

3%
3%

Pernambuco Panel of Schools 2009

Pernambuco Panel of Schools 2010

0%

Small Group: 2 to 5 students

Large Group: More than 5 students

Bonos de escuela enPernambuco : Efecto de Incentivos

distintos
(8th grade Portuguese)

Resultados preliminares

Perder el bono por un margen pequeo parece crear

mayores incentivos para mejora que ganar incentivos para
mejora que ganar el bono por un margen pequeno

Pero los efectos son heterogneos

El criterio no-linear en la asignacin de los bonos, al menos

cerca de las discontinudiad, no parece desincentivar a la
escuelas

Espacio para anlisis adicional del impacto de mecanismos

para establecer objetivos.

Resumes: Lecciones de Pernambuco?

PE

PE

PE

Qu estamos aprendiendo de Pernambuco?

La evidencia preliminar muestra que es posible observar diferencias en
dinmicas de clases entre escuelas efectivas y las estancadas, y en todo el
sistema a lo largo del tiempo.

Adicionalmente, alguna luces en la preguntas de diseo para establecer las

metas para lograr bonos

Metas lineales o no lineales?

Bono lineal o no lineal? (todos logran el bono o solo los que pasan algn
nivel mnimo de desempeo - Sao Paulo vs Pernambuco)

Premiar el nivel de desempeo, el valor aadido, o ambos? Deberan las

escuelas que se mantienen entre las mejores ser premiadas (Sao Paulo vs
PE)?

Deben ser las metas comprender varios aos? Renegociadas

anualmente?

Resultados Emergentes
Per

Se realiz un piloto en dos zonas del

pas: escuelas rurales en San Martin
(Multigrado) y escuelas urbanas en
Callao (Polidocente)
USO DE TIEMPO EN ACTIVIDADES
ACADEMICAS
80%

70%
60%
50%
40%
30%

20%
10%
0%
Polidocente

Multigrado

PELA

No PELA

Tiempo del docente en actividades

academica con grupo grande o todos
los estudiantes
Share of total time
60%

50%
40%
Large

30%

All
20%
10%
0%
Polidocente

PELA

No PELA

Metodos pedagogicos mas usados

25%

20%

15%

10%

5%

0%
Lectura

Demostracion

Discusion

Polidocente

Practica

Asignacion

Multigrado

Copiado

Tiempo en actividades no acadmicas

16%
14%
12%
10%

8%
6%
4%
2%
0%
Instruccion
verbal

Interaccion
social

Disciplina

Manejo de
clase

Polidocente

Manejo de Interaccion
clase (solo)
social
docente

Multigrado

Maestro
fuera del
salon

Con relacin a los materiales

Polidocente

Multigrado

1%

1%
4%

18%

11%

3%
8%

14%

Sin material
Libro

Sin material
24%

8%

Cuaderno

Cuaderno

Pizarral

Pizarral

Materiales
23%

Materiales

TIC

34%

Cooperativo

Libro

TIC
17%

32%

Cooperativo

Alumnos no involucrados
Porcentaje del tiempo en que se observo un
grupo grande no involucrado
50%
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Polidocente

PELA

No PELA

Como se relacionan las actividades de

los alumnos con maestros
Actividades de los alumnos maestros en demostracion +
preguntas y respuestas
Polidocente Multigrado
Proporcion de clases :
Todos los alumnos con el profesor
27%
16%
Estudiantes en actividad
academica distinta
Lectura
0%
2%
Demostracion
0%
0%
Discusion
0%
2%
Practica
0%
1%
Asignacio
20%
50%
Copiado
7%
9%
Estudiantes en actividad no
academica
Verbal Instruction
Interaccion social
Estudiante no involucrado
Disciplina
Manejo clase

0%
31%
47%
0%
1%

0%
28%
52%
0%
2%

Comentarios Finales
El trabajo realizado hasta el momento ha
tenido un impacto inicial en prctica docente
en varios de los pases con los que hemos
trabajado.
Estamos en una etapa de recoleccin/anlisis
final de datos para finalizar el estudio.