Professional Documents
Culture Documents
2009
ndice
4
Cursos de
Avaliao
Econmica de
Projetos Sociais
6
Seminrio Ita
de Avaliao
Econmica
de Projetos
Sociais
Seminrio Ita
Internacional
de Avaliao
Econmica
de Projetos
Sociais
16
Avaliaes
Econmicas
Realizadas
MODELO
Apresentao
Compartilhar conhecimentos e competncias do Ita com o intuito de aprimorar aes sociais
no Brasil. Foi essa a premissa que levou criao do Programa Avaliao Econmica de Projetos Sociais em 2004.
Desde ento, o programa vem sendo desenvolvido pela Fundao Ita Social em parceria com
a rea de Controle de Risco e Financeiro do Banco, que juntos estruturaram estratgias e ferramentas que permitem disseminar a prtica da avaliao econmica de polticas pblicas e de
projetos sociais.
Ao todo, 12 programas j foram avaliados entre os quais esto quatro iniciativas desenvolvidas
pela prpria Fundao , sempre com o objetivo principal de inferir causalidade entre as aes
desenvolvidas e os resultados alcanados. Ou seja, comprovar que os impactos observados so
de fato consequncia da ao social. A partir da, possvel calcular o retorno social da iniciativa,
levando em considerao os investimentos realizados no programa e os benefcios econmicos
gerados para seus participantes.
Os resultados obtidos so sempre disponibilizados ao pblico, tornando a avaliao um mecanismo efetivo de prestao de contas sociedade. Mas sua importncia no se resume a isso.
Essa prtica pode levar ao aprimoramento das iniciativas e a uma melhor alocao de recursos.
Alis, esse o resultado esperado: uma maior eficcia das aes voltadas transformao social.
A disseminao da cultura de avaliao feita a partir do acesso a materiais de referncia nesta rea, que so disponibilizados no site da Fundao Ita Social, e da realizao de cursos sobre o tema em importantes cidades e capitais do Pas. Com o mesmo objetivo, tambm so
promovidos seminrios internacionais e regionais, que compem um espao para debate sobre mtodos e avaliaes, contando com a presena e a contribuio de especialistas.
S em 2009, 417 gestores de projetos sociais e de polticas pblicas participaram dos cursos
promovidos pelo programa. Lembrando que alguns desses participantes foram convidados,
posteriormente, a fazer parte de uma mesa de discusso durante seminrios regionais, para
compartilhar o conhecimento que adquiriram a partir da apresentao do trabalho de avaliao realizado como concluso de curso.
Nas prximas pginas, voc ir encontrar a primeira edio da sistematizao dessas e de outras realizaes do programa durante o ano de 2009.
Boa leitura.
Cursos de Avaliao
Econmica de
Projetos Sociais
Compartilhar e disseminar conceitos e prticas de avaliao que contribuam para o aprimoramento das aes sociais no Brasil. Esse o objetivo da Fundao Ita Social ao promover cursos sobre o tema Avaliao Econmica de Projetos Sociais. O pblico-alvo dessas iniciativas so
gestores de organizaes no-governamentais (ONGs), fundaes ou institutos empresariais e
instituies pblicas interessados em se preparar para mensurar o impacto e o retorno econmico de suas aes sociais nas comunidades ou nos indivduos relacionados aos projetos.
Em 2009, a proposta foi intensificada com a realizao de 11 cursos sobre Avaliao Econmica de Projetos Sociais (nmero 60% acima do registrado no ano anterior), dos quais participaram
417 gestores de projetos e polticas pblicas.
15,11%
os participantes
4,08%
J conhecia, na teoria,
62,11%
18,71%
ONGs
Poder Pblico
Kiko Medici
Com a palavra,
os participantes
Ns, que estamos
por trs da gesto
dos projetos, temos
uma tendncia a
nos influenciar por
conquistas perceptveis
no dia a dia, como o
impacto na autoestima do
nosso pblico-alvo.
J a avaliao econmica
Intercalando aulas tericas e prticas, os participantes tiveram contato com os principais conceitos e instrumentos bsicos necessrios para a realizao de uma avaliao de impacto e
para o clculo do retorno econmico.
Tambm receberam material de apoio (apostilas) elaborado com o mesmo rigor com que feita a seleo dos profissionais que iro ministrar as aulas, especialistas vinculados a renomadas
instituies de ensino superior do Pas.
7 turmas
2 turmas
2 turmas
2 turmas
2005
2006
2007
So Paulo/
So Paulo
2008
So Paulo/
Belo Horizonte
So Paulo/
Rio de Janeiro
Porto Alegre*
So Paulo
Rio de Janeiro/
Vitria*
Belo Horizonte*
Curitiba
Recife
2009
So Paulo
Ribeiro Preto
Rio de Janeiro
Belo Horizonte
Goinia/
So Paulo
So Paulo*
Fortaleza*
Belo Horizonte
Rio de Janeiro
Recife*
Anurio 2009
Seminrio Ita de
Avaliao Econmica
de Projetos Sociais
Curitiba
Progresso continuada
A adoo do sistema de progresso continuada na rede de ensino fundamental ainda gera
muita polmica. Os crticos alegam que a progresso automtica para sries posteriores, independentemente do desempenho nas avaliaes, afeta diretamente a qualidade do ensino,
uma vez que os alunos sabem que no precisam mais tirar boas notas. Os defensores dessa
prtica, por sua vez, ressaltam que essa uma maneira de combater a evaso escolar, aumenConseguimos mostrar com
tando a escolaridade da populao brasileira. Mas quem tem razo? O estudo Avaliando o Im-
apresentado por Roberta Biondi, da Gerncia de Avaliao de Projetos Sociais do Ita Uniban-
a aplicao de metodologias
co, mostra que, de certa forma, ambos esto corretos, mas que os benefcios de reduo na
apropriadas que a
progresso continuada
fundamental dos jovens que estudam em escolas que adotam a poltica de progresso conti-
nuada. Comparando (com base na tcnica de pareamento) escolas que adotam a proposta
com aquelas que no aderiram, percebe-se que o sistema vem conseguindo reduzir as taxas
mdio, mesmo no sendo aplicada a progresso continuada nessa fase escolar. Em relao ao
desempenho na Prova Brasil, para os alunos da 4a srie, no foi encontrado impacto significati-
vo da poltica. Por outro lado, ao analisar as notas da 8a srie, os alunos das escolas que no ado-
abandonem a escola
taram a proposta se saem melhor. O impacto negativo de 4,4 pontos, considerando uma m-
e continuem os estudos.
No basta intuio
Coloque-se no papel de um gestor de polticas pblicas tendo que encontrar maneiras para
melhorar a qualidade do ensino na regio que est sob a sua atribuio, mas dispondo de um
oramento enxuto para isso. Qualquer deciso que venha a tomar, certamente, no poder ser
Temos a preocupao em
baseada apenas em sua intuio. preciso ter acesso a avaliaes que indiquem o melhor ca-
simplesmente, comparar o
SP, tenta exatamente fornecer esse direcionamento, a partir da anlise e da avaliao de duas
A dvida : qual delas apresenta melhores resultados no curto prazo? A investigao feita mos-
trou que a resposta a essa pergunta vai variar caso a caso. Em classes com mais de 33 e menos
de 40 alunos, por exemplo, reduzir o nmero de estudantes em sala de aula a poltica com
no resultado.
quatro horas dirias, o melhor seria ampliar em uma hora o tempo em que o aluno permanece na escola.
Casos apresentados
Esporte em Ao Ncleo Vila Torres
Fundado em 2003 pelo tcnico de vlei Bernardinho, o Instituto Compartilhar aposta na prtica esportiva como uma ferramenta para o desenvolvimento de jovens e crianas. O projeto
socioesportivo Esporte em Ao Ncleo Vila Torres foi escolhido pelo grupo para ser avaliado como trabalho do Curso de Avaliao Econmica de Curitiba, ministrado pela professora
Cludia Cavalieri.
Programa Coca-Cola de Valorizao do Jovem
Uma das aes desenvolvidas pelo Instituto Coca-Cola no Brasil o Programa de Valorizao
do Jovem. O objetivo dessa iniciativa combater a evaso escolar por meio da aplicao de
uma metodologia inovadora que resgata a autoestima de alunos com baixo rendimento e que
esto na iminncia de abandonar os estudos. Esse foi o projeto que serviu como base para a
avaliao econmica realizada como trabalho dos alunos do curso.
Recife
Descentralizao e desempenho educacional
O processo de municipalizao do ensino fundamental se intensificou a partir do final da dcada de 90 com a criao do Fundo de Manuteno e Desenvolvimento do Ensino Fundamental e de Valorizao do Magistrio (Fundef ) e a aprovao de leis federais de incentivo como a
Lei de Diretrizes e Bases da Educao Nacional 9394/96. Para se ter uma ideia da dimenso desse movimento, em 1991 havia 8,7 milhes de crianas e jovens matriculados nas escolas municipais do Pas. Dados mais recentes mostram que esse nmero saltou para 17,6 milhes.
Anurio 2009
A premissa que est por trs dessa iniciativa a de que a descentralizao favorece a educao,
em termos de
uma vez que a comunidade escolar est mais prxima dos tomadores de deciso. Entretanto, o es-
flexibilidade,
tudo apresentado pela pesquisadora Maria Carolina Leme, da Escola de Economia de So Paulo da
transparncia,
Fundao Getulio Vargas (EESP-FGV), mostrou que a mudana ainda no est surtindo efeito no
governana e prestao
desempenho dos alunos. Utilizando dados do Sistema de Avaliao da Educao Bsica (Saeb) e
de contas, o sistema
da Prova Brasil em dois perodos de tempo, as estimativas mostraram que no h diferena esta-
descentralizado
tisticamente significativa entre a performance de alunos de escolas estaduais que foram munici-
palizadas e a de estudantes que frequentam escolas que ainda continuam sob a gesto estadual.
o centralizado. Porm,
apesar de todo o
esforo para passar a
responsabilidade do
ensino fundamental
para a gesto municipal,
Casos apresentados
Microcrdito orientado para a populao da Zona Norte de Natal
Com presena nos Estados de Pernambuco e Rio Grande do Norte, o Centro de Apoio aos Mi-
respeito ao desempenho
dos alunos, no
verificamos nenhuma
crdito. O objetivo deste trabalho foi avaliar se o acesso ao programa gerou impacto positivo
melhora.
Instituio filantrpica criada pelos salesianos h 61 anos em Recife (Pernambuco), o Centro Dom
Bosco de Artes e Ofcios desenvolve atividades de formao profissional para jovens que buscam
oportunidades no mercado de trabalho. O objetivo deste trabalho foi avaliar os benefcios (aumento de rendimentos) que os jovens obtiveram ao participar do Programa Jovem Aprendiz.
Ficha tcnica
Seminrio Ita de Avaliao Econmica de Projetos Sociais
Local: Curitiba (PR)
Data: 29 de maio
Palestrantes:
Roberta Biondi (Ita Unibanco), com o estudo Avaliando o Impacto da Progresso Continuada nas Taxas de Rendimento e Desempenho Escolar no Brasil.
Naercio Menezes Filho (USP/Insper), com o estudo Custo-Efetividade das Polticas e Reduo de Tamanho de Classe e Ampliao
de Jornada Escolar.
Palestrantes:
Naercio Menezes Filho (USP/Insper), com o estudo Custo-Efetividade das Polticas e Reduo de Tamanho de Classe e Ampliao
de Jornada Escolar.
Maria Carolina Leme (EESP-FGV), com o estudo Desempenho
Educacional e Descentralizao.
Mediao:
Jos Wille (Rdio CBN/Universidade Federal do Paran).
Casos apresentados:
Nesta sesso, a professora do curso de Curitiba, Cludia Cavalieri,
da Escola de Economia Fundao Getulio Vargas (EESP/FGV) e da
Pontifcia Universidade Catlica (PUC-SP), fez uma breve apresentao dos conceitos e tcnicas abordados durante as aulas. Dois
exemplos de exerccio de avaliao de impacto e clculo do retorno econmico realizados pelos alunos durante o curso foram
selecionados para apresentao no seminrio.
Mediao:
Aldo Vilela (CBN TV e Jornal do SBT).
Casos apresentados:
Nesta sesso, o professor do curso de Recife, Raul Silveira Neto, da
Universidade Federal de Pernambuco (UFPE) e pesquisador (Bolsa de Produtividade em Pesquisa) do CNPq, fez uma breve apresentao dos conceitos e tcnicas abordados durante as aulas.
Dois exemplos de exerccio de avaliao de impacto e clculo
do retorno econmico realizados pelos alunos durante o curso
foram selecionados para apresentao no seminrio.
Seminrio Ita
Internacional de
Avaliao Econmica
de Projetos Sociais
Christina Rufatto
Nos pases em
desenvolvimento,
as crianas j passam
tempo suficiente na
escola. Mas tm uma
produtividade muito
Sessenta minutos pode parecer pouco tempo. Mas, quando o objetivo melhorar a qualidade
da educao, uma hora a mais em sala de aula pode fazer a diferena. Quem afirma o econo-
mista israelense Victor Lavy, professor da Hebrew University of Jerusalem (Universidade Hebrai-
o fato de terem ou no
fatores relacionados
dantes com 15 anos de idade no Programa Internacional de Avaliao de Alunos (Pisa) de 2006,
ao aproveitamento.
desenvolvido e coordenado pela Organizao para Cooperao e Desenvolvimento Econmico (OCDE), com o intuito de produzir indicadores sobre a efetividade dos sistemas educacionais no mundo.
Victor Lavy
(Universidade Hebraica
de Jerusalm)
Anurio 2009
A riqueza de dados produzida pelo Pisa, e outros testes similares, muita positiva. Mas um
desafio aprender a usar esses estudos para jogar uma luz sobre as polticas educacionais.
Temos relativamente poucos estudos que j exploraram esses dados.
Victor Lavy
(Universidade Hebraica de Jerusalm)
O objetivo principal do estudo conduzido por Lavy era investigar a relao causal entre o tempo de aula na escola e o desempenho dos estudantes, alm de examinar os fatores que poderiam explicar a variao na produtividade mdia observada entre estudantes de pases
desenvolvidos e em desenvolvimento, mesmo quando passam um nmero igual de horas em
sala de aula.
Para isso, o economista comparou o desempenho de pases membros da OCDE, como Nova
Zelndia e Austrlia, com o obtido por pases do Leste Europeu, entre os quais est a Bulgria,
Bielo-Rssia, Romnia, Rssia, Ucrnia, e tambm por pases em desenvolvimento, grupo que
inclui o Brasil. A concluso a que chegou de que o acesso a uma hora a mais de aula por dia,
cinco vezes por semana, melhora, sim, a performance dos estudantes.
Alm das vantagens em se ampliar o nmero de horas-aula em cada pas, o economista avaliou
quanto o estudante aprende a cada 60 minutos em que passa em sala de aula sob orientao
do professor. O que se percebeu que h diferenas de produtividade entre os pases. O rendimento em sala de aula nos pases desenvolvidos, por exemplo, duas vezes superior ao dos pases em desenvolvimento. Tambm constatou que a produtividade do tempo de aula maior
em pases onde as escolas tm mais autonomia para contratar e demitir professores, onde h
medidas voltadas para a responsabilizao social (accountability) e o mercado de trabalho de
docentes mais ativo.
Estudo experimental
Salas de aula lotadas, muitas vezes com mais de 80 estudantes por classe. Turmas bastante hete-
10
rogneas, alunos com idades diferentes frequentando a mesma srie. Alta taxa de absentesmo
entre os professores e, para completar, falta de recursos. Essa a descrio do ensino fundamental no Qunia a partir de 2003, quando passou a ser oferecido gratuitamente, levando a um crescimento no nmero de matrculas de 5,9 para 7,6 milhes, principalmente nas sries iniciais.
At ento, quem quisesse estudar pagava uma taxa mensal de US$ 6. Esse valor pode parecer
irrisrio, mas no para o padro queniano, que corresponde, muitas vezes, renda semanal de
um trabalhador. O resultado que, impulsionados pela gratuidade, jovens que nunca haviam
frequentado uma sala de aula passaram a estudar.
O Extra Teacher Evaluation Project, estudo realizado entre 2005 e 2007 e apresentado pela economista Pascaline Dupas (University of California), avaliou exatamente esse panorama. Como amostra, foram utilizadas 210 escolas quenianas, as quais a pesquisadora dividiu aleatoriamente em trs
grupos distintos: no primeiro, as condies atuais foram mantidas; no segundo, a quantidade de
alunos por classe foi limitada a 40; e, no terceiro, alm dessa segunda medida, as turmas foram divididas de acordo com o seu aproveitamento.
Os dois ltimos grupos passaram a receber, ainda, um valor mensal para que fosse aplicado na
contratao de professores temporrios, j que o nmero de classes praticamente dobrou com
a reduo do tamanho das turmas. Parte dos pais dos alunos, por sua vez, foi orientada (treinamento School-Based Management) sobre como acompanhar o trabalho desenvolvido por esses profissionais, cabendo a eles a deciso sobre a renovao ou no do contrato de trabalho.
As concluses foram surpreendentes. Primeiramente, verificou-se que no houve nenhuma alterao no desempenho dos alunos que continuaram a ter aulas com os professores do servio
pblico, independentemente de estarem em uma classe com 80 ou 40 alunos, mostrando que
apenas reduzir o tamanho das classes pode no ter impacto na performance dos estudantes.
As melhores notas foram obtidas pelos alunos que tiveram aulas com os professores temporrios e estudavam em escolas nas quais os pais acompanhavam de perto o trabalho desenvolvido. Esses dados levam a concluir que manter uma equipe motivada e sob presso de um
mercado de trabalho competitivo (os professores temporrios poderiam ser contratados ou
no), somada a um acompanhamento prximo por parte da comunidade escolar, fator a ser
considerado em uma futura reforma do ensino queniano.
A avaliao de impacto
demonstra, de maneira
Algumas concluses foram comuns nos dois estudos: a importncia de gesto de um comit
escolar e a autonomia da escola e professores mais motivados parecem ser fatores que podem
fazer diferena no aprendizado.
objetiva, se os resultados
esperados e avaliados
foram realmente atingidos,
verificando se os diferenciais
apresentados a favor dos
municpios que participaram
Anurio 2009
11
da uma queda na taxa de abandono de cerca de -0,75 p.p. J no segundo ano aps o programa,
a taxa de aprovao cresce entre 1,99 e 2,59 pontos percentuais e a taxa de abandono cai entre
-1,37 e -1,64 p.p., tambm dependendo da medida de gesto adotada.
Esses resultados tm como base a comparao feita entre 261 municpios que participaram do
programa e aqueles que no obtiveram acesso iniciativa. Para fazer esse comparativo, foram utilizados dados do Censo Demogrfico (IBGE) de 2000 e dos Censos Escolares (Inep) de 2000 a 2005.
Arnaldo Gonalves da Silva Matoso, dirigente municipal de Educao na cidade de Quissam (Rio
em conseguir juntar as
condies necessrias e
nal dos Dirigentes Municipais de Educao (Undime), falou sobre o papel do gestor municipal
Ele ressaltou a importncia que os gestores municipais de educao vm ganhando nos ltimos
anos com a descentralizao do ensino, sendo primordial capacit-los para que possam colocar
deram certo.
em prtica e de maneira eficiente projetos e ideias que levem a uma real mudana na quali-
Arnaldo Gonalves
da Silva Matoso
(dirigente Quissam/Undime)
dade do ensino.
Em 2009, mais de 60% dos municpios tiveram seus secretrios de Educao substitudos. Com
a poltica de no-manuteno dos programas que ns temos no Pas, d para imaginar quais
foram as consequncias para o andamento e resultado de projetos voltados educao.
Arnaldo Gonalves da Silva Matoso
(dirigente Quissam/Undime)
Outro ponto que defendeu foi a gesto plena, considerando a transferncia da responsabilidade
pela gesto dos recursos para o secretrio municipal de Educao, com autonomia e empoderamento para decidir de que maneira devero ser utilizados, independentemente de interesses
partidrios ou pessoais, evitando que a pasta fique sujeita a nuances polticas.
Sabemos que no basta
aumentar o volume de
investimentos em educao.
As quantias aplicadas
precisam vir acompanhadas
por uma gesto eficaz. Caso
contrrio, no atingiremos o
nosso objetivo principal, que
melhorar a aprendizagem
Econmica de Projetos Sociais, foi desenvolvido pela Fundao Ita Social exatamente com o
articular e coordenar as
contraro no portal a sistematizao de estudos cientficos nacionais sobre os fatores que in-
polticas pblicas.
12
Mas no preciso ser Ph.D. no assunto para entender os materiais que foram disponibilizados:
esto organizados de maneira a facilitar o acesso e a pesquisa, e numa linguagem clara e direta.
A expectativa de que esses dados sejam utilizados para subsidiar as decises de investimento
em educao no Pas.
Anote o endereo: www.fundacaoitausocial.org.br/fase
3 Mesa Metodologias
Educacionais
a
O principal objetivo
grandes cidades brasileiras (Belo Horizonte, Rio de Janeiro, Campo Grande, Salvador e Campi-
nas), tiveram seu desempenho nas disciplinas de matemtica e lngua portuguesa monitorado
caractersticas escolares
pelo Projeto Geres. Paralelamente, diretores, professores e os pais dos alunos responderam a
promotoras da eficcia
Os resultados desse levantamento ainda no esto totalmente consolidados, mas Ftima Alves,
pesquisadora da PUC-RJ, trouxe para o debate alguns dados preliminares. Uma das constataes do estudo de que existem diferenas de aproveitamento entre os estudantes das redes
dos alunos.
Ftima Alves
(PUC-RJ)
Anurio 2009
13
municipal e estadual em comparao com as redes privadas. Entre os fatores que podem servir
de alavanca para melhorar as notas esto o uso do livro didtico, a prtica regular do dever de
casa e a diversidade da abordagem de leitura.
Jovem de Futuro
Desenvolvida pelo Instituto Unibanco e contando com as parcerias das secretarias estaduais
de Educao, oferece apoio tcnico e financeiro para que escolas pblicas de ensino mdio regular possam conceber, implantar e avaliar um plano de melhoria, aumentando o rendimento
dos alunos. Os dados da avaliao foram apresentados por Ricardo Paes de Barros, pesquisador
do Instituto de Pesquisa Econmica Aplicada (Ipea).
Competio organizada pelo Instituto de Matemtica Pura e Aplicada (Impa) e pela Sociedade
Brasileira de Matemtica, com promoo do Ministrio da Educao e do Ministrio da Cincia
e Tecnologia. Todos os estudantes das escolas pblicas, matriculados no ensino fundamental
ou mdio (a partir da 6a srie/7o ano), podem participar da primeira fase da Olimpada. O programa tem como objetivo estimular e promover o estudo de matemtica entre os alunos, contribuindo para a melhoria da qualidade da educao bsica pblica. Roberta Biondi Loboda, da
rea de avaliao dos projetos do Ita Unibanco, foi quem apresentou os dados do estudo.
14
na amostragem as escolas teriam que ter participado da Prova Brasil 2005 e 2007 (avaliao do
Ministrio da Educao).
Resultado da avaliao de impacto: a Olimpada de Matemtica melhora a qualidade da educao pblica (2.14 escala do Saeb, com relao ao desempenho em matemtica), e esse impacto crescente de acordo com o nmero de participaes do estabelecimento de ensino.
Alm disso, os impactos so significativos para todos os alunos, embora sejam mais pronunciados para aqueles que j apresentam melhores notas na Prova Brasil. A anlise de retorno
econmico demonstrou que o investimento na OBMEP compensa em termos de benefcios
salariais futuros para os participantes. A taxa interna de retorno do programa foi de 22% ao ano
para escolas que participaram somente uma vez da Olimpada.
Ficha tcnica
VI Seminrio Ita Internacional de Avaliao
Econmica de Projetos Sociais
Local: Rio de Janeiro (RJ)
Data: 26 de outubro de 2009
Mediao:
Antonio Jacinto Matias (Fundao Ita Social).
Palestrantes:
Victor Lavy (Hebrew University of Jerusalem).
Pascaline Dupas (University of California at Los Angeles &
Jameel Poverty Action Lab).
Mediao:
Naercio Menezes Filho (USP/Insper).
2a Mesa: Gesto Educacional
Palestrantes:
Lgia Vasconcellos (Ita Unibanco).
Anurio 2009
15
Avaliaes Econmicas
Realizadas
Projeto
Razes e Asas
2004
Jovens Urbanos
2006
Melhoria da Educao
2007
Escrevendo o Futuro
2008
Projetos
Canal Futura
2007
Escola Integrada
2008
2005
Escola da Famlia
2005
Ao Jovem
2006
Educao Infantil
2007
2008
2009
Projetos da
de parceiros
Polticas Pblicas
16
Programa
Razes e Asas
Projetos da
Elaborar e distribuir materiais de apoio que possam ajudar educadores em sua busca pela melhoria da qualidade do ensino pblico. Esse o objetivo principal do programa Razes e Asas,
que desde 1995 ano em que foi criado j distribuiu cerca de 50 mil kits s secretarias municipais e estaduais de Educao do Pas, alm de universidades, fundaes e escolas.
A avaliao econmica desse projeto foi feita a partir de uma amostra formada por 48 escolas
que receberam o kit nos anos de 1995 e 1996. Os resultados demonstraram que o programa influenciou de forma positiva o rendimento das escolas participantes em relao s escolas noparticipantes. As taxas de abandono nos anos iniciais do ensino fundamental (1a 4a srie) foram significativamente menores (4 pontos percentuais), assim como nos anos finais dessa fase
(5a 8a srie).
A partir desse impacto, foi calculado o retorno econmico do programa, considerando que a
reduo nas taxas de abandono influenciar, de forma positiva, o fluxo escolar dos jovens ao
longo do tempo, aumentando o nmero esperado dos anos de estudo completos. Isso, com
certeza, refletir positivamente no mercado de trabalho e na renda futura dos jovens. A taxa interna de retorno do programa foi calculada em 14,3% ao ano.
Polticas Pblicas
Essa avaliao contribuiu para o debate a respeito do Programa de Progresso Continuada, poltica pblica de aprovao de estudantes, condicionada somente frequncia mnima s aulas, e adotada por diversas redes estaduais e escolas. Apresentamos as estimativas do seu
impacto sobre as taxas de aprovao e de evaso escolar, com dados do Censo Escolar de 2002,
e do seu impacto sobre o desempenho escolar dos alunos, com dados do Saeb de 2001.
Os resultados apontam para uma maior taxa de aprovao e principalmente uma menor taxa
de evaso escolar nas escolas que adotam o programa. Com relao ao desempenho escolar,
as estimativas de impacto do programa no so estatisticamente significantes. A partir dessas
estimativas, foi calculado tambm o retorno econmico esperado do programa, considerando
o incentivo permanncia na escola e o aumento da escolaridade com essa poltica. Transformando em valores monetrios, o retorno econmico mdio esperado por aluno encontrado
foi de R$ 4,3 mil, e a taxa interna de retorno de 9,6% ao ano.
Anurio 2009
17
Polticas Pblicas
Escola da Famlia
Desenvolvido pela Secretaria de Estado da Educao de So Paulo, em parceria com a Unesco
no Brasil, com o Instituto Ayrton Senna e o Instituto Faa Parte, foi lanado em 23 de agosto de
2003. O programa propicia a abertura, nos fins de semana, de todas as escolas da rede estadual do Estado num total de 5.306 estabelecimentos de ensino , fazendo com que elas passem
a participar da comunidade local, contribuindo assim para a reduo dos ndices de violncia
no entorno escolar.
A avaliao de impacto desse programa procurou inferir causalidade na taxa de criminalidade
nas comunidades afetadas pelo programa. De acordo com o resultado da avaliao, houve um
impacto positivo (diminuio de boletins de ocorrncia) nos setores censitrios com escolas
estaduais da regio metropolitana de So Paulo, diminuindo o nmero de ocorrncias de agosto de 2003 a abril de 2004.
Considerando-se todos os setores com escolas estaduais, temos como efeito direto do programa Escola da Famlia um total de 4,83 ocorrncias a menos por dia em funo da abertura das
escolas nos fins de semana (ou 38,7 ocorrncias no ms, se considerarmos quatro fins de semana). Esse impacto se restringiu ao horrio de abertura das escolas no fim de semana, no sendo encontrado efeito significativo quando consideramos todo o fim de semana ou todos os
dias da semana. O efeito mais significativo para os setores com renda intermediria e fora do
municpio de So Paulo.
Polticas Pblicas
Ao Jovem
Promover a incluso social de jovens, mediante a transferncia de renda, como apoio financeiro temporrio para estimular a concluso da escolaridade bsica. Esse o objetivo deste programa, implementado pela Secretaria Estadual de Assistncia e Desenvolvimento Social do Estado de So Paulo.
A avaliao econmica comparou os resultados de pesquisa de campo, realizada junto a uma
amostra de participantes do programa, com os dados de jovens entrevistados pela Pesquisa
Mensal de Emprego (PME), conduzida pelo IBGE. Ao todo foram ouvidos 448 jovens, dos quais
35% estavam fora da escola antes do programa e 15,3% declararam renda familiar maior que
dois salrios mnimos. Foi estimado o impacto do programa nas taxas de aprovao escolar,
para as quais encontrou-se um resultado positivo de 14,5% entre os que no frequentavam a
escola antes do programa e passaram a frequentar, e 27,2% de aumento na aprovao entre os
que frequentavam a escola.
Com relao frequncia escolar, em 2005 o impacto do programa foi de 13,8% em mdia, de
30,5% entre os que no frequentavam a escola no ano anterior, e basicamente zero para os que
j frequentavam a escola. O programa tambm reduziu a porcentagem de jovens trabalhando
em 21,5% em mdia, mas esse impacto s foi significativo entre os jovens que j frequentavam
a escola em 2004. De acordo com a anlise do retorno econmico, o programa apresentou
taxa interna de retorno de 13,3% ao ano, sob a hiptese conservadora de que os impactos educacionais duraram apenas um ano, e de 15,13% sob a hiptese mais otimista de que os efeitos
perduram por mais tempo.
18
Jovens Urbanos
Projetos da
Visando formao de jovens que residam em regies metropolitanas de alta vulnerabilidade social, o programa selecionou jovens dos bairros perifricos de So Paulo (Brasilndia e Campo Limpo), proporcionando-lhes um ano e seis meses de formao em diversas reas de conhecimento.
Como a avaliao de impacto j era prevista, na primeira edio do projeto, realizada em
2005, j foram sorteados aleatoriamente entre o grupo de inscritos e habilitados aqueles que
participariam do grupo de tratamento e do grupo de controle, garantindo maior confiabilidade ao estudo.
Os resultados da avaliao, realizada a partir de dados de agosto de 2006, demonstraram que
o programa influenciou, de forma positiva, o trabalho e a renda dos participantes: em mdia,
os jovens que participaram do programa ganhavam R$ 63 a mais, comparando com a renda
mensal daqueles que no participaram (grupo de controle). A probabilidade de trabalho tambm era maior (11,5 pontos percentuais).
No perodo avaliado, houve um aumento no nmero de jovens empregados, e esse crescimento foi diferenciado no grupo de tratamento, no qual o percentual aumentou de 15% em
2004 para 47% em 2006.
A partir desses dados sobre o impacto foi calculada a Taxa Interna de Retorno (TIR) do programa, considerando seus custos e o retorno econmico esperado ao longo do ciclo de vida dos
jovens beneficiados. Para tanto, foram consideradas duas hipteses: a primeira pressupe
que o impacto se manter ao longo de todo o ciclo de trabalho, mas o ganho percentual de
renda decrescer at a metade de seu valor no final do ciclo de trabalho; e a segunda trabalha com a probabilidade de que esse ganho se torne fixo ao longo do ciclo de trabalho. Em
ambos os casos, a TIR foi positiva: 12,8% e 10,5% ao ano, respectivamente.
Anurio 2009
19
Projetos da
Melhoria da Educao
Auxiliar os rgos municipais a planejarem, implantarem e avaliarem seus projetos educativos,
como forma de garantir um ensino de qualidade e a permanncia de crianas e jovens na escola. Esse o principal objetivo do Programa Melhoria da Educao, que desde 1999 j percorreu 17 Estados brasileiros, totalizando oito edies at a avaliao.
A avaliao de impacto tem como objetivo responder se o programa gerou melhora na mdia
municipal de fluxo escolar. Isso foi feito a partir da anlise das taxas de aprovao, reprovao e
abandono no prazo de um a dois anos aps a participao do municpio no programa.
A amostra utilizada era composta por 261 municpios participantes e 2.495 no-participantes
do programa.
Verificou-se que para os municpios que participaram da iniciativa e que realizaram medidas de
gesto, como avaliao diagnstica, planos de ao ou contaram com formao direta, o programa teve impacto positivo sobre o fluxo escolar. No primeiro ano, a taxa de aprovao aumentou entre 0,94 ponto percentual e 1,29 ponto percentual, dependendo da medida de
gesto adotada. J a taxa de abandono caiu cerca de -0,75 p.p. No segundo ano aps o programa, a taxa de aprovao cresceu entre 1,99 e 2,59 pontos percentuais, e a taxa de abandono
caiu entre -1,37 e -1,64 p.p., tambm dependendo da medida de gesto adotada.
Para a amostra com todos os municpios, contudo, os resultados positivos sobre o fluxo escolar aparecem apenas dois anos aps o programa, com aumento de 1,07 ponto percentual na
taxa de aprovao e reduo de -0,77 ponto percentual na taxa de reprovao. Assim, pode-se
concluir que os resultados so mais efetivos quando realizada a avaliao diagnstica ou plano de ao (caso de cerca de 50% dos municpios), ou quando h formao direta (70% dos
municpios).
Polticas Pblicas
Educao Infantil
A avaliao econmica investigou o efeito da frequncia educao infantil (EI) sobre o desempenho escolar em matemtica observado na 4a srie do ensino fundamental da rede pblica. No
primeiro exerccio, foram utilizados dados do Saeb 2003, aplicando mtodos para resolver potenciais problemas de seleo. Os resultados encontrados evidenciam que ingressar na escola
antes da 1a srie tem efeito positivo e significativo sobre o desempenho. Esse efeito de, em mdia, cerca de 28% do desvio padro do Saeb 2003, em matemtica.
No segundo exerccio, foi realizada uma estimao utilizando um painel de escolas do Saeb
2003 e da Prova Brasil 2005, em que foi aplicado o mtodo de efeitos fixos para corrigir possveis problemas de endogeneidade. Os efeitos encontrados so um pouco maiores. Na estimao com os dados de todo o Brasil observou-se que frequentar a EI eleva a proficincia mdia
em cerca de 39% do desvio padro. Algumas simulaes mostraram ainda que seria possvel
elevar em mais de 11% a proficincia se 100% das crianas frequentassem a educao infantil.
Esses resultados confirmam a existncia de uma relao de causalidade entre a frequncia
educao infantil e o desempenho dos alunos na disciplina de matemtica nos anos subsequentes de ensino.
20
Canal Futura
Projetos
de parceiros
A avaliao econmica do Canal Futura baseou-se em dois tipos de anlises: a avaliao de disposio a pagar pelo uso do canal e a avaliao do impacto de sua programao sobre os telespectadores. A anlise de disposio a pagar gerou uma medida de quanto as pessoas esto
dispostas a pagar pelo acesso ao Futura. Para a avaliao de impacto foi realizada, em dezembro de 2006, uma pesquisa de campo com representatividade nacional, com o objetivo de captar se h diferenas de perfil do pblico que assiste ao Futura e do que no assiste, e, mais do
que isso, saber se esse perfil diferenciado foi causado efetivamente pela programao do canal.
De acordo com os resultados, constatou-se que 48,5% da populao est disposta a pagar para
manter o canal no ar, e que 55,4% da populao estaria disposta a abrir mo de um canal de TV
aberta para ter acesso ao Futura.
J a avaliao de impacto considerou os seguintes temas: respeito s diferenas, empreendedorismo e engajamento social, alm da postura do pblico diante da TV. Verificou-se que, embora no haja diferena significativa entre quem assiste e quem no assiste ao Futura, para a
maioria dos temas possvel observar que o perfil do telespectador do canal diferenciado,
demonstrando ser menos preconceituoso.
Portanto, foi constatado que temas relevantes na grade do Futura, como empreendedorismo e
engajamento social, atraem para o canal pessoas mobilizadas, mas as estimativas no atribuem
essa maior mobilizao a um impacto do Futura sobre as pessoas.
Escola Integrada
Projetos
de parceiros
Criado em 2006 pela Prefeitura de Belo Horizonte, visa melhorar a qualidade do ensino fundamental das escolas municipais a partir da ampliao da jornada educativa. Para atingir esse objetivo, vem transformando espaos pblicos prximos s escolas atendidas em locais de aprendizado, nos quais so realizadas atividades pedaggicas, culturais e esportivas no contraturno
escolar. Hoje atende 48 escolas que esto localizadas em regies de vulnerabilidade social da
capital mineira.
A avaliao econmica deste programa foi realizada com base em uma amostra de 982 alunos
que participaram do programa e de 1.783 alunos que no participaram. A anlise captou impactos positivos com relao ao tempo dedicado leitura e ao uso de computador. Tambm
houve melhora nos hbitos de higiene, alimentao e de estudo, o que aponta fortemente
para o desenvolvimento, no curto prazo, de um ambiente com melhores condies para a capacitao das crianas atendidas.
Anurio 2009
21
Polticas Pblicas
Projetos da
Escrevendo o Futuro
Criado em 2002, tem como objetivo colaborar para a melhoria do ensino da leitura e da
escrita nas escolas pblicas brasileiras. As principais estratgias do programa consistem na
promoo de um concurso de redao de textos voltado aos alunos e na distribuio de
material de apoio didtico/pedaggico aos professores.
A partir de 2008 essa iniciativa se tornou uma ferramenta de poltica pblica e est sendo
desenvolvida em parceria com o Ministrio da Educao com o nome Olimpada de Lngua Portuguesa Escrevendo o Futuro.
A avaliao econmica do programa considerou as edies de 2002 a 2006 e encontrou
um impacto positivo e estatisticamente significativo do programa no desempenho mdio
em lngua portuguesa da 4a srie, segundo os resultados da Prova Brasil. As escolas participantes da competio em 2006 obtiveram, em mdia, 1,29 ponto a mais em relao ao
grupo de comparao.
Concluiu-se tambm que esse impacto no desempenho crescente de acordo com o nmero de participaes das escolas nas diferentes edies do programa, chegando a 2,69
para aquelas que participaram trs vezes. Verificou-se ainda que o impacto nas notas se
mantm no mdio prazo, sendo observado nas notas obtidas pelos alunos de 8a srie na
Prova Brasil.
22
Polticas Pblicas
Promovida desde 2005 pelo governo federal em parceria com o Instituto de Matemtica Pura
e Aplicada (Impa), tem como principais objetivos incentivar o estudo de matemtica e contribuir para a melhoria da qualidade da educao bsica. Neste trabalho foi avaliado o impacto
da OBMEP nas notas mdias de matemtica das escolas pblicas na Prova Brasil (Inep/MEC) e
realizada a anlise custo-benefcio do programa.
Ao final, ficou demonstrado que a OBMEP tem efeito positivo e estatisticamente significativo,
com valor aproximado de 2 pontos, nas notas mdias de matemtica das escolas na Prova Brasil (2007), na 8a srie do ensino fundamental. Esse impacto crescente conforme o maior nmero de participaes das escolas nas edies anuais da OBMEP, e maior nos percentis mais
elevados das distribuies de notas dos alunos.
A anlise de custo-benefcio indicou que o investimento da OBMEP compensa em termos de
benefcios salariais futuros para os participantes. A taxa interna de retorno do programa foi de
22% ao ano para escolas que participaram somente uma vez da Olimpada. Os resultados dessa avaliao foram divulgados no meio acadmico com apresentao em congressos, alm de
ser o tema de matria publicada no jornal O Estado de S.Paulo, em 29 de setembro de 2009, e na
Anurio 2009
23