Ficha Tcnica ISBN 978-85-98149-04-2 Iniciativa Fundao Ita Social Vice Presidente Antonio Jacinto Matias Superintendente Valria Veiga Riccomini Gerente Isabel Cristina Santana Coordenador do Programa Antonio Bara Bresolin Coordenao Tcnica Ita Unibanco Gerncia de Avaliao de Projetos Lgia Maria de Vasconcellos Clarissa Gondim Teixeira Crditos da Publicao Organizador Naercio Menezes Filho Autores Betnia Peixoto Cristine Campos de Xavier Pinto Lycia Lima Miguel Nathan Foguel Ricardo Paes de Barros Projeto Grco e Diagramao Andr Godoi Comunicao Completa Apoio Carlos Eduardo Garrido Evandro da Silva e Silva Gabriela Gall Rosa Luciana Rocha Vidal Reviso de textos Jos Paulo Ferrer ORGANIZADOR Naercio Menezes Filho AUTORES Betnia Peixoto Cristine Campos de Xavier Pinto Lycia Lima Miguel Nathan Foguel Ricardo Paes de Barros 1 Edio - Brasil 2012 NDICE Apresentao Antonio Jacinto Matias Srgio Ribeiro da Costa Werlang Prefcio Naercio Menezes Filho Introduo Ricardo Paes de Barros - Lycia Lima 1. Avaliao de Impacto de Programas Sociais: Por que, para que e quando fazer? Parte I - Mtodos Bsicos de Avaliao de Impacto Miguel Nathan Foguel 2. Modelo de Resultados Potenciais 3. Mtodos de Aleatorizao 4. Diferenas em Diferenas Cristine Campos de Xavier Pinto 5. Pareamento
Parte II - Mtodos Avanados de Avaliao de Impacto Cristine Campos de Xavier Pinto 6. Variveis Instrumentais 7. Regresso Descontnua Parte III - Anlise de Retorno Econmico Betnia Peixoto 8. O Clculo do Retorno Econmico Bibliografa Bibliografa Complementar Autores
07 09
13
31 175 183 185 35 49 69 85 107
107 125 147 149 APRESENTAO O Ita Unibanco, comprometido com o crescimento social e econmico do pas, busca a sustentabilidade nos negcios, apostando em relaes dura- douras, fundamentadas nos seus valores de transparncia, tica, respeito ao dilogo e capacidade de gesto de riscos. E, por entender que a educao o principal caminho para o desenvolvimento sustentvel do Brasil, este o foco do investimento social do banco. A Fundao Ita Social, um dos braos do investimento social do Ita Uniban- co, tem como atividades centrais a formulao, a implantao e a disseminao de metodologias voltadas melhoria de polticas pblicas na rea educacional. Sua atuao acontece em todo o territrio brasileiro, em parceria com gover- nos, setor privado e organizaes da sociedade civil. Os valores estruturantes da cultura do Ita Unibanco permeiam as aes da Fundao, compartilhando competncias que garantem a execuo das me- lhores prticas de gesto, na busca de resultados, nos ganhos de escala, no monitoramento e na avaliao das aes sociais apoiadas e desenvolvidas. Neste contexto, a Fundao Ita Social e o banco lanaram, em 2004, o Progra- ma Avaliao Econmica de Projetos Sociais, colocando conhecimentos muito prprios da empresa a servio da causa social. Com a convico de que a avalia- o uma importante ferramenta de gesto, diversas aes foram desenvolvi- das desde ento, entre elas cursos e seminrios ofertados em todo o pas, com o objetivo de disseminar a cultura da avaliao. Este livro complementa as estratgias de disseminao dos conceitos da ava- liao econmica de projetos sociais ao tornar metodologias de impacto, hoje ainda ensinadas em poucos cursos de ps-graduao, acessveis a alunos de graduao interessados no tema. Alm disso, traz exemplos de avaliaes de projetos brasileiros, mostrando que nos ltimos anos a avaliao tem sido as- sumida, pouco a pouco, como um relevante instrumento de gesto e de pres- tao de contas sociedade. Colocamos foco tambm na anlise de retorno econmico, pois, consideran- do-se que a escassez de recursos para investimentos voltados para o desenvol- vimento social uma realidade constante, importantssimo garantir que tais investimentos estejam alcanando seu melhor resultado. Agradecemos ao coordenador e aos autores deste livro, em especial ao Ricardo Paes de Barros, por sua dedicao e empenho para a realizao deste projeto, convencidos, como ns, da importncia da disseminao deste conhecimento. Esperamos, com mais este esforo de difundir a prtica da avaliao econmica em projetos sociais, estar, de fato, contribuindo para a maior efcincia e alcan- ce das aes sociais no nosso pas. Antonio Jacinto Matias Vice-presidente da Fundao Ita Social Srgio Ribeiro da Costa Werlang Vice-presidente do Ita Unibanco Avaliao Econmica de Projetos Socias l 9 PREFCIO H meros 10 anos, a avaliao econmica de projetos sociais, tema deste livro, era uma rea praticamente inexplorada por economistas e cientistas sociais no Brasil. Os primeiros estudos brasileiros nesse campo, avaliando o impacto de programas de treinamento e emprego, foram realizados no incio deste sculo. A atuao da Fundao Ita Social na rea de avaliao de impacto e retorno econmico iniciou-se em 2004, quando o programa Razes e Asas foi avaliado economicamente. Desde ento, a Fundao Ita Social oferece cursos para gestores de organiza- es no governamentais, do setor pblico e de fundaes empresariais, alm de seminrios internacionais e regionais e cursos avanados para alunos de ps-graduao de todo o pas. A partir do interesse pelos cursos, que quase sempre geram lista de espera, surgiu a ideia de lanar uma publicao que tra- tasse do tema com amplitude e rigor, para atingir o pblico que tem interesse pelo assunto, mas que no tem a possibilidade de presenciar os cursos e semi- nrios. Dessa ideia nasceu este livro. A preocupao com avaliao tem ganhado fora na medida em que a socie- dade brasileira sente a necessidade de usar seus recursos na rea social da me- lhor forma possvel. Afnal, vrios programas e polticas em diversas reas so lanados todos os anos nos vrios nveis da administrao pblica e existe a necessidade de sabermos o real efeito desses programas nas vidas das pessoas. Da mesma forma, o trabalho desenvolvido no terceiro setor, principalmente na rea social, precisa prestar contas sociedade e para os seus fnanciadores, mostrando que os recursos esto sendo gastos da melhor forma possvel. Mas, o que signifca avaliar economicamente os projetos sociais? Como os au- tores mostram nos captulos que se seguem, a avaliao econmica com- posta de duas partes: avaliao de impacto e clculo do retorno econmico. A avaliao de impacto usa ferramentas estatsticas para estimar o efeito de um programa sobre os seus benefcirios, ou seja, se o programa atingiu ou no seus objetivos iniciais e qual a magnitude desse efeito. Para que essa an- lise seja feita de forma objetiva, a avaliao necessita ter indicadores objetivos e mensurveis, que possam ser utilizados para aferir o sucesso do programa. Alm disso, necessrio que haja um grupo de controle, ou seja, pessoas, es- colas ou regies que no foram atendidas pelo programa e que so parecidas com o grupo que sofreu a interveno, chamado, seguindo a tradio da litera- tura mdica, de grupo de tratamento. l Fundao Ita Social 10 Mas, para que a avaliao seja completa necessrio tambm saber se os be- nefcios gerados a partir do impacto estimado superam os custos do programa, ou seja, se o projeto vale a pena do ponto de vista econmico. Muitas das ava- liaes quantitativas existentes no chegam a essa parte, concluindo a avalia- o com a estimativa do impacto. Entretanto, o clculo do retorno econmico essencial para verifcar se os custos do programa so altos a ponto de invia- bilizar a replicao do projeto. Alm disso, essa metodologia permite o clculo da taxa interna de retorno de diferentes projetos, que podem assim ser compa- rados. Para esse fm, so utilizadas tcnicas simples de matemtica fnanceira, que so muito usadas para calcular o retorno de outros tipos de investimentos. Os autores desse livro esto entre os maiores especialistas em avaliao do pas. No primeiro captulo, guisa de introduo, Ricardo Paes de Barros e Lycia Lima discutem por que a avaliao de impacto to necessria. Afnal, por que deveramos gastar recursos avaliando um programa que, se no apresentasse resultados satisfatrios, no seria demandado por ningum? Os autores expli- cam que a avaliao conduzida de forma rigorosa pode mostrar se os resulta- dos esperados foram efetivamente alcanados, dada a imperfeio com que diversos programas so colocados em prtica. Alm disso, projetos que tive- ram impacto comprovado para um grupo especfco ou regio podem ter um resultado completamente diferente quando implementados em outra regio ou grupo de pessoas ou at em outro perodo de tempo. Aps a introduo, a primeira parte do livro trata dos mtodos bsicos de avaliao de impacto. No segundo captulo, Miguel Nathan Foguel introduz o modelo bsico que permeia todas as metodologias de avaliao de impacto, chamado Modelo de Resultados Potenciais. Em seguida, no capitulo 3, Miguel explica a teoria por detrs do procedimento que considerado o padro-ouro nas avaliaes de impacto, no qual os grupos de tratamento e controle so es- colhidos aleatoriamente, ou seja, atravs de um sorteio. Mas, como na grande parte dos casos prticos a escolha dos tratados no se d de forma aleatria, a maior parte do livro foca as metodologias no experimentais. Assim, no quarto captulo, Miguel explica a metodologia de diferenas em diferenas, que deve ser utilizada quando possumos informaes sobre a varivel de resultado an- tes e depois da realizao do programa. Por fm, no captulo 5, Cristine Campos de Xavier Pinto explica o mtodo de pareamento, o mais utilizado na prtica pelas avaliaes de projetos sociais, que procura comparar grupos de trata- mento e controle que so parecidos em termos de suas caractersticas. A segunda parte do livro apresenta mtodos mais sofsticados de avaliao de impacto. No captulo 6, Cristine explica o mtodo de variveis instrumentais, que lida com o fato de que a participao no programa pode ser explicada por Avaliao Econmica de Projetos Socias l 11 fatores que no so observados pelo avaliador. Em seguida, a mesma autora apresenta o mtodo de regresso descontnua, bastante utilizado atualmente em artigos acadmicos, que apropriado para os casos em que a probabilida- de de uma pessoa ou escola ser tratada muda drasticamente dependendo de fatores especfcos. A terceira parte do livro lida com o clculo do retorno econmico de um proje- to social. No captulo 8, Betnia Peixoto explica detalhadamente os conceitos e o instrumental necessrios para o clculo desse retorno, incluindo aplicaes prticas e um exemplo para que os conceitos sejam sedimentados. Conceitos como valor presente lquido, taxa interna de retorno e custo-efetividade so discutidos nesse captulo. Este livro foi planejado tendo em vista um pblico formado por alunos de gra- duao de cursos na rea de cincias sociais, que tenham passado por um bom curso de estatstica bsica e que tenham interesse por projetos sociais. Gesto- res de entidades do terceiro setor, fundaes empresariais e dos vrios nveis do governo tambm acharo o contedo bastante estimulante. Alm disso, o instrumental desenvolvido nos captulos avanados ideal para os interessa- dos em se aprofundar na metodologia. O apndice do livro comenta uma bibliografa complementar nas reas de estatstica e matemtica fnanceira que pode ser utilizada como auxlio para entendimento dos captulos do livro. Alm disso, cada captulo traz exerccios especfcos que servem para ajudar a fxao do contedo. Finalmente, a parte fnal traz um exerccio prtico para ser resolvido pelos leitores. As bases de da- dos e as respostas dos exerccios esto disponveis na pgina da Fundao Ita Social na internet. Esse livro deve estimular ainda mais a realizao de avaliaes de impacto, para que possamos conhecer e replicar os projetos sociais e polticas pblicas com maior retorno econmico, de forma a gerar o mximo de valor para a socieda- de brasileira.
Naercio Menezes Filho Avaliao Econmica de Projetos Socias l 13 CAPTULO 1 Avaliao de Impacto de Programas Sociais Por que, para que e quando fazer? Ricardo Paes de Barros Lycia Lima 1 Introduo A deciso dos formuladores de polticas pblicas de investir em um programa social sempre parte do pressuposto de que aquela interveno ter um impac- to positivo sobre um conjunto de resultados de interesse coletivo ou individual que, em ltima instncia, deve trazer benefcios para ao menos uma parcela da sociedade. Mas ser que, na prtica, as polticas pblicas e os projetos sociais do terceiro setor atingem os objetivos para os quais foram desenhados? O principal propsito de uma avaliao de impacto verifcar se, na realidade, um determinado programa est alcanando os objetivos, ou impactos, espe- rados. Entenderemos por impacto as diferenas entre a situao dos partici- pantes do projeto aps terem participado e a situao em que estariam, caso no tivessem tido acesso a ele. Dessa forma, o impacto do programa defnido como o contraste entre duas situaes: uma real (a situao dos participantes aps a participao no projeto) e outra hipottica (a situao em que estariam caso no tivessem tido a oportunidade de participar do programa). Esta def- nio de impacto, entretanto, apenas um ponto de partida. Os demais cap- tulos deste livro se encarregaro de aprofundar essa discusso e apresentar os diferentes mtodos existentes para a estimao do impacto. Avaliaes de impacto certamente consomem recursos que, alternativamente, poderiam ser investidos diretamente no prprio programa. A crescente expan- l Fundao Ita Social 14 so de estudos dessa natureza sinaliza que a importncia de dedicar esforos e recursos para este fm cada vez mais reconhecida. Mas por que avaliaes de impacto so importantes? Os resultados dessas avaliaes tm uma variedade de utilidades potenciais. A mais bvia delas utilizar as informaes produzidas para a melhoria do de- senho do prprio programa em questo. Alm disso, os resultados produzidos podem ser usados para auxiliar no desenho de outros programas subsequen- tes na mesma comunidade ou at mesmo para informar formuladores de po- lticas que pretendam desenhar programas com objetivos similares em outras comunidades. Este livro busca descrever a metodologia necessria para a realizao de ava- liaes de impacto. Entretanto, antes de iniciar a discusso metodolgica, fundamental entender por que, para que e quando avaliar programas sociais. 2 Por que avaliar o impacto de um programa social? Nossa sociedade investe uma grande quantidade de recursos, tanto humanos quanto fnanceiros, em programas sociais. Avaliaes de impacto nos permi- tem verifcar se estes recursos esto de fato sendo aplicados da melhor manei- ra possvel. No entanto, avaliaes de impacto tambm consomem recursos. Ser que a realizao da avaliao de impacto do programa sempre o melhor uso daqueles recursos ou seria melhor revert-los em um maior investimento no prprio programa? Afnal, os benefcios de uma avaliao de impacto supe- ram seus custos? 2.1 No evidente que um programa amplamente utilizado tem impacto? A justifcativa da importncia da aplicao de recursos para avaliar impacto no to bvia. Uma contra-argumentao vlida poderia ser fundamentada Avaliao Econmica de Projetos Socias l 15 na alegao de que pouco provvel que um programa com acesso voluntrio no tenha impacto sobre aqueles que o procuram e dele se utilizam. Por que algum dedicaria tempo e esforo a um programa que no lhe traz benefcios e, portanto, no tem qualquer impacto? A ampla utilizao de um programa por ao menos um segmento da sociedade no seria por si s indcio de existncia de impacto? De fato, pouco provvel que a maioria dos progra- mas existentes no traga benefcio algum a seus benefcirios. Afnal, em sua maioria, os programas sociais so voluntariamente utilizados pelos seus bene- fcirios que, portanto, devem estar convencidos da sua utilidade. Em sua maioria, os programas sociais se baseiam em teorias que preveem um elo entre o acesso ao programa e impactos positivos sobre um conjunto pr- determinado de resultados. Portanto, os formuladores de polticas pblicas, geralmente, contam com argumentos tericos e, frequentemente, com evi- dncia emprica, ambos sinalizando a efccia do programa em questo. Assim, investigar a existncia de impacto de um programa cuidadosamente desenhado e voluntariamente utilizado pela sociedade no seria questionar a racionalidade dos usurios e a validade dos argumentos tericos e empricos adotados no desenho do programa? Existem duas possveis respostas a essa pergunta. Uma das motivaes de uma avaliao de impacto , precisamente, a validao das teorias que serviram de base ao desenho do programa. Por este motivo, to comum e importante a avaliao de impacto de programas em escala piloto. A avaliao de um piloto busca verifcar se a ligao entre o acesso ao programa e os resultados esperados vlida, para que o programa possa ser expandido com menos incerteza sobre o seu potencial de alcanar sucesso. Si- milarmente, uma avaliao de impacto tambm til para confrmar se as per- cepes dos usurios sobre a efccia do programa coincidem com a realidade. Por outro lado, podemos argumentar que o objetivo de uma avaliao de im- pacto vai muito alm de simplesmente determinar a existncia ou no do im- pacto. Mesmo que tenhamos convico da existncia de impacto de um dado programa, ainda assim ser necessrio conduzir uma avaliao para que pos- samos entender o impacto. Tanto para o gestor do programa, quanto para os usurios, to ou mais importante do que saber se h algum impacto conhe- cer a magnitude do impacto, assim como saber sobre quais dimenses o pro- grama tem impacto e que canais permitem que este impacto se manifeste. Este conhecimento indispensvel para o aperfeioamento do desenho do progra- ma e para a melhoria na sua adequao s necessidades de seus usurios. l Fundao Ita Social 16 2.2 Demanda pelos mais ricos evidncia de impacto? Muitos dos programas sociais existentes so ofertados gratuitamente para a parcela mais pobre da sociedade. Nesse caso, adeso voluntria ao programa deve ser necessariamente interpretada como indcio do impacto do programa? Pode-se argumentar que no. possvel que os pobres tenham conhecimen- to limitado sobre a efccia daquele servio ou programa. Alm disso, como a oferta gratuita, os benefcirios aderem porque no perdem nada participan- do. Contudo, o que dizer do impacto de um servio oferecido gratuitamente aos mais pobres, mas para o qual existe proviso privada para suprir a demanda dos mais ricos, que pagam preos signifcativos pelo acesso? Assumindo que a qualidade dos servios oferecidos gratuitamente aos pobres seja igual quali- dade da oferta privada aos ricos, no seria a existncia de demanda pelos mais ricos evidncia sufciente de que o servio teria impacto? Com base na teoria econmica, podemos argumentar que a existncia de demanda por um servi- o com preo signifcativo sim um indcio de impacto. Por que ento a neces- sidade de realizar uma avaliao de impacto nesta situao? Em primeiro lugar, observadas as diferenas entre os pobres e os ricos, pode- se argumentar que o fato de um servio ou programa ter impacto sobre um grupo no implica necessariamente que ter o mesmo impacto sobre o outro grupo. Dessa forma, havendo demanda dos mais ricos por um servio, ainda assim ser necessrio avaliar a magnitude do impacto sobre os mais pobres. Em segundo lugar, mesmo quando no h dvidas sobre a existncia do im- pacto do servio, pode ser importante avaliar a sua magnitude sobre os mais pobres. Sabemos que, em geral, as prioridades dos indivduos (e, portanto, o valor dos benefcios) variam com o nvel de renda. Benefcios que tm eleva- do valor para os mais ricos podem no ser classifcados como prioritrios para os mais pobres. Logo, a evidncia da efccia do programa entre os mais ricos pode no ser sufciente para justifcar a implantao de um programa anlogo para os mais pobres. Nesses casos, justifca-se, pois, a utilizao da avaliao de impacto para produzir evidncia direta do impacto do programa e do valor desses benefcios para o grupo dos mais pobres. Avaliao Econmica de Projetos Socias l 17 2.3 A relao entre impacto, ambiente socioeconmico e caractersticas da populao benefciada Formuladores de polticas pblicas, geralmente, desenham um programa so- cial visando a uma populao-alvo especfca sendo benefciada em um am- biente pr-estabelecido. Assim, natural que existam poucas dvidas sobre o impacto de um determinado programa quando este implementado no local e momento corretos e benefcia a populao para a qual foi originalmente de- senhado. Porm, este mesmo programa implementado em um ambiente com- pletamente distinto do planejado provavelmente no ter o mesmo resultado. de se esperar que a mesma ao dirigida a outra populao, outro local e ou- tro momento do tempo no benefcie da mesma forma os que dela participam. Uma das utilidades da avaliao de impacto , precisamente, determinar em que medida a efccia de um programa depende das caractersticas da popula- o benefciada, do momento no tempo e da natureza do ambiente socioeco- nmico em que ocorre. 2.4. Impacto potencial versus impacto efetivo O impacto de um programa no depende apenas do seu desenho e da sua adequao ao perfl dos benefcirios e ao ambiente socioeconmico em que estes vivem. Igualmente determinante da magnitude do impacto a forma como o programa implementado. Mesmo sendo poucas as dvidas sobre o impacto potencial de um programa bem desenhado e focalizado, podem per- sistir grandes incertezas relativas ao efetivo impacto desse programa quando implementado de maneira defciente. Neste caso, o objetivo da avaliao de impacto no investigar o impacto terico ou potencial do programa, mas sim sobre o seu impacto efetivo, dada a maneira imperfeita como foi implementa- do. Em suma, o impacto de um programa depende no apenas do seu impacto potencial, mas est tambm intrinsecamente ligado s condies da sua im- plementao. Ainda que um programa tenha comprovadamente impacto po- tencial, fundamental avaliar o seu impacto real. Nesse caso, a avaliao de impacto til para verifcar qual parcela do impacto potencial foi desperdiada l Fundao Ita Social 18 devido a falhas no processo de implementao. Esse dilema inerente avaliao de impacto de polticas pblicas. Em vrias reas, existem estudos tericos que, consensualmente, apontam para a im- portncia de determinadas aes. Em contraste, muitas avaliaes de impacto encontram impactos irrisrios dessas mesmas aes aps a implementao. Assim, o frequente descompasso entre os resultados tericos e empricos re- fora ainda mais a necessidade de uma avaliao de impacto, essencial para discernir entre o impacto do programa como originalmente desenhado (im- pacto potencial) e o impacto do programa como de fato implementado (im- pacto efetivo). 2.5 Avaliao de impacto como forma de monitoramento Os impactos de um determinado programa social difcilmente so invariveis ao longo do tempo. Assim, nada garante que um programa avaliado hoje con- tinue tendo o mesmo impacto no prximo ano ou no ano subsequente. Podemos apontar pelo menos quatro razes para justifcar essa potencial in- constncia temporal do impacto. Primeiramente, o impacto de um programa, normalmente, est relacionado com o tempo de exposio do benefcirio, po- dendo tanto declinar rapidamente logo aps o trmino do programa como persistir por um longo perodo de tempo. Em segundo lugar, ao longo do tem- po podem ocorrer futuaes na qualidade da gesto do programa e, conse- quentemente, na efccia da implementao, gerando oscilaes na magnitu- de do impacto. Em terceiro lugar, o impacto pode variar ao longo do tempo se for sensvel a mudanas no ambiente socioeconmico. Por fm, se o perfl da populao benefciada pelo programa se modifca ao longo do tempo, de se esperar que a magnitude do impacto tambm se altere. Devido a cada um desses motivos, mesmo programas que tm impacto inicial de magnitude conhecida devem ser continuamente avaliados. Por um lado, uma avaliao contnua a nica maneira de identifcar os impactos de m- dio e longo prazos do programa e, portanto, a nica forma de avaliar seu grau de maturao e persistncia. Por outro lado, repetidas avaliaes do mesmo programa podem revelar como o impacto do programa responde a mudanas no ambiente socioeconmico e no perfl dos benefcirios. Por fm, mesmo no caso em que o perfl da populao benefciada e o ambiente socioeconmico permanecem estveis, avaliaes de impacto peridicas podem ser de extre- Avaliao Econmica de Projetos Socias l 19 ma utilidade como um instrumento de gesto. Neste caso, futuaes na mag- nitude do impacto podem indicar uma melhoria ou deteriorao na forma de funcionamento e, portanto, na gesto do programa. Os argumentos apresentados sinalizam que o impacto de um programa tem carter mutvel ao longo do tempo. Portanto, uma avaliao de impacto deve ser considerada como uma ferramenta para a utilizao contnua, j que as concluses auferidas a partir de sua utilizao pontual no so necessariamen- te vlidas intertemporalmente. 2.6 A questo da relao custo-efetividade A existncia de impacto no sufciente para justifcar a alocao de recursos adicionais para um dado programa. Em uma sociedade, se existirem programas alternativos que perseguem os mesmos objetivos, a opo por um determina- do programa depender de este ser aquele que produz o maior impacto por unidade de custo. Esse critrio comumente denominado custo-efetividade. Assim, em um cenrio onde os recursos so escassos e diferentes programas competem pelos mesmos recursos, a avaliao de impacto essencial para mensurar a magnitude do impacto e calcular a relao custo-efetividade de cada programa. Mesmo que o impacto de um dado programa seja inquestio- nvel, este programa pode no ser aquele com a melhor relao custo-efetivi- dade e, portanto, pode no ser o melhor candidato a receber os recursos dis- ponveis. Assim, para se avaliar a relao custo-efetividade de um programa, necessrio no apenas reconhecer a existncia do impacto, mas tambm men- surar a sua magnitude. 2.7 A questo da relao custo-benefcio Para que recursos sejam alocados a um programa, no basta que o programa tenha impacto ou mesmo que seja aquele com a melhor relao custo-efeti- vidade. necessrio tambm que o valor dos benefcios do programa supere seus custos, isto , que o programa tenha uma relao custo-benefcio favo- rvel. No clculo desta relao, deve-se considerar todos os custos e benef- cios sociais, tanto aqueles sobre os agentes diretamente envolvidos como as externalidades sobre o restante da sociedade. Mesmo diante da evidncia de que um programa tem impacto, essencial ainda assim estimar a magnitude l Fundao Ita Social 20 deste impacto para que se possa verifcar se o valor dos benefcios produzidos superam os custos demandados. Muitas vezes, diferentes aes com objetivos anlogos no diferem substancialmente com relao ao seu custo. Nestes ca- sos, so as diferenas na magnitude do impacto que iro determinar qual o programa que tem a melhor relao custo-benefcio. Em princpio, possvel argumentar que todos os programas com relao cus- to-benefcio favorvel deveriam ser implementados. Esta certamente a regra quando no existe interdependncia entre os programas. De fato, se os bene- fcios e os custos de um programa no dependem da existncia ou operao dos demais, ento no existe razo para que todos os programas com relao custo-benefcio favorvel no sejam simultaneamente implementados. No entanto, em geral, os benefcios e custos de programas alternativos depen- dem da existncia ou operao de seus concorrentes, e as relaes custo-bene- fcio so estimadas supondo que estes no foram nem sero implementados. Neste caso, o procedimento decisrio deve ser necessariamente sequencial. Primeiro decide-se sobre a implementao do programa com a melhor relao custo-benefcio. Em seguida, novas relaes custo-benefcio so recalculadas para os programas no implantados, levando em considerao que aquele de melhor relao custo-benefcio foi efetivamente implantado. Aps esta reava- liao, caso ainda exista algum programa com relao custo-benefcio favor- vel, o melhor deles deve ser implantado e o procedimento novamente condu- zido. Note que esta anlise sequencial requer a estimao do impacto de cada programa tanto na ausncia quanto na presena dos demais. 2.8 Por que no investigar diretamente a propenso a pagar? A seo anterior demonstrou que, em ltima instncia, o objetivo de uma ava- liao de impacto deve ser investigar a relao custo-benefcio de um progra- ma. Para tanto, realiza-se uma comparao entre os custos e o valor dos benef- cios do programa, sendo o ltimo obtido a partir do produto entre a magnitude do impacto e o valor atribudo a este pelo conjunto de benefcirios. Nesse sentido, uma avaliao de impacto apresenta duas limitaes. Primei- ramente, um programa tem geralmente uma variedade de impactos, alguns intencionais e muitos outros colaterais. Neste caso, para obter a relao cus- to-benefcio, seria necessrio estimar a magnitude de todos esses impactos, o que j seria um desafo, dado que muitos desses impactos so de difcil men- Avaliao Econmica de Projetos Socias l 21 surao. Em segundo lugar, mesmo que fosse possvel estimar a magnitude de todos os impactos, ainda seria preciso estimar o valor que cada benefcirio atribui a cada um deles. De fato, a avaliao de impacto apenas um primeiro passo para se estimar a relao custo-benefcio. Caso a mensurao da magnitude de cada impacto, seguida de sua valorao, fosse a nica alternativa para se obter o valor dos benefcios, sem dvida, a ava- liao de impacto seria essencial para a estimao da relao custo-benefcio de um programa. No entanto, existe uma alternativa para estimar o valor dos benefcios: a propenso a pagar do benefcirio pelo servio. O valor total de um programa, benefcio ou servio para um benefcirio pode ser avaliado a partir da investigao do valor pelo qual ele estaria disposto a trocar o acesso ao programa, medido em termos monetrios ou em termos do acesso a outros bens e servios. As tcnicas utilizadas para a investigao da propenso a pagar podem ser classifcadas em dois grandes grupos: (i) com- portamental e (ii) no comportamental. Nos mtodos no comportamentais, pergunta-se diretamente ao benefcirio quanto ele estaria disposto a pagar pelo acesso a um determinado programa, benefcio ou servio. O desafo neste caso que frequentemente a resposta pode no ser fdedigna. Como a pergunta se refere a uma situao hipottica, as pessoas tendem a superestimar o valor que elas efetivamente estariam dis- postas a pagar. Existem, entretanto, protocolos pr-estabelecidos que defnem como investigaes desta natureza podem ser conduzidas visando mitigar a possibilidade de resultados pouco confveis. Por outro lado, nos mtodos comportamentais, o valor do benefcio inferido a partir da observao direta do efetivo comportamento do benefcirio. No caso dos servios para os quais existe um mercado, verifcamos que o preo de mercado o valor (ou a propenso a pagar) que o benefcirio marginal atribui ao servio em questo. Quando no existe mercado, ainda assim o va- lor associado ao servio pode ser inferido com base na observao de outros comportamentos. No caso de um posto de sade, por exemplo, o valor pode ser avaliado a partir do raio de cobertura do servio. Quanto mais valorizado o servio, maior a distncia que os benefcirios estaro dispostos a percorrer para acess-lo. Em resumo, a vantagem metodolgica da utilizao da propenso a pagar que este mtodo estima diretamente o valor do benefcio, evitando problemas potenciais causados pela necessidade de estimar mltiplos impactos e o valor atribudo a cada um deles. Ao contrrio da avaliao de impacto, no neces- srio primeiramente decompor o impacto nos seus diversos componentes e l Fundao Ita Social 22 posteriormente valorar cada um destes individualmente. Sendo assim, dado que a avaliao de impacto se apresenta como um instrumento mais complexo e que via de regra exige maior esforo, qual seria ento a justifcativa para a sua utilizao? Existem essencialmente trs justifcativas que sustentam o uso da avaliao de impacto. Em primeiro lugar, quando o impacto de um programa ocorre via poucas dimenses de fcil mensurao, a magnitude do impacto pode ser ava- liada de forma relativamente incontestvel com base em mtodos experimen- tais. Alm disso, na ausncia de mercados para o servio ou benefcio em ques- to, a utilizao da propenso a pagar poderia levar a estimativas ainda menos confveis. No entanto, importante ressaltar que um aumento do nmero de dimenses do impacto e o surgimento de mercado para o servio ou benefcio em questo tornaria o uso da propenso a pagar mais fundamentada vis--vis utilizao da avaliao de impacto. Em segundo lugar, pode-se argumentar que a utilizao da propenso a pagar tem sua confabilidade reduzida quando existem externalidades e o programa em questo tem impactos sobre no benefcirios. Neste caso, se o nmero de dimenses do impacto limitado e o grupo de no benefcirios impactados pelo programa est bem defnido, uma avaliao de impacto experimental provavelmente capaz de produzir estimativas mais confveis. Por fm, o uso da propenso a pagar tem a grande limitao de no permitir a identifcao dos motivos pelos quais os benefcirios valorizam aquele servi- o. Assim, sabe-se quanto o programa valorizado, mas nada se sabe sobre os mecanismos pelos quais o programa infuencia o bem-estar dos benefcirios. Essa limitao especialmente problemtica no caso de programas multiface- tados, na medida em que impossvel distinguir qual componente do progra- ma est contribuindo mais ou menos para a satisfao do usurio. Do ponto de vista dos benefcirios, possvel que seja sufciente saber o grau de satisfao dos benefcirios com o programa de um modo geral. Porm, para os gestores e aqueles que fnanciam o programa, essa informao pode ser insufciente. Existem duas razes que justifcam a necessidade de identifcar os impactos especfcos de um programa. Por um lado, possvel que os responsveis pelo fnanciamento valorizem os impactos especfcos de maneira distinta dos be- nefcirios. Em outras palavras, aqueles que fnanciam o programa podem querer se assegurar de que o programa est causando satisfao pela via pre- tendida e no por algum outro motivo qualquer. Por outro lado, identifcar a magnitude dos impactos especfcos importante para avaliar a adequao do programa no alcance dos seus objetivos especfcos. Essa informao pode Avaliao Econmica de Projetos Socias l 23 ser til tanto para o redesenho do prprio programa quanto para o desenho de outros programas em contextos nos quais alguns impactos especfcos so particularmente valorizados. 2.9 Heterogeneidade do programa e da populao-alvo A grande maioria das intervenes heterognea e oferecida a uma cliente- la tambm heterognea. Na maioria dos casos, possvel ajustar os diversos parmetros do programa, desde sua durao e intensidade at seu contedo e qualidade. de se esperar, portanto, que a magnitude do impacto varie com estes parmetros e, tambm, segundo as caractersticas do benefcirio e o contexto socioeconmico em que o programa se insere. Assim, a realizao de uma avaliao de impacto essencial para entender como a heterogeneidade na interveno e no perfl dos usurios se refete nos resultados alcanados. Um mesmo programa pode ter muitos desenhos que variam em termos da sua efcincia. Uma avaliao de impacto possibilita no apenas identifcar o dese- nho mais efciente, mas tambm identifcar os segmentos da populao-alvo para os quais os benefcios so maiores. A identifcao destes grupos fun- damental para o desenho do programa. No curto prazo, a atuao do progra- ma deveria se concentrar nos segmentos da populao-alvo que tm a maior probabilidade de se benefciar destas aes. Por outro lado, a identifcao dos segmentos que pouco se benefciam das aes igualmente importante na medida em que revela a necessidade do investimento em aes alternativas voltadas para estes grupos. 3. Para que avaliar o impacto de um programa social? Avaliaes de impacto tm, em geral, uma multiplicidade de usos que podem ser categorizados em dois grandes grupos: (i) uso interno e (ii) uso externo. O uso interno de uma avaliao diz respeito sua utilidade para a tomada de decises sobre o prprio programa avaliado. O uso externo de uma avaliao relativo utilizao dos resultados da avaliao como instrumento para o desenho ou a melhoria do desenho de outros programas similares. l Fundao Ita Social 24 3.1 Sobre o uso interno: o aperfeioamento do desenho, funcionamento e gesto do programa avaliado Em seu uso interno, a avaliao de impacto serve como insumo para a tomada de deciso sobre o prprio programa. Neste sentido, a mesma pode ser uti- lizada com vrios objetivos, dependendo do usurio a que se destina. Quan- do os usurios dos resultados so aqueles responsveis pela continuidade ou descontinuidade do programa, a avaliao de impacto tipicamente utilizada como veredicto. Enquanto resultados positivos justifcam a permanncia ou ampliao de um programa, a ausncia destes d suporte desativao pro- gressiva ou imediata do programa. Em resumo, em primeiro lugar, uma avalia- o de impacto serve para (i) justifcar a existncia de um programa e (ii) decidir sobre sua desativao, continuidade ou expanso. Outra utilidade interna potencial de uma avaliao de impacto fornecer in- sumos para a promoo de melhorias no desenho do programa. Para tanto, fundamental que a avaliao no apenas obtenha estimativas da magnitude do impacto, mas tambm identifque os fatores determinantes do impacto. Saber como a magnitude do impacto varia com os parmetros que defnem a interveno a nica maneira atravs da qual uma avaliao pode contribuir para a reformulao dos princpios que embasam o programa, possibilitando assim o aperfeioamento do seu desenho e a adequao do seu marco lgico. O impacto de um programa, entretanto, no determinado apenas por seu de- senho. A natureza dos benefcirios e a forma e o grau com que estes utilizam as aes do programa tambm infuenciam a magnitude do impacto. Assim, na medida em que a avaliao revela como a magnitude do impacto do programa varia com a forma e grau de utilizao dos servios e tipo de benefcirio, a mesma se torna um instrumento de extrema utilidade ao gestor responsvel pela operao do programa. A partir dessas informaes, o gestor capaz de realizar ajustes fnos no programa, podendo, potencialmente, readequar a na- tureza dos servios e bens oferecidos s necessidades dos benefcirios e assim promover uma maior efetividade do programa em questo. Por fm, deve-se ressaltar ainda que o impacto do programa tambm depende da forma como a gesto e operao do programa conduzida. Assim, uma avaliao de impacto que contempla informaes sobre a sensibilidade da magnitude do impac- to s variveis relacionadas gesto e operao do programa fornece informaes valiosas para o aperfeioamento ou reformulao do sistema de gesto e operao. Avaliao Econmica de Projetos Socias l 25 3.2 Sobre o uso externo: para o desenho e aperfeioamento de programas similares O uso externo de uma avaliao de impacto est relacionado com a sua uti- lidade para auxiliar no desenho, na implementao ou na gesto de outros programas similares em contextos distintos. Neste sentido, avaliaes de im- pacto funcionam como bens pblicos, na medida em que benefciam uma po- pulao muito maior que aquela que originalmente participou do programa e fnanciou a avaliao. Dentre a grande variedade de usos externos de uma avaliao de impacto, tal- vez o de maior importncia seja a identifcao de melhores prticas. Gesto- res em toda parte esto continuamente em busca dos melhores programas, aes e prticas que permitam alcanar seus objetivos da forma mais efcaz possvel. Em todo momento, dada a tecnologia social existente, h um conjun- to de prticas que so aquelas com as melhores relaes custo-efetividade. A identifcao destas intervenes requer avaliaes de impacto de uma ampla variedade de programas com objetivos similares. Assim, indiscutvel que a identifcao das melhores prticas e, portanto, avaliaes de impacto so fun- damentais para o aprimoramento da efccia dos programas sociais em vigor. A avaliao dos impactos de um programa, quando associada avaliao de seu custo, permite compar-lo com as alternativas disponveis em termos de suas relaes custo-efetividade. A sua posio relativa queles programas que representam as melhores prticas defne o seu potencial de expanso e difuso. Programas com as relaes custo-efetividade mais favorveis esto em evidncia como candidatos tanto para a expanso nos locais onde atuam quanto para a adoo em outras reas (desde que seu impacto seja robusto a mudanas nos contextos socioeconmicos e culturais). Assim, para que a utilizao externa das avaliaes de impacto seja a mais ampla possvel, essencial que estas investiguem no apenas o tamanho do impacto, mas tambm a interao deste com caractersticas do ambiente so- cioeconmico e cultural em que as avaliaes se inserem. Este o conceito de validade externa que, em outras palavras, determina em que medida o impac- to estimado de um programa pode ser extrapolado para diferentes contextos. Trata-se, fundamentalmente, de uma avaliao da robustez ou da sensibilidade do programa ao contexto. Frequentemente, os programas avaliados se mostram sensveis ao contexto em que se inserem. Esta sensibilidade, entretanto, no de forma alguma uma indicao de que o programa no possa ser ajustado para outro contexto. A l Fundao Ita Social 26 constatao da sensibilidade do impacto do programa ao seu ambiente deve ser utilizada apenas como um alerta para que a expanso do programa seja feita de forma cuidadosa, adequando o mesmo s caractersticas especfcas do novo contexto. Nestes casos, importante que as avaliaes de impacto es- tabeleam no apenas o grau de sensibilidade do impacto do programa como um todo ao contexto, mas fundamentalmente estabeleam quais aspectos do programa determinam esta sensibilidade (ou, em outras palavras, como a mag- nitude do impacto depende do contexto). Esse tipo de informao fundamental para sinalizar quais cuidados devem ser adotados na difuso do programa, mas nada dizem sobre quais os ajustes ne- cessrios no seu desenho para que o seu impacto seja invariante ao contexto. Para que estes ajustes possam ser identifcados, seria necessrio que as avalia- es tambm indicassem como os parmetros do programa devem ser ajusta- dos em cada situao para que sua efccia seja preservada nos mais distintos ambientes. Este um dos grandes desafos de uma avaliao de impacto: ava- liar a sensibilidade do impacto ao contexto e identifcar as adequaes neces- srias para que o programa seja apropriado s mais variveis circunstncias. 4. Quando avaliar o impacto de um programa social? Avaliaes ex-ante versus ex-post Existem essencialmente trs momentos na execuo de um programa em que avaliaes de impacto podem ocorrer: (i) antes do incio do programa (so as ditas avaliaes ex-ante), (ii) durante o perodo de execuo do programa (so as ditas avaliaes ex-post de percurso) e (iii) aps a concluso do programa (so as ditas avaliaes ex-post de encerramento). Em cada caso, a avaliao caracterizada por metodologias e objetivos distintos, condicionados dis- ponibilidade de informaes relacionadas ao programa naquele momento do tempo.
4.1 Sobre a necessidade de avaliaes ex-ante e ex-post A deciso pela implementao de um dado programa geralmente precedida pela apresentao de argumentos que justifcam a racionalidade da opo por Avaliao Econmica de Projetos Socias l 27 aquela determinada interveno. Em geral, justifcativas deste tipo se baseiam em estimativas de custos e impactos esperados do programa em questo. Pre- ver a magnitude dos impactos antes que a interveno seja implantada o objetivo das avaliaes ex-ante de impacto. Embora o objetivo primordial de uma avaliao ex-ante seja justifcar a adoo de um dado programa, possvel e recomendvel que avaliaes ex-ante sejam tambm utilizadas para decidir sobre o melhor desenho da interveno. Uma vez elaborados e implementados, programas sociais muitas vezes permi- tem ajustes ao seu desenho durante a fase de operao. Avaliaes de impacto realizadas durante o perodo de operao do programa, denominadas avalia- es ex-post de percurso, so utilizadas para verifcar a validade das previses realizadas pelas avaliaes ex-ante. Desta forma, esse tipo de avaliao mostra- se fundamental para traar recomendaes sobre o futuro do programa, seja no sentido de interromper, continuar ou aperfeioar as aes da interveno em curso. Este tipo de avaliao muito comum durante a fase piloto da imple- mentao de um programa, embora seja importante que a sua aplicao no se limite a esta fase. O grande desafo para a realizao de uma boa avaliao ex-post de percurso o tempo. Por um lado, importante que a avaliao seja realizada quanto antes para que tenha sua infuncia sobre o desenho, operao, continuidade e expanso do programa maximizada. Por outro lado, dado que alguns impactos podem levar tempo para se manifestar, quanto mais cedo realizada a avaliao de impacto, maior a probabilidade de se subestimar ou at ignorar impactos importantes que no se manifestaram no curto prazo. Esse problema par- ticularmente grave j que, frequentemente, os impactos de maior importn- cia podem ser os de longo prazo. Assim, toda avaliao ex-post de percurso precisa analisar cuidadosamente o trade-of entre fornecer respostas rpidas para auxiliar no aperfeioamento e expanso do programa e aguardar o tempo necessrio para que parte substancial dos impactos do programa se manifeste. Portanto, avaliaes ex-post de percurso so mais comuns em programas de longa durao ou mesmo de durao ilimitada, sendo difceis de serem realiza- das em programas de curta durao. A realizao de uma avaliao de impacto tambm justifcada aps o encer- ramento de um programa social. Neste caso, dois objetivos merecem ateno. Por um lado, a avaliao ex-post de encerramento til para determinar quo adequada foi a deciso de alocao de recursos quele programa. Trata-se de uma avaliao ex-post das decises realizadas no passado e da qualidade da gesto do programa. No permite rever ou aprimorar aes, mas apenas veri- fcar se os agentes envolvidos no processo decisrio tomaram ou no decises adequadas e se os responsveis pelo programa fzeram uma boa gesto. Por outro lado, uma utilidade extremamente importante das avaliaes ex-post l Fundao Ita Social 28 em geral est relacionada identifcao de melhores prticas. Avaliaes ex -post de programas com objetivos similares geralmente fornecem informaes relevantes que podem auxiliar na tomada de deciso de gestores pblicos em- penhados em desenhar novos programas ou aperfeioar os programas exis- tentes na rea em questo. Por fm, vale ressaltar que as avaliaes ex-post de encerramento tm a grande vantagem de evitar o confito entre o momento da avaliao e o prazo de ma- turao do impacto do programa. Neste caso, no h restrio de tempo para a sua realizao, o que torna este tipo de avaliao ideal para garantir a cap- tao dos impactos verdadeiramente de longo prazo de um programa social. 4.2 Diferenas informacionais e metodolgicas Em decorrncia do momento em que so realizadas, as avaliaes ex-ante e ex -post se baseiam cada qual em um conjunto distinto de informaes, aquelas disponveis naquele dado momento do tempo. Avaliaes ex-post podem con- tar com informaes sobre a situao de benefcirios e no benefcirios antes e em vrios momentos aps o incio da interveno. Por outro lado, avaliaes ex-ante so conduzidas s vezes sem informaes sobre quem sero os efeti- vos benefcirios do programa. Na medida em que informaes naturalmente se acumulam ao longo do tempo, avaliaes ex-post tm grande vantagem informacional sobre suas contrapartidas ex-ante. Todo trabalho avaliativo sempre o resultado da combinao de teoria com evidncia emprica. No entanto, no h uma recomendao pr-estabelecida sobre os pesos que devem ser atribudos teoria ou evidncia emprica em avaliaes de um modo geral. Em uma avaliao ex-post cuidadosa, na qual uma grande quantidade de informaes pertinentes e fdedignas foi coletada, o papel da teoria tender naturalmente a ser dominado pelo da evidncia em- prica. J numa avaliao ex-ante, o papel da teoria passa a ser primordial, uma vez que as estimativas de impacto so obtidas a partir de simulaes com da- dos na maioria das vezes secundrios sobre o comportamento hipottico dos futuros benefcirios do programa a ser implantado. Neste caso, com base na teoria sobre o comportamento destes benefcirios que so derivadas as hip- teses a partir das quais estas simulaes de impacto so realizadas. 5. Consideraes fnais Na nossa sociedade, formuladores de polticas continuamente propem uma grande variedade de solues visando atender s mais diversas necessidades Avaliao Econmica de Projetos Socias l 29 da populao. Entretanto, dada a escassez dos recursos disponveis, nem todas estas solues podem ser efetivamente implementadas. necessrio, portan- to, escolher bem. Quais das propostas apresentadas abrangem a maior parte das necessidades da populao ao menor custo? Em outras palavras, quais des- tas propostas representam o melhor uso do oramento disponvel? Um dos instrumentos fundamentais para se obter a resposta a estas questes a avaliao de impacto, que permite isolar a contribuio de uma ao espe- cfca no alcance dos resultados de interesse. No entanto, isolar o impacto de uma ao no tarefa fcil. Este livro trata das metodologias disponveis para identifcar e estimar o impacto de intervenes implementadas por agentes governamentais ou no governamentais. Neste captulo inicial, procuramos apresentar ao leitor por que, para que e quando deve-se realizar uma avaliao de impacto. A nossa discusso sinaliza que a avaliao de impacto uma ferramenta valiosa que serve a propsitos mltiplos, sendo assim relevante no apenas para aqueles diretamente envol- vidos no programa, mas potencialmente para vrios outros agentes da socie- dade. Exerccios 1) Quais so as possveis motivaes para uma avaliao de impacto? 2) O impacto de um programa no depende apenas do seu desenho e da sua adequao ao perfl dos benefcirios e ao ambiente socioeconmico em que estes vivem. Do que mais depende o impacto do programa? 3) Explique a importncia da avaliao de impacto em um cenrio onde os re- cursos so escassos e diferentes programas competem pelos mesmos recursos. 4) Existem essencialmente trs momentos na execuo de um programa em que avaliaes de impacto podem ocorrer. Explique cada caso. 5) Explique os conceitos de uso interno e uso externo de uma avaliao. l Fundao Ita Social 30 Avaliao Econmica de Projetos Socias l 31 PARTE 1 Mtodos Bsicos de Avaliao de Impacto A parte I do livro dedicada a apresentar um conjunto de mtodos que so amplamente empregados para isolar e medir o impacto de programas sociais. Esses mtodos so comumente divididos em duas categorias: o mtodo experimental e os mtodos no experimentais. O primeiro, a ser apresentado no captulo 3, baseado na seleo aleatria dos indivduos que faro parte do grupo que receber o programa (grupo de tratamento) e do grupo que no o receber (grupo de controle). Como veremos, esse mtodo faz com que a nica diferena entre os grupos seja a participao no programa, uma vez que a aleatorizao garante que eles sejam muito semelhantes tanto em termos das caractersticas observadas como das no observadas pelo analista. Pelo fato de conseguir fazer com que a interven- o seja a nica diferena entre os grupos de tratamento e controle, esse mtodo tem a denominao de padro-ouro na rea de avaliao de im- pacto. Os demais captulos apresentaro em detalhes os mtodos no experimen- tais. Como no so baseados na seleo aleatria dos grupos de tratamento e controle, esses mtodos no asseguram que os dois grupos difram entre si apenas pela participao no programa. Na realidade, o que eles fazem substituir a aleatorizao do mtodo experimental por certas condies e hipteses que visam a tornar o grupo de controle parecido com o grupo de tratamento. Como veremos, cada mtodo adota um conjunto especfco de hipteses para identifcar o efeito causal do programa. Essas hipteses no so diretamente testveis, mas algumas podem ser confrmadas de modo indireto. A escolha do mtodo a ser empregado depende em larga medida do pro- grama a ser avaliado, dos arranjos institucionais existentes, dos custos en- volvidos na avaliao, alm da disponibilidade de dados. O aumento da importncia da avaliao de impacto e da anlise de custo-benefcio entre fnanciadores, gestores e fscalizadores dos programas tem sido acompa- nhado pelo desenvolvimento e aperfeioamento de um conjunto de m- l Fundao Ita Social 32 todos que formam hoje uma ampla caixa de ferramentas utilizada na rea de avaliao de impacto. Ao apresentar uma introduo a alguns dos prin- cipais mtodos disponveis nessa caixa de ferramentas, esta parte do livro pretende auxiliar no somente no entendimento das metodologias, mas tambm no processo de escolha da metodologia mais adequada a ser ado- tada no contexto especfco no qual se insere o programa. A esse propsi- to, vale assinalar que o foco do livro sobre as metodologias ex-post. Em contraste com as avaliaes ex-ante, que so baseadas em modelos sobre o comportamento dos agentes, as metodologias ex-post so baseadas em dados especfcos colhidos para a avaliao do programa (ver Box 1 e seo 4 do captulo 1). Antes de entramos no detalhamento de cada mtodo de nossa caixa bsi- ca de ferramentas, apresentaremos no captulo 2 um arcabouo conceitual amplamente utilizado na rea de avaliao de impacto. Alm de estabele- cer a notao que empregaremos em outros captulos desta parte do livro, sua principal fnalidade apresentar um dos principais problemas da rea de avaliao de impacto, a saber, o vis de seleo. Avaliao Econmica de Projetos Socias l 33 Box 1: Avaliaes Ex-ante e Ex-post As avaliaes ex-ante so elaboradas com base na construo de um modelo sobre o comportamento dos agentes e do ambiente econmico no qual eles e o programa em avaliao esto inseridos. Em alguns casos, o modelo proposto estrutural, ou seja, baseado em hipte- ses acerca das formas funcionais que re- presentam o comportamento econmi- co dos indivduos e do funcionamento da economia ao longo do tempo (por exemplo, Heckman et al., 1998). Em ou- tros casos, o modelo proposto basea- do em formas reduzidas, isto , em equa- es que procuram refetir as relaes diretas entre as decises dos agentes, os indicadores de resultado e demais vari- veis consideradas relevantes na estima- o do impacto do programa (ver, por exemplo, Bourguignon e Ferreira, 2003). Tipicamente, as avaliaes ex-ante uti- lizam dados de fontes secundrias ao programa para estimar os parmetros do modelo proposto, incluindo o pr- prio impacto do programa. Aps a esti- mao do modelo, possvel alterar os valores de alguns dos seus parmetros e, por meio de simulaes, avaliar como as variveis de interesse mudam. Esse tipo de exerccio bastante til para se obter um balizamento de como os im- pactos do programa podem variar para diferentes hipteses sobre o comporta- mento dos agentes e o funcionamen- to da economia. Por outro lado, o mto- do ex-ante tipicamente requer a adoo de um conjunto de hipteses no tes- tveis, tanto sobre o comportamen- to dos indivduos quanto sobre a iden- tifcao dos parmetros do modelo. Distintamente, as avaliaes de impac- to ex-post no so baseadas em mode- los tericos, mas sim em mtodos emp- ricos que procuram estimar diretamente dos dados os impactos do programa. Em contraste com o mtodo ex-ante, que geralmente empregado antes da im- plementao da interveno, as avalia- es ex-post s podem ocorrer durante ou aps a execuo do programa. Ade- mais, a maior parte das avaliaes ex -post so model-free, isto , preferem deixar os prprios dados falarem ao in- vs de proporem modelos tericos para explicar os resultados encontrados. Em- bora extremamente teis para se conhe- cer a efetividade das intervenes, as avaliaes ex-post normalmente s es- timam os impactos especfcos dos pro- gramas. Nesse sentido, elas no permi- tem construir diferentes cenrios para o programa e, portanto, no oferecem uma ideia das variaes no impacto para diferentes desenhos do programa. Mas as abordagens ex-ante e ex-post no so mutuamente excludentes. Re- centemente, Todd e Wolpin (2006) com- binaram os dois tipos de mtodos para estudar o impacto do programa mexica- no de transferncia condicional de renda Progresa (atualmente chamado de Opor- tunidades). Basicamente, o exerccio dos autores consistiu em prever o impacto do programa com base na abordagem ex-ante e posteriormente compar-lo com o impacto obtido pelo mtodo ex -post de aleatorizao (ver captulo 3). A varivel de resultado foi a frequncia escola de crianas entre 12 e 15. Os im- pactos obtidos pelas duas abordagens foram bastante semelhantes, o que per- mitiu a realizao de cenrios mais con- fveis a partir de variaes nos parme- tros do modelo de base. Avaliao Econmica de Projetos Socias l 35 CAPTULO 2 Modelo de resultados potenciais Miguel Nathan Foguel O problema central da rea de avaliao de programas construir o contra- fatual do grupo tratado pelo programa. Na forma mais simples de apresen- tar esse problema, podemos pensar que qualquer indivduo est sempre em uma de duas situaes distintas: ter sido ou no ter sido tratado pelo programa. Idealmente, o melhor grupo de comparao para os indivduos tratados seria formado pelos mesmos indivduos na situao em que eles no fossem tratados. Contudo, essas situaes so mutuamente exclusivas: claramente no possvel observar os mesmos indivduos na condio de tratados e de no tratados ao mesmo tempo. O desafo do avaliador, por- tanto, encontrar um grupo de indivduos que represente adequadamente a situao de no tratamento, ou seja, um grupo que funcione como um bom contrafatual do grupo tratado. Uma srie de pontos precisam ser levados em considerao para se en- contrar um grupo de controle que possa replicar o grupo tratado caso ele no tivesse passado pela interveno. Naturalmente, como no possvel observar essa situao contrafatual, a escolha desse grupo de comparao envolver o uso de procedimentos e hipteses cuja fnalidade bsica mi- nimizar o que se costuma denominar de vis de autosseleo. Para enten- der melhor o que est por trs desse vis, apresentaremos neste captulo o arcabouo mais utilizado na rea de avaliao, a saber, o arcabouo de resultados potenciais. Um elemento crucial para um bom entendimento desse arcabouo e da rea de avaliao de impacto em geral ter sem- pre em mente a potencial existncia de uma situao contrafatual. Antes de apresentarmos formalmente esse arcabouo, vale a pena analisar dois mtodos ingnuos, porm amplamente utilizados por no especia- listas para construir o grupo de controle. O primeiro baseado na compa- rao do que ocorre com o grupo de tratamento antes e depois da inter- veno. O segundo consiste em comparar o grupo que escolhe passar pelo l Fundao Ita Social 36 programa com um grupo que decide no participar da interveno. Como veremos, esses mtodos difcilmente so capazes de fornecer o impacto do programa. 2.1 Comparando os Tratados Antes e Depois Considere uma situao em que um programa de treinamento profssional foi oferecido para trabalhadores de baixa escolaridade numa certa localida- de, por exemplo, um municpio ou uma rea de uma cidade. Esse programa consistia de um curso ministrado por pessoal especializado e tinha como objetivo aumentar o rendimento do trabalho dos participantes. Suponha que o total de inscritos tenha sido igual ao nmero de vagas oferecidas e que todos os inscritos tenham participado do programa. Um pouco antes do comeo do programa (por exemplo, no dia da inscri- o), todos os participantes responderam um questionrio que levantou informaes sobre suas caractersticas socioeconmicas, incluindo a situ- ao de emprego e rendimento laboral naquele momento. Suponha que o rendimento mdio do trabalho para todos os indivduos que entraram no programa de treinamento tenha sido de R$ 1000. Um ano depois, os mesmos tipos de informaes foram novamente coletadas com todos os participantes do programa. O rendimento mdio encontrado nesse segun- do momento foi igual a R$ 1100. A Figura 2.1 ilustra as informaes obtidas para o rendimento mdio para os perodos anterior e posterior ao programa 1 . Os retngulos esto asso- ciados aos valores observados. Alguns diriam que o efeito do programa foi de R$ 100 (R$ 1100 R$ 1000), o que equivale a um aumento de 10% no rendimento mdio inicial. Mas ser que podemos afrmar que esse foi o verdadeiro efeito do programa? 3
1 A ocorrncia do programa foi simplifcada para se dar no momento demarca- do pela linha vertical tracejada. Avaliao Econmica de Projetos Socias l 37 Para responder essa pergunta, temos que nos questionar se o grupo de trata- mento antes do programa representa o contrafatual adequado para a situao de no tratamento depois do programa. Ou seja, em termos da Figura 2.1, ser que o losango representa o valor que seria recebido pelo grupo tratado de- pois do programa, caso ele no tivesse passado pela interveno? A resposta a essa pergunta seria normalmente negativa, j que h uma srie de fatores que podem ter afetado o rendimento mdio do grupo tratado alm do programa. Por exemplo, possvel que a situao do mercado de trabalho da localidade onde residem os participantes do programa tenha melhorado ao longo dos doze meses entre as coletas das informaes. Para ilustrar essa possibilidade, suponha que essa mudana nas condies do mercado de trabalho tenha sido responsvel por levar o rendimento mdio para o ponto associado forma circular na Figura 2.1. Nesse caso, a variao do rendimento mdio que pode Figura 1: Rendimento mdio dos participantes antes e depois do programa Rendimento Mdio (R$) Antes Depois Impacto? 1100 1000 t=0 t=1 Tempo Programa l Fundao Ita Social 38 ser atribuda ao programa deixa de ser os R$ 100 estimados inicialmente. Esse exemplo mostra que, a menos que possamos controlar a infuncia do merca- do de trabalho e de todos os outros fatores que afetam o rendimento mdio do trabalho, a simples comparao entre o que ocorre com o grupo de trata- dos antes e depois do programa no identifca corretamente o efeito causal de uma interveno. 3 2.2 Comparando os Tratados com os No Tratados Outra prtica ingnua comumente usada pelos no especialistas a que com- para o grupo de tratados diretamente com um grupo de no tratados. Entre- tanto, apenas por no ter passado pela interveno no signifca que o grupo de no tratados representa bem o que ocorreria com o grupo de tratamento caso este no tivesse sido tratado. Em outras palavras, a ausncia do tratamen- to para alguns no gera automaticamente o contrafatual de no tratamento para outros. As principais razes para isso esto relacionadas com as diferenas nas caracte- rsticas observveis e no observveis (pelo avaliador) entre os dois grupos. Por exemplo, possvel que, mesmo que os grupos sejam parecidos (em mdia) em atributos observveis como gnero, idade, escolaridade, renda familiar etc., eles difram em habilidades, motivao, esforo, e outras caractersticas que tipicamente no esto disponveis nas bases de dados utilizadas nas avaliaes de impacto. Na medida em que muitas dessas caractersticas podem afetar a varivel de resultado sobre a qual se quer medir o impacto da interveno, o uso da comparao direta entre os dois grupos no necessariamente mede o efeito causal do programa. Afnal, as diferenas nas caractersticas no observ- veis entre os grupos poderiam estar misturadas ao efeito do programa. Para ilustrar esse problema, continuaremos com a situao hipottica da sub- seo anterior. Assim, admita que o segundo questionrio usado com os par- ticipantes do programa de treinamento tenha sido aplicado a uma amostra de pessoas da mesma localidade que no tenham participado do programa. Su- ponha que a mdia do rendimento do trabalho obtida com as informaes co- letadas com esse grupo de no tratados aps o programa tenha sido de R$900. Suponha que os dois grupos sejam idnticos, em mdia, nas caractersticas le- vantadas no questionrio, que no incluiu nenhuma tentativa de medir a mo- 2 Vale observar que um conjunto de variveis observadas nos dados referentes aos prpri- os indivduos podem ter mudado entre os dois perodos. Essas mudanas podem afetar a diferena de rendimento mdio observada. Por exemplo, como a idade tende a infuenciar o rendimento mdio das pessoas, o fato de que se passou um ano entre os perodos de comparao seria um fator adicional a explicar parte da diferena observada. 2 Avaliao Econmica de Projetos Socias l 39 tivao das pessoas. A Figura 2.2 contm as informaes para os dois grupos para o perodo depois do programa, onde o tringulo representa o rendimento mdio do grupo de no participantes. Embora as pessoas dos dois grupos sejam parecidas em mdia em diversas caractersticas, no podemos afrmar que os R$ 200 de diferena no rendimen- to mdio dos grupos (ou seja, a distncia entre o retngulo e o tringulo em t=1) medem corretamente o impacto do programa de treinamento. 3 Para isso, basta admitirmos que a motivao (que no foi medida) seja uma caracterstica que afeta o desempenho das pessoas no mercado de trabalho, incluindo o seu salrio. Se os dois grupos diferem em termos de motivao diferena essa 3 Nesse exemplo, assumimos que no h informaes para o grupo de no tratados antes da interveno. Essas informaes sero introduzidas no captulo 4 dentro do contexto do mtodo de diferenas em diferenas. Figura 1: Rendimento mdio dos tratados e no tratados Rendimento Mdio (R$) Antes Depois Impacto? 1100 1000 900 t=0 t=1 Tempo Programa l Fundao Ita Social 40 que pode explicar porque o grupo tratado decidiu participar do programa e o grupo no tratado preferiu no participar , ento provvel que parte dos R$ 200 de diferena entre os grupos se deva ao fator motivao. Se isso ocorrer, no podemos tratar essa quantia como o efeito causal do programa de treina- mento. Os prximos captulos desta parte do livro sero dedicados a apresentar um conjunto amplo de metodologias que buscam isolar o efeito dos programas dos efeitos causados por outros fatores que afetam a(s) varivel(eis) de resulta- do de interesse. O arcabouo conceitual que apresentaremos na prxima seo tem a fnalidade de facilitar o entendimento dessas metodologias. 2.3 O Arcabouo de Resultados Potenciais Para apresentar o arcabouo de modo formal, utilizaremos o algarismo 1 para denotar a situao em que o indivduo tratado e o algarismo 0 para a situa- o contrafatual na qual esse mesmo indivduo no tratado. Estamos interes- sados em avaliar o impacto de um programa (por exemplo, um programa de qualifcao de mo de obra) sobre uma varivel de resultado (por exemplo, o rendimento do trabalho). Denotando por essa varivel, podemos pensar que seu valor para indivduo ser caso ele esteja na situao de tratado, mas poderia assumir, pelo menos potencialmente, o valor caso ele no seja tratado. A vantagem de apresentar o problema dessa forma explicitar que cada uma das situaes est associada a um resultado potencialmente dis- tinto para um mesmo indivduo. Assim, se fosse possvel observar o indivduo nas duas situaes, a diferena forneceria o impacto do programa para esse indivduo. Cada indivduo possui um par de resultados potenciais e ca- ractersticas observveis pelo avaliador, que denotaremos por meio do vetor . Exemplos tpicos de caractersticas observadas que so includas em ava- liaes so o gnero, a idade e a escolaridade da pessoa. Uma maneira ampla- mente utilizada para especifcar o modelo de gerao de valores dos resulta- dos potenciais o par de equaes lineares:
onde o componente no observvel (pelo avaliador) que infuencia os re- sultados potenciais do indivduo . Seja uma varivel discreta que assume valor igual a um se o indivduo par- Avaliao Econmica de Projetos Socias l 41 ticipa do programa e valor zero caso ele no participe. Trata-se, portanto, do que chamamos de uma varivel binria (ou dummy, em ingls), cujos valores unitrio ou nulo podem depender da deciso do indivduo de participar ou no da interveno, respectivamente. O fato de que o valor dessa varivel pode depender da deciso do indivduo importante, pois, como veremos, essa de- ciso pode estar correlacionada com outros elementos que determinam , gerando o vis de autosseleo. Dado o apresentado at aqui, podemos expressar a equao de resultados po- tenciais como:
Note que ela informa o resultado observado para qualquer indivduo , pois quando ocorre a participao no programa observamos a situao de tratado, , ao passo que quando no h participao observamos a situao de no tratado, . Aplicando agora as equaes (1) e (2) na equao (3), esta ltima se transforma em: , que uma equao de regresso linear cuja nica diferena em relao que- las tipicamente encontradas em livros de estatstica e econometria bsica que o parmetro que captaria o efeito do programa, , varia entre os indiv- duos. Em muitas avaliaes, faz-se a hiptese de que o impacto do programa igual para todos os indivduos, ou seja, para qualquer indivduo da populao. Nesse caso, a equao (4) se especializa em 4 :
O maior problema para estimar corretamente o impacto do programa por meio da equao (5) que a varivel potencialmente correlacionada com o componente no observvel . Na realidade, bastante provvel que isso ocorra, j que a participao no programa normalmente no se d de forma aleatria. Ao contrrio, a participao geralmente decorre de uma deciso vo- luntria do indivduo (ou da famlia), a qual pode ter sido tomada com base em informaes que no so observadas pelo avaliador e, portanto, esto embu- tidas no componente da equao (5). Um exemplo o que apresentamos na seo 2.2, no qual os indivduos que participam de programas de treinamento 4 Tratar o impacto da interveno como homogneo na populao tende a ser uma hiptese forte. De fato, parece mais razovel esperar que o efeito de grande parte dos programas seja heterogneo entre as pessoas. Contudo, a hiptese de homogeneidade facilita a exposio e, assim, a menos que explicitado no texto, estaremos supondo que ela se aplica. l Fundao Ita Social 42 so considerados mais motivados. Como motivao uma dimenso do com- portamento das pessoas que pode afetar (por exemplo, o rendimento do trabalho) e difcilmente medida nos dados (ou seja, passa a ser incorporada em ), aparece um problema de correlao entre e que precisa ser resolvido para que o parmetro de interesse, , seja corretamente estimado. Esse problema de estimao incorreta de devido correlao entre a partici- pao no programa ( ) e a parte no observvel ( ) geralmente recebe o nome de problema de autosseleo. A magnitude dessa incorreo chamada de vis de autosseleo. Sua denominao decorre do fato de que so os prprios tratados que se selecionam para participar do programa. Se essa autosseleo estiver associada com caractersticas no observveis dos indivduos, esse gru- po se torna um grupo especial da populao (por exemplo, mais motivados), o que pode afetar diversas variveis de resultado, tornando difcil o isolamento do efeito causal do programa 5 . Boa parte do esforo de pesquisa realizado at os dias de hoje na rea de ava- liao tem sido dedicado a encontrar solues para contornar o problema da autosseleo. A fm de apresent-lo de forma mais geral, considere as seguin- tes mdias populacionais da varivel de resultado para os grupos de tratados e no tratados 6 : Note que somente e so mdias que podem ser calculadas direta- mente dos dados. J e representam mdias contrafatuais, a primeira correspondendo mdia para os tratados caso eles no tivessem sido tratados e a segunda a mdia para os no tratados caso eles tivessem sido tratados. 5 Muitas vezes, o governo ou entidade gestora do programa que escolhe o grupo de in- divduos ou famlias que recebero as aes da interveno. Se essa escolha recair sobre parcelas especiais da populao em caractersticas no observveis, surge tambm uma correlao entre o termo e a varivel de participao da equao (5). Nesse caso, muitas vezes diz-se que h um problema de vis de seleo, mas no de autosseleo, pois no so os prprios indivduos que se selecionam para participar do tratamento. A anlise do problema permanece essencialmente a mesma, apesar das distintas denominaes. 6 Todas as expresses a seguir poderiam estar condicionadas ao vetor de caractersticas , ou seja, cada expresso poderia ser computada para diferentes combinaes dos valores assumidos pelas variveis contidas nesse vetor. Para no tornar a notao demasiadamente carregada, optamos por no o incluir nas expresses. Avaliao Econmica de Projetos Socias l 43 Em geral, na rea de avaliao, estamos interessados em computar o que se costuma denominar de efeito mdio do programa sobre os tratados (EMPT):
ou seja, a diferena entre a mdia da varivel de resultado para os tratados na situao de tratados e a mdia para esses mesmos indivduos na situao con- trafatual de eles no terem passado pela interveno. O EMPT um parmetro importante, uma vez que informa o impacto mdio do programa para aquela parcela da populao que foi efetivamente tratada 7 . Como mencionado anteriormente, o desafo encontrar um grupo que repre- sente adequadamente o contrafatual do grupo tratado. comum o uso de um grupo de indivduos no tratados como o grupo que representa o contrafatual desejado por exemplo, o grupo de no participantes do nosso exemplo hi- pottico do programa de treinamento da seo 2.1. Quando isso ocorre, geral- mente calcula-se a diferena:
que tomada como o impacto mdio do programa. No entanto, isso tende a ser um procedimento incorreto, uma vez que o grupo de no tratados no necessariamente funciona como um bom contrafatual. Para ver isso formal- mente, adicionaremos e subtrairemos da equao (7) a mdia contrafatual :
Como se pode ver, D no igual ao EMPT por conta da existncia do termo , que corresponde ao que denominamos vis de autosseleo. Note que ele corresponde diferena de mdias da vari- vel de resultado na situao de no tratamento (isto , ), quando os indiv- duos participam ou no do programa. 7 Existem dois outros parmetros que tambm recebem bastante ateno na rea de avalia- o. Um deles chamado de efeito mdio do programa sobre os no tratados (EMPNT): N = E[Y i (1)|T i = 0] E[Y i (0)|T i = 0] = D 01 D 00 , que mediria o impacto da interveno sobre aquela parcela da populao que no foi tratada. O outro parmetro capta o impacto do programa sobre um indivduo aleatrio da populao e recebe o nome de efeito mdio do programa (EMP). Ele defnido como: P = E[Y i (1)] E[Y i (0)], onde E[Y i (1)] e E[Y i (0)] so respectivamente as mdias para tratados no caso de eles participarem ou no participarem da interveno. l Fundao Ita Social 44 Como mencionado anteriormente, o termo autosseleo est associado deci- so dos prprios indivduos de participar ou no da interveno. Para que V seja igual a zero, a mdia observada para os no tratados, D 00 , deve ser igual mdia do contrafatual que buscamos, D 10 . O problema que no observamos D 10 e, portanto, no temos como saber a magnitude do vis de autosseleo embutido em D. Nossa tarefa nos prximos captulos ser apresentar mtodos que buscam solucionar o problema do vis de autosseleo. Cada mtodo lana mo de certos procedimentos e hipteses para tentar resolver esse problema. Embora cada metodologia v ser discutida em detalhes em cada captulo, faremos aqui um sumrio das hipteses bsicas utilizadas. 8 Considerado o padro-ouro da rea de avaliao, o primeiro mtodo baseia-se na aleatorizao de indivduos, famlias ou at mesmo de comunidades intei- ras para participar ou no do programa. Esse procedimento de aleatorizao gera dois grupos experimentais, o de tratamento, formado pelos indivduos que foram aleatorizados para participar do programa, e o grupo de controle, composto pelos que foram aleatorizados para fcar de fora. O fato de que a par- ticipao ou no no tratamento ou seja, na notao introduzida neste captu- lo, o fato de a varivel T assumir valor um ou zero, respectivamente defnida pelo procedimento de aleatorizao garante que os grupos de tratamento e controle sejam parecidos tanto nas caractersticas observveis quanto nas no observveis. O vis de autosseleo fca assim contornado, permitindo que a comparao entre os grupos identifque o efeito causal do programa. Outro mtodo que discutiremos em detalhes chamado diferenas em diferen- as (DID). Esse mtodo requer dados em painel das unidades tratadas e no tratadas, com perodos de observao antes e depois da interveno. Ele re- cebe esse nome porque duas diferenas so calculadas: a diferena entre os perodos de tempo para cada unidade observada e a diferena entre as uni- dades para cada perodo de tempo. Como os dados so em painel, o mtodo comporta a presena de um termo invariante no tempo para cada unidade de observao. Esse termo, que eliminado no cmputo da diferena temporal para cada unidade, capta todas as caractersticas no observadas da unidade que so constantes no tempo. A principal hiptese desse mtodo que a tra- jetria da varivel de resultado do grupo de controle refita a do grupo de tra- tamento na ausncia da interveno. Embora essa hiptese no seja testvel, uma indicao de sua validade ocorre quando os grupos possuam uma mes- 8 Assumindo a especifcao linear da equao (5), se calcularmos
obteremos o impacto mdio do programa, , somado ao vis de autosseleo, aqui representado por . Avaliao Econmica de Projetos Socias l 45 ma trajetria temporal da varivel de resultado antes da interveno. A ideia que, se as trajetrias dos grupos so semelhantes no perodo pr-programa, ento aumentam as chances de que a trajetria do grupo de controle aps o programa represente bem a trajetria do grupo de tratamento na ausncia da interveno. Neste caso, qualquer diferena entre os grupos que aparea aps o programa pode ser interpretada como o impacto da interveno. Quando as informaes disponveis cobrem um intervalo relativamente extenso antes do programa, o teste de trajetrias iguais entre os grupos pr-programa passvel de ser testada estatisticamente nos dados. O mtodo denominado pareamento busca tornar o grupo tratado semelhante a um grupo de no tratados, com base em um conjunto amplo de caractersticas observadas dos indivduos. A hiptese que, ao levar em considerao essas caractersticas, a varivel de resultado passa a independer da participao ou no dos indivduos no programa ou seja, as variveis e tornam-se independentes de T , fazendo com que o vis de autosseleo deixe de ope- rar. Existem diversas maneiras de tornar os grupos de tratamento e controle semelhantes em caractersticas observadas, sendo a mais utilizada conhecida como mtodo do escore de propenso (MEP). Neste mtodo, assume-se que a probabilidade de um indivduo participar do programa depende apenas de um conjunto de caractersticas observadas, que esto disponveis nos dados a serem utilizados pelo avaliador. Estimada essa probabilidade, o pareamento dos grupos realizado em termos das semelhanas dessa probabilidade esti- mada. A ideia por trs do MPE que, quando a probabilidade de participao similar entre os indivduos tratados e no tratados, os dois grupos tornam-se comparveis, o que permite identifcar o efeito causal da interveno. A hipte- se de que apenas as caractersticas observveis so sufcientes para contornar o vis de autosseleo no passvel de ser testada diretamente nos dados. Muitos programas e polticas defnem sua populao-alvo com base em crit- rios que estabelecem valores de corte para quem pode ser ou no elegvel a receber ou participar das aes da interveno. Por exemplo, o programa Bol- sa-Famlia estabelece que somente a famlia cuja renda per capita est abaixo de certa linha de corte pode receber a transferncia monetria prevista pelo programa. Outro exemplo o programa de Jovens Aprendizes do governo fe- deral, que fxa uma idade abaixo da qual um jovem estudante pode ser contra- tado com benefcio fscal por uma empresa no Brasil. O mtodo denominado regresso descontnua procura explorar a existncia desse tipo de desconti- nuidade nos critrios de elegibilidade dos programas para criar os grupos de tratamento e controle. A ideia bsica que os indivduos no elegveis que esto prximos linha de corte (por exemplo, acima dela) so comparveis em caractersticas observveis e no observveis aos indivduos elegveis que tambm esto prximos a essa linha (por exemplo, abaixo dela). Como a nica diferena entre esses dois grupos de cada lado do valor de corte o fato de l Fundao Ita Social 46 um poder participar do programa e outro no, o problema de autosseleo fca, pelo menos em princpio, resolvido. Assim, sob a hiptese de que no h uma descontinuidade marcante na varivel de interesse em torno da linha de corte para o grupo de no elegveis, a diferena nessa varivel entre os dois grupos fornece o impacto do programa. Embora seja um mtodo que s pode ser empregado para avaliar o impacto de intervenes que possuam linhas de corte, ele considerado bastante consistente para estimar o efeito de progra- mas nessa categoria, pelo menos para os indivduos que se situam em torno da linha de corte estabelecida pelas regras dos programas. O ltimo mtodo a ser apresentado nesta parte do livro o de variveis instru- mentais. Trata-se de uma metodologia na qual se procura encontrar alguma varivel (instrumento) que infuencie a deciso de participar no programa e ao mesmo tempo no seja correlacionada com as caractersticas no observadas dos indivduos que afetam a varivel de resultado ou seja, uma varivel que se correlacione com T, mas no com na equao (5). Como capaz de afetar a participao no programa, mas no est correlacionada com as caractersti- cas no observadas, essa varivel corrige o problema de autosseleo, permi- tindo assim identifcar o efeito causal de interesse. Naturalmente, a existncia de uma varivel com essas caractersticas vai depender do contexto no qual o programa est inserido e da disponibilidade dos dados. Ademais, tipicamente, no possvel testar a validade da hiptese de que o instrumento no de fato correlacionado com as caractersticas no observveis dos indivduos. De todo modo, o mtodo de variveis instrumentais uma abordagem bastante geral dentro da rea de econometria, sendo tambm bastante empregada na rea de avaliao de impacto. Avaliao Econmica de Projetos Socias l 47 Exerccios 1) Um jornal de grande circulao apresentou numa matria um grfco com a srie histrica da incidncia de diarreia em crianas de certo municpio. O gr- fco mostrava que a incidncia de diarreia permanecia inalterada e a matria dizia que o programa de saneamento do governo no teve nenhum impacto sobre a doena. Essa afrmativa do jornal est correta? Por qu? 2) O prefeito de uma capital implantou um programa de alfabetizao de adul- tos no terceiro ano de seu mandato. No ano seguinte, em campanha eleitoral, ele comparou a taxa de analfabetismo da sua cidade com a do interior do es- tado para mostrar que o programa era um sucesso. Seria o interior do estado um bom grupo de controle para avaliar o programa implantado na capital? Discuta. 3) Qual a mais importante funo do grupo de controle em uma avalio de impacto? 4) Tipicamente, a escolha do curso universitrio uma deciso que envolve uma anlise sobre as motivaes, interesses, aptides, os custos pessoais e f- nanceiros de fazer o curso, alm de uma previso sobre a renda que a profsso escolhida pode oferecer no futuro. Tomando o curso universitrio como um programa (de treinamento), responda os seguintes itens: a) Seria o rendimento do trabalho de pessoas com ensino superior infuenciado por caractersticas normalmente no observadas pelo avaliador? Cite algumas dessas caractersticas. b) A escolha por entrar em certo curso universitrio equivale deciso de participar de certo programa. Seria essa deciso correlacionada com o ren- dimento futuro do trabalho dos formados? c) Qual o principal tipo de problema que pode surgir se compararmos diretamente os rendimentos do trabalho dos estudantes formados em diferen- tes cursos? Avaliao Econmica de Projetos Socias l 49 CAPTULO 3 Mtodo de Aleatorizao Miguel Nathan Foguel O principal problema da rea de avaliao encontrar um grupo de controle que represente adequadamente o contrafatual do grupo tratado, ou seja, um grupo de comparao que seja o mais prximo possvel do que teria ocorrido com o grupo tratado caso este no tivesse recebido a interveno. Embora a situao contrafatual no tenha como ser concretamente observada, ela pode ser bastante bem aproximada pelo uso do mtodo de aleatorizao. Este m- todo, muitas vezes chamado de mtodo experimental, baseado na seleo aleatria dos indivduos, famlias ou at mesmo comunidades inteiras que fa- ro parte dos grupos de tratamento e controle. 3 Quando bem implementado, o mecanismo da aleatorizao fornece o balanceamento necessrio tanto das caractersticas observadas quanto das no observadas das unidades que com- pem os dois grupos. Portanto, por construo, o mtodo permite criar uma situao na qual no h correlao entre ser ou no tratado e os atributos das unidades de observao. O problema do vis de autosseleo fca assim resol- vido. A avaliao aleatorizada utilizada em diversos campos, sendo considerado o procedimento de referncia para se estabelecer causalidade e medir o impac- to de vrios tipos de tratamento. Por exemplo, ele amplamente empregado nas reas de medicina e farmacutica, em que medicaes e procedimentos mdicos so avaliados com base na aleatorizao dos indivduos que recebe- ro ou no o tratamento em avaliao. Na realidade, tamanha a importncia do mtodo de aleatorizao que o seu uso obrigatrio para se comprovar a efetividade (e a existncia de eventuais efeitos adversos) dos medicamentos que os laboratrios farmacuticos pretendem disponibilizar para uso humano. Alm de ser o padro-ouro para determinar a causalidade de um tratamen- to, o mtodo de aleatorizao tem outro apelo importante: sua simplicidade 9 O mtodo de aleatorizao recebe vrios nomes na literatura especializada, incluindo ex- perimento social (controlado), experimento aleatrio, avaliao experimental, avaliao aleatorizada ou mtodo experimental. Usaremos indistintamente essas denominaes ao longo deste captulo e do livro. 9 l Fundao Ita Social 50 de clculo. De fato, para obtermos o impacto da interveno com base nes- se mtodo, basta subtrairmos a mdia da varivel de interesse do grupo de tratamento da mdia correspondente calculada para o grupo de controle. Em condies ideais, essa simples diferena de mdias fornece uma estimativa do efeito causal do tratamento sobre os tratados. Esse atributo dos experimentos sociais um atrativo importante, pois torna o mtodo mais transparente para os gestores do programa e para o pblico em geral. Contudo, apesar de suas diversas vantagens, o mtodo de aleatorizao no est isento de problemas. Como veremos, a maior parte deles surge de situa- es prticas que ocorrem aps a aleatorizao dos indivduos entre os grupos experimentais. Os principais exemplos so o no comparecimento s ativida- des do programa por parte de uma parcela do grupo selecionado para o tra- tamento e a substituio da interveno por outros programas similares por parte de uma frao do grupo de controle. Em ambos os casos, pode haver uma mudana de composio das caractersticas entre grupos experimentais, que foram selecionados a priori de forma aleatria, porm terminaram infuen- ciados a posteriori por decises de participao ou no no programa em ava- liao ou em similares. Problemas desse tipo podem causar vieses no negli- genciveis na estimao do efeito que se pretendia isolar com o experimento aleatrio. Neste captulo, apresentaremos as principais propriedades do mtodo de alea- torizao, incluindo suas limitaes e possveis solues. Antes, porm, dis- cutiremos um ponto importante existente na rea de avaliao de impacto, a saber, a validade das concluses que podem ser inferidas a partir dos estudos de avaliao. 3.1 Validade Interna e Validade Externa A validade interna questiona se o desenho da avaliao identifca corretamente o efeito causal de um programa. Quando um estudo possui validade interna, seus resultados conseguem isolar o verdadeiro impacto do programa, isto , esto livres da infuncia de outros fatores que no o prprio efeito da inter- veno. Quando bem realizadas, as avaliaes baseadas em experimentos aleatrios criam um grupo de controle que estatisticamente equivalente ao grupo de tratamento antes do incio do programa. Em situao ideal, qualquer diferena observada entre os grupos aps a interveno atribuda ao efeito causal do programa. Tem-se ento que a seleo aleatria dos grupos de tra- tamento e controle assegura a validade interna de uma avaliao. Ela garante que os resultados da avaliao so vlidos dentro do contexto especfco da- quela avaliao. Avaliao Econmica de Projetos Socias l 51 J a validade externa a capacidade de estender os resultados para fora do con- texto da avaliao. Em outras palavras, uma avaliao possui validade externa se for possvel generalizar as estimativas do impacto do programa avaliado para outras populaes e outros momentos no tempo. Uma forma de garantir a validade externa dos resultados em certo ponto no tempo que a amostra utilizada na avaliao seja representativa da populao-alvo do programa na- quele momento. Normalmente, quando a amostra obtida por mtodos de amostragem aleatria da populao-alvo, essa representatividade assegu- rada. 3.1.1 Validade Interna A caracterstica bsica de um experimento aleatrio o uso de um mecanismo que seleciona aleatoriamente os indivduos a participar ou no do programa. Quando essa seleo aleatria feita de forma correta, cada indivduo perten- cente ao conjunto de participantes potenciais tem a mesma probabilidade de ser selecionado a participar da interveno, independentemente de suas ca- ractersticas pessoais. Em outras palavras, quando o processo de aleatorizao bem realizado, devemos esperar que os grupos de tratamento e controle se- jam semelhantes tanto nas suas caractersticas observadas quanto nas no ob- servadas. A nica diferena que se espera entre os dois grupos que o grupo de tratamento participe do programa, ao passo que o de controle no passe pela interveno. A ideia de que deve haver um balanceamento de caractersticas entre os dois grupos aleatorizados bastante natural. Para ver isso, considere uma situao hipottica em que h 2000 indivduos elegveis para frequentar um programa de treinamento bsico para o uso de planilhas eletrnicas em computadores. Suponhamos que, nesse total de duas mil pessoas, 1200 (60%) sejam homens, 1000 (50%) tenham cabelo preto e 400 (20%) sejam hbeis com nmeros. Ad- mita que esta ltima caracterstica seja difcil de medir e, nesse sentido, tor- na-se no observada para ns. O que deveramos esperar do balanceamento dessas caractersticas, se os 2000 potenciais participantes fossem aleatorizados em dois grupos com 1000 indivduos em cada? intuitivo esperar que cada grupo fosse composto de aproximadamente 60% de homens, 50% de pessoas de cabelo preto e 20% com habilidades com nmeros, ou seja, devemos espe- rar que os dois grupos sejam semelhantes entre si (e com o conjunto total de indivduos). Note que essa semelhana deve se dar tanto nas caractersticas observadas (sexo e cor do cabelo) quanto nas no observadas (habilidade com nmeros, no nosso exemplo). Isso importante, pois a aleatorizao que garante que, em mdia, os dois grupos sejam similares em todas as dimenses. Na realidade, l Fundao Ita Social 52 essa equivalncia entre os grupos que permite utilizar o grupo de controle como contrafatual para o grupo de tratamento. Esse o principal motivo que faz com que o mtodo de aleatorizao seja considerado o padro-ouro de es- tudos de efeitos causais. Em muitas reas, inclusive, a validade interna de uma avaliao de impacto s aceita se esta for baseada na aleatorizao dos que vo ou no receber o tratamento que se quer estudar. Por exemplo, na rea de farmacutica, os medicamentos s so autorizados para uso geral se os labora- trios conduzirem com sucesso um experimento em que o grupo que recebe a medicao e o que no recebe (ou recebe um placebo) so selecionados de forma aleatria. 3.1.2 Validade Externa Sem a validade interna de uma avaliao, pouca utilidade ela ter para revelar o verdadeiro efeito da interveno. No entanto, mesmo quando a validade in- terna est assegurada, pode ocorrer de a avaliao ter sido realizada para um grupo de pessoas que no representativo da populao-alvo do programa. Por exemplo, se a avaliao de um programa nacional foi feita somente para uma localidade (bairro, cidade ou estado), no possvel generalizar os resul- tados da avaliao para o pas como um todo. Em casos como esses, no se pode garantir a validade externa da avaliao, ou seja, os resultados no so extensveis a outros grupos ou contextos. A validade externa assegurada quando a amostra de indivduos que utili- zada na avaliao representativa da populao de elegveis a receber o pro- grama. Por exemplo, a avaliao de impacto de um programa de qualifcao profssional para jovens de ambos os sexos ter validade externa se a avaliao for baseada numa amostra representativa desses grupos demogrfcos. Natu- ralmente, se a amostra contiver indivduos adultos ou for formada somente por homens, as concluses da avaliao no podem ser generalizadas para a toda a populao-alvo do programa. No entanto, no basta que a amostra s conte- nha indivduos da populao-alvo; necessrio tambm que os indivduos da amostra representem acuradamente essa populao. Na prtica, a forma mais utilizada para garantir a representatividade de uma amostra que ela seja uma amostra aleatria da populao que ela preten- de representar. 4 As mais importantes pesquisas socioeconmicas conduzidas pelo IBGE e outros institutos ofciais de estatstica do mundo so baseadas em 10 Para tanto, ela dever ter sido escolhida com base em algum mtodo de amostragem. H uma diversidade de mtodos para selecionar uma amostra aleatria de uma populao. En- tre os mais empregados esto as amostragens simples e estratifcada. Foge do escopo deste livro um tratamento mais amplo dos mtodos de amostragem. Uma apresentao desses mtodos pode ser encontrada no livro clssico de Cochran (1977). 10 Avaliao Econmica de Projetos Socias l 53 amostras aleatrias retiradas da populao dos pases. No caso de uma amos- tra para fns de avaliao de impacto de um programa, a representatividade da populao de elegveis est assegurada se a amostra a ser empregada na avaliao for escolhida de forma aleatria a partir dessa populao. Note que a aleatorizao que garante a validade externa de uma avaliao no assegura a validade interna dessa avaliao, e vice-versa. Se a avaliao utiliza uma amostra aleatria da populao-alvo do programa, mas a participao no tratamento no realizada atravs de aleatorizao, ento a amostra deve ser representativa da populao de elegveis, porm os resultados da avaliao podem no ter validade interna. Distintamente, caso a amostra no seja aleat- ria da populao-alvo, mas a participao no programa seja aleatorizada entre os grupos de tratamento e controle, os impactos computados pela avaliao sero internamente vlidos, porm no tero validade externa. 3.2 Custos da Aleatorizao Durante as ltimas dcadas, o mtodo experimental vem sendo cada vez mais utilizado em avaliaes de impacto de programas sociais. Esse crescimento tem sido observado tanto em pases ricos quanto pobres, e tem coberto in- tervenes nas reas de educao, sade, treinamento profssional, pobreza, entre outras. Contudo, apesar desse crescimento, o mtodo de aleatorizao (ainda) est longe de ser o predominantemente utilizado em avaliaes de impacto de pro- gramas sociais. Mas por que ele no o mais utilizado, visto que o nico que garante com poucas hipteses a validade interna das avaliaes de impacto? A resposta a essa pergunta reside em trs conjuntos de fatores: ticos, fnancei- ros e tcnicos. Muitos argumentam que no tico negar a participao em certo progra- ma social com base num mecanismo de aleatorizao. Afnal, dizem os que se opem ao mtodo, quando se trata de um programa social no eticamente correto deixar pessoas fora do programa com base num simples lanamento de moeda. Sem dvida, no se cogita utilizar aleatorizao para casos de in- tervenes de ampla escala (por exemplo, programas de vacinao), ou para pblicos-alvo muito especfcos (por exemplo, pessoas com algum tipo de de- fcincia). No entanto, h pelo menos duas situaes importantes em que esse problema tico no se coloca. A primeira, mais comum, ocorre quando existe escassez de vagas para atender toda a demanda ou pblico-alvo do programa. Nessa situao, pode-se inclu- sive justifcar o uso da aleatorizao como o critrio mais justo de alocao l Fundao Ita Social 54 das vagas existentes entre os candidatos ao programa. De fato, se pensarmos bem, ao invs de utilizar o tradicional critrio de atendimento por ordem de chegada, em muitas situaes pode ser mais correto oferecer as vagas dispo- nveis garantindo a todos os elegveis a mesma probabilidade de acesso a elas. Se, por exemplo, h escassez relativa de vagas e no se conhece bem onde os elegveis moram, parece mais justo receber todas as inscries e selecionar os participantes via um processo de aleatorizao por exemplo, retirando alea- toriamente os nomes de uma urna na presena dos inscritos do que oferecer as vagas disponveis para os primeiros que chegarem ao local de inscrio. A aleatorizao das vagas, nesse sentido, no recomendada para assegurar so- mente a validade interna da avaliao, mas tambm para garantir a igualdade de oportunidade de acesso aos servios do programa. A segunda situao na qual mais fcil eticamente utilizar o mtodo de alea- torizao ocorre quando os recursos do programa (fnanceiros, de pessoal ou operacionais) so limitados e, apesar de se planejar atender toda a populao -alvo ao fnal da implementao, s possvel incluir os elegveis ao longo do tempo. Em casos como esse, ningum ser privado de participar do programa; o que se aleatoriza somente a ordem com que os elegveis entram no pro- grama. Ao longo do processo gradual de entrada no programa, os que ainda no tiverem participado servem como grupo de controle para os que j foram selecionados. Muitas vezes, essa aleatorizao gradual no realizada no nvel indivduo ou famlia e sim em um nvel mais agregado como bairros, comuni- dades ou municpios. Um exemplo bastante conhecido de aleatorizao gra- dual foi o programa mexicano de transferncia condicional de renda, Progresa (hoje em dia chamado Oportunidades), que teve a primeira parcela dos muni- cpios considerados elegveis selecionados de forma aleatria pelos gestores do programa. Mas no s por razes ticas que os experimentos sociais no so realizados com mais frequncia. Outro motivo importante que eles podem ser dispen- diosos em relao ao oramento global do programa. Tipicamente, a avaliao aleatorizada de um programa social requer a mobilizao de vrios recursos, tais como o tempo dos gestores do programa, a contratao de pessoal tcni- co e a realizao de pesquisas de campo com as unidades tratadas e de con- trole. Este ltimo componente requer o uso de questionrios especialmente desenhados para a avaliao do programa em questo, que so geralmente aplicados em dois momentos do tempo: o primeiro tipicamente no momento da inscrio no programa e o segundo alguns meses aps o fnal da interven- o. Normalmente, este componente que requer o maior volume de recursos fnanceiros e, portanto, o que merece mais ateno no planejamento da ava- liao. Assim, apesar de todas as vantagens do mtodo experimental, impor- tante contrapor os benefcios e custos de sua aplicao vis--vis a de outros mtodos. Avaliao Econmica de Projetos Socias l 55 H tambm razes de natureza tcnica que difcultam o uso de experimentos aleatrios. Entre as mais importantes esto: o no comparecimento ao progra- ma de uma parcela dos indivduos do grupo de tratamento; a possibilidade de que pelo menos parte do grupo de controle acabe encontrando uma maneira de entrar no programa ou substitu-lo por um semelhante; e a perda de ob- servaes por atrito amostral, isto , a perda das informaes sobre unidades tratadas e de controle ao longo do tempo. Essas e outras difculdades tcnicas sero discutidas com mais detalhes na seo 3.4. 3.3 Como a Aleatorizao Resolve o Problema de Autosseleo Tipicamente, estamos interessados em estimar o efeito mdio do programa so- bre os tratados (EMPT). Como vimos no captulo 2 (seo 2.3), esse parmetro, que denotamos por D, expresso por: (1) ou seja, um parmetro que mede a mdia da varivel de resultado para a popu- lao de tratados quando ela tratada subtrada da mdia da mesma varivel para a mesma populao, porm na situao contrafatual de no tratamento. Olhando para essa expresso, possvel perceber que a primeira mdia pode ser calculada diretamente a partir de informaes para a populao de trata- dos. No caso de um experimento social, essa mdia fornecida pelos dados coletados para o grupo de tratamento, o qual foi aleatoriamente selecionado para participar do programa. O grande problema como obter a segunda mdia da expresso (1), ou seja, como encontrar a verdadeira mdia da varivel de interesse caso os tratados no tivessem sido tratados. aqui que o mtodo de aleatorizao d a sua maior contribuio, pois o grupo que foi aleatorizado para fora do programa capaz de prover essa mdia. Especifcamente, ao construir os grupos de trata- mento e controle com base num mecanismo de aleatorizao, o experimento social torna a varivel que indica tratamento, T, independente dos resultados potenciais. Essa independncia se d por fora do prprio processo de aleatori- zao. Assim, enquanto um grupo qualquer de indivduos no tratados fornece um grupo de controle escolhido de forma aleatria assegura que Note que, ao garantir a validade desta ltima igualdade, o experimento aleatrio consegue resolver o vis de autos- seleo. l Fundao Ita Social 56 Podemos tambm utilizar equaes lineares tpicas dos modelos estimados por Mnimos Quadrados Ordinrios (MQO) para entender como a aleatorizao resolve o problema do vis de autosseleo. Considere a equao:
onde o termo aqui capta tanto as variveis observadas quanto as no ob- servadas do indivduo i. Nessa equao, o parmetro deve captar o efeito do programa e o vis de autosseleo aparece pela potencial correlao entre T e . Essa correlao pode se dar porque a participao no programa correla- cionada tanto com algumas caractersticas observadas quanto no observadas das pessoas. Por exemplo, possvel que, quanto maior a motivao dos indi- vduos, maior a chance de participao num programa de treinamento de mo de obra. A expresso para a mdia condicional da equao (2) dada por:
O que a aleatorizao garante que a participao no programa independen- te das caractersticas observadas e no observadas dos indivduos, exatamente como no exemplo da seo 2.1.1, em que os grupos de tratamento e controle tm todos os atributos semelhantes. a gerao dessa independncia entre T e que faz o mtodo de aleatorizao ser capaz de anular o vis de autossele- o. Em termos da equao (3), isso signifca que a aleatorizao faz com que:
ou seja, garante o atendimento de uma das hipteses fundamentais (mdia condicional zero do erro) para que o modelo de MQO gere um estimador no -enviesado dos parmetros da regresso. Devido ao resultado da expresso (4), podemos escrever que:
o que comprova que o mtodo isola corretamente o efeito de interesse. Note que a estimao do efeito pode ser feita com base numa simples regresso de MQO ou, como mostra a expresso (5), atravs do simples cmputo da diferen- a de duas mdias amostrais: onde e repre- sentam a varivel de resultado respectivamente para os indivduos tratados e indivduos no tratados. Essa simplicidade de clculo uma das grandes vantagens do mtodo de aleatorizao. 5
11 Em termos de inferncia, o teste de se o parmetro diferente de zero (o conhecido teste-t) equivalente ao teste de diferenas de mdias. Este ltimo baseado na estatsti- 11 Avaliao Econmica de Projetos Socias l 57 Embora tenhamos incorporado as caractersticas observadas dos indivduos ao termo na equao (2), possvel explicit-las no modelo sem produzir gran- des alteraes nos resultados obtidos at agora. Considere ento a equao (2) modifcada pela introduo do vetor de caractersticas observadas X: onde o primeiro elemento de X igual a um e um vetor de parmetros con- forme a X. Se bem realizado, o experimento aleatrio assegura que:
o que implica que a diferena: isola o parmetro de interesse. 6
Um ponto adicional que, em princpio, a aleatorizao garante que tanto as caractersticas observadas como as no observadas so balanceadas entre os grupos de tratamento e controle. Ou seja, se os dados contm K diferen- tes caractersticas dos indivduos (sexo, idade, escolaridade, renda familiar, entre outras), devemos esperar que a mdia de cada caracterstica conti- da em para o grupo de tratamento seja igual mdia da mesma varivel para o grupo de controle. Formalmente, isso signifca que um resultado que pode ser tes- tado com base nos dados coletados para os dois grupos experimentais. 7 Na realidade, sempre recomendvel testar o balanceamento das caractersticas observadas entre os grupos, pois caso ocorra rejeio da hiptese de balancea- mento para muitas variveis em X, h indicao de que o protocolo de aleato- rizao no foi bem realizado, o que pode comprometer a acurcia com que os efeitos do programa so estimados. ca onde representa o desvio-padro da diferena de mdias. Como as amostras dos grupos de tratamento e controle so independentes, em que e denotam o nmero de observaes das amostras dos dois grupos, respecti- vamente. 12 Embora a prova da afrmao a seguir esteja fora do escopo deste livro, vale assinalar que o modelo expresso por (2) e (3) pelo menos to efciente quanto o expresso por (2) e (3). Em outras palavras, o parmetro pode ser estimado de forma mais precisa com a incluso das caractersticas em no modelo (desde que os coefcientes em sejam diferentes de zero). 13 H vrias formas de se testar este resultado. Um das mais empregadas o teste para dif- erenas de mdias de amostras independentes. Esse teste bastante confvel quando a aleatorizao dos grupos de tratamento e controle feita com base no mtodo de amostr- agem aleatria simples. Todavia, caso a aleatorizao dos grupos seja realizada de forma estratifcada exemplos tpicos de estratos so: escola, turma, clnica, bairro, etc. , no nec- essariamente esse o teste mais recomendado. Para maiores detalhes, ver Firpo et al. (2011). 13 12 l Fundao Ita Social 58 comum que os programas sociais gerem efeitos distintos para diferentes gru- pos da populao. Por exemplo, programas de treinamento de mo de obra tendem a mostrar impactos diferenciados entre mulheres e homens e entre jovens e adultos. Tipicamente, a incorporao desse tipo de heterogeneidade ao modelo importante, j que revela aos gestores para que grupos socioeco- nmicos o programa pode ser aperfeioado. Caso o tamanho da amostra de indivduos nos grupos de tratamento e con- trole seja sufcientemente grande, possvel estimar o impacto do programa particionando a amostra entre os estratos para os quais se quer conhecer o efeito. Por exemplo, se se quer conhecer o efeito de um programa de creche gratuita para diferentes reas de um municpio, pode-se calcular a diferenas de mdias da varivel de interesse (e.g., participao no mercado de trabalho das mulheres) entre o grupo de tratamento e controle separadamente para cada rea da cidade. Naturalmente, importante que a amostra para cada rea da cidade seja relativamente grande, caso contrrio o impacto no ser preci- samente medido. Podemos tambm utilizar uma variante da equao (2) para computar impac- tos heterogneos de um programa para grupos formados pelas caractersticas que aparecem no vetor X. Para operacionalizar essa estratgia, basta interagir as variveis em X, para as quais temos interesse em medir separadamente o im- pacto do programa, com o indicador de tratamento T. Para verifcar isso, supo- nha que queiramos medir o efeito mdio de uma interveno separadamente para homens e mulheres, os quais so identifcados na base de dados pela va- rivel binria com 1 para mulheres e 0 para homens. Denotemos por X* todas as variveis presentes em X que no Se escrevermos: o efeito do programa para as mulheres pode ser obtido por meio de:
e para os homens via: Comparando as duas ltimas expresses, v-se que a potencial heterogeneida- de de impacto entre os grupos de gnero dada pelo parmetro . A realizao de um simples teste t para permite inferir se ele nulo ou no. Da mesma forma que para , outras variveis presentes em X poderiam ser interagidas com T para obtermos o impacto diferenciado do programa segundo essas ca- ractersticas. Avaliao Econmica de Projetos Socias l 59 3.4 Dificuldades Tcnicas da Aleatorizao Apesar de os experimentos sociais apresentarem importantes vantagens sobre outros mtodos de avaliao de impacto, eles no esto livres de problemas. Na seo 3.2, abordamos os problemas de natureza tica e fnanceira que po- dem surgir para se implementar um experimento social. Nesta seo, discutire- mos algumas difculdades de natureza mais tcnica que, caso no sejam ade- quadamente tratadas, podem comprometer bastante a acurcia os resultados obtidos. Quatro so as principais difculdades tcnicas que aparecem na realizao dos experimentos aleatorizados. A primeira o no comparecimento de uma par- cela dos indivduos selecionados para o grupo de tratamento para realizar o programa. A segunda, muito frequente, a substituio do programa em ava- liao por outros semelhantes por parte dos indivduos do grupo de controle. A terceira difculdade, chamada atrito amostral, tipicamente aparece quando h coleta de dados em mais de um ponto do tempo e ocorre perda de ob- servaes de um conjunto de indivduos da amostra entre perodos. A quarta difculdade surge quando o prprio programa gera externalidades para os no tratados incluindo os membros do grupo de controle , o que pode distorcer os efeitos computados.
No Comparecimento Um dos problemas mais comuns de um experimento social aleatrio ocorre quando, aps terem sido selecionados para participar do programa, alguns indivduos do grupo de tratamento no aparecem de fato para realizar as atividades previstas na interveno. O no comparecimento desse subgrupo altera o grupo de tratamento, o que pode comprometer a identifcao dos impactos do programa, especialmente se a desistncia estiver associada com caractersticas no observadas dos desistentes. Por exemplo, se os menos mo- tivados entre os selecionados para o programa so os que no comparecem, a composio do grupo de tratamento deixa de ser parecida com a do grupo de controle nessa caracterstica. Assim, se motivao for um determinante impor- tante da varivel de resultado (por exemplo, busca por emprego), a diferena de composio que aparece a posteriori entre os dois grupos ir comprometer o isolamento do que efetivamente o impacto do programa. Uma forma de olhar para esse problema que ocorre uma distino entre a oferta e a participao propriamente dita no programa. Essa distino, que ocorre com vrios programas sociais e no somente com experimentos alea- torizados, pode criar uma diferena entre o impacto que os gestores intencio- navam que o programa tivesse para o pblico elegvel em geral e o impacto l Fundao Ita Social 60 que de fato ocorreu para o pblico efetivamente tratado. Na realidade, essa diferena de impactos tem sido amplamente discutida na literatura de avalia- o de impacto e pode ser entendida dentro do arcabouo dos experimentos aleatrios. Suponhamos que os gestores de um programa de treinamento tenham aleato- rizado a oferta de vagas entre os indivduos de uma comunidade. Seja Z uma varivel binria que assume valor unitrio quando um indivduo aleatorizado para o grupo de tratamento e valor zero quando a aleatorizao para o grupo de controle. Caso uma frao dos que foram alocados para o grupo de trata- mento no aparecerem para participar do curso, haver uma distino entre a varivel Z e a varivel que identifca quem efetivamente compareceu, T. Assim, se a estimao for realizada com base na diferena no estaremos identifcando o EMPT, mas sim outro parmetro, que recebe o nome de efeito da inteno de tratar (EIT). 3
Dada a frequncia com que o problema de desistncia ocorre, a estimao do EIT pode ser to relevante quanto a do EMPT. De fato, enquanto o EMPT forne- ce o impacto somente para os tratados, o EIT informa os gestores sobre como a disponibilidade do programa afeta em mdia a populao de elegveis. Isso importante, j que, na prtica, o mximo que os gestores normalmente conse- guem fazer oferecer o programa populao-alvo, no tendo como obrig-la a frequent-lo. Mas o no recebimento dos servios do programa por parte de uma parcela do grupo de tratamento no impede que o mtodo de aleatorizao seja capaz de identifcar o efeito do programa. Se olharmos com cuidado a situao, poss- vel perceber que a varivel Z deve ser correlacionada com a varivel T, porm no associada com qualquer determinante (observado ou no) da varivel de resultado, Y. Isso permite utiliz-la como um instrumento no mtodo de va- riveis instrumentais, um tema que ser tratado com detalhes no captulo 6. Substituio O problema inverso tambm costuma ocorrer com os indivduos que compem o grupo de controle. Idealmente, num experimento social, nenhum membro desse grupo deveria receber os servios do programa ou de um substituto prximo dele. Contudo, na prtica, no incomum que uma parcela do gru- po acabe entrando no programa em avaliao ou em algum programa similar. Quanto mais substituvel a interveno sendo avaliada, maior a possibilidade de que os controles busquem um tratamento parecido em algum outro lugar. 14 Implicitamente, estamos assumindo que o efeito da interveno heterogneo entre as pessoas. Naturalmente, na hiptese de que o efeito igual para todos, no haveria diferena entre o EIT e o EMPT. 14 Avaliao Econmica de Projetos Socias l 61 A principal consequncia dessa substituio do programa que o grupo de controle experimental deixa de corresponder ao contrafatual do estado no tratamento. Como decorrncia, a mdia da varivel de resultado para o grupo de controle, deixa de fornecer a mdia que se buscava com o ex- perimento aleatrio, Com isso, a simples diferena das mdias calculadas para os grupos de tratamento e controle experimentais no isola mais o impacto do programa. 4
Naturalmente, para se estimar o efeito causal da interveno nessa situao de substituio do programa h que se recorrer a estratgias de identifcao alternativas. Como no caso do no comparecimento s atividades do progra- ma por parte do grupo de tratamento, uma estratgia fazer uso da varivel Z como instrumento quando h substituio do programa por parte dos contro- les. Essa estratgia de identifcao ser discutida no captulo 6. Outra possibilidade assumir que o efeito do programa substituto para os con- troles que dele participam igual ao efeito do programa em avaliao para os efetivamente tratados (Heckman et al., 1999). Se representa respec- tivamente as situaes em que um indivduo do grupo de controle recebe um tratamento alternativo e no recebe tratamento nenhum, essa hiptese pode ser expressa por: onde representaria a varivel de resultado no caso do recebimento do tratamento alternativo ao em avaliao. Trata-se claramente de uma hipte- se forte, cuja invocao requereria uma anlise cuidadosa dos contedos das duas intervenes em questo.
Atrito Em quase todas as pesquisas que coletam dados de campo em mais de um momento do tempo h perda de informaes sobre alguns indivduos que no so encontrados nos perodos subsequentes ao primeiro. H diversos motivos que levam ao aparecimento desse atrito amostral, mas muitos deles so no -aleatrios, ou seja, podem estar relacionados s caractersticas (no observa- das) dos indivduos ou ao impacto de interesse. Normalmente, quando o atrito no aleatrio, a estimao do efeito causal do programa por meio da compa- rao entre tratados e controles torna-se potencialmente enviesada. A apario desse tipo de vis mais provvel quando a taxa de atrito difere entre o grupo de tratamento e o grupo de controle. Na prtica, essa a situao 15 Novamente, sob a hiptese de que o efeito do programa homogneo para todos, essa diferena identifcar o impacto do programa. 15 l Fundao Ita Social 62 mais comum, com a taxa do grupo de controle sendo tipicamente mais eleva- da que a do grupo de tratamento. Muitas vezes, a negao do programa aos controles gera uma reao de recusa por parte deles em fornecer informaes aos entrevistadores do programa. Em alguns casos, os controles, quando se veem na situao de no encontrar um programa alternativo perto de onde moram, se mudam para outras localidades, tornando mais difcil a coleta sub- sequente de informaes. Como j mencionado, sempre boa prtica comparar as caractersticas obser- vadas dos grupos de tratamento e controle, antes e aps o tratamento. Essa comparao pode ser particularmente informativa quando a taxa de atrito substancial, pois, se aparecerem diferenas marcantes entre os dois grupos nas caractersticas observadas, provvel que o atrito tenha alterado tambm a composio dos atributos no observados entre os grupos. Tipicamente, a re- soluo do problema do vis de atrito amostral requer o uso complementar de hipteses comuns aos mtodos no experimentais. 5
Externalidades Alm das limitaes acima apontadas, os experimentos aleatrios tambm po- dem estar associados a dois outros tipos de problemas. O primeiro um efeito de transbordamento do programa sobre o grupo de controle, ou seja, uma ex- ternalidade (positiva ou negativa) que gerada pelo prprio tratamento so- bre a varivel de resultado do grupo de controle. Por exemplo, se os grupos de tratamento e controle de um programa de combate obesidade infantil so escolhidos aleatoriamente dentro das escolas, provvel que o tratamento acabe afetando indiretamente o grupo de controle, j que as crianas trata- das podem infuenciar o comportamento alimentar das crianas do grupo de controle (dentro ou fora da escola). Em casos como esse, mais recomendado realizar a aleatorizao dos grupos experimentais entre escolas, preferencial- mente guardando certa distncia entre as selecionadas para cada grupo. Esse tipo de cuidado deve ser sempre tomado com intervenes de sade, educa- cionais, alimentares, entre outras, em que podem ocorrer externalidades de- vido ao contato fsico ou de comunicao dos indivduos tratados com os no tratados. 6 16 Uma forma comumente utilizada especifcar uma equao dos determinantes do atrito amostral e estim-la conjuntamente com a equao da varivel de resultado. Geralmente, esse procedimento realizado utilizando-se variveis instrumentais, um mtodo que ser apresentado no captulo 6. O leitor mais interessado encontrar em Grasdal (2001) uma dis- cusso sobre esse procedimento no contexto de avaliao de impacto. Dufo et al. (2008) prov uma apresentao do problema de atrito amostral no contexto de experimentos ale- atrios. 17 H algumas tcnicas para averiguar a existncia de efeitos de transbordamento para fora do grupo de tratados. Uma delas, utilizada num estudo sobre os efeitos de um programa de 16 17 Avaliao Econmica de Projetos Socias l 63 Finalmente, o ltimo problema que precisa ser levado em considerao a ocorrncia de efeitos de equilbrio geral, isto , efeitos que o programa pode ter sobre o funcionamento da economia do local onde ele ocorre. Esses efei- tos so mais comuns quando a escala do programa grande relativamente ao tamanho da economia. Por exemplo, o programa Bolsa-Famlia atende uma proporo que pode chegar a quase 90% da populao de vrios municpios pequenos no Brasil. Em municipalidades como essas, as transferncias de ren- da s famlias benefciadas pelo programa pode gerar um impacto signifcativo sobre a demanda por diversos bens e servios dessas localidades, resultando em mudanas de preos e salrios. Esse tipo de efeito agregado da interveno tende a alterar o prprio estado do contrafatual de no tratamento, tipicamen- te concebido para uma situao na qual no h mudanas na economia de- correntes do prprio programa. Os efeitos de equilbrio geral podem provocar uma reao dos agentes sobre suas decises futuras em relao varivel de interesse, pelo menos no longo prazo. Por exemplo, um amplo programa de concesso de bolsas de estudos universitrias pode ter efeito positivo sobre a entrada dos benefcirios na universidade. No entanto, devido a sua escala, o programa tambm tende a alterar o retorno educao superior, o que pode afetar as decises das pessoas de fazer curso superior no futuro. A maior parte das avaliaes de impacto no leva em conta esse tipo de efeitos indiretos do programa na economia e nas decises dos agentes. Essa prtica no recomendada, especialmente nos casos de intervenes de larga escala. A forma tpica de resolver esse problema lanar mo de um modelo estrutu- ral geral que incorpore de forma explcita o comportamento dos agentes. Aps a estimao dos parmetros do modelo inclusive o referente ao impacto do programa , possvel simul-lo para conhecer os efeitos diretos e indiretos da interveno. aplicao de drogas de combate a vermes em escolas do Qunia (Miguel e Kremer, 2004), faz uso de diferentes nveis de exposio ao tratamento para analisar as externalidades (pos- itivas) do programa nas localidades prximas s escolas. Ver Dufo et al. (2008) para uma apresentao de outras tcnicas para estudar a presena de externalidades de intervenes avaliadas pelo mtodo de aleatorizao. l Fundao Ita Social 64 Box 1: Avaliao Experimental do Planfor Tabela B.1: Estimativas do Impacto do Planfor para Rio de Janeiro e Fortaleza Rio de Janeiro Fortaleza Lanado em 1995 pelo governo federal, o Plano Nacional de Formao Profssional (Planfor) foi um programa de qualifcao que ofereceu cursos de treinamento pro- fssional para uma variedade de ocupaes tais como garom, cabeleireiro, vendedor, eletricista, costureiro etc. Os principais ob- jetivos do programa eram aumentar a em- pregabilidade e a capacidade de gerao de renda dos trabalhadores da sua popula- o-alvo, que era prioritariamente formada de desempregados e pessoas em situao de desvantagem social. A inscrio no pro- grama era voluntria e os cursos costuma- vam durar entre 30 e 60 dias, em geral com uma carga horria de 60 horas por ms. Os servios de treinamento eram basicamente providos por escolas especializadas, univer- sidades, sindicatos e organizaes no go- vernamentais. Em 1998, o Planfor passou por uma avalia- o de impacto realizada com base no m- todo de aleatorizao. Especifcamente, fo- ram avaliados os cursos oferecidos no ms de setembro de 1998 nas regies metropo- litanas do Rio de Janeiro e de Fortaleza. Na inscrio para os cursos, os indivduos res- ponderam um questionrio normalmen- te chamado de linha de base com uma srie de perguntas sobre suas condies so- cioeconmicas e de trabalho. Como houve excesso de demanda, os grupos de trata- mento e controle foram formados pela ale- atorizao dos inscritos nos diversos cursos oferecidos em cada regio. Em novembro de 1999, um segundo questionrio foi apli- cado aos indivduos de ambos os grupos normalmente chamado de acompanha- mento (ou follow-up) que puderam ser encontrados cerca de um ano depois do in- cio dos cursos. Novamente, perguntas sobre Fonte: Ipea e Cedeplar (2000). Nota: Os nmeros entre parnteses correspondem aos erros-padro calculados para as amostras de cada grupo experimental e regio metropolitana. Os nmero entre colchetes referem-se aos p-valores reportados para as estimativas do impacto do programa. a situao de trabalho foram levantadas no segundo questionrio. Apesar da ocorrncia de atrito (isto , perda de observaes entre a linha de base e o follow-up), as amostras fnais permaneceram grandes, com a do Rio de Janeiro contendo 2256 indivduos (1201 tratados) e a de Fortaleza, 2517 (1210 trata- dos). A Tabela B.1 contm as estimativas do im- pacto do Planfor separadamente para cada regio metropolitana (Ipea e Cedeplar, 2000). As variveis de resultado so a pro- poro de ocupados e a taxa de desempre- go. As estimativas para cada grupo experi- mental esto apresentadas em termos das diferenas nessas variveis entre os pero- dos anterior e posterior aos cursos. O impac- to calculado simplesmente pela subtrao dessas diferenas entre os dois grupos, ou seja, pelo procedimento conhecido por di- ferenas em diferenas, a ser tratado em de- talhes no captulo 4. Os resultados mostram que o programa pa- rece ter tido um impacto positivo em ter- mos de ocupao em ambas as regies. Es- pecifcamente, vemos que a proporo de ocupados aumentou mais entre os trata- dos do que entre os controles tanto no Rio de Janeiro quanto em Fortaleza, gerando um impacto positivo de cerca de 2 pontos de percentagem (pp) na primeira regio e de aproximadamente 3 pp na segunda. No caso da taxa de desemprego, as estimativas indicam que o programa s foi capaz de re- duzir essa taxa no Rio de Janeiro. De fato, em Fortaleza, embora a estimativa pontual do impacto seja na direo de aumento da taxa de desemprego, do ponto de vista estatsti- co o efeito pode ser considerado nulo, pelo menos ao nvel de signifcncia de 10%. Avaliao Econmica de Projetos Socias l 65 Box 2: Impacto das Creches Pblicas no Rio de Janeiro sobre a Participao das Mulheres no Mercado de Trabalho Na cidade do Rio de Janeiro, existe um conjunto amplo de creches que recebem algum fnanciamento do governo para fun- cionar. Espera-se que as creches tenham efeitos positivos tanto no desenvolvimen- to das crianas quanto na insero das suas mes no mercado de trabalho. As evidn- cias mostram que um desenvolvimento adequado na primeira infncia tem efeitos cognitivos e no-cognitivos positivos, com repercusses de longo prazo para as pes- soas na fase juvenil e adulta. A liberao de tempo que as creches propiciam para um maior engajamento das mes com o mer- cado de trabalho tambm considerada importante, especialmente para as famlias de baixa renda. Em 2007, utilizou-se um mecanismo de loteria na cidade do Rio de Janeiro para selecionar entre as 25 mil famlias candi- datas s 10 mil vagas a serem oferecidas nas creches municipais com fnanciamento pblico no ano de 2008. Explorando essa aleatorizao, uma pesquisa foi realizada com cerca de 3800 famlias entre junho e outubro de 2008 para levantar uma srie de informaes sobre a situao de traba- lho das mulheres. Metade dessas famlias tinha sido selecionada aleatoriamente para fazer parte do grupo de tratamento e a outra metade para o grupo de controle. Na prtica, no entanto, ocorreram os pro- blemas de no comparecimento por parte das famlias do grupo de tratamento e de substituio do programa pelas famlias do grupo de controle. Especifcamente, 94% das crianas do grupo de tratamento entra- ram de fato nas creches cobertas pelo pro- grama, ao passo que 51% das crianas do grupo de controle acabaram conseguindo vagas nesse mesmo conjunto de creches. Como mencionado no texto, a existncia desses problemas requer o uso de mtodos complementares ao proposto pelo mtodo de aleatorizao. Em Barros et al. (2011), empregou-se o procedimento de variveis instrumentais a ser discutido no captulo 6 para se estimar um parmetro conheci- do como efeito mdio local do tratamento (EMLT). Sendo Y a varivel de resultado, T uma varivel binria que indica se uma mulher pertence ao grupo de tratamento ou controle ( T = 1 ou 0, respectivamente) e Z uma varivel tambm binria que mar- ca quais mulheres efetivamente tiveram ou no seus flhos matriculados nas creches (Z = 1 ou 0, respectivamente), o estudo citado estimou o seguinte parmetro: EMLT= E[Y|T=1] _ E[Y|T=0] P[Z=1|T=1] _ P[Z=1|T=0] Em linhas gerais, esse parmetro pode ser interpretado como efeito do programa que seria estimado pelo mtodo de aleatori- zao (o numerador) corrigido para o fato de que nem todos os tratados e controles cumpriram o que a seleo aleatria de- terminou (o denominador). Note que essa correo dada pela diferena entre os 94% das mulheres do grupo de tratamento que tiveram seus flhos efetivamente tratados (o P[Z = 1|T = 1] do denominador) e os 51% das mulheres do grupo de controle que descumpriram o determinado pela loteria e conseguiram colocar seus flhos nas creches do programa (o P[Z = 1|T = 0] do denomi- nador). As estimativas do impacto do programa indicam aumentos relativos de 8% na taxa de participao das mulheres no mercado de trabalho (de 74% para 79%) e de 27% na proporo de ocupadas (de 36% para 46%). A interveno parece tambm ter reduzido a taxa de desemprego das mulheres em 16% (de 50% para 42%). l Fundao Ita Social 66 Exerccios 1) Um governo estadual est atualmente planejando realizar programa de re- duo do analfabetismo e quer que uma avaliao seja realizada para medir os impactos do programa. Assinale se as assertivas abaixo so verdadeiras ou falsas e explique sua resposta. a) Se esse governo utilizar apenas os dados da Pesquisa Nacional por Amostra de Domiclios (PNAD) que uma pesquisa com uma amostra aleat- ria realizada pelo IBGE em todo o territrio nacional para avaliar o programa, os resultados asseguraro a validade interna do estudo. b) A validade externa da avaliao estar garantida se houver a aleato- rizao dos servios do programa (por exemplo, entre os municpios do esta- do). c) Qual o principal tipo de problema que pode surgir se compararmos diretamente os rendimentos do trabalho dos estudantes formados em diferen- tes cursos? 2) Uma entidade que recebe verba pblica presta servios de treinamento de mo de obra para trabalhadores de baixa renda num certo municpio. Para se- lecionar os benefciados pelo programa, a entidade utiliza o critrio do primei- ro a chegar ao local da inscrio. Um dia, um gestor decidiu tabular as informa- es das fchas de inscrio para o programa nessa entidade e descobriu que cerca de 80% dos benefciados morava no mesmo bairro do local da inscrio. O gestor tambm observou que as caractersticas socioeconmicas dos ins- critos no diferiam muito entre si. Baseado apenas na ideia de igualdade de oportunidade para participar do programa, voc proporia alguma mudana de critrio de seleo dos benefciados? Pensando agora somente em termos de avaliao de impacto do programa, voc proporia utilizar um critrio baseado na seleo aleatria dos inscritos? Desenvolva suas respostas. 3) Em laboratrios de fsica, biologia e reas cientfcas afns, muito comum a realizao de experimentos controlados, ou seja, experimentos nos quais o pesquisador tem ampla capacidade de controlar as variveis que afetam o objeto de estudo. Nas cincias sociais, entretanto, no to fcil realizar ex- perimentos desse tipo. Discuta pelo menos duas razes (tcnicas ou no) que difcultam a realizao de experimentos aleatrios na rea de avaliao de pro- gramas sociais. 4) Em uma avaliao de impacto aleatorizada de um programa de reforo es- colar, descobriu-se que 10% dos alunos do grupo de tratamento desistiram do programa. Ao analisar as informaes disponveis, os avaliadores observaram Avaliao Econmica de Projetos Socias l 67 que esses alunos que no compareceram tinham histricos escolares piores que os demais. a) Voc trataria essa informao como uma evidncia de que h ca- ractersticas no observadas dos alunos que infuenciaram na desistncia do programa? b) A diferena entre o grupo que foi aleatorizado para participar e o que efetivamente participou no impede o uso do experimento para estimar o impacto do programa. Discuta o efeito causal que poderia ser estimado nessa situao. c) Distintamente, se a situao fosse que 10% dos indivduos do grupo de controle substituram o programa por outros similares, o experimento alea- trio estaria invalidado para se estimar o impacto do programa? Explique. Avaliao Econmica de Projetos Socias l 69 CAPTULO 4 Diferenas em Diferenas Miguel Nathan Foguel Como vimos nos captulos anteriores, os mtodos de avaliao de impacto so geralmente divididos em dois grupos: experimental e no-experimental. O pri- meiro, apresentado no captulo anterior, baseado na seleo aleatria dos participantes e no participantes do programa e considerado o mtodo de referncia na rea de avaliao. O segundo grupo composto por uma varie- dade de mtodos distintos que, embora faam uso de hipteses especfcas para identifcar o efeito causal do programa, procuram mimetizar o mtodo experimental. Os prximos captulos sero dedicados aos principais mtodos no-experimentais utilizados na rea de avaliao de impacto. Neste captulo, discutiremos um dos mais empregados dentre eles, o chamado mtodo das diferenas em diferenas (DD). Como sugere o seu nome, o mtodo de DD baseado no clculo de uma dupla subtrao: a primeira se refere diferena das mdias da varivel de resultado entre os perodos anterior e posterior ao programa, para o grupo de tratamen- to e para o de controle, e a segunda se refere diferena da primeira diferena calculada entre esses dois grupos. Naturalmente, a operacionalizao do mto- do requer a existncia de informaes para ambos os grupos para pelo menos um perodo de tempo antes e um perodo depois do programa. Embora essa demanda por dados torne a aplicao do procedimento mais custosa, o mto- do possui uma srie de vantagens relativamente a outros mtodos no-expe- rimentais. Em particular, como veremos, ele capaz de lidar com o vis de se- leo associado a certo tipo de caractersticas no observveis dos indivduos, especifcamente quelas que so invariantes no tempo. A aplicabilidade do procedimento de DD ampla e ele tem sido utilizado iso- ladamente ou em combinao com outros mtodos em diversas situaes. 3
Muitas vezes, ele empregado no contexto do que se chama experimento na- tural (ou quase-experimento) uma situao na qual a ocorrncia de um evento fortuito ou em larga medida imprevisto permite formar grupos de trata- 18 Por exemplo, no captulo 5, apresentaremos como o mtodo de pareamento combina- do com o mtodo de DD. 18 l Fundao Ita Social 70 mento e controle parecidos em diversos aspectos. Esses eventos podem ter origem em mudanas que ocorrem na prpria natureza (por exemplo, terre- motos e furaces), alteraes institucionais (modifcaes inesperadas em leis ou programas em algum municpio ou estado) ou at mesmo na seleo dos participantes que ocorre devido a circunstncias que envolvem um alto grau de aleatoriedade. 4 Qualquer que seja o caso, a ideia que a fortuidade do evento permita criar uma seleo dos indivduos ou unidades de observao que comporo os grupos de tratamento e controle prxima daquela do m- todo experimental. 5 No entanto, mesmo que o evento gerador parea fortui- to, no h garantias de que o grupo de controle seja uma boa representao contrafatual do grupo tratado. O mtodo de DD procura resolver isso levando em considerao as diferenas de caractersticas pr-existentes entre tratados e controles. Essa caracterstica torna o mtodo de DD empregvel no s em casos de experimentos naturais, mas em diversos outros contextos onde haja disponibilidade de informaes pr e ps-programa para os dois grupos. Neste captulo, a menos que explicitamente mencionado, no distinguiremos se o procedimento de DD est sendo aplicado num contexto de experimento alea- trio, natural ou outra situao em que as condies demandadas pelo mto- do so atendidas. A principal hiptese do mtodo de DD que a trajetria temporal da varivel de resultado para o grupo de controle represente o que ocorreria com o gru- po tratado caso no houvesse a interveno. Naturalmente, essa hiptese no pode ser testada diretamente nos dados, mas uma indicao de sua validade aparece quando as trajetrias dos dois grupos so parecidas pr-programa. A ideia bsica que, se as trajetrias se assemelham durante o perodo antes do programa, ento parece razovel supor que a evoluo do grupo de controle aps o programa represente com fdedignidade o que ocorreria com o grupo de tratados na situao de no tratamento. Assim, quando existem dados para vrios perodos de tempo pr-programa, tipicamente testa-se se as sries da varivel de resultado para os dois grupos possuem a mesma tendncia tempo- ral. Embora este no seja um teste cabal da hiptese, ele bastante intuitivo e pode ser realizado com facilidade. 19 Um exemplo interessante dessa ltima situao o estudo de Braido et al. (2012), que avaliou os efeitos do programa brasileiro Bolsa-Alimentao sobre o padro de consumo dos domiclios. Por conta de uma incompatibilidade temporria dos softwares utilizados nos sistemas de recrutamento e seleo de benefcirios do programa, um conjunto de do- miclios acabou no sendo selecionado devido presena de letras nos nomes de membros dos domiclios que tivessem acentos, til ou cedilha. Dada a abrangncia com que essas letras aparecem nos nomes das pessoas no Brasil, esse equvoco, que foi no intencional, constitui um mecanismo fortuito de seleo ao programa. Esse experimento natural permitiu aos autores construir grupos de tratamento e controle muito prximos aos de experimentos aleatrios. 20 Vale observar que o mtodo de DD tambm utilizado com experimentos puramente aleatrios, sempre que estes levantam informaes para os perodos pr e ps-interveno. 19 20 Avaliao Econmica de Projetos Socias l 71 O procedimento de DD pode ser utilizado com dados de indivduos/famlias, mas tambm com dados em nveis mais agregados, por exemplo, setores de atividade, ocupaes, municpios ou estados. Por exemplo, se certa UF imple- mentou um programa de educao ou sade num determinado ano, poss- vel empregar o mtodo para avaliar o impacto desse programa comparando os dados agregados (por exemplo, frequncia escolar ou incidncia de uma doena) da UF tratada com os dados de um conjunto de UFs no tratadas. Sua aplicabilidade com dados agregados uma importante vantagem do mtodo de DD, pois permite que o impacto de uma srie de intervenes possam ser avaliadas apenas com base em informaes rotineiramente coletadas por go- vernos e institutos de pesquisa e estatstica. Outra importante vantagem do mtodo de DD que ele permite controlar para caractersticas no observveis dos indivduos que sejam invariantes no tempo (por exemplo, habilidades inatas). Como vimos em captulos anteriores, os atri- butos no observados dos indivduos so uma fonte potencial de gerao de vis de autosseleo. Embora o mtodo de DD s consiga levar em conta esse tipo de atributo que fxo no tempo, esse controle capaz de resolver o problema de autosseleo para um conjunto amplo de aplicaes. Essa capacidade confere ao DD uma vantagem relativa a outros mtodos no-experimentais, por exem- plo, o mtodo do emparelhamento, que no consegue controlar para vieses de autosseleo decorrentes de atributos no observveis, fxos ou no no tempo.
4.1 Comparando com os Mtodos Ingnuos Em uma avaliao de impacto sempre se busca encontrar o contrafatual para o grupo tratado, ou seja, o que teria ocorrido a esse grupo na ausncia da in- terveno. No captulo 2 (sees 2.1 e 2.2), vimos dois mtodos ingnuos de identifcar o impacto do programa, a saber: (i) quando apenas se compara o grupo de tratados antes e depois da interveno e (ii) quando se compara o grupo de tratados com um grupo qualquer de no tratados aps a interveno. A primeira forma de identifcao no possui um grupo de controle explcito e s consegue isolar o impacto do programa sob a hiptese de que o nico fator que afeta a varivel de resultado do grupo de tratados a prpria interveno. Obviamente, trata-se de uma hiptese forte, j que sempre h um conjunto de fatores que podem infuenciar a trajetria dessa varivel alm da prpria interveno. A segunda forma de identifcao utiliza um grupo de controle explicitamente, mas s consegue isolar o efeito do programa sob a hiptese de que esse grupo representa corretamente o que teria ocorrido com o grupo tratado na ausncia do programa. Novamente, trata-se de uma suposio forte, l Fundao Ita Social 72 uma vez que parte da diferena na varivel de resultado entre os dois grupos pode se dever existncia de diferentes caractersticas entre os grupos. Esse problema torna-se particularmente srio quando essas caractersticas no so observadas (ou medidas) pelo avaliador. O mtodo de diferenas em diferenas (DD) busca contornar os problemas des- sas duas formas de identifcar o impacto de um programa. Em relao primei- ra, ao invs de simplesmente contrastar o grupo de tratamento com ele mesmo antes e depois do programa, o mtodo de DD vai buscar um grupo de compa- rao que se parea ao mximo com o grupo tratado. A ideia que esse grupo esteja sujeito s mesmas infuncias dos fatores que afetam a varivel de resul- tado dos tratados, ou seja, que esse grupo funcione como um grupo de controle semelhante ao que se constri a partir de experimentos aleatrios. Obviamen- te, sem aleatorizao, no h garantias de que a nica diferena entre os gru- pos a participao no programa, mas o mtodo de DD, assim como os demais mtodos no-experimentais, busca mimetizar a situao de aleatorizao. Uma caracterstica do mtodo de DD que ajuda nesse processo que ele capaz de levar em conta uma das principais fontes de diferena entre tratados e contro- les: as caractersticas no observveis dos indivduos que so invariantes no tempo. Nesse sentido, ele um avano em relao ao mtodo que simplesmen- te contrasta o grupo de tratamento com um grupo de indivduos no tratados.
4.2 Hipteses Bsicas Para identifcar o efeito causal de uma interveno, o mtodo de DD lana mo de um conjunto de hipteses. Idealmente, o mtodo quer encontrar um grupo de indivduos (ou unidades mais agregadas de observao, como municpios ou estados) para os quais a evoluo da varivel de resultado corresponda trajetria dessa varivel para o grupo tratado na ausncia do programa. Natu- ralmente, essa uma condio no diretamente testvel pelos dados: a des- peito da quantidade ou qualidade das informaes disponveis, no possvel saber se a evoluo da varivel de resultados para o grupo de controle repre- senta bem o contrafatual dessa varivel para o grupo tratado aps o programa. Mas o fato de essa hiptese no ser diretamente passvel de confrmao em- prica no signifca que os dados no possam ser utilizados para revelar algo sobre sua validade. De fato, sempre que possvel, a verifcao da hiptese feita de forma indireta atravs de um teste que requer que a tendncia tempo- ral da varivel de resultado dos dois grupos seja a mesma antes do programa. A ideia que uma trajetria temporal semelhante indica que ambos os grupos vinham reagindo de forma similar a todo e qualquer fator que afeta a varivel de resultado antes da interveno. Supe-se ento que, na ausncia da inter- Avaliao Econmica de Projetos Socias l 73 veno, essa trajetria continuaria ao longo do tempo para o grupo tratado aps o programa tal como ela efetivamente segue para o grupo de controle. Note que a condio que os grupos tenham a mesma tendncia temporal, mas no necessrio que eles partam exatamente do mesmo ponto antes do programa: o mtodo de DD capaz de lidar com diferenas existentes entre os grupos pr-programa. Se a condio de mesma tendncia atendida, ento desvios na trajetria da varivel de resultado entre os grupos aps o programa so atribudos aos efeitos causais da interveno. Caso haja disponibilidade de dados para vrios pontos no tempo antes da in- terveno, o teste de mesma trajetria temporal para os dois grupos pode ser facilmente realizado. Naturalmente, esse teste s pode ser feito com base nos dados do perodo pr-programa, j que as trajetrias dos grupos podem dife- rir por causa dos efeitos do programa logo aps o incio deste. 6 Vale ressaltar que, embora a existncia de uma mesma tendncia temporal pr-programa no garanta que o grupo de controle um bom contrafatual para o grupo tra- tado, recomendvel que o teste seja realizado sempre que possvel. De fato, caso a hiptese de mesma tendncia no seja rejeitada, o teste confere maior credibilidade ao grupo de controle como um contrafatual adequado para o grupo tratado. O mtodo de DD pode ser utilizado tanto com dados de painel quanto com dados seccionais (cross-section) repetidos no tempo. Os primeiros tipicamente referem-se a informaes de indivduos ou famlias que so seguidos ao longo do tempo, enquanto os segundos so dados temporais calculados para unida- des mais agregadas tais como escolas, hospitais, setores de atividade, bairros, municpios ou estados. A agregao dos dados normalmente feita de termos de propores ou mdias das variveis de interesse para a avaliao. J os mo- mentos no tempo geralmente so meses ou anos. 7
A despeito do tipo de dados, outra hiptese do mtodo de DD que a compo- 21 Em alguns casos, podem ocorrer efeitos antecipatrios do programa, isto , mudanas no comportamento do grupo de tratamento ou controle antes mesmo do comeo da in- terveno. Por exemplo, quando as notcias da introduo de uma poltica ou programa vm a pblico com alguma antecedncia, certas decises dos indivduos tratados ou de controle podem se alterar modifcando as trajetrias da varivel de resultado pr-programa. Em casos como esses, a verifcao da existncia de tendncias semelhantes no perodo pr -programa pode ser realizada retirando-se os dados mais prximos do incio da interveno. 22 Proposto por Abadie et al. (2010) para contextos em que a unidade de tratamento agre- gada, h um mtodo recente que um pouco mais geral que o de DD. Nele, busca-se de forma fexvel um conjunto de unidades agregadas no tratadas para o qual a trajetria da mdia da varivel de resultado seja a mais prxima possvel (segundo certo critrio) da tra- jetria da unidade tratada antes do programa. Em linhas gerais, o mtodo procura um vetor de pesos para unidades no tratadas que as aproxime ao mximo do que ocorreu com a unidade tratada pr-interveno. 22 21 l Fundao Ita Social 74 sio dos grupos de tratamento ou controle no se altere de forma signifcativa entre os perodos anterior e posterior interveno. Por exemplo, quando as informaes so de painel, possvel que tenha ocorrido atrito amostral no aleatrio com o grupo de tratamento ou controle (ou ambos). O impacto do programa pode ser mal identifcado pelo mtodo de DD nesse caso, j que as diferenas na varivel de resultado entre perodos de tempo e entre grupos podem refetir no apenas o efeito do tratamento, mas tambm mudanas nas caractersticas no observadas dos indivduos. De forma semelhante, quando os dados so de cross-sections repetidas, as unidades de observao deveriam manter, pelo menos aproximadamente, a mesma composio de caractersti- cas das subunidades (indivduos, frmas etc.) que as compem. Por exemplo, quando se est comparando uma regio tratada (digamos, certas reas de uma cidade) com regies no tratadas (outras reas da cidade), se estiver ocorrendo um esvaziamento de pessoas de um dos dois tipos de reas, provvel que a distribuio das caractersticas observveis e no observveis esteja mudando em um ou ambos os tipos de rea. Parte ento do que o mtodo atribuir ao efeito do tratamento na realidade pode se dever s mudanas de composio dos grupos. Outra condio requerida pelo mtodo de DD que os grupos de tratamento e controle no sejam afetados de forma heterognea por mudanas de qualquer natureza que ocorram aps o programa. Por exemplo, se houver uma mudan- a idiossincrtica com o grupo de controle aps a interveno, a trajetria da varivel de resultado desse grupo pode se alterar de forma a que ela deixe de representar adequadamente o contrafatual do grupo tratado. Uma mudana idiossincrtica (independente do programa) tambm pode ocorrer com o gru- po de tratados. 8 Em ambos os casos, o mtodo de DD captar os efeitos dessas mudanas, os quais sero erroneamente atribudos aos efeitos do programa.
4.3 O Modelo de Diferenas em Diferenas A forma mais simples de expressar o estimador do mtodo de DD calculando uma dupla diferena de mdias da varivel de resultado. Se denotarmos por T = {1,0} a participao ou no no programa e por t = {1,0} os perodos posterior e anterior interveno, respectivamente, o estimador de DD ser dado por:
23 possvel tambm que choques macroeconmicos tenham efeitos diferenciados sobre os grupos de tratamento e controle, ou seja, no se pode garantir nem mesmo que choques agregados sejam homogneos sobre os grupos. 23 Avaliao Econmica de Projetos Socias l 75 ou seja, pela diferena temporal do que ocorreu com o grupo tratamento sub- trada da mesma diferena calculada para o grupo de controle. Embutida nesse estimador est a hiptese de que a variao temporal na varivel de resultado para o grupo de controle representa a variao contrafatual do grupo tratado, isto , a variao que seria experimentada pelo grupo de tratamento na ausn- cia do programa. 9 Em decorrncia dessa hiptese, a diferena entre a variao efetivamente observada para o grupo de tratamento e a variao contrafatual fornecida pelo grupo de controle vai capturar o efeito causal da interveno. Como mencionado anteriormente, a mdia da varivel de resultado para o gru- po de controle no perodo anterior ao programa no precisa coincidir com a mdia correspondente para o grupo de tratamento, ou seja, os grupos podem ou no partir de um mesmo ponto. Na realidade, na maior parte das aplicaes do procedimento de DD, os dois grupos tm essas mdias distintas, um fato que tipicamente refete as diferentes infuncias dos atributos observveis e no observveis dos indivduos sobre a varivel de resultado. O que o mtodo de fato requer que a variao temporal do que ocorre com o grupo de con- trole antes e depois do programa refita corretamente a variao temporal do grupo de tratados na situao contrafatual de no tratamento. Uma forma equivalente de expressar o estimador de DD pela dupla diferena:
que apenas um rearranjo da expresso (1). A expresso (2) mostra que o es- timador de DD tambm pode ser visto como o contraste das diferenas de mdias existentes entre os dois grupos no perodo anterior e posterior ao pro- grama. Aqui, torna-se ainda mais claro que o mtodo permite a existncia de diferenas de mdias entre os dois grupos no perodo pr-programa, ou seja, o mtodo no requer que o segundo termo entre chaves na expresso (2) seja igual a zero. Para ilustrar como o mtodo funciona, retornaremos ao exemplo hipottico que utilizamos no captulo 2, no qual imaginamos um curso de treinamento profssional oferecido a trabalhadores de baixa escolaridade em certo munic- pio. O interesse recaa sobre o impacto do programa sobre o salrio mdio dos tratados, que era de R$ 1000 um pouco antes do incio do curso e de R$ 1100 alguns meses aps o programa. Argumentamos naquele captulo que nem a comparao do grupo tratado antes e depois da interveno e nem a compa- 24 Se utilizarmos o arcabouo de resultados potenciais apresentado no captulo 2, a hiptese requerida pelo mtodo de DD : E[Y(0)|T = 1, t =1] E[Y(0)|T = 1, t = 0] = E[Y(0)|T = 0,t = 1] E[Y(0)|T = 0, t = 0],, ou seja, que a variao temporal na mdia do contrafatual do grupo tratado seja igual variao observada na mdia do grupo de controle. 24 l Fundao Ita Social 76 rao dos tratados com um grupo de no tratados somente aps a interveno isolam corretamente o impacto do programa. Suponha agora que fomos capa- zes de levantar informaes sobre o grupo de no tratados no perodo anterior ao programa. A Tabela 4.1 contm os valores dos salrios mdios dos grupos de tratamento e controle respectivamente, para os perodos anterior e posterior ao programa respectivamente. A notao representa a mdia amostral do salrio e signifca o operador de diferena. Distintamente dos outros dois mtodos, o procedimento de DD compu- ta uma dupla diferena de mdias. Acompanhando as expresses (1) e (2), h duas maneiras de se calcular essa dupla diferena. Seguindo a expres- so (1), a primeira obtida fazendo-se inicialmente a diferena das m- dias entre os perodos antes e depois do programa para cada grupo isto , e, posteriormente, calculando-se a segun- da diferena entre os grupos: A segun- da maneira corresponde ao anlogo amostral da expresso (2), sendo obtida pela subtrao das mdias salariais entre os grupos de tratamento e controle para cada perodo de tempo isto , e, a seguir, pela diferena dessa primeira subtrao entre os perodos anterior e posterior ao programa: O mtodo de DD mostra ento que o impacto do curso foi de R$ 50, o que representa um aumento salarial de 5% em mdia para os tratados relativamente situao deles antes do incio do programa. Tabela 4.1: Mdia salarial por grupo e perodo de tempo R$ O funcionamento do mtodo de DD tambm pode ser visualizado pela Figura 4.1. Nela, as mdias salariais observadas dos grupos de tratamento e controle esto representadas pelos quadrados e tringulos preenchidos, respectiva- mente. O principal aspecto a se destacar nessa Figura o quadrado listrado, que representa o contrafatual do grupo de tratamento aps o programa. Note Tratados Antes Depois Diferena Controle Diferena Avaliao Econmica de Projetos Socias l 77 que a posio dele obtida atravs de uma projeo da mdia salarial dos tra- tados que paralela que ocorreu com o grupo de controle depois do progra- ma. Essa projeo, que est ilustrada pela linha pontilhada que se liga ao ponto E na Figura 4.1, baseada na hiptese de que a trajetria do salrio mdio do grupo de tratamento na ausncia do programa igual trajetria dessa vari- vel para o grupo de controle aps a interveno. Essa a principal hiptese do mtodo de DD. A magnitude do impacto do programa pode ser obtida na Figura 4.1 a partir da diferena de pontos: (B A) (D C) = (1100 1000) (900 850) = 50, ou seja, pela primeira forma de dupla diferena descrita anteriormente. Note que o impacto no calculado pela simples variao salarial antes e depois do pro- grama para o grupo tratado (i.e., B A), mas sim pelo contraste dessa variao com a experimentada pelo grupo de controle no mesmo intervalo (i.e., D C). Utilizando a segunda forma de dupla diferena apresentada anteriormente, obtemos (B D) (A C) = (1100 900) (1000 850) = 50, um resultado que mostra que o impacto no dado apenas pela diferena entre tratados e controles ps-tratamento (i.e., B D), mas sim pela comparao dessa dife- rena com a sua correspondente antes do programa (i.e., A C). Figura 4.1: Rendimento mdio dos tratados e no tratados, antes e depois do programa Rendimento Mdio (R$) 1100 1000 900 t=0 t=1 Tempo Programa A C B E D l Fundao Ita Social 78 Podemos tambm apresentar o modelo de DD por meio de regresses lineares. Suponhamos inicialmente que s possumos observaes para dois perodos de tempo, um anterior e o outro posterior ao programa. A equao bsica do mo- delo pode ser especifcada como:
onde o subscrito t foi acrescentado notao dos captulos anteriores para de- notar o perodo de tempo no qual o indivduo (ou unidade de observao) i se encontra. Como antes, o vetor X representa as caractersticas observadas do indivduo e T uma varivel binria que assume valor unitrio, se o indivduo tratado, e valor nulo, caso contrrio. A varivel t tambm binria, assumindo va- lor um no perodo ps-programa e valor zero, caso contrrio. O termo de erro dado por . Sob a hiptese de que o efeito causal do programa (condicional a X) medido pelo parmetro . 3
Note que, na equao (3), as variveis T e t aparecem tanto isoladamente quanto interagidas. Caso no houvesse o termo de interao entre as variveis, suas pre- senas isoladas captariam respectivamente as diferenas da mdia de Y entre o grupo de tratamento e controle e entre o perodo anterior e posterior ao progra- ma (condicional a X). A introduo do termo de interao na equao procura captar o que ocorreu especifcamente com o grupo de tratamento no perodo ps-programa, ou seja, se a mdia da varivel de resultado para esse grupo em particular tornou-se diferente aps a interveno. fcil ver ento que o papel do termo de interao entre as variveis T e t medir o impacto do programa. A magnitude desse impacto , portanto, capturada pelo parmetro . Uma forma de verifcar isso escrevendo a mdia (condicional a X) da varivel de resultado para os seguintes casos (retirando os subscritos para facilitar a leitura): Tratados, pr-programa: Tratados, ps-programa:
Controles, pr-programa: Controles, ps-programa: 25 Sem a presena do vetor de caractersticas X, o parmetro equivale dupla diferena de mdias do mtodo de DD discutida anteriormente. 25 Avaliao Econmica de Projetos Socias l 79 onde as ltimas igualdades so obtidas sob a hiptese de mdia condicional nula: Assim, calculando a dupla diferena: 4 A equao (3) pode ser expandida para o caso em que h disponibilidade de informaes para vrios perodos de tempo (por exemplo, meses ou anos). Seja ento t = 1,2,,, onde representa o nmero mximo de perodos para o qual temos informaes sobre os dois grupos. Digamos que a interveno ocorre em certo ms (ou ano) k ao longo do perodo de observao isto , 1< k < . Consi- dere a equao a seguir, que uma modifcao da equao (3):
onde uma varivel binria que assume valor um se o indivduo i tratado, tambm binria mas s assume valor unitrio se o indiv- duo i tratado e o perodo t se refere a qualquer ms aps o incio da interven- o (isto , ). Qualquer varivel do conjunto assume valor unitrio ou zero dependendo de se o ms da observao corresponde ao ms t ou no, respectivamente (por exemplo, ser igual a um se o ms for o segun- do e zero, caso contrrio). 5 A funo de cada varivel desse conjunto controlar para efeitos agregados de tempo que possam afetar a varivel de resultado de todos os indivduos do grupo de tratamento e controle (por exemplo, infao). Analogamente equao (3), o efeito causal do programa tambm ser dado pelo parmetro na equao (4). Uma das principais vantagens do mtodo de DD que ele capaz de controlar para as infuncias sobre a varivel de resultado das caractersticas no obser- vveis dos indivduos que sejam fxas no tempo. Essa uma vantagem impor- tante do mtodo, pois, muitas vezes, essas caractersticas fxas no observveis infuenciam tambm a participao no programa. Por exemplo, as habilidades inatas tendem a infuenciar no somente os salrios, mas tambm a deciso das pessoas de participar em cursos de treinamento. A motivao ou certos traos de comportamento (inibio, autoestima, entre outros) tambm seriam outros exemplos de caractersticas no observveis que podem afetar tanto salrios quanto a deciso de participar no programa. Qualquer que seja o caso, o im- portante que o mtodo de DD capaz de levar em conta a associao entre a varivel de resultado, a participao no programa e as caractersticas no obser- 26 Note que o primeiro mtodo ingnuo da diferena de mdias antes e depois do progra- ma para o grupo de tratamento fornece: {(B) (A)} = + , o que revela um vis igual a . J o segundo mtodo ingnuo compara dos tratados com os controles no perodo aps o programa. Por este mtodo, o impacto seria: {(B) (D)} = + , o que corresponde a um vis de magnitude . 27 Note-se que exclumos da equao a varivel binria dt i1 para evitar o problema de mul- ticolinearidade perfeita com a (implcita) presena do intercepto no vetor de parmetros . 26 27 l Fundao Ita Social 80 vveis dos indivduos que sejam invariantes no tempo (pelo menos durante o perodo de observao). Assim, como o problema do vis de autosseleo pode surgir da associao entre essas dimenses, o mtodo de DD oferece uma ferra- menta poderosa para contornar esse problema. Para verifcar como o mtodo de DD controla para a infuncia das caractersticas no observveis que no se alteram no tempo, podemos utilizar uma especifca- o da regresso linear tipicamente empregada em modelos de dados de painel. Nesse tipo de modelo, a expresso para a varivel de resultado passa a poder incluir os chamados efeitos fxos individuais, os quais entram na equao como um conjunto de variveis binrias que tm valor unitrio ou nulo dependendo de com qual indivduo elas esto associadas. Assumindo a existncia de mlti- plos perodos de tempo t = 1,2,, e uma amostra com i = 1,2,, N indivduos, a equao pode ser escrita como:
onde igual a um para o indivduo i e zero para todos os demais indivduos da amostra (exemplo: recebe valor um para o indivduo i = 2 e zero para o resto dos indivduos). 6 A incluso desses efeitos fxos especfcos de cada indi- vduo permite controlar para heterogeneidades existentes entre as pessoas em caractersticas que sejam fxas no tempo. 7 Uma propriedade dos efeitos fxos que eles podem ser correlacionados com qualquer caracterstica observada dos indivduos, incluindo a que determina a participao no programa, ao permitir esse tipo de correlao que o mtodo de DD controla para o vis de autosseleo. Uma forma de estimar a equao (5) aplicar o mtodo do MQO primeira dife- rena dessa equao: 8
Note que os efeitos fxos individuais so eliminados na equao (6) e isso s ocorre porque eles so invariantes no tempo. Note tambm que essa equao 28 Novamente, exclumos a varivel I 1 para evitar o problema de multicolinearidade perfeita com o intercepto em X. 29 Estrito senso, a presena do efeito fxo individual na equao capta a infuncia sobre Y de qualquer caracterstica, observvel ou no, do indivduo que no varie com o tempo. Isso implica que os efeitos de variveis fxas no tempo no so identifcados conjuntamente com o efeito fxo individual. Por essa razo, o termo T 1 no aparece na equao (6). De forma semelhante, eventuais variveis tempo-invariantes contidas no vetor X (por exemplo, sexo e cor) tambm no poderiam aparecer na equao. 30 Outra forma de estimao comumente utilizada com dados de painel a que se chama de intragrupos. Neste caso, cada varivel subtrada do valor de sua mdia temporal para cada indivduo, por exemplo, subtrai-se 28 29 30 Avaliao Econmica de Projetos Socias l 81 est em linha com a aplicao do mtodo de DD, pois corresponde ao clculo de sua primeira diferena. A hiptese bsica que permite estimar o impacto do pro- grama pela equao (6) o qual dado pelo parmetro que o termo no seja correlacionado com as variveis do modelo, em particular com 9 Embora estejamos nos referindo a indivduos ao apresentar as equaes acima, mutatis mutandis, elas tambm podem ser utilizadas para o caso em que as uni- dades de observao esto num nvel mais agregado, como escolas, setores de atividade, municpios ou estados. Uma das principais vantagens de usar dados agregados (e.g., mdias, propores) que eles tendem a atenuar problemas de erros de medidas que tipicamente aparecem em informaes coletadas no nvel do indivduo ou famlia. Por outro lado, para que o mtodo de DD identi- fque corretamente o efeito causal de uma interveno importante que tanto o grupo de tratamento quanto o de controle permaneam similares nas suas caractersticas ao longo do tempo. Em particular, importante que no ocorram mudanas expressivas na composio dos grupos no que tange aos efeitos fxos dos indivduos que compem os agregados de cada grupo. Esse tipo de mu- danas, ao tornar os grupos distintos entre perodos de tempo, enfraquece (ou impede) a comparabilidade temporal dos grupos. Por exemplo, a migrao de pessoas entre municpios ou estados pode tornar os grupos muito diferentes an- tes e depois de uma interveno. Ou a dinmica prpria do sistema educacional pode fazer com que a composio dos alunos das escolas se altere de ano para ano. A perda de comparabilidade dos grupos ao longo do tempo compromete a acurcia do mtodo de DD, j que o impacto estimado pode estar misturado com efeitos das mudanas de caractersticas no medidas dos grupos. Uma boa prtica em avaliaes que utilizam dados de cross-section repetidos verifcar se as caractersticas observveis de cada grupo permanecem relativamente est- veis no tempo. Esse tipo de problema tambm pode ocorrer com dados longitu- dinais de indivduos quando ocorre atrito amostral. 4.4 Desvantagens Embora possua uma srie de vantagens, o mtodo de DD no consegue lidar com casos em que alguma mudana temporria num fator no observvel dos indivduos afeta a deciso de participao no programa. Por exemplo, j se de- tectou que muitos trabalhadores que fazem cursos de treinamento experimen- taram choques negativos e temporrios de renda um pouco antes do comeo do programa (Ashenfelter, 1978, e Heckman e Smith, 1999). Alm de poder ter infuenciado os indivduos a fazerem o curso, essa queda temporria nos ren- dimentos poder fazer com que o grupo tratado experimente um crescimento maior nos seus rendimentos mesmo se ele no tivesse participado do programa. Se essa mudana temporria no ocorrer com o grupo de controle, o procedi- 31 Embora fora do escopo do livro, vale observar que, se o termo apre- sentar correlao serial isto , a correlao entre e ser diferente de zero , h que se fazer alguma correo para os erros-padro a serem estimados pelo procedimento de DD. Mais detalhes podem ser encontrados em Bertrand et al. (2004). 31 l Fundao Ita Social 82 mento de DD tender a sobre-estimar o verdadeiro impacto do programa. De forma mais geral, vieses aparecero no estimador de DD sempre que houver al- gum tipo de caracterstica no observvel que varie no tempo e afete simultane- amente a varivel de resultado e a participao no programa. Box 1: O Impacto do Programa Sade da Famlia O Programa de Sade da Famlia (PSF) procura prover ateno bsica de sade s famlias de comunidades carentes no Brasil. O funcionamento do programa baseia-se no uso de equipes de profs- sionais de sade (mdicos, enfermeiras, auxiliares de enfermagem e agentes comunitrios) cujos principais objetivos so a proviso de prticas bsicas de sade (e.g., estratgias para lidar com problemas simples de sade) s famlias, o encaminhamento das pessoas para clnicas e hospitais em casos especfcos e o acompanhamento da situao de sade das famlias benefciadas ao longo do tempo. Idealmente implementado com a participao das trs esferas de governo (federal, estadual e municipal), o PSF iniciou-se na metade dos anos 90. O programa foi se expandindo pro- gressivamente ao longo dos anos e em meados da dcada de 2000 j atendia a quase totalidade dos municpios do pas. Utilizando informaes no nvel munici- pal, Rocha e Soares (2010) avaliam o im- pacto do PSF comparando os municpios tratados e no tratados pelo programa ao longo do tempo. Os autores utilizam o mtodo das diferenas em diferenas explorando as diferentes datas de entra- da dos municpios no programa. Os re- sultados mostram que o PSF foi capaz de reduzir a taxa de mortalidade das pesso- as de vrias faixas etrias, notadamente do grupo de crianas. Outros efeitos po- sitivos foram estimados sobre a oferta de trabalho dos adultos e a frequncia escola das crianas das famlias das regi- es NO e NE. Exerccios 1) Foi noticiado em dois jornais locais que a poltica atual de reduo da crimina- lidade de seu estado era efcaz. Em um dos jornais, a comprovao dessa efccia foi associada informao de que a taxa de roubos de veculos havia cado 10% nos ltimos dois anos. J no outro jornal, a efetividade da poltica foi consubstan- ciada por meio da comparao da taxa de roubo de veculos no ltimo ano do seu estado com a mdia da mesma taxa para os demais estados do pas. Como um co- nhecedor da rea de avaliao de impacto, ao ler os jornais, voc considera ambas as matrias ingnuas e decide tentar estimar o verdadeiro impacto do programa (talvez porque voc ou algum prximo teve seu carro roubado recentemente!). Responda os itens a seguir. a) Por que voc acha a matria do primeiro jornal ingnua? E a segunda? b) Voc decide estimar o efeito da poltica usando o mtodo das diferen- as em diferenas. Quais os dados que voc deve buscar? c) O que voc deveria testar com dados anteriores ao incio da poltica para averiguar se o grupo de controle parece adequado aos seus propsitos? Avaliao Econmica de Projetos Socias l 83 2) Um grupo de bilogos utilizou a erupo de um vulco que ocorreu numa ilha para estudar o efeito de erupes vulcnicas sobre a fora e a fauna daquela regio. Para tanto, eles compararam os dados da ilha que sofreu a erupo com os dados de outras ilhas antes e depois da erupo. Nem sempre na rea de avaliao de polticas ou programas sociais tem-se a certeza de que a interveno ocorreu de forma totalmente exgena como no caso da erupo do vulco. Crie ou busque exemplos de programas sociais que se aproximem da situao de experimento na- tural. 3) Uma das grandes vantagens do mtodo de diferenas em diferenas que ele capaz de lidar com a autosseleo decorrente de certo tipo de caractersticas no observadas dos indivduos. Que tipo de caractersticas esse e como o mtodo as incorpora no modelo? 4) Certo municpio comeou a realizar um programa habitacional que comeou a atrair um conjunto signifcativo de moradores de outros municpios para residirem l. Suponha que um analista contratado para avaliar o impacto do programa e decide utilizar o mtodo de diferenas em diferenas com informaes no nvel de municpio. Discuta os problemas que o avaliador precisa levar em considerao com os dados aps o programa para aplicar corretamente o mtodo. 5) O grfco 4.2 abaixo mostra as trajetrias do salrio mdio dos grupos de tra- tamento e controle de uma avaliao de impacto para um curso de treinamento hipottico que ocorreu no momento zero no grfco. possvel que o mtodo das diferenas em diferenas estime de forma enviesada o impacto do programa? Por qu? 15 14 13 12 - 6 - 5 - 4 - 3 - 2 - 1 0 1 2 3 4 5 6 11 meses Controle Tratamento R $
1 0 0 Grfco 4.2: Trajetria do Salrio Mdio por Grupo Avaliao Econmica de Projetos Socias l 85 CAPTULO 5 Pareamento Cristine Campos Xavier Pinto O mtodo do pareamento busca construir um grupo de controle semelhante ao grupo de tratamento em termos de determinadas caractersticas observ- veis. 3 De acordo com as hipteses deste mtodo, cada membro do grupo de tratamento teria um par no grupo de controle que representa o resultado que ele teria obtido caso no fosse tratado. De outra forma, as hipteses do parea- mento postulam que, ao comparar dois indivduos, um no grupo de controle e outro no grupo de tratamento, com as mesmas caractersticas observveis, o nico fator que diferencia os resultados destes indivduos a participao ou no no programa. A hiptese principal deste mtodo, que tem como objetivo estimar o efeito mdio do tratamento sobre os tratados (EMPT), que o vetor de variveis ob- servveis X contm todas as informaes sobre o resultado potencial na au- sncia do tratamento (Y(0)) que o indivduo possui ao tomar a deciso de par- ticipar ou no do tratamento. Ao levar em considerao estas caractersticas observveis, o avaliador controla por todas as variveis que esto relaciona- das ao resultado potencial na ausncia de tratamento e que tambm afetam a deciso do indivduo em participar ou no. Assim, ao controlar pelo vetor X, a varivel Y(0) torna-se independente de T. Esta hiptese conhecida como seleo nos observveis, ou ignorabilidade, ou ainda no-confundimento, e pode ser formalizada como: 4
A implicao desta hiptese que o resultado de um indivduo no grupo de controle um bom previsor do resultado potencial na ausncia de tratamento de um indivduo no grupo de tratamento que possui o mesmo vetor de vari- veis observveis (X). 5 Desta forma, para estimar o EMPT via pareamento, pre- 32 Existe uma extensa literatura emprica e terica sobre o mtodo de pareamento. Ver Ro- senbaum (1995, 2002), Rubin (1973, 1979), Heckman, Ichimura e Todd (1998), Abadie e Im- bens (2002), Lalonde (1986) e Deheija e Wahba (1999). 33 Para estudar o efeito mdio do tratamento, precisamos da hiptese de independncia nos dois resultados potenciais, 34 Esta hiptese de independncia mais forte do que a hiptese mnima necessria para identifcar o efeito mdio do tratamento sobre os tratados. A hiptese necessria seria a 32 33 34 l Fundao Ita Social 86 cisamos que cada indivduo no grupo de tratamento tenha um par no grupo de controle, cujo resultado reproduz o que seria o resultado deste indivduo na ausncia de tratamento. Desta forma, precisamos que a regio do vetor X que engloba as caractersticas dos indivduos tratados tambm represente as caractersticas dos indivduos que esto no grupo de no-tratados. Assim, a segunda hiptese do mtodo do pareamento a hiptese de sobreposio, e pode ser formalizada como: 6 (H2) Uma das crticas aos mtodos baseados nas duas hipteses acima que, ao tomar a deciso de participar ou no, os indivduos olham no s para um ve- tor de caractersticas observveis, mas tambm para caractersticas que no so observadas pelo avaliador. Se estas caractersticas no-observveis forem correlacionadas tanto com a deciso de participar do programa como com o resultado potencial deste indivduo, o mtodo do pareamento no conseguir eliminar o vis de seleo, e a estimao do EMPT estar sujeita a um vis. Sob as hipteses H1 e H2, obtemos o efeito mdio de tratamento sobre os tra- tados. O efeito mdio do tratamento sobre os tratados para a subpopulao com caractersticas observveis X=x pode ser escrito como: (5.1) em que a mdia populacional de Y para os tratados com uma determinada combinao de caractersticas X e a mdia de Y que os tratados com essas caractersticas teriam caso no tives- sem recebido o tratamento. De outra forma, o efeito mdio do tratamento sobre os tratados para os indi- vduos com certa combinao de caractersticas de X seria a diferena entre a mdia populacional do resultado para os indivduos tratados e a mdia po- pulacional do resultado de interesse para estes indivduos tratados caso eles no recebessem o tratamento. Na prtica, podemos estimar a primeira mdia condicional em 5.1 usando a mdia amostral dos resultados obtidos pelos in- divduos tratados. No entanto, no conseguimos observar os resultados destes independncia na mdia, isto , . 35 Como no caso do EMP, precisamos que para cada indivduo no grupo de tratamento te- nhamos um par no grupo de controle cujo resultado potencial seja um bom previsor do resultado deste indivduo na ausncia do tratamento. Tambm precisamos que para cada indivduo no grupo de controle tenhamos um par no grupo de tratamento cujo resultado potencial seja um bom previsor do resultado deste indivduo caso ele fosse tratado. Nesse caso, a hiptese de sobreposio deve ser expandida para: Esta hiptese garante que as caractersticas dos tratados sejam representadas no grupo de con- trole, e vice-versa. 35 Avaliao Econmica de Projetos Socias l 87 indivduos tratados caso eles no tivessem recebido tratamento, e no pode- mos simplesmente estimar a segunda mdia condicional usando uma mdia amostral. No entanto, a hiptese H1 nos permite escrever o segundo termo da equao 5.1 em funo das variveis que observamos. Sob a hiptese H1,
Ou seja, em mdia, os resultados sem tratamento dos tratados que apresentem uma determinada combinao de caractersticas presentes em X so iguais aos resultados sem tratamento dos no tratados (grupo de controle) com essas mesmas caractersticas, que so observveis para o avaliador. Este resultado juntamente com a hiptese H2 indicam que podemos estimar o segundo termo da equao 5.1 usando a mdia dos resultados de interesse para os indivduos no grupo de controle que possuem a mesma combinao de caractersticas X que os indivduos no grupo de tratamento. E, portanto, podemos escrever: (5.2) Assim, podemos calcular o efeito do tratamento para os indivduos com uma determinada combinao de caractersticas X comparando a mdia observa- da de Y para os tratados com essas caractersticas com a mdia observada de Y para os indivduos do grupo de controle com essas mesmas caractersticas. Para obter o efeito mdio do tratamento sobre os tratados, precisamos calcular o valor esperado (expectativa) dessa diferena de mdias na distribuio de X, condicional a T=1: 7
Por exemplo, no caso em que inclui apenas uma varivel explicativa discreta,
Neste caso, D uma mdia ponderada dos efeitos mdios para os indivduos com determinada combinao de caractersticas X (D(x)), na qual os pesos so 36 Note que para obter o efeito mdio do tratamento, precisamos calcular a expectativa de D(x) sobre a distribuio de X. No caso em que X inclui apenas uma varivel explicativa discreta, 36 i l Fundao Ita Social 88 dados pela porcentagem de indivduos tratados que possuem esta combina- o de caractersticas X. Para estimar o EMPT, precisamos estimar e Se a hiptese H2 for violada, no ser possvel estimar ambas as mdias, pois os valores de x sero vlidos para o grupo de tratamento, mas no para o grupo de no-tratados. 5.1 Pareamento Simples Para cada indivduo no grupo de tratamento, o estimador de pareamento bus- ca os indivduos no grupo de controle mais prximos (em termos do seu vetor de variveis observveis) e usa os resultados destes indivduos para obter o que seria o resultado do indivduo no grupo de tratamento caso ele no fos- se tratado (contrafatual). As principais diferenas entre os vrios estimadores de pareamento dizem respeito mtrica usada para defnir os indivduos mais prximos dos tratados em termos do vetor de variveis X. Alm disso, os m- todos tambm diferem em relao a quantos indivduos do grupo de no-tra- tados sero relacionados a cada indivduo no grupo de tratamento para obter o seu contrafatual. Suponha um pareamento em que mais de um indivduo no grupo de controle possa ser relacionado com o indivduo no grupo de tratados, e que o mesmo indivduo no grupo de controle possa ser relacionado a vrios indivduos no grupo de tratados. Usando uma medida de distncia 8 , que nos diz quais so os indivduos no grupo de controle que possuem um nmero de caractersticas observveis mais prximas do indivduo i, identifcamos os M pares mais prxi- mos deste indivduo. De modo mais formal, defnimos como o conjunto de ndices com M pares mais prximos do indivduo i: e o anlogo amostral dos resultados potenciais como: (5.1.1)
37 Um exemplo de medida de distncia a mtrica defnida em Imbens e Wooldridge (2007) para determinar quo diferentes os indivduos so em relao ao vetor X,
na qual 1 uma funo indicadora que igual a 1 se a expresso entre chaves verdadeira, e 0 caso contrrio. Nesta mtrica, l lm (i) o ndice do indivduo no grupo de no-tratados com a distncia M mais prxima do indivduo i no grupo de tratados em termos a mtrica ||. ||. Por exemplo, l 1 (i) representa o par a distncia 1 do indivduo 1, isto , o indivduo mais prximo do indivduo i. 37 Avaliao Econmica de Projetos Socias l 89 Usando este estimador do contrafatual do indivduo i, o estimador simples de pareamento : (5.1.2)
no qual o nmero de indivduos no grupo de tratamento. O estimador de pareamento muito sensvel escolha de variveis presentes em X. Se o vetor X incluir um nmero grande de variveis explicativas, a hip- tese de sobreposio (H2) pode no ser verdadeira, pois a regio de X no qual precisamos de sobreposio das caractersticas entre o grupo de controle e de tratamento muito grande. Se incluirmos um nmero limitado de variveis no vetor X, a hiptese de seleo nos observveis (H1) pode ser violada. O vetor X deve incluir as variveis observveis que infuenciaram o indivduo no momen- to da deciso de participar, e que so simultaneamente correlacionadas com os resultados potenciais dos indivduos. Este conjunto de variveis garante que a hiptese de seleo nos observveis se verifca, mas no necessariamen- te que teremos sobreposio. A sobreposio pode ocorrer somente em um pedao da regio de X. Neste caso, o pareamento estar olhando para outro parmetro, que seria o efeito mdio do tratamento sobre os tratados naquela regio de suporte comum 9 . Como vimos no captulo 3, se os indivduos fossem alocados de forma aleatria entre os grupos de tratamento e de controle como no experimento natural, na mdia eles deveriam ter caractersticas bem parecidas. O mtodo do parea- mento assume que ao controlar por todas as caractersticas que afetam simul- taneamente a deciso de participar no programa e os resultados potenciais, comparamos indivduos semelhantes, exceto pelo fato de que um recebeu o tratamento, enquanto o outro no sofreu infuncia do programa. Para verifcar se atravs do pareamento estamos de fato comparando indivduos que pos- suem um vetor X de caractersticas semelhantes, podemos realizar um teste de comparao de mdias. Se fzermos um teste de comparao de mdias das variveis observveis entre os grupos de controle e de tratamento antes do pareamento, devemos notar que na mdia eles so diferentes em algumas ca- ractersticas, pois eles no foram selecionados de forma aleatria entre os dois grupos. No entanto, aps o pareamento, se fzermos o mesmo teste de compa- rao de mdias, o grupo de controle e o grupo de tratamento usados para es- timar o efeito mdio do tratamento devem ser semelhantes nas caractersticas observveis, pois escolhemos para cada indivduo no grupo de tratamento os seus pares com caractersticas bastante parecidas. 38 Ver Crump, Hotz, Imbens e Mitnik (2009, 2008). 38 l Fundao Ita Social 90 5.2 Pareamento com Escore de Propenso A implementao do estimador de pareamento torna-se cada vez mais difcil quanto maior for a dimenso do vetor X. Quando acrescentamos variveis ao vetor X, a dimenso da regio de X cresce exponencialmente, e fca cada vez mais difcil encontrar para cada indivduo no grupo de tratamento sua con- traparte no grupo de controle com todas as caractersticas observveis seme- lhantes. Rosenbaum and Rubin (1983) sugeriram que ao invs de parearmos os indivduos com base em todo o vetor X, podemos parear os indivduos usando uma funo de X que resume toda a informao contida neste vetor. Esta fun- o a probabilidade de receber o tratamento dado o conjunto de caratersti- cas X, e denominada de escore de propenso. De forma formal, o escore de propenso defnido como:
Como o escore de propenso contm a mesma informao contida no vetor de caractersticas observveis X, se a hiptese de seleo nos observveis for vlida, tambm ser vlida a independncia entre o resultado potencial na au- sncia de tratamento e a deciso de participar ou no, quando condicionarmos no escore de propenso 10 . De modo mais formal,
Este resultado nos diz que, se as hipteses H1 e H2 se verifcarem e se o escore de propenso for conhecido, poderemos estimar o efeito mdio do tratamento sobre os tratados fazendo o pareamento entre indivduos tratados e indivdu- os no tratados com base somente no escore de propenso. Na prtica, no conhecemos o escore de propenso e precisaremos estim-lo. A forma mais comumente usada para estimar o escore de propenso usar os procedimen- tos paramtricos para estimao de probabilidade, por exemplo, os modelos probit ou logit. No caso do modelo logit, assumimos que a probabilidade de participar ou no segue o seguinte modelo:
Em que vetor de parmetros que ser estimado num primeiro estgio. Seja o estimador do parmetro . Neste caso, o escore de propenso estimado como: 39 Para uma prova formal deste resultado, ver Rosenbaum e Rubin (1983). 39 Avaliao Econmica de Projetos Socias l 91
Como no caso do pareamento baseado no X, o pareamento baseado no esco- re de propenso tambm ir depender de uma mtrica pr-determinada, que defnir a proximidade do escore de propenso dos indivduos tratados em re- lao ao escore de propenso dos indivduos no-tratados. Um dos estimado- res mais usados o estimador de pareamento do vizinho mais prximo (The Nearest Neighbor Matching) que usa os resultados dos M indivduos no grupo de no-tratados que possuem escores de propenso mais prximos ao escore de propenso do indivduo i para estimar qual seria o resultado do indivduo i caso ele no recebesse tratamento 11
12 . Formalmente, sendo o conjunto das M observaes com o menor valor de podemos construir o anlogo amostral para o resultado potencial do indivduo caso ele no fosse tratado, como: (5.2.1) e o efeito mdio do tratamento sobre os tratados estimado como na equao (5.1.2), usando essa defnio para Para implementar esse estimador na prtica, primeiro usamos a mdia de Y dos M indivduos mais prximos de cada participante do tratamento (em termos do escore de propenso) para calcular o contrafatual de cada indivduo tratado (Yi(0)) e depois calculamos a diferena de mdias entre os tratados e seus contrafatuais, como em (5.2.1). importante ressaltar que as propriedades do estimador de pareamento base- ado no escore de propenso tambm dependem da escolha do vetor X. ne- cessrio escolher o vetor X que afete simultaneamente a deciso de participar ou no do tratamento e os resultados potenciais. Alm disso, o estimador de pareamento baseado no escore de propenso tambm sensvel especifca- o do escore de propenso, isto , forma funcional que vai ser escolhida na 40 Outros estimadores de pareamento baseado no escore de propenso so o pareamento baseado em Kernel e o pareamento baseado em polinmio local. Neste caso, para construir o contrafatual para o indivduo no grupo de tratamento usam-se os indivduos no grupo de no-tratados que esto em uma vizinhana em torno do escore de propenso do indivduo i. Alm disso, cada indivduo no-tratado pode receber um peso diferente ao calcular o con- trafatual do indivduo i. 41 Um exemplo usar a mesma medida de distncia que usamos no caso do pareamento baseado no vetor X,
Neste caso, o ndice do indivduo no grupo de no-tratados cujo escore de pro- penso est a distncia m do escore de propenso do indivduo tratado i. 40 41 l Fundao Ita Social 92 estimao do escore de propenso. necessrio que esta forma funcional seja fexvel o sufciente para que a hiptese de sobreposio (H2) se verifque. Ro- senbaum e Rubin (1983) propuseram uma forma simples de buscar evidncia se estamos violando a hiptese de sobreposio. Eles sugeriram uma compa- rao simples das mdias de cada uma das variveis observveis no grupo de tratamento e no grupo de seus pares. Se a diferena destas mdias for muito grande, o teste de diferena de mdias ir rejeitar a hiptese de que os grupos de tratamento e o grupo de pares so balanceados em relao a estas variveis observveis. Nesse caso, provavelmente o escore de propenso no est sendo fexvel o sufciente para garantir que a distribuio dos observveis a mesma no grupo de tratamento e no grupo de pares. Existem diversos mtodos que usam o escore de propenso para ajustar as di- ferenas entre os indivduos nos grupos de controle e de tratamento, sempre com base nas hipteses de seleo nos observveis e de sobreposio. Na pr- xima seo, iremos apresentar dois mtodos bastante usados: o mtodo de imputao baseado em uma regresso linear e o mtodo de reponderao. 5.3 Regresso Linear O modelo de regresso linear tambm pode ser visto como um estimador de pareamento 13 . Usando as defnies do captulo 2 para o caso em que conside- ramos que o programa tem o mesmo efeito em todos os indivduos, podemos escrever os resultados potenciais como:
Para estimarmos o efeito mdio do tratamento sobre os tratados, precisamos conhecer o modelo do resultado potencial para Sob as hipteses de se- leo nos observveis e exogeneidade de podemos esti- mar o efeito mdio do tratamento sobre os tratados usando o estimador de mnimos quadrados ordinrios da regresso de Y em X. Neste caso, iremos estimar uma regresso linear de Y em X para a amostra de indivduos que no foram tratados. Os coefcientes estimados nesta regresso simples para a subamostra do grupo de controle so ento usados para prever qual teria sido o resultado de cada indivduo do grupo de tratamento caso ele no tivesse recebido o tratamento. Neste caso, o estimador do efeito mdio do tratamento sobre os tratados seria: 42 Rubin (1977) usa o mtodo de regresso linear para estimar o efeito mdio do tratamento. 42 Avaliao Econmica de Projetos Socias l 93 (5.3.3) em que o valor previsto para o grupo de indivduos no grupo de tra- tamento usando os coefcientes estimador pela regresso linear simples no grupo de controle 14 . Os estimadores baseados em regresso dependem fortemente da extrapola- o dos valores para valores fora do intervalo dos usados na regresso. Os coefcientes estimados nesta regresso so usados para encontrar os valo- res preditos do resultado para os indivduos tratados caso eles no recebessem tratamento. Para esta extrapolao, necessitamos de sobreposio na regio de X do grupo de controle e no grupo de tratamento, isto , precisamos da nossa hiptese H2. Por exemplo, se estimssemos uma regresso linear sim- ples com intercepto, o valor mdio previsto para os indivduos no grupo trata- mento seria:
em que o intercepto da regresso usando somente os indivduos do gru- po de controle, e o coefciente relacionado a X estimado na mesma re- gresso. Usando a frmula do estimador do intercepto da regresso,
em que o valor mdio do resultado para o grupo de controle, o valor mdio das variveis explicativas no grupo de tratamento e o valor mdio das variveis explicativas no grupo de controle. Se muito diferente de os valores previstos usando a regresso linear sero muito sensveis especif- cao desta regresso. Podemos usar sempre uma forma funcional fexvel para a regresso, mas no teremos garantias de que este modelo funciona bem nas regies onde no h sobreposio da regio de X no grupo de controle e no grupo de tratamento. Um mtodo alternativo para obter o efeito mdio do tratamento sobre os tra- tados atravs de uma regresso linear usar o escore de propenso como uma varivel explicativa 15 . Neste caso, iremos estimar uma regresso linear simples de Y em P(X) para a sub-amostra de indivduos no-tratados, e usar os valores 43 Para estimar o efeito mdio do tratamento, precisamos tambm estimar a regres- so linear simples para os indivduos tratados, e usar os resultados desta regresso para prever qual seria o resultado para os indivduos no grupo de controle caso eles rece- bessem o tratamento. Neste caso, o estimador do efeito mdio do tratamento seria: no qual o valor previsto para os indivduos no grupo de no-tratados usando os resultados da regresso estimada para os indivduos que receberam o tratamento. 44 Este mtodo foi sugerido por Rosenbaum e Rubin (1983). 43 44 l Fundao Ita Social 94 estimados nesta regresso para prever os valores dos resultados dos indivdu- os tratados caso eles no recebessem tratamento. 5.4 Reponderao O escore de propenso tambm pode ser usado como um peso 16 que, ao ba- lancear os indivduos no grupo de controle, torna este grupo semelhante na mdia ao grupo de indivduos tratados. Neste caso, ponderamos cada unidade no grupo de controle pela probabilidade de no receber tratamento. Quando maior for a probabilidade do indivduo no grupo de controle de no receber o tratamento, menor ser o seu peso ao balancearmos o grupo de controle. Usando a Lei de Bayes, podemos defnir uma relao entre a distribuio de X na populao de tratados e a distribuio de X na populao de no-tratados. Pela Lei de Bayes, a distribuio de X condicional a D=1 pode ser escrita como
E, de forma anloga, podemos escrever a distribuio condicional de X em D=0 como,
e dividindo as duas distribuies condicionais, temos
Usando a defnio do escore de propenso e defnindo que podemos reescrever a relao entre as distribuies condicionais de X,
(5.4.1)
Usando esta relao e a hiptese de seleo nos observveis, podemos escre- ver o parmetro de interesse (EMPT) usando o escore de propenso como peso,
Como no caso do estimador de pareamento, estimamos o escore de propen- 45 Para uma reviso do mtodo de reponderao, ver Imbens (2004) e Imbens e Wooldridge (2009). 45 Avaliao Econmica de Projetos Socias l 95 so usando o modelo paramtrico, como o logit. Dado que T uma varivel binria, o estimador de ser simplesmente a proporo de tratados, isto , Usando o anlogo amostral para a equao acima, o estimador de reponderao de D
(5.4.2)
Este estimador se baseia somente na estimao do escore de propenso, e uma das limitaes deste estimador ser bastante sensvel especifcao do escore de propenso. Quando o valor do escore de propenso for prximo de um, este estimador pode assumir valores muito altos. 5.5 Combinao de Mtodos Alguns estimadores surgiram da combinao de dois mtodos descritos nas sees anteriores. Estes mtodos so bastante atrativos na prtica, por terem comportamentos menos sensveis a certas hipteses, como a especifcao correta do modelo do escore de propenso ou a especifcao correta da fun- o de regresso que relaciona Y(0) com X. Nesta seo, descrevemos trs combinaes: regresso e pareamento, pareamento e diferenas em diferen- as, e regresso e reponderao. 5.5.1 Pareamento e Regresso Linear Abadie e Imbens (2002) mostram que, medida que aumentamos a dimenso do vetor X, podemos estar diminuindo a varincia do estimador de pareamen- to baseado em X, mas aumentamos o vis. Para cada indivduo no grupo de tratamento, podemos defnir um resduo que seria a diferena entre o efeito de tratamento para aquele indivduo, e o efeito mdio do tratamento A varincia do estimador de pareamento uma funo da soma do quadrado dos resduos. Ao aumentarmos o nmero de variveis in- cludas em X, diminumos este resduo e consequentemente a varincia do es- timador. O vis surge porque o vetor de variveis explicativas para o indivduo i prximo do vetor de variveis explicativas dos seus M vizinhos mais prximos usados no pareamento, mas no exatamente igual. No caso do pareamento com base em poucas variveis discretas em que fosse possvel parear os in- divduos no grupo de tratamento com indivduos no grupo de controle com valores exatamente iguais para o vetor X, o vis desapareceria. Uma das ma- neiras de corrigir o vis do estimador de pareamento ajustar pela diferena l Fundao Ita Social 96 nos valores das variveis explicativas X, usando o modelo de regresso linear. Neste caso, usamos o mesmo conjunto que engloba os M indivduos no grupo de controle cujos vetores X esto mais prximos do vetor X do indi- vduo i, como na seo 5.1 acima. Alm disso, estimamos a regresso linear que relaciona o resultado Y com X somente para a subamostra de indivduos que no receberam tratamento, como na seo 5.2 acima. Com os coefcientes estimados na regresso, calculamos o valor previsto de Y para os indivduos no grupo de controle e tambm para os indivduos no grupo de tratamento, e usamos estes valores preditos para ajustar o estimador de pareamento. Neste caso, os valores do resultado para os indivduos tratados caso eles no rece- bem tratamento so: (5.5.1.1) e o estimador do efeito mdio do tratamento sobre os tratados que combina pareamento e regresso : (5.5.1.2) 5.5.2 Pareamento e o Mtodo de Diferenas em Diferenas No caso de dados em painel, o mtodo do pareamento pode ser combinado com o mtodo de diferenas em diferenas 17 . Esta combinao de mtodos faz com que algumas das hipteses usadas em cada um dos mtodos possam ser substitudas por hipteses mais fracas. Por exemplo, a hiptese de seleo nos observveis estabelece que, condicional ao vetor de variveis observveis X, no pode existir nenhum fator no-observvel que infuencie simultaneamen- te a deciso de participar ou no no tratamento e os resultados potenciais. Ao combinar o pareamento com o mtodo de diferenas em diferenas, podemos permitir que fatores no-observveis que sejam constantes ao longo do tempo infuenciem simultaneamente a deciso de participar e os resultados poten- ciais, mesmo controlando pelo vetor de variveis observveis X, como vimos no captulo 4. Para aplicar esta combinao de mtodos, precisamos observar os indivduos no grupo de controle e no grupo de tratamento em pelo menos dois perodos no tempo, um anterior ao recebimento do tratamento e um perodo aps o tratamento. Para simplifcar, vamos considerar apenas dois perodos: , antes do tratamento, e , aps o tratamento. Este mtodo usa basicamente a ideia do mtodo de diferenas em diferenas, isto , ele compara a diferena do re- 46 Este mtodo foi proposto por Heckman, Ichimura e Todd (1997,1998). 46 Avaliao Econmica de Projetos Socias l 97 sultado do grupo de tratamento entre os perodos e com a diferena de resultados do grupo de controle no mesmo perodo e atribui esta diferena da diferena ao efeito do tratamento. Formalmente, o mtodo que combina pare- amento e o mtodo de diferenas em diferenas estima o seguinte parmetro populacional,
em que representa o resultado no tempo t para o individuo i quando o seu status de tratamento d. Para que este parmetro corresponda ao efeito m- dio do tratamento sobre os tratados, precisamos da seguinte hiptese: (H3) Esta hiptese mais fraca do que a hiptese de seleo nos observveis, pois ela continua vlida mesmo que existam fatores no-observveis comuns aos dois perodos que afetem simultaneamente a deciso de participar e os resul- tados potenciais. No entanto, esta hiptese exige informao em pelo menos um perodo anterior interveno. Se a evoluo dos resultados entre os pe- rodos pr e ps-programa a mesma no grupo de controle e no grupo de tratamento, esta hiptese vlida. O vetor X tem que incluir toda a informao disponvel para o indivduo quando ele decidiu participar ou no no programa, isto , so caractersticas observveis em perodos anteriores ao programa e que esto relacionadas deciso de participao. A hiptese H3 no sufciente para identifcarmos o efeito mdio do tratamen- to sobre os tratados. Como no estimador de pareamento, precisamos tambm da hiptese de sobreposio da regio de X para o grupo de controle e o gru- po de tratamento. No caso de dados longitudinais, precisamos da hiptese H2. Se tivermos suporte comum, podemos estimar o efeito mdio do tratamento sobre os tratados fazendo um pareamento baseado no escore de propenso 18
e calculando a diferena das diferenas. Usando o estimador de pareamento baseado no vizinho mais prximo, defnimos o conjunto como o conjun- to das M observaes que possuem o escore de propenso mais prximo do indivduo i, isto , os M indivduos tais que Usando o pareamento, construmos o anlogo amostral para a diferena do resultado potencial do indivduo entre os perodos e caso ele no fosse tratado: (5.5.2.1) e o estimador de pareamento no escore de propenso para dados longitudi- nais :, 47 Podemos tambm fazer o pareamento baseado no vetor X. 47 l Fundao Ita Social 98 (5.5.2.2) Para implementar esse estimador na prtica, primeiro calculamos para cada indivduo no grupo de tratamento qual seria a diferena de resultados entre os perodos e caso ele no fosse tratado. Para isso, estimamos o escore de propenso para todos os indivduos, e selecionamos os M indivduos no-tra- tados mais prximos de cada indivduo tratado em relao ao escore de pro- penso e calculamos a mdia da diferena de resultados entre os dois perodos para os M indivduos. Em um segundo passo, para cada indivduo no grupo de tratamento, calculamos a diferena entre a sua diferena de resultado en- tre os perodos e e a mdia dos M indivduos no grupo de controle mais prximos a ele. O estimador do efeito mdio do tratamento sobre os tratados a mdia destas diferenas das diferenas calculadas para os indivduos trata- dos. Para estimar o escore de propenso usando dados em painel, precisamos usar a amostra de controles e tratamentos. A varivel dependente T igual a 1 se o indivduo recebeu o tratamento, e 0 caso contrrio, e o vetor X engloba as informaes que os indivduos tinham ao decidir participar ou no no pro- grama, isto , caractersticas nos perodos anteriores ao programa. Neste vetor X, podemos incluir variveis que infuenciaram a deciso do indivduo entre participar ou no do programa, e no devemos incluir variveis que possam ser resultado do programa. 5.5.3 Regresso Linear e Reponderao Como vimos acima, alm do pareamento, podemos usar regresso linear ou reponderao para estimar o efeito mdio do tratamento. No primeiro mto- do, estimamos uma regresso linear para o grupo de controle e para o grupo de tratamento usando o vetor X como variveis explicativas. Nesta primeira abordagem, no precisamos estimar o escore de propenso. J o mtodo de reponderao se baseia somente na estimao do escore de propenso. Neste segundo mtodo, no precisamos estimar a funo de regresso que relaciona os resultados potenciais com X. Sob algumas hipteses, ambos os mtodos resultam em estimadores consistentes e efcientes para o efeito mdio do tra- tamento. No entanto, enquanto o comportamento do estimador de regresso sensvel especifcao usada para o modelo que relaciona os resultados po- tenciais com X, o estimador de reponderao sensvel ao modelo usado para o escore de propenso. Robins e Ritov (1997) propuseram um estimador que combina o mtodo de regresso com o mtodo de reponderao. A motivao para combinar mtodos que o estimador se torna menos sensvel a apenas uma das hipteses. Este estimador para o efeito mdio do tratamento tem a propriedade de ser duplamente robusto, isto , se o modelo paramtrico para o escore de propenso for corretamente especifcado ou se o modelo param- Avaliao Econmica de Projetos Socias l 99 trico para a regresso linear for corretamente especifcado, o estimador con- sistente para o efeito mdio do tratamento sobre os tratados. Esta combinao de mtodos tambm pode ser usada para estimar o efei- to mdio do tratamento sobre os tratados. Uma maneira de estimar o efeito mdio do tratamento sobre os tratados proposta por Hirano e Imbens (2001) usando uma regresso linear estimar o seguinte modelo linear: (5.5.3.1) no qual a mdia amostral de X na subamostra de indivduos tratados. Nes- te caso, representa o efeito mdio do tratamento sobre os tratados. Mas, essa regresso linear pode ser combinada com o mtodo de reponde- rao, no qual ponderamos as unidades no grupo de controle por Ao fnal, estimamos uma regresso ponderada com o peso igual a 1 para um in- divduo no grupo de tratamento e igual a para uma unidade no grupo de controle. De modo mais formal, estimamos o modelo linear acima com a seguinte funo peso: (5.5.3.2) no qual representa o estimador paramtrico do escore de propenso, obtido por uma regresso logit ou probit 19 . Para obter o efeito mdio do tratamento usamos tambm uma regresso pon- derada com duas modifcaes em relao ao modelo anterior. Primeiro, a re- gresso estimada excluindo a mdia para toda a amostra:
em que a mdia amostral de X na amostra total, incluindo os indivduos no grupo de tratamento. Segundo, temos que no s reponderar os indivdu- os no grupo de controle para melhor representar os indivduos tratados, mas tambm os indivduos no grupo de tratamento para melhor representar os in- divduos no-tratados. Neste caso, o peso para os indivduos tratados ser o inverso da probabilidade de receber tratamento e para os indivduos no-tra- tados ser o inverso da probabilidade de no receber tratamento. Neste caso, usamos a seguinte funo peso:
48 Este mtodo mais geral, permitindo que a regresso linear inclua apenas um subvetor de variveis explicativas, bem como o modelo para o escore de propenso. De outra maneira, o vetor de variveis observveis que determinam a participao no tratamento pode ser diferente do vetor de variveis explicativas que determinam os resultados. 48 l Fundao Ita Social 100 5.6 Exemplos Mattos, Maia e Marques (2010) usam o pareamento baseado no escore de pro- penso para estimar o efeito de programas redistributivos incondicionais no nmero de horas trabalhadas de homens e mulheres. O programa Bolsa-Fam- lia engloba polticas de transferncias condicionais e incondicionais de renda. Este programa abrange a populao em extrema pobreza e so elegveis as famlias com renda per capita inferior a R$ 50. Estas famlias podem receber a transferncia sem nenhuma contrapartida. Alm disso, existe um valor adicio- nal para cada criana da famlia que for para a escola. Este programa difere do antigo Bolsa Escola, no qual as transferncias ocorriam somente se os flhos frequentassem a escola. O objetivo do artigo comparar a oferta de trabalho dos benefcirios de programas incondicionais como o Renda Mnima em rela- o a programas condicionais como o Bolsa Escola. A ideia seria que os bene- fcirios dos programas de transferncia incondicionais no teriam incentivos para mudar suas horas de trabalho, pois eles teriam um aumento de renda sem nenhuma contrapartida. J nos programas condicionais como o Bolsa Escola, as crianas precisam fcar na escola, o que poderia reduzir as horas trabalhadas pelas crianas, o que, por sua vez, pode afetar a oferta de trabalho dos adultos. Alm disso, ao trabalhar mais horas, os adultos poderiam perder o direito ao benefcio. Os autores usam o mtodo do pareamento um a um baseado no escore de propenso isto , cada indivduo no grupo de tratado pareado com apenas um indivduo no grupo de controle para estimar o efeito mdio dos programas de transferncias de renda nas horas trabalhadas dos benefcirios. Neste exerccio, usamos dados semelhantes aos usados em Mattos, Maia e Mar- ques (2010) para estimar o efeito do programa de Renda Mnima e do progra- ma Bolsa Escola sobre o nmero de horas remuneradas de homens e mulheres benefcirios do programa com idade entre 12 e 65 anos 20 . A tabela 5.3.1 apresenta os resultados da estimao deste efeito usando alguns dos mtodos descritos nesta seo. A parte superior da tabela apresenta os resultados para os homens, enquanto a parte inferior apresenta os resultados para as mulheres. Para os homens, o efeito do programa Bolsa Escola sobre o nmero de horas trabalhadas remuneradas ao ano negativo e estatisticamen- te signifcativo em todos os mtodos, exceto no mtodo que usa o pareamento com o mtodo do vizinho mais prximo (coluna 2). interessante notar que os resultados estimados pelo pareamento com mtodo do vizinho mais prximo, pela regresso e pela regresso com reponderao so bem semelhantes. No entanto, no caso do Programa de Renda Mnima, o efeito do programa sobre o nmero de horas remuneradas no estatisticamente signifcativo, exceto para o caso em que combinamos o mtodo da regresso com o mtodo da 49 No artigo em questo, os autores usam como varivel dependente o nmero de horas trabalhadas ao ano. Neste exemplo, usamos como varivel dependente o nmero de horas de trabalho remuneradas ao ano. 49 Avaliao Econmica de Projetos Socias l 101 reponderao (coluna 4). Neste ltimo caso, encontramos um efeito positivo sobre o nmero de horas trabalhadas remuneradas. Este resultado contradiz a teoria de que programas de transferncias incondicionais no levariam os indivduos a trabalharem mais, pois eles teriam um aumento da renda sem contrapartida. No caso das mulheres, quando usamos o mtodo do pareamen- to, encontramos que os efeitos de ambos os programas so no signifcativos. Quando usamos o mtodo da regresso, encontramos que o efeito do progra- ma de Renda Mnima negativo e signifcativo a 5%, enquanto o efeito do programa Bolsa Escola no signifcativo. Os resultados encontrados com o mtodo que combina regresso com ponderao indicam que ambos os pro- gramas tm um efeito negativo e signifcativo no nmero de horas remunera- das das mulheres benefcirias, sendo este efeito maior em valor absoluto para no caso do programa de Renda Mnima. Este resultado indica que, no caso das mulheres, o programa leva a uma diminuio da oferta de trabalho. Uma das hipteses usadas por todos os mtodos baseados no escore de pro- penso a de que existe sobreposio da distribuio do escore de propenso para tratados e da distribuio do escore de propenso para os controles na regio de X. O grfco 5.6.2 mostra a sobreposio do escore de propenso para homens e mulheres benefcirios e no-benefcirios para cada um dos programas. As barras azuis mostram o histograma para os indivduos que no receberam tratamento, enquanto as barras vermelhas mostram o histograma para os indivduos no grupo de tratamento. Logo, podemos verifcar qual a porcentagem de indivduos no grupo de controle e no grupo de tratamento para cada intervalo do escore de propenso. Se h sobreposio, em cada in- tervalo que tiver indivduo tratado, temos que ter tambm indivduos no-tra- tados. Os grfcos indicam que h sobreposio das distribuies do escore de propenso tanto para os homens quanto para as mulheres. Tabela 5.3.1: Mtodos usando o Escore de Propenso Fonte: Elaborao prpria dos dados da POF 2002-2003. O vetor de varivel X inclui escolaridade, participao no mercado de trabalho, ciclo de vida, composio familiar, raa, sade, qualidade de moradia, controles estaduais. O modelo o mesmo usado em Mattos, Maia e Marques (2010) l Fundao Ita Social 102 Exerccios 1) Estamos interessados em estimar o efeito mdio do tratamento,
Usamos a seguinte hiptese de seleo nos observveis
e a seguinte hiptese de sobreposio,
Grfco 5.3.2: Distribuio do Escore de Propenso para Tratados e para No-Tratados Avaliao Econmica de Projetos Socias l 103 a) Mostre que se simplesmente tirarmos a diferena entre a expecta- tiva dos resultados potenciais para os tratados e a expectativa dos resultados potenciais para o controle no necessariamente conseguimos o efeito mdio do tratamento. c) Mostre que podemos usar o mtodo da reponderao para obter o efeito mdio do tratamento. Ou seja, mostre a seguinte igualdade:
d) Proponha um estimador para o efeito mdio do tratamento basea- do no resultado obtido na letra (b). 2) No exemplo deste captulo, Mattos, Maia e Marques (2010) usam o mtodo do pareamento para estimar o efeito mdio do tratamento de programas de transferncias de renda sobre o nmero de horas remuneradas dos benefci- rios do programa. a) Quais hipteses devem ser vlidas para que o estimador de parea- mento seja consistente para o efeito mdio do tratamento sobre os tratados? b) Interprete estas hipteses no contexto do exemplo, e discuta a vali- dade destas hipteses. d) Suponha que voc obtenha uma base de dados que contm as caractersticas (X) dos benefcirios e no-benefcirios do programa antes e depois da implementao. Alm disso, voc tambm observa o resultado de interesse nos perodos pr e ps-programa. Como voc modifcaria a anlise realizada por Mattos, Maia e Marques (2010)? Discuta a validade das hipteses deste novo mtodo. 3) Para estimar o efeito de um programa de treinamento no mercado de tra- balho sobre salrio, voc obtm uma base de dados que tem o salrio dos indivduos tratados e no-tratados e um vetor com vrias caractersticas do background socioeconmico dos indivduos e tambm da sua atividade no mercado de trabalho. Em um primeiro momento, voc decide usar estas infor- maes para estimar o efeito mdio do tratamento sobre os benefcirios usan- do um pareamento simples baseado no vetor de caractersticas dos indivduos. Ao tentar o pareamento baseado nas caractersticas individuais e nas caracte- rsticas dos postos de trabalho, o vetor X tem uma dimensionalidade muito grande e voc decide fazer o pareamento baseado no escore de propenso. l Fundao Ita Social 104 a) Quais hipteses precisam ser satisfeitas para que este estimador ba- seado no escore de propenso represente o efeito mdio do tratamento sobre os benefcirios do programa? b) Voc poderia obter este efeito mdio do tratamento sobre os trata- dos usando uma regresso linear? Se sim, explique como. Se no, justifque a sua resposta. c) Um pesquisador l o seu trabalho e argumenta que o seu resultado muito sensvel especifcao do escore de propenso. Ele acredita que a sua especifcao do escore de propenso no fexvel o sufciente para que as hipteses especifcadas em (a) sejam satisfeitas. Como voc responderia a esta crtica? Proponha um mtodo que seja menos sensvel a especifcao do escore de propenso e interprete as suas hipteses. 4) Hirano e Imbens (2001) usam os mtodos baseados no escore de propen- so para estimar o efeito mdio de um procedimento cardaco, o cateterismo, sobre a probabilidade de sobrevivncia dos indivduos. Eles usam observaes para 5.735 indivduos, sendo 2.184 tratados e 3.551 no-tratados. Para cada indivduo, eles observam se um procedimento de cateterismo foi aplicado no perodo de 24 horas aps a entrada no hospital com problemas cardacos. Os indivduos no grupo de tratamento so aqueles que sofreram a interveno de um cateterismo, enquanto os indivduos no grupo de controle so aqueles que no sofreram a interveno. Alm disso, eles observam um vetor com 72 carac- tersticas para cada um dos indivduos, como por exemplo, sexo, raa, educa- o, renda, se possui plano de sade, tipo de doena que possui, peso, etc. Eles estimam o escore de propenso baseado em um modelo logstico. a) Antes de estimar o efeito mdio do tratamento sobre os tratados, eles apresentam uma tabela que contm um teste de diferena de mdias para as caractersticas observveis. Eles obtm resultados para este teste antes e de- pois da ponderao pelo escore de propenso. Esta tabela encontra-se abaixo. Interprete estes resultados.
Nesta tabela, renda 1, renda 2 e renda 3 representam 3 baixas de renda faixa, mdia e alta, respectivamente. Avaliao Econmica de Projetos Socias l 105 b) Antes de estimar os efeitos, eles tambm mostram os histogramas do escore de propenso para o grupo de tratados e para o grupo de no-trata- dos. Interprete estes grfcos.
c) Eles usam diferentes mtodos para estimar o efeito mdio do tra- tamento sobre a taxa de sobrevivncia. Usando um estimador de pareamen- to simples baseado nos vizinhos mais prximos, eles encontram um efeito de -0,081 (erro-padro de 0,017). Ao combinar o mtodo de pareamento com re- gresso simples, o efeito de -0,063 (erro-padro de 0,016). Estimando o efeito mdio do tratamento por regresso linear, eles encontram um efeito mdio de -0,065 (erro-padro de 0,014), enquanto usando o mtodo de reponderao, eles encontram um efeito mdio de -0,060 (erro-padro de 0,018). Combinan- do os mtodos de regresso e reponderao, eles encontram um efeito mdio de -0,062 (erro-padro de 0,015). Interprete estas evidncias, dando nfase s hipteses em que se baseia cada estimador. Qual seria a concluso sobre o efeito deste procedimento na taxa de sobrevivncia? l Fundao Ita Social 106 Avaliao Econmica de Projetos Socias l 107 PARTE 2 Mtodos Avanados de Avaliao de Impacto CAPTULO 6 Variveis Instrumentais
Cristine Campos Xavier Pinto Ao contrrio dos mtodos apresentados no captulo 5, o mtodo de varivel instrumental baseia-se no caso de seleo em variveis no observveis. Neste captulo, consideraremos o arcabouo de resultados potenciais apresentado no captulo 2, mas lidaremos com a estimao do efeito mdio do tratamento sob a hiptese de seleo em caractersticas no observveis. O nosso proble- ma consiste em estimar o efeito mdio do tratamento quando existem outros fatores, alm das caractersticas observveis presentes no vetor X, que afetam simultaneamente a deciso de participar no programa e os resultados poten- ciais, isto , quando:
Neste caso, precisamos de uma varivel exgena Z que afeta a deciso de participa- o e que no est correlacionada com nenhum fator no observvel relacionado ao resultado potencial. No caso clssico de varivel instrumental com efeitos ho- mogneos do tratamento, estamos pensando no seguinte sistema de equaes:
l Fundao Ita Social 108 no qual igual a 1 se o indivduo recebeu tratamento, e 0 se o indivduo no-tratado. Alm disso, assumimos que , ou seja, que no h relao linear entre o instrumento e o termo aleatrio da equao principal, mas os termos aleatrios no observveis das duas equa- es so correlacionados. Neste sistema, os fatores no observveis que afe- tam a deciso de participar no programa esto correlacionados com os fatores no observveis que afetam o resultado de interesse, e precisamos de um ins- trumento Z que permita captar uma variao exgena na deciso de participar do programa, e que ao mesmo tempo no est relacionado de forma direta com o resultado potencial. Este modelo pode ser estimado por mnimos quadrados em dois estgios. Nes- te caso, em um primeiro estgio, estimamos um modelo de probabilidade line- ar que relaciona com e obtemos o valor predito:
Este valor predito representa uma variao exgena na deciso de participar ou no do programa, que no est relacionada a nenhum outro fator que possa infuenciar o resultado de interesse. Em um segundo estgio, estimamos uma regresso linear que relaciona o re- sultado de interesse (Y) com este valor predito,
No sistema de equao acima, a varivel Z no afeta diretamente Y. Ela s afeta o resultado de interesse atravs da sua relao com a participao ou no no tratamento. Alm disso, assumimos que o efeito de tratamento homogneo, isto , para todo indivduo i. No caso de tratamento homogneo, o re- sultado do indivduo depende apenas da sua participao ou no no programa e no est relacionado a como a participao no programa afetada pelo ins- trumento Z. No caso de tratamento homogneo, o efeito mdio do tratamento (EMP) igual ao efeito mdio do tratamento sobre os tratados (EMPT), EMP =EMPT= . Se os indivduos souberem que os ganhos de participao podem diferir para certos grupos, eles iro levar em considerao esta informao na hora de deci- dir se participam ou no do programa. Neste caso, tanto seus ganhos individu- ais como iro afetar a deciso de participar do indivduo i, e variaes em iro afetar a deciso de participar de forma diferente para cada indivduo, dependendo do seu ganho com o tratamento, . Neste caso, a hiptese de homogeneidade do tratamento violada, e o estimador de varivel instrumen- tal no identifca o efeito mdio do tratamento ou o efeito mdio do tratamen- Avaliao Econmica de Projetos Socias l 109 to sobre os tratados. Imbens e Angrist (1994) mostraram que quando os efeitos do tratamento so heterogneos, o arcabouo de varivel instrumental permite identifcar um efeito mdio de tratamento local, isto , um efeito mdio do tratamento para uma subpopulao especfca. Neste caso, ser o efeito mdio do tratamento para aqueles indivduos cuja variao em Z provoca uma variao no status de participao sem afetar os resultados potenciais. Para estes indivduos, a dife- rena na mdia dos resultados potenciais do grupo de tratados e do grupo de no-tratados ocasionada por uma variao em Z se d exclusivamente atravs do efeito de Z na taxa de participao do programa. Este efeito mdio do tratamento para a subpopulao de indivduos induzidos ao tratamento por variaes no instrumento chamado de efeito mdio local do tratamento (LATE) 3 . Iremos entender este efeito dentro do arcabouo de resultados potenciais. Neste arcabouo, defnimos como compliers os indiv- duos que so induzidos pelo instrumento a terem uma mudana de compor- tamento na varivel endgena, no caso em questo, na participao ou no no programa. O LATE seria o efeito mdio do tratamento para esta populao de compliers. Como no captulo 2, defnimos (0) como o resultado potencial do indivduo i caso ele no tivesse participado no programa e (1) como o resultado potencial do indivduo i caso ele tivesse participado. Podemos defnir o resultado observado como: (6.1)
Suponha que, alm de observarmos ( , ) para cada indivduo, observamos tambm uma varivel instrumental binria . Neste caso, (0) seria o valor potencial da varivel endgena (participao no tratamento) se a pessoa ti- vesse um valor de que a induzisse a no participar e (1) seria o valor po- tencial da varivel endgena (participao no tratamento) se a pessoa tivesse um valor de que a induzisse a participar 4 . O valor realizado para pode ser defnido como uma funo do instrumento: (6.2) Neste arcabouo de resultados e tratamentos potenciais, podemos pensar no resultado potencial como uma funo de Z e T, (Z,T) que seria o resultado 50 Esta sigla LATE vem do nome em ingls, Local Average Treatment Efect. 51 T i (0) e T i (1) so os valores potenciais para a participao no tratamento, e seriam respec- tivamente os valores de T que eles teriam se no tivessem sido tratados ou tivessem sido tratados, independendo se eles de fato receberam tratamento ou no. 50 51 l Fundao Ita Social 110 potencial que seria observado se o instrumento assumisse valor z e o tratamen- to, valor t. Com um instrumento binrio, temos quatro resultados potenciais, (0,0), (0,1), (1,0), (1,1). Por exemplo, Y(0,0) seria o resultado potencial do indivduo que obteve um valor de Z igual a 0 e decidiu no participar do programa. Como no caso clssico de varivel instrumental, precisamos que o instrumen- to Z s afete o resultado de interesse atravs do seu efeito na taxa de parti- cipao. Para garantir que isso acontea em um arcabouo com efeitos he- tergenos, precisamos que Z seja independente no apenas dos resultados potenciais, mas tambm dos tratamentos potenciais. Precisamos que a varivel instrumental seja to boa como se ela fosse alocada de forma aleatria entre os indivduos, isto , precisamos que o instrumento seja independente dos quatro resultados potenciais e dos tratamentos potenciais. Alocao Aleatria: independente de ( (0,0), (0,1), (1,0), (1,1), (1), (0)) (H1) Alm de ser alocado de forma aleatria, precisamos que ele s afete o resul- tado de interesse atravs da variao que provoca na taxa de participao, ou seja, precisamos de uma hiptese conhecida como restrio de excluso. Esta hiptese garante que o instrumento s afete Y atravs de um canal conhecido. De um modo mais formal, esta hiptese garante que, ao controlarmos por t, (z,t) no uma funo de z, mas somente de t: Restrio de Excluso: (z,t) = (z*,t) para todo t, z, z* (H2) A restrio de excluso permite que os resultados potenciais sejam defnidos somente com base no status do tratamento:
e o resultado observado pode ser escrito como: (6.5) No caso de tratamentos heterogneos, cada indivduo responde a diferentes valores do instrumento dependo do resultado recebido pelo tratamento. Pode- mos pensar em quatro tipos de comportamento induzidos pelo instrumento. Suponha que os indivduos que recebem valores de Z igual a 1 so convidados a participar do programa, enquanto os indivduos com valores de Z igual a 0 no so convidados a participar. Podemos pensar, por exemplo, em um progra- Avaliao Econmica de Projetos Socias l 111 ma em que o aluno pode se matricular em um curso tcnico dependendo de sua nota em um teste de profcincia e o seu histrico escolar. Se a nota do alu- no no teste for superior a um valor determinado c, ele convidado a se matri- cular no curso. Caso ele receba uma nota inferior a c, ele no recebe o convite. Neste caso, o instrumento seria uma varivel binria que igual a 1 se o aluno tirou uma nota no teste de profcincia acima de c, e 0, caso contrrio. Podemos pensar em um primeiro grupo de alunos que gostariam de se matricular no programa independente da sua nota no teste de profcincia, isto , indepen- dente do valor do instrumento. Estes alunos so chamados de always-takers, pois eles sempre aceitariam participar do programa independentemente do valor do instrumento. Existe outro grupo de indivduos que no gostaria de se matricular no curso tcnico, independentemente do valor do instrumento. Este grupo de indivduos conhecido como never-takers e so aqueles que nunca aceitariam participar, independentemente da sua nota no teste de pro- fcincia. Alm disso, existem indivduos que iro mudar o seu comportamen- to de acordo com o valor do instrumento. O terceiro grupo composto pelos indivduos que, se tiverem uma nota acima de c no teste de profcincia, iro realizar o curso tcnico, mas se receberem uma nota abaixo de c no teste, no iro se matricular. Estes indivduos so chamados de compliers. Finalmente, teremos os indivduos que tero comportamento oposto quele induzido pelo instrumento. Neste grupo, se os indivduos recebessem notas abaixo de c, eles gostariam de se matricular no curso; mas se eles recebessem notas acima de c, eles no se matriculariam no curso. Este ltimo grupo conhecido como defers. Podemos representar estes quatro grupos em uma tabela 5 de acordo com o comportamento de cada um a variaes do instrumento,
Por exemplo, a primeira clula desta tabela representa os indivduos cujo tra- tamento potencial, independentemente da realizao do instrumento (0 ou 1), sempre igual a 0, ou seja, eles nunca participam. Estes so os never-takers. Baseados nas variveis que observamos para cada indivduo ( , , ), no podemos classifcar estes indivduos em cada um dos grupos acima. Para isso, precisaramos saber como eles iriam reagir caso eles recebessem outra realiza- o para a varivel instrumental. Com as informaes que observamos pode- mos montar a seguinte tabela: 52 Estas tabelas foram retiradas de Imbens e Wooldridge (2009) 52 l Fundao Ita Social 112
Esta tabela indica que, ao observamos para o indivduo i o par (Z,T) = (0,1), s sabemos que este indivduo no participaria do curso tcnico se a sua nota for abaixo do ponto de corte c. Este indivduo pode estar no grupo de compliers ou de never-takers. Para saber de fato a qual grupo o indivduo realmente pertence, precisaramos saber qual seria o seu comportamento caso ele tiras- se uma nota superior a c no teste de profcincia. Para que o LATE identifque o efeito mdio para alguma subpopulao, precisamos identifcar o compor- tamento de cada um dos grupos e para isso assumimos que existem poucos indivduos que faro o oposto do que foi sugerido pelo instrumento, isto , assumimos monotonicidade dos tratamentos potenciais: Monotonicidade: para todo i (H3) Esta hiptese de monotonicidade garante que todas as pessoas so afetadas na mesma direo pelo instrumento, isto , no podem existir os indivduos que, se recebessem uma nota no teste de profcincia acima de c, no iriam se matricular no curso, e se recebessem uma nota no teste acima de c iriam se ma- tricular no curso. Com a hiptese de monotonicidade, a informao que temos nos dados observveis aumenta e pode ser representada pela tabela abaixo:
Como pode ser visto pela tabela, a hiptese de monotonicidade elimina a exis- tncia dos defers. Usando a informao da tabela acima, podemos identifcar o efeito mdio do tratamento sobre a populao de compliers. Podemos de- compor a expectativa condicional de Y em Z no comportamento de cada um dos grupos, Avaliao Econmica de Projetos Socias l 113 Sob a hiptese de monotonicidade, representa a proporo de always-takers, representa a proporo de never-takers e representa a proporo de compliers. Podemos decompor a diferena dos re- sultados potenciais em quatro grupos:
Note que as duas primeiras linhas representam o grupo de compliers, a tercei- ra linha se refere o grupo de always-takers e a ltima linha representa o grupo de never-takers. Sob a hiptese de restrio de excluso,
e podemos reescrever a expresso acima como:
O efeito mdio do tratamento para o grupo de compliers simplesmente a seguinte razo:
Esta razo o parmetro estimado pelo mtodo de varivel instrumental quan- do o instrumento uma varivel binria e os efeitos so heterogneos. Os da- dos observveis s nos do informao sobre o efeito mdio do tratamento para a subpopulao de indivduos que tiveram o comportamento induzido pelo instrumento, isto , para o grupo de compliers. l Fundao Ita Social 114 Suponha que observamos um vetor de caractersticas adicionais dos indivdu- os (X) que podem ser usados nos modelos para o resultado de interesse e para a participao no tratamento. Neste caso, este vetor seria includo nos dois mo- delos que iremos estimar por mnimos quadrados em dois estgios:
Consideramos que so variveis exgenas que tm um efeito direto no re- sultado de interesse. Se a varivel instrumental for de fato alocada de for- ma aleatria entre os indivduos, ele seria independente das demais variveis explicativas do modelo e a incluso do vetor X no modelo s levaria ao aumento da preciso das estimativas. No entanto, como no caso tradicional de variveis instrumentais, a razo principal de se incluir outras variveis explica- tivas no modelo que a hiptese de alocao aleatria de e a restrio de excluso so vlidas somente se condicionarmos em , isto , se comparar- mos indivduos com as mesmas caractersticas observveis. De maneira mais formal, neste caso, as hipteses de alocao aleatria e a restrio de excluso seriam: Alocao Aleatria*: Z independente de (Y (0,0), Y (0,1), Y (1,0), Y (1,1), T (1), T (0)), condicional em X (H1*) Esta hiptese nos diz que entre indivduos com o mesmo vetor de caractersti- cas X , o instrumento Z foi alocado de forma aleatria. Restrio de Excluso*: Y (z,t,x) = Y (z*,t,x) para todo t, x, z, z* (H2) Neste caso, somente para indivduos com o mesmo vetor de variveis explicati- vas, os resultados potenciais no iro depender da realizao de Z. No caso em que inclumos um vetor adicional de variveis explicativas no mo- delo, a estimao tambm pode ser realizada por mnimos quadrados em dois estgios. Em um primeiro momento estimamos o modelo linear que relaciona a participao com todas as variveis exgenas e calculamos o valor predito,
e em um segundo estgio, usamos este valor predito como varivel explicativa no modelo linear para Y,
Avaliao Econmica de Projetos Socias l 115 6.1 Interpretao do parmetro LATE e a sua relao com os outros mtodos Como j foi dito, apesar de muito semelhante ao estimador clssico de vari- vel instrumental (se eliminarmos a hiptese de efeitos heterogneos), o LATE no representa o efeito mdio do tratamento ou o efeito mdio do tratamen- to sobre os tratados. O LATE representa apenas o efeito mdio do tratamento para uma subpopulao bem especfca, a populao de indivduos que tem seu comportamento alterado em funo de uma variao no instrumento. Em geral, este grupo de indivduos no representativo da populao como um tudo. Dada esta limitao, podemos perguntar se este efeito local identifcado pelo LATE interessante para uma anlise de poltica. A resposta a esta per- gunta ir depender do instrumento que ser usado na anlise. Por exemplo, se a varivel instrumental for alguma mudana de poltica que afeta a taxa de participao, o LATE representa um parmetro de interesse para esta poltica, pois representa o efeito mdio do tratamento para a subpopulao que teve o seu comportamento alterado por tal poltica. Se, por outro lado, usarmos uma varivel contnua que simplesmente afeta a taxa de participao e no tem efeito direto no resultado, LATE pode ser um parmetro menos informativo. importante pensar tambm na relao entre o arcabouo do LATE e os de- mais mtodos apresentados neste livro. Como j foi dito, diferentemente dos mtodos de pareamento, o mtodo de varivel instrumental usado quando a hiptese de seleo em caractersticas observveis violada, ou seja, o proces- so de seleo para o tratamento baseado em caractersticas no-observveis. Alm disso, podemos fazer uma analogia entre o LATE e um experimento ale- atrio. Suponha que o instrumento seja uma oferta de tratamento que foi alo- cado de forma aleatria entre os indivduos. Por exemplo, suponha que quere- mos testar o efeito de um exame novo que foi criado para detectar cncer de mama, e para isso convidamos uma amostra aleatria de mulheres de 35 a 50 anos para realizar o exame. As mulheres que recebem a carta convite podem se dirigir clnica e fazer o exame, ou podem no aceitar o convite e no fazer o exame. Como so as mulheres que escolhem se iro fazer ou no o exame, as mulheres que decidem fazer o exame podem ser na mdia diferentes das mulheres que se recusaram a faz-lo. Por exemplo, as mulheres que aceitaram os convites so geralmente mais bem instrudas, se preocupam mais em rea- lizar os seus exames peridicos para deteco de doenas e tm hbitos mais saudveis, tendo na mdia uma sade melhor que as mulheres que rejeitaram o convite. Logo, para encontrar o efeito mdio do tratamento sobre a proba- bilidade de detectar cncer de mama, no podemos comparar a proporo de mulheres que fzeram o exame e foram diagnosticadas com cncer de mama l Fundao Ita Social 116 com a proporo de mulheres que no fzeram o exame e receberam o diag- nstico da doena, pois neste caso estaramos misturando o efeito do progra- ma com o efeito de uma vida mais saudvel. Neste caso, estamos no arcabouo em que o instrumento vem de um experimento real e foi alocado de forma ale- atria entre as mulheres. O instrumento seria uma varivel binria que assume valor igual a 1 se a mulher foi convidada a fazer o exame, e 0, caso contrrio. Neste caso, LATE o efeito mdio sobre as mulheres que de fato receberam o tratamento, isto , o efeito mdio do tratamento sobre os tratados. 6.2 O Caso de Mltiplos Instrumentos Imbens e Angrist (1994) e Angrist e Imbens (1995) mostram que o estimador que usa mltiplos instrumentos uma mdia ponderada de cada um dos LA- TEs obtidos com cada instrumento especfco. Nesta seo, iremos entender este resultado dentro de um instrumental simples no qual consideremos um par de instrumentos binrios e , que so mutuamente exclusivos. Su- ponha que a hiptese de monotonicidade satisfeita para cada uma destas variveis binrias. Para estimar o efeito mdio do tratamento para a populao de compliers, usamos o estimador de MQO em dois estgios. Em um primeiro estgio, estimamos o modelo linear que relaciona o tratamento com as duas variveis instrumentais: (6.2.1) Em um segundo estgio, usamos este valor predito como a varivel explicativa no modelo linear para o resultado Y e estimamos o seguinte modelo linear simples:
(6.2.2) O estimador de mnimos quadrados em dois estgios para este caso : (6.2.3) Substituindo a equao do primeiro estgio para : (6.2.4) Multiplicando e dividindo o primeiro termo por Cov , o segundo termo por Cov , temos que: Avaliao Econmica de Projetos Socias l 117
Note que seria o LATE usando apenas o instrumento , e seria o LATE usando apenas o instrumento . Logo, podemos escrever o es- timado de MQO como uma mdia ponderada dos estimadores usando cada uma das variveis instrumentais, (6.2.5) Os pesos de cada um dos LATES depende de quo forte a relao de cada instrumento com a participao no tratamento, isto , ser dado maior peso ao instrumento que apresenta uma relao mais forte com a participao no tratamento. Podemos mostrar que este resultado se estende para o caso de mltiplos instrumentos discretos. 6.3 O Caso de Instrumentos Contnuos Nesta seo, consideremos a estimao do impacto do tratamento sobre toda a distribuio de um instrumento contnuo. Neste caso, o instrumento cont- nuo e a probabilidade de participao condicional a Z tambm uma funo contnua, isto , uma funo contnua em z. Neste caso, usamos mudanas infnitesimais na taxa de participao para medir o efeito mdio local do tratamento (LATE). Heckman (1990), Vytlacil (2002), Heckman e Vytlacil (2001), Carneiro, Heckman e Vytlacil (2005) usam um modelo de se- leo para interpretar este efeito marginal. A seleo feita atravs de uma funo de z e de um componente no-observvel, : (6.3.1) Sob a hiptese de alocao aleatria de Z , e se a restrio de excluso e a hip- tese de monotonicidade so satisfeitas para todos os pares de z e z*, o modelo latente implica que podemos ordenar os indivduos de acordo com os seus componentes no-observveis . Se o fator no-observvel do indivduo i menor que o do indivduo , ento para todo z. Dado este ordenamento baseado no no-observvel, podemos defnir o efeito marginal do tratamento condicional em : (6.3.2) l Fundao Ita Social 118 Este efeito se relaciona diretamente com o limite do efeito mdio local do tra- tamento defnido para os valores de tal que existe um valor z que satisfaz , para (6.3.3) Para entender este parmetro como o limite do LATE, voltamos ao caso mais simples em que uma funo linear em z . Neste caso, o estimador do LATE para dois pontos na distribuio de z, (6.3.4) E podemos pensar no efeito marginal do tratamento (EMT) como o estimador de LATE quando z fca arbitrariamente prximo de z*, (6.3.5) Este parmetro EMT usa um instrumento contnuo na tentativa de reconstruir a distribuio das probabilidades de participao, e usar esta distribuio para estimar o efeito na variao marginal de z. 6.4 Exemplo Ponczek e Souza (2011) usam o arcabouo de varivel instrumental para estimar o efeito do tamanho da famlia em alguns resultados das crianas. Em uma amostra de famlias cuja mulher teve duas ou mais gestaes, eles usam como instrumen- to uma varivel binria que indica se na segunda gestao ocorreu o nascimento de gmeos. Segundo os autores, este acontecimento de gmeos claramente relacionado com o tamanho de famlia, e condicional ao vetor de caractersticas da famlia, ele s afeta os resultados de interesse atravs do efeito no tamanho da famlia. Neste caso, a subpopulao de compliers composta pelas famlias com pelo menos um flho nascido da primeira gestao que tiveram o tamanho da famlia aumentado em um nmero inesperado devido ao nascimento de g- meos. Os resultados de interesse neste artigo que sero apresentados aqui so: se a criana participa da fora de trabalho, se a criana vai escola e se a criana no repetiu a srie. As tabelas 6.4.1 e 6.4.2 apresentam os resultados para as crianas com idade entre 10 e 15 anos que moram com a me e o marido da me. Os efeitos mdios locais foram estimados por mnimos quadrados em dois estgios. A tabela 6.4.1 apresenta os resultados do primeiro estgio, enquanto a tabela 6.4.2 contm os resultados do segundo estgio. As variveis explicativas usadas como controle em ambos os modelos so: variveis binrias para anos e estados brasileiros, edu- cao do chefe da famlia, gnero e sexo do chefe de famlia e educao e idade da me. Usando os dados do Censo Brasileiro de 1991, os autores encontram que Avaliao Econmica de Projetos Socias l 119 o tamanho da famlia apresenta um efeito signifcativo na progresso escolar das meninas, sendo este efeito negativo. Os autores apresentam evidncias de que, quanto maior o tamanho da famlia, menor ser a probabilidade de a criana pro- gredir na escola, mantendo todas as demais caractersticas da famlia constantes. Como salientado pelos autores, este resultado importante para pensarmos nas polticas pblicas de transferncia de renda que condicionam o montante recebi- do pelas famlias somente na sua renda e no nmero de flhos que elas possuem. Nestas polticas o efeito benefcio da renda pode ser cancelado pelos efeitos nega- tivos do incentivo ao aumento do tamanho da famlia. Tabela 6.4.1: Resultados do Primeiro Estgio
Fonte: Ponczek e Souza (2011) Tabela 6.4.2: Resultados do Segundo Estgio
Fonte: Ponczek e Souza (2011) l Fundao Ita Social 120 Exerccios 1) Dufo (2001) estima o efeito da construo de escolas na Indonsia no salrio dos indivduos. Neste artigo, a autora usa um modelo linear para o salrio (w) do indivduo i nascido na regio j e na coorte k, que pode ser simplifcado pela equao: em que uma varivel binria que indica se na regio j o programa foi muito intenso. Esta varivel igual a 1 se na regio j duas ou mais escolas foram cons- trudas, e igual a 0, caso contrrio. Alm disso, igual a 1 se o indivduo estudou em uma escola que foi construda pelo programa, e 0, caso contrrio, e representa os fatores no observveis. Este modelo assume que o efeito mdio do tratamento varia com a intensidade do programa. a) Calcule . Qual seria o efeito mdio do programa para os indivduos que moravam em regies nas quais o programa teve grande intensidade? Qual o efeito mdio do programa para os indivduos em regies com baixa intensidade do programa? b) Na tentativa de capturar efeitos heterogneos, os autores propem o modelo composto pelo seguinte sistema de equaes:
em que . O que o parmetro representa? Quem seriam os compliers neste modelo? c) Como podemos estimar o efeito mdio do tratamento para a subpo- pulao de compliers usando o sistema acima? 2) Usamos o seguinte sistema de equaes para estimar o retorno da educao sobre o salrio, Em que S representa o nmero de anos de estudo do indivduo i, Z uma Avaliao Econmica de Projetos Socias l 121 varivel binria que igual a 1 se o indivduo i nasceu no primeiro trimes- tre do ano, e 0 se o indivduo nasceu no quarto trimestre. Assumimos que e . Suponha que . a) Interprete as duas hipteses e no contexto deste exerccio. b) Mostre que c) Mostre que d) Usando os resultados das letras (a) e (b), mostre que
e) Baseado nos estimadores acima, proponha um estimador para . f) Angrist e Imbens (1995) usam uma base de dados para os Estados Unidos para estimar o efeito dos anos de escolaridade sobre salrio, usando o trimestre de nascimento como instrumento para anos de estudo. A ideia que as pessoas s podem entrar no ensino bsico com 6 anos de idade. Nos Esta- dos Unidos, o ano letivo comea em agosto. Assim, as crianas que nascem no quarto trimestre do ano tm que esperar um ano a mais para entrar na escola que as crianas que nascem no primeiro trimestre de nascimento. Esta variao levaria um grupo a permanecer mais tempo na escola do que o outro. Os auto- res separam os indivduos em dois grupos. O primeiro grupo, composto pelos indivduos nascidos no primeiro trimestre, e o segundo, por aqueles nascidos no quarto trimestre. Para cada grupo, eles obtm as seguintes mdias para os alunos de estudo e logaritmo do salrio,
Usando os resultados da tabela acima e o estimador proposto em (e), calcule a estimativa para o efeito mdio de anos de estudo no logaritmo do salrio. In- terprete este coefciente como o efeito mdio de um tratamento para a subpo- pulao de compliers. Quem so os compliers neste caso? 3) Considere o seguinte modelo com efeitos heterogneos, no qual T uma varivel binria que igual a 1 se o indivduo recebeu o tratamento, e uma varivel instrumental binria. O efeito do tratamento sobre o resultado de l Fundao Ita Social 122 interesse representado por
ou de outra forma, podemos escrever este modelo usando o resultado obser- vado para cada indivduo, e tambm assumimos um modelo para o efeito do instrumento sobre o trata- mento,
a) Mostre que, se temos efeitos heterogneos do instrumento sobre o tratamento, mas temos um efeito homogneo do tratamento , o estimador do LATE igual a mesmo que a hiptese de monotonicidade seja violada. b) Considere o caso heterogneo, derive o vis do estimador do LATE caso a hiptese de monotonicidade seja violada. Sob quais circunstncias, vio- laes da hiptese de monotonicidade no invalidam a anlise de um efeito mdio local do tratamento? c) Suponha que as hipteses do LATE sejam verdadeiras, mas
mostre que Qual o signifcado desta hiptese adicional? Interprete este resultado e discuta como voc iria estimar o efeito mdio local do tratamento neste contexto. 4) Um programa criado pelo governo para promover o consumo de frutas e vegetais entre os alunos na 5 srie do ensino fundamental. Nas escolas que receberam o programa, os alunos foram convidados a participar de aulas que explicavam cada tipo de alimento e nas quais eles podiam experimentar as frutas e vegetais. Alm disso, estes alunos tambm faziam excurses para mer- cados e feiras na tentativa de conhecer e experimentar um nmero grande de frutas e verduras. As aulas e as excurses eram atividades extracurriculares, e os pais tinham que autorizar os alunos a participar das mesmas. Dentro do estado, Avaliao Econmica de Projetos Socias l 123 metade das escolas foi selecionada para o grupo de controle, enquanto a outra metade foi selecionada para o grupo de tratamento. Esta seleo foi realizada de forma aleatria. O governo gostaria de avaliar o efeito do programa sobre a sade das crianas. Para isso, ele possui uma base de dados que contm algu- mas caractersticas socioeconmicas dos alunos, se eles estavam em uma es- cola tratada e se participaram do programa. Alm disso, ele possui informaes sobre a sade do aluno, como o nmero de vezes que o aluno fcou gripada nos ltimos 12 meses. a) Proponha um mtodo para estimar o efeito do programa sobre a sade dos alunos. b) Discuta as hipteses necessrias para que o mtodo proposto em (a) seja vlido. c) Quais seriam os resultados esperados desta avaliao? Voc acha que os resultados obtidos para este estado se manteriam se esta poltica fosse implementada em outros estados? Avaliao Econmica de Projetos Socias l 125 CAPTULO 7 Regresso Descontnua Cristine Campos Xavier Pinto O mtodo de regresso descontnua pode ser usado quando a probabilidade de receber tratamento muda de forma descontnua com uma varivel, que va- mos chamar de Z. Um dos primeiros trabalhos que usaram regresso descont- nua foi Thristhlewaite e Cook (1960), que estimou o impacto de um prmio por mrito no desempenho acadmico dos alunos. Neste estudo, o prmio por m- rito era dado de acordo com as notas dos alunos. Os alunos que tinham notas acima de um certo valor recebiam o prmio, enquantos os alunos que tinham notas abaixo deste ponto de corte no podiam receber o prmio. Os autores argumentam que os indviduos que esto logo abaixo do ponto de corte so muito semelhantes aos indivduos logo acima do ponto de corte, exceto pelo fato de que no receberam o prmio, e seriam um bom grupo de controle. Neste estudo, a varivel Z, cujo valor determina o recebimento do tratamento, a nota do aluno. Uma das vantagens do mtodo de regresso descontnua que ele requer hipteses mais fracas do que as hipteses usadas pelos mtodos no-expe- rimentais apresentados at aqui. Ao invs de assumirmos uma hiptese de independncia, como no captulo 5, iremos assumir que existe uma relao contnua entre os determinantes do resultado de interesse e a varivel Z, e uma relao descontnua entre a participao no tratamento e Z. Com esta hipte- se, qualquer descontinuidade que ocorra na funo que relaciona Y a Z pode ser atribuda ao salto que ocorre na participao do tratamento em determina- do valor de Z, e o tamanho deste salto pode ser interpretado como um efeito mdio local do tratamento. A desvantagem do mtodo de regresso descon- tnua que ele estima um efeito mdio do tratamento comparando apenas os indivduos em torno deste ponto de corte. Se estes indivduos forem muito diferentes do restante dos indivduos na populao de interesse, no podemos afrmar que este seria o efeito mdio do tratamento para a populao de inte- resse. Assim, devemos ter cuidado ao tentar extrapolar o efeito mdio local en- contrado pelo mtodo de regresso descontnua para o restante da populao. No instrumental de regresso descontnua, o recebimento do tratamento, de- nominado pela varivel binria T, uma funo de Z. A descontinuidade pode ser fuzzy ou sharp. No caso sharp, a participao uma funo determinstica de Z, isto , T = 1 se X c, e T=0 se X < c. No caso fuzzy, ocorre um salto na l Fundao Ita Social 126 probabilidade de participao no ponto em que Z igual a c, mas no neces- sariamente de 0 para 1, como no caso sharp. Em ambos os casos, ter a descon- tinuidade na probabilidade de participao em Z igual a c no sufciente para identifcarmos o efeito mdio local do tratamento. Se os indivduos tem controle sobre a varivel Z e eles sabem os benefcios do tratamento, os indivduos abaixo da descontinuidade podem ser sistema- ticamente diferentes dos indivduos acima da descontinuidade. Por exemplo, no estudo de Thristhlewaite e Cook (1960), se os estudantes puderem detemi- nar a sua nota no teste de profcincia de forma perfeita atravs do esforo, os alunos mais esforados e determinados iro escolher notas acima de c e iro ganhar o prmio, e estes alunos podem ser sistematicamente diferentes dos demais pelo menos no que se refere ao esforo. Neste caso, os indviduos no so comparavis em torno do ponto de corte, e no podemos usar os indivdu- os abaixo de c como um grupo de controle para os indivduos logo acima de c que receberam o tratamento. No entanto, suponha um outro cenrio no qual os alunos, mesmos se esforando mais, no tm garantia de que sua nota ser maior que c. Neste novo cenrio, parece mais razovel pensar que os alunos que fcaram logo abaixo do ponto de corte so semelhantes aos que fcaram acima, exceto que os primeiros tiveram sorte e acertaram uma questo a mais na prova do que os outros. Mesmo sabendo dos benefcios do tratamento, os alunos no so capazes de manipular de forma perfeita a sua nota de modo que ela fque acima de c. Neste caso, temos uma variao exgena no trata- mento em torno da descontinuidade, e usamos esta variao para estimar o efeito mdio do tratamento. Se a variao no status do tratamento em torno do ponto de corte aleatria, como descrito no caso acima, as caractersticas determinadas antes da realiza- o de Z devem ter a mesma distribuio no grupo de indivduos com valores Z acima do ponto de corte e no grupo de indivduos com valores abaixo do ponto de corte. Como no caso dos mtodos de pareamento, podemos verifcar se os indivduos em torno do ponto de corte so semelhantes em suas caracte- rsticas observveis atravs de um teste de comparao de mdias. Se tivermos evidncias de que na mdia os indivduos situados em torno do ponto de corte so diferentes, devemos desconfar da validade da estrutura da regresso des- contnua. Alm disso, podemos representar a estrutura de uma regresso des- contnua atravs de uma anlise grfca. Por exemplo, uma representao gr- fca da relao de Y e Z pode ser usada para nos dar uma ideia do tamanho da descontinuidade, da forma funcional adequada para modelar esta relao, etc. Voltaremos anlise grfca de uma regresso descontnua ao fnal do captulo. Antes de descrevermos os casos fuzzy e sharp, iremos defnir o efeito mdio local do tratamento que identifcado dentro da estrutura de uma regresso descontnua, usando o arcabouo de resultados potenciais. O efeito mdio lo- Avaliao Econmica de Projetos Socias l 127 cal no ponto de descontinuidade c pode ser defnido como:
Mas no observamos os resultados potenciais Y (1) e Y (0) para o mesmo indivduo. Para cada indivduo i, observamos:
Para os indivduos com valores de Z logo acima do ponto de corte:
e de forma anloga para os indivduos logo abaixo do ponto de corte: Defnimos como o valor que Y aproxima quando Z chega prximo de c para os indivduos acima do ponto de corte, e como o valor que Y apro- xima quando Z chega prximo de c para os indivduos abaixo do ponto de corte. De modo formal, temos
Sob a hiptese de que o resultado de interesse (Y) uma funo contnua de Z, A hiptese de continuidade exige que as funes de regresses condicionais dos resultados do tratamento e do controle em Z sejam contnuas. De maneira mais formal, so funes contnuas em z 3 Se em torno do ponto Z=c, o status do tratamento foi determinado de forma aleatria, temos ignorabilidade local (H2), ou seja:
53 Uma hiptese mais forte que teria como consequncia a continuidade das funes de regresso seria assumirmos que as funes de distribuies condicionais so contnuas, isto , F Y(0)|Z (y|z) e F Y(1)|Z (y|z) e em z para todo y. 53 l Fundao Ita Social 128 Sob esta hiptese de ignorabilidade 4 , Sob as hipteses de ignorabilidade local e continuidade, E podemos escrever o efeito mdio local de tratamento como no qual A hiptese bsica para a identifcao do efeito mdio local do tratamento que a probabilidade de participao no tratamento uma funo de Z, e no ponto c esta probabilidade sofre um salto. Esta variao no status de participa- o em torno de c pode ser interpretada como uma variao aleatria. Alm disso, o resultado uma funo contnua de Z, de modo que qualquer des- continuidade em Y em torno de c pode ser atribuda somente ao tratamento. 7.1 Caso Sharp Neste caso, T uma funo determinstica de Z. Todos os indivduos com um valor de Z acima de c recebem o tratamento, e todos os indivduos com valo- res abaixo deste valor no recebem. A probabilidade de receber o tratamento muda de 0 para 1 ao passar o ponto de corte. Neste caso, sob as hipteses de continuidade e ignorabilidade local, no existem outros fatores que expliquem a descontinuidade de Y em c a no ser o recebimento do tratamento, e inter- pretamos o salto de T no ponto c como o efeito causal do tratamento. Neste caso, e o efeito mdio local do tratamento : Neste caso, a hiptese de ignorabilidade naturalmente satisfeita, pois para 54 Note que, como no caso dos mtodos de pareamento, a hiptese de ignorabilidade mais forte do que a hiptese mnima necessria para identifcar o efeito mdio local do tratamen- to. As hipteses mais fracas necessrias para identifcao seriam as equaes (6.2) e (6.3). 54 Avaliao Econmica de Projetos Socias l 129 os indivduos com o mesmo valor de Z no existe variao no tratamento. Os indivduos com valores Z iguais ou acima de c tero T=1; e os indivduos com valores abaixo de c sempre tero T=0. O grfco 7.1.1 ilustra a estrutura da regresso descontnua no caso sharp. A fgura 1 representa a probabilidade de receber tratamento, ilustrando que esta probabilidade muda de 0 para 1 quando Z igual ao valor do ponto de corte. A fgura 2 representa as curvas dos resultados potenciais caso o indivduo receba tratamento (Y(1)) e os resultados potenciais caso o indivduo no receba tra- tamento (Y(0)). S observamos os pontos da funo de Y(0) para indivduos com valores de Z abaixo de c, e os pontos da funo de Y(1) para os indivduos com valores de Z acima de c. Se estas funes so contnuas em Z, podemos atribuir o salto que acontece no ponto c como o efeito mdio do tratamento em torno desta descontinuidade. Grfco 7.1.1: Regresso Descontnua Sharp Figura 1: Probabilidade Condicional de Receber Tratamento
l Fundao Ita Social 130 Figura 2: Expectatica Condicional dos Resultados
Suponha o caso simples em que a relao entre Y e Z uma funo linear, e queremos identifcar o efeito mdio do tratamento. Podemos representar o caso sharp de regresso descontnua atravs do sistema de equaes:
no qual 1 uma funo indicadora que assume valor 1, caso o indivduo tenha o valor de Z acima de c; e 0, caso contrrio. O grfco 7.1.2 ilustra este problema. O salto na varivel Y no ponto c pode ser interpretado como o efeito causal do tratamento se todos os outros fatores que afetam Y esto evoluindo de forma suave em torno de c. De maneira formal, este salto ir representar se
Esta hiptese pode ser entendida como a hiptese de exogeneidade que usa- mos em uma regresso linear tradicional, sendo vlida somente em torno do ponto de corte. Avaliao Econmica de Projetos Socias l 131 Grfco 7.1.2: O Caso Linear
7.2 Caso Fuzzy Este o caso mais comum nas aplicaes em economia. Neste caso, o trata- mento determinado parcialmente pela descontinuidade em Z. A probabili- dade de receber tratamento no muda de 0 para 1 no ponto de corte (c), mas acontece apenas um salto na probabilidade de receber tratamento no ponto em que Z=c, ou seja: Como a probabilidade de receber tratamento tem um salto menor que um, o salto da expectativa condicional de Y em Z, que acontece no ponto em que Z igual a c, no pode ser interpretado como efeito mdio do tratamento. Neste caso, voltamos equao (7.4) e identifcamos o efeito mdio do tratamento como a razo entre o salto que ocorre em Y e o salto que ocorre em Z no ponto de corte, Um exemplo deste caso seria a situao em que o recebimento do prmio de mrito no depende somente das notas dos alunos no exame de profcincia, mas tambm de uma entrevista com uma banca examinadora. Neste caso, uma l Fundao Ita Social 132 nota acima de c aumenta a probabilidade de receber o prmio de mrito, mas alunos que tiraram uma nota abaixo de c podem receber o prmio deste que faam uma boa entrevista. Para a identifcao da razo das descontinuidades como um efeito mdio lo- cal do tratamento, precisamos das hipteses H1 e H2, estabelecidas no incio deste captulo. O estimador da regresso descontnua no caso Fuzzy pode ser relacionado com o estimador de varivel instrumental conhecido como LATE, que foi apresentado no captulo 6 5 . Como sabemos, o LATE identifca a efeito mdio do tratamento para os indivduos que mudaram o seu status de partici- pao quando o valor do instrumento passa do ponto c. Para isso, ele precisa de uma hiptese de monotonicidade, alm da hiptese de independncia. 6
Defna T (z) como o status potencial de tratamento no ponto em que Z=z, para z em uma pequena vizinhana de c. T (z) igual a 1 se o indivduo i recebe o tratamento no ponto em que Z=z. A hiptese de monotonicidade pode ser expressa usando este tratamento potencial: H3: T (z) uma funo no-decrescente em z. Dentro do instrumental do LATE, defnimos como compliers os indivduos que so de fato afetados pelo tratamento, isto , um indivduo i denominado de complier se: Os compliers so defnidos como os indivduos que recebem o tratamento se o valor de Z igual ou acima de c, mas no recebem o tratamento se o valor de Z est abaixo de c. Considere o exemplo em que os indivduos que recebem uma nota no teste de profcincia abaixo c so encorajados a fazer aulas de re- foro escolar no contra-turno. O complier o indivduo que ir participar das aulas de reforo se a sua nota fcar abaixo de c, e no ir participar se a nota for igual ou maior que c. A hiptese de monotonicidade elimina o grupo de indiv- duos que receberia o tratamento se o valor de Z fosse abaixo do ponto de corte e no receberia caso o valor de Z fosse acima do ponto de corte. Como fzemos no captulo anterior, usando a hiptese de monotonicidade, podemos decom- por o efeito mdio do tratamento em torno da descontinuidade no efeito para os compliers, no efeito para os indivduos que sempre aceitam o tratamento independente do valor de Z e no efeito para os indivduos que sempre recu- sam o tratamento independente do valor de Z. 55 Para maiores detalhes sobre o LATE, ver Imbens e Angrist (1994) e Angrist, Imbens e Rubin (1996). 56 Ver Imbens e Angrist (1994). 55 56 Avaliao Econmica de Projetos Socias l 133
As duas primeiras equaes representam o efeito mdio local do tratamento para os compliers, a equao (7.2.2c) representa o efeito do tratamento para os indi- vduos que sempre recebem o tratamento independente do valor de Z e a ltima equao representa o efeito mdio do tratamento para as pessoas que sempre re- cusam o tratamento independente do valor de Z. Pela hiptese de continuidade, e temos que: O estimador de regresso descontnua para o caso fuzzy identifca o efeito mdio local do tratamento para os compliers. Da mesma maneira que no caso clssi- co de varivel instrumental, apresentado no captulo anterior, temos que verifcar se existe uma relao forte entre o instrumento e a varivel endgena, no caso da regresso descontnua temos que verifcar se existe uma descontinuidade na probabilidade de T condicional a Z. O grfco 7.2.1 ilustra o instrumental de uma regresso descontnua fuzzy. Na primeira fgura temos o salto que acontece na pro- babilidade de receber tratamento. Notamos que esta probabilidade no salta de 0 para 1 como acontecia no caso sharp. A segunda fgura mostra o salto que aconte- ce no resultado potencial, e semelhante ao grfco para o caso sharp. A diferena l Fundao Ita Social 134 que no podemos dizer que o tamanho deste salto o efeito causal do tratamen- to. Neste caso, o efeito mdio local do tratamento dado pela razo entre os saltos da fgura 1 e da fgura 2. Grfco7.2.1: Regresso Descontnua Fuzzy Figura 1: Probabilidade Condicional de Receber Tratamento Figura 2: Expectativa Condicional dos Resultados
Avaliao Econmica de Projetos Socias l 135 7.3 Estimao Um maneira simples de implementar o mtodo de regresso descontnua usar regresses lineares locais separadas para estimar as relaes de um lado e de outro do ponto de corte 7 . No caso sharp, precisamos estimar apenas a relao de Y com Z dos dois lados em torno do ponto de corte c. A modelo de regresso do lado esquerdo do ponto de corte : e o modelo de regresso do lado direito : Como as variveis explicativas esto subtradas do valor no ponto de corte, o valor esperado de cada regresso no ponto de corte dado por O efeito mdio local do tratamento ser a diferena entre o intercepto das duas regresses, Uma forma mais direta de estimar o efeito mdio do tratamento seria usar um modelo de regresso que combina os modelos em ambos os lados do ponto de corte: no qual A vantagem deste modelo que combina os efeitos direita e esquerda do ponto de corte que o efeito mdio do tratamento e o seu erro padro so estimados de forma direta em uma nica regresso. Dado uma vizinhana h, fcil estimar o modelo de regresso representado pela equao (7.3.3). Mas para estimar esta regresso, precisamos escolher o h. Se escolhermos um h muito grande, iremos usar um nmero maior de obser- vaes na estimao, o que aumenta a preciso das estimativas. No entanto, quando maior o h , maior a chance da especifcao linear no ser a correta para estimar a relao entre Y e Z e podemos aumentar o vis do efeito mdio do tratamento. Se a expectativa condicional de Y no uma funo linear em Z, o modelo linear pode ser uma boa aproximao em uma regio limitada de Z, mas medida que aumentarmos a regio de valores de Z, o modelo linear pode se tornar uma aproximao muito ruim. Da mesma forma, quanto menor o h, maior a chance de a especifcao linear ser uma aproximao adequada para estimar a relao entre Y e Z naquela vizinhana, mas menor a preciso 57 Nesta seo, apresentamos o mesmo, mais comumente usado para estimar regresso descontnua. Existem outros mtodos no-paramtricos que podem ser usados, como uma regresso por Kernel. Para uma reviso de alguns mtodos que podem ser implementados, ver Imbens e Lemieux (2008) e Lee e Lemieux (2009). 57 l Fundao Ita Social 136 das estimativas. O h ideal aquele que balanceia de forma tima este trade of entre vis e preciso. Existem vrias regras usadas para escolher esta janela, h. Se o nmero de observaes aumentar, podemos diminuir h, pois teremos um maior nmero de observaes por intervalo. Existem dois procedimentos mais comumente usados para escolher esta jane- la tima 8 . O primeiro seria usar uma janela que leva em considerao alguns componentes da distribuio conjunta de (Y,Z), como por exemplo, a curvatu- ra do modelo de regresso. A regra de bolso usada para a escolha de h :
em que o erro padro estimado da regresso, a derivada segunda do modelo de regresso estimado para captar a relao em Y e Z, e R repre- senta o intervalo da varivel Z usada para estimar a regresso. Para usar esta regra de bolso, primeiramente precisamos estimar um modelo de regresso ar- bitrrio em uma vizinhana em torno do ponto de corte. Por exemplo, suponha que nesta primeira etapa, estimamos uma regresso quadrtica para estimar a relao entre Y e X, Neste caso, aps a estimao da regresso, precisamos calcular (z ) , e estimar usando a soma do quadrado dos resduos dividido pelo nmero de observaes, menos os graus de liberdade. Se usarmos as observaes na vizinhana, R ser igual a 10. O segundo procedimento conhecido como validao cruzada (Cross-Vali- dation) 9 . Para cada observao i, estimamos uma regresso no qual a obser- vao i deixada de fora e usamos os valores estimamos nesta regresso para obter o valor predito de Y quando Z igual a z . Como estamos dentro do instrumental de regresso descontnua, na estimao da regresso considera- mos somente as observaes em uma vizinhana h de z , isto , z -h Z < z +h. . Fazemos este exerccio para cada observao, e obtemos um conjunto de valores preditos para Y. A janela tima ser aquela que minimiza a mdia dos quadrados das diferenas em cada Y predito e o Y observado. De maneira formal, para determinado valor de h, calculamos o valor de predito para , e calculamos o erro quadrtico mdio: 58 Em todos os procedimentos descritos nesta seo, estamos escolhendo uma janela nica para ambos os lados do ponto de corte. A funo de densidade de Z provavelmente similar em ambos os lados do ponto de corte, e com uma amostra grande a janela tima para o lado direito do ponto de corte ser igual janela do lado esquerdo do ponto de corte. No entan- to, podemos aplicar os procedimentos descritos para as observaes somente direita de c e para as observaes somente esquerda de c, obtendo janelas timas diferentes para o lado esquerdo e para o lado direito. 59 Neste captulo, iremos descrever o procedimento proposto por Imbens e Lemieux (2008). 58 59 Avaliao Econmica de Projetos Socias l 137 e o h timo ser aquele que minimiza este critrio da validao cruzada: Na prtica, calculamos o erro quadrtico mdio do critrio de validao cruza- da para uma srie de valores fxos de h, e escolhemos o valor de h relacionado ao menor erro quadrtico mdio. No caso da regresso descontnua fuzzy, temos que estimar tambm como a probabilidade de receber tratamento est relacionada com Z. Neste caso, po- demos usar um modelo de regresso linear que relaciona a varivel T ao vetor Z. Da mesma maneira que fzemos anteriormente, podemos usar um modelo para as observaes que esto direita do ponto de corte e um modelo para as observaes esquerda do ponto de corte: E neste caso, o efeito mdio do tratamento ser dado pela razo entre a dife- rena dos interceptos: Podemos usar o mesmo critrio de validao cruzada para estimar a janela tima no caso em que a varivel dependente T. Neste caso, usaremos duas janelas diferentes na estimao do efeito mdio de tratamento na regresso descontnua fuzzy. A primeira janela seria aquela que minimiza , e a segunda seria aquela que minimiza . Imbens e Le- mieux (2008) argumentam que na prtica podemos usar a mesma janela para o numerador e para o denominador. Para minimizar o vis assinttico, podemos usar a menor janela escolhida por validao cruzada: Em alguns casos, pode existir um vetor de outras variveis explicativas alm de Z que esto correlacionadas com a varivel de interesse. A incluso destas outras variveis no modelo no pode afetar a estimao da descontinuidade, se todas as hipteses da estrutura de uma regresso descontnua so vlidas. Se os valores estimados mudarem com a incluso destas variveis adicionais, podemos desconfar que outros fatores tambm saltam em torno do ponto de corte e que o salto que ocorre em Y em torno de c no pode ser atribudo somente ao efeito do tratamento. Se estas demais variveis explicativas forem correlacionadas com Z, elas podem aumentar a preciso das estimativas ao diminuir o resduo da regresso. l Fundao Ita Social 138 Alm da estimao, necessrio fazermos testes de hipteses para verifcar se o efeito mdio do tratamento estaticamente signifcativo. No caso de uma regresso descontnua sharp, podemos estimar a equao (7.3.3) por mnimos quadrados ordinrios e usar o erro padro estimado nesta regresso. No caso de uma regresso descontnua fuzzy, podemos estimar o erro padro de forma fcil se entendermos este modelo como um caso particular do estimador de mnimos quadrados ordinrios em dois estgios. Usando a mesma janela para o modelo que relaciona Y com Z e para o modelo que relaciona T com Z, o sistema de equao que contm as duas equaes que combinam os modelos para as observaes direita e esquerda do ponto de corte dado por: no qual D indica se Z excedeu o valor c, isto , D uma varivel binria igual a 1 se Z maior que c e 0, caso contrrio. O estimador de MQO em dois estgios para o sistema acima, usando D como instrumento para T numericamente igual razo que representa o efeito m- dio do tratamento para o caso fuzzy se usarmos a mesma janela para as duas equaes do modelo. Neste caso, para fazermos inferncia podemos usar os er- ros padres estimados pelo mtodo de mnimos quadrados em dois estgios 10 . 7.4 Anlise Grfica O mtodo de regresso descontnua requer uma anlise grfca. Podemos veri- fcar vrias hipteses de uma estrutura de regresso descontnua atravs desse tipo de anlise. Em uma regresso descontnua, o efeito mdio do tratamento est relacionado ao valor da descontinuidade no valor esperado de Y em certo ponto. O primeiro grfco a ser feito um histograma que relaciona o valor mdio de Y com Z. Neste grfco, temos que observar se em torno do ponto de c h evi- dncia de uma descontinuidade na mdia condicional de Y. Alm disso, devemos verifcar se no existem outros saltos na expectativa condicional de Y em relao a Z. Se estes outros saltos existirem e forem grandes quando comparados ao salto que ocorre em torno do ponto de corte c, podemos desconfar que outros fatores alm da participao no tratamento esto infuenciando a relao entre Y e Z. O segundo grfco seria um histograma que relaciona o valor de outras variveis explicativas X que poderiam estar explicando a relao entre Y e Z. A ideia que se a descontinuidade de Y em torno do ponto de corte se deve somente ao tra- tamento, estas demais variveis X devem ter uma relao suave com Z, no apre- 60 Imbens e Lemieux (2008) computam as varincias assintticas para os estimadores e pro- pem um mtodo para estim-las de forma consistente. 60 Avaliao Econmica de Projetos Socias l 139 sentando saltos em torno deste ponto de corte c. No caso da regresso descontnua fuzzy, necessrio tambm fazer um grfco dos valores mdios de T em relao a Z para mostrar que de fato existe um salto na probabilidade de receber tratamento em torno do ponto de corte, c. Uma ltima anlise grfca sugerida por McCrary (2008) seria investigar se houve seleo dos indivduos em torno do ponto de corte olhando para o nmero de indivduos abaixo e acima deste ponto. Com este propsito, usamos um grf- co em que dividimos o suporte de Z em intervalos e estimamos o nmero de observaes em cada intervalo. Com este grfco, podemos avaliar se o nmero de indivduos muda de forma descontinuidade em torno do ponto de corte. Se houver uma mudana descontnua do nmero de indivduos em torno do ponto de corte, podemos desconfar que os indivduos manipularam o valor de Z, o que invalidaria a regresso descontnua. Por exemplo, no caso em que o prmio de mrito determinado pela nota em um teste de profcincia, se os indivduos conseguissem escolher a sua nota no teste, iramos observar um nmero maior de indivduos acima do ponto de corte do que abaixo do mesmo. 7.5 Comparao da RD com os outros mtodos Podemos entender a regresso descontnua no caso sharp como uma aplica- o muito particular da hiptese de seleo nos observveis (H1), usada pelos mtodos apresentados no captulo 5. No caso da regresso descontnua sharp, a hiptese de seleo nos observveis trivialmente satisfeita, pois condicional em Z, o tratamento completamente determinstico. Neste caso, para todos os indivduos com o valor de Z abaixo de c, T sempre igual a 0, e para os indivduos com valores de Z acima de c, T sempre igual a 1. Ou seja, condicional em Z, no h variao no tratamento e a seleo nos observveis sempre satisfeita. No en- tanto, a segunda hiptese usada pelos mtodos baseados em seleo nos obser- vveis a de sobreposio da regio de valores de Z tanto no grupo de tratados como no grupo de controles, Esta hiptese violada no mtodo de regresso descontnua, pois os indivduos tratados tero valores de Z acima de c enquanto os indivduos no-tratados tero valor de Z abaixo de c. Para todos os valores de z, a sempre um ou zero, e nunca est entre 0 e 1. Ao invs de assumirmos a hiptese de sobreposio, impomos continuidade das funes de expectativa condicional de Y em Z para o grupo de controle e tratamento. Esta hiptese de continuidade garante que podemos comparar estas duas funes ao longo de todos os valores de Z. A ideia da regresso descontnua no caso sharp que os indivduos que possuem valores de Z em torno do ponto de corte c so semelhantes na mdia, exceto que, por sorte, um indivduo teve um valor Z acima de c e o outro teve um valor de Z abaixo de c. Logo, podemos pensar a regresso descontnua como uma forma limite de pareamento, aquele que acontece em torno de um nico ponto. l Fundao Ita Social 140 Outra forma de interpretar a regresso descontnua sharp como um experi- mento aleatrio local. A ideia da regresso descontnua que, em torno do pon- to de corte, o status do tratamento selecionado de forma aleatria. Desta ma- neira, os indivduos em torno do ponto de corte so semelhantes na mdia em todas as suas caractersticas, exceto que por sorte um grupo obteve um valor de Z um pouco maior que c, e o outro grupo um valor um pouco menor. Neste sentido, dentre todos os mtodos apresentados neste livro, o mtodo de regres- so descontnua o que mais se aproxima de um experimento real (aleatrio). Na seo 7.3, mostramos que podemos entender a regresso descontnua fuzzy dentro do instrumental de varivel instrumental. Neste caso, a probabilidade de receber tratamento salta no ponto de corte, mas no de 0 para 1 como no caso sharp. No caso fuzzy, usamos a varivel binria que indica se Z maior que o pon- to de corte como instrumento para o tratamento, dado que estamos assumindo que a probabilidade muda em torno de c somente devido ao tratamento, e no aos demais fatores que podem estar afetando o resultado. Na regresso descon- tnua fuzzy, a variao na taxa de participao em torno do ponto de corte usa- da para estimar o efeito mdio do tratamento. Neste caso, a variao do resulta- do potencial em torno do ponto de corte ocasionada somente pela variao da taxa de participao induzida por Z quando este passa de valores abaixo de c para valores logo acima de c e no est relacionada com a variao de nenhum outro fator observvel ou no observvel. 7.6 Exemplo Ferraz e Finan (2011) usam o mtodo de regresso descontnua para estimar o efeito de uma possvel reeleio em corrupo. De acordo com os autores, os prefeitos que tm incentivo a se reelegerem so, em mdia, menos corruptos que os prefeitos que no tm a possibilidade de reeleio. Para estimar este efei- to, eles comparam municpios nos quais o prefeito incumbente ganhou as elei- es de 2000 com uma margem muito pequena de votos com municpios nos quais o prefeito incumbente perdeu as eleies por uma quantidade pequena de votos. Ou seja, eles comparam prefeitos que tentaram a reeleio e tiveram a votao em torno de 50%. No entanto, um deles fcou com um percentual de votos um pouco abaixo de 50 e perdeu a eleio; enquanto o outro fcou com um percentual um pouco acima de 50 e venceu a eleies. A ideia que estes pre- feitos so na mdia muito parecidos em caractersticas que afetariam corrupo e a capacidade de reeleio (como preferncias ideolgicas). A nica diferena que por sorte um obteve um votao um pouco maior que o ponto de corte, enquanto o outro obteve uma votao um pouco menor. Para estimar o efeito da reeleio para estes municpios que tiveram prefeitos com percentual de votos muito prximo a 50%, os autores estimam o seguinte modelo: Avaliao Econmica de Projetos Socias l 141 em que R mede o nvel de corrupo no municpio i, Z representa a diferena entre o percentual de votos do prefeito incumbente e o segundo colocado, I uma varivel binria que igual a 1 se Z 0, e 0, caso contrrio, f(Z ) represen- ta uma funo contnua e suave da margem de votos, como por exemplo, um polinmio. Alm disso, X o vetor que contm as caractersticas do municpio, como por exemplo, coefciente de Gini, populao, etc.; e o vetor W inclui ca- ractersticas do municpio que afetam o nvel de corrupo, como por exemplo, nmero de partidos polticos no legislativo, quantidade de recursos repassada ao municpio, etc. Usando os dados de auditorias realizadas pelo Tribunal de Contas da Unio (TCU) em 496 municpios brasileiros, os autores constroem uma medida de corrupo atravs da classifcao das irregularidades descritas nestes relatrios em trs categorias: (i) fraudes na contratao ou compra de bens e servios; (ii) super- faturamento de bens e servios; (iii) desvios de fundos pblicos para pessoas ou frmas privadas. Baseados nestas irregularidades classifcadas, eles constroem uma medida de corrupo que seria o total de recursos relativo a essas ativida- des irregulares expresso como frao do total de recursos auditados. Para obter as caractersticas dos municpios, os autores usaram os dados fornecidos pelo Instituto Brasileiro de Geografa e Estatstica (IBGE), Tribunal Superior Eleitoral (TSE) e Tesouro Nacional. A tabela 7.6.1 apresenta o principal resultado da regresso descontnua sharp estimada pelos autores. A coluna (1) desta tabela apresenta o caso para a es- pecifcao linear, isto, As colunas (2) e (3) usam um polinmio quadrtico em Z e outro cbico. Os resultados indicam que a reeleio tem um efeito negativo na corrupo.
Tabela 7.6.1: O Efeito da Reeleio na Corrupo Varivel Dependente: % de recursos auditados envolvendo corrupo
Fonte: Ferraz e Finan (2011) l Fundao Ita Social 142 Para verifcar se de fato existe uma descontinuidade na medida de corrupo em torno do ponto de corte da margem de votos, os autores fazem o grfco da funo da expectativa condicional de R em Z. O grfco 7.6.2 apresenta tal relao, e comprova a descontinuidade da medida da corrupo em torno do ponto de corte. Usando o instrumental de regresso descontnua, os autores atribuem esta descontinuidade ao efeito da reeleio. Grfco 7.6.2: O Efeito da Reeleio na Corrupo
Fonte: Ferraz e Finan (2011) Exerccios 1) Suponha que os estados brasileiros mudem a sua poltica educacional e os alunos para progredirem do ensino fundamental para o ensino mdio so obri- gados a fazer uma prova estadual de matemtica e portugus. Esta prova a aplicada a todos os alunos em todas as escolas pblicas estaduais no ltimo ano do ensino fundamental e para progredir eles devem acertar no mnimo 50% das questes em cada uma das provas. Se o aluno no passar em um dos exames ou em ambos, ele deve cursar aulas de recuperao no perodo de f- rias e tentar o exame novamente aps o perodo de recuperao. O objetivo avaliar se o curso de recuperao est tendo um impacto no desempenho dos Avaliao Econmica de Projetos Socias l 143 alunos. Para isso, observamos uma base de dados que contm as informaes de todos os alunos no ltimo ano do ensino fundamental em 2004 e as notas que eles obtiveram em cada um dos testes. Alm disso, observamos o desem- penho de todos os alunos em um teste padronizado no ltimo ano do ensino mdio. Para avaliar o programa de recuperao, propomos o seguinte modelo: em que Y representa o desempenho do aluno no teste padronizado ao fnal do ensino mdio, T uma varivel binria que igual a 1 se o aluno participou do curso de recuperao, X um vetor de caractersticas socioeconmicas do indivduo i e o fator no observvel do modelo. a) Discuta o vis do estimador de mnimos quadrados ordinrio no modelo acima. b) Como voc usaria o desenho do programa para estimar o efeito mdio da poltica de recuperao por uma regresso descontnua. Seria uma regresso descontnua fuzzy ou sharp? c) Discuta dentro do contexto da poltica em questo, as hipteses ne- cessrias para a validade do mtodo de regresso descontnua proposto em (b). 2) O governo gostaria de saber se uma poltica que expandisse o acesso a pla- nos de sade teria um efeito positivo na sade dos indivduos, pois os levaria a irem um maior nmero de vezes ao mdico. Para responder tal pergunta, usamos como medida de acesso ao servio de sade o nmero de vezes que o indivduo i foi ao mdico nos ltimos 12 meses. O modelo que gostaramos de estimar : em que Y o nmero de vezes que o indivduo i foi ao mdico, C uma varivel binria que igual a 1 se o indivduo i possui plano de sade, X um vetor de caractersticas socioeconmicas do indivduo i e o termo no observvel da equao. Nos Estados Unidos, ao completar 65 anos, todos os indivduos tm acesso a um plano de sade completo que pago pelo governo. Card, Dobkin e Maes- ta (2008) usam a descontinuidade quando o indivduo completa 65 anos para estimar o efeito do plano de sade no nmero de consultas mdicas. A ideia que os indivduos com 64 anos so semelhantes aos indivduos com 65 anos, l Fundao Ita Social 144 exceto que o segundo grupo tem plano de sade completo provido pelo go- verno. a) Alguns indivduos se aposentam aos 65 anos, e tm uma queda da renda anual. Como isso poderia causar um vis no estimador de regresso des- contnua? Considere o seguinte modelo que relaciona idade com acesso a plano de sa- de, em que mi uma varivel binria que assume valor igual a 1 se o indivduo tem 65 anos ou mais, e 0 caso contrrio. b) Qual a interpretao de ? c) Suponha que , faa um diagrama que ilustre a rela- o entre o resultado de interesse (Y ) e idade. d) Suponha que , faa um diagrama que ilustre a rela- o entre o resultado de interesse (C ) e idade. e) As hipteses do arcabouo de regresso descontnua so vlidas neste exemplo? Discuta cada uma delas. 3) Considere o seguinte modelo em que Y o resultado de interesse, T uma varivel indicadora de tratamen- to, Z seria um instrumento que infuencia a participao ou no no programa e D uma varivel binria igual a 1 se Z maior que c e 0, caso contrrio. Supo- mos que todas as hipteses no mtodo de regresso descontnua so vlidas. a) Qual seria o parmetro que captaria o efeito mdio local do trata- mento dentro do arcabouo de regresso descontnua? b) Suponha que ao analisar os dados, verifcamos que o salto na pro- babilidade de receber tratamento em torno de Z igual a c muito pequeno, sendo prximo de zero. De outra maneira, suponha que prximo de zero. O que aconteceria com o estimador do efeito mdio local proposto na letra (a)? c) Voc resolve analisar melhor os dados e percebe que existem in- Avaliao Econmica de Projetos Socias l 145 meras descontinuidades no grfco que relaciona a probabilidade de receber tratamento com o instrumento Z. Como voc interpreta esta evidncia? Esta evidncia invalida o uso de regresso descontnua? Suponha que, ao analisar os dados, voc percebe que existem inme- ros saltos no grfco que relaciona o resultado de interesse Y a Z. Como voc interpreta esta evidncia? Esta evidncia invalida o uso do mtodo de regres- so descontnua? 4) Devido a um aumento inesperado nos preos dos aluguis, o governo cede presso popular e resolve criar uma poltica que facilite o acesso casa pr- pria ao trabalhadores brasileiros. Para isso, o governo estabelece redues nos juros do crdito para casa prpria. Estas redues nos juros variam com a renda mensal do trabalho. Nos primeiros anos da poltica, os trabalhadores com ren- da at R$ 700,00 tm reduo de 2% ao ano, os com renda entre R$ 701,00 e R$ 1.500,00 tm reduo de 1% e os com salrio entre R$ 1.501,00 e R$ 3.000,00 tm reduo de 0,5% ao ano. Os demais trabalhadores no tm reduo na taxa de juros do crdito para compra de imveis. Suponha que o governo tem uma base de dados com informaes dos traba- lhadores em anos que antecederam a poltica e depois de sua implementao. Nesta base de dados, temos informao sobre as caractersticas do trabalhador como idade, sexo, renda mensal do trabalho, regio de domiclio e se o domi- clio prprio ou no. Com estes dados, vamos estimar o efeito dessa poltica de crdito sobre a probabilidade de adquirir um novo domiclio. Com esta base de dados, trs pesquisadores propem metodologias diferentes para estimar o efeito de tal poltica. O primeiro pesquisador prope o mtodo de diferenas em diferenas, o segundo usa o mtodo de variveis instrumentais e o ltimo se baseia no mtodo de regresso descontnua. Para cada um dos mtodos, (i) Descreva qual o parmetro de interesse. (ii) Discuta as hipteses necessrias para identifcar estes parmetros e interprete estas hipteses no contexto deste exemplo. (iii) Descreva o processo de estimao de cada um dos mtodos. (iv) Compare os resultados que seriam obtidos com cada mtodo. l Fundao Ita Social 146 Avaliao Econmica de Projetos Socias l 147 PARTE 3 Anlise de Retorno Econmico A parte III desse livro apresenta a anlise do retorno econmico de projetos so- ciais e polticas pblicas. A avaliao econmica de um projeto composta de duas etapas, a avaliao de impacto e a avaliao do retorno econmico. Estas duas etapas so complementares, sendo que a avaliao de retorno econmi- co realizada a partir dos resultados obtidos na avaliao de impacto. A avaliao de retorno econmico visa mensurao da viabilidade econ- mica de um projeto. Em outras palavras, o retorno econmico de um inves- timento compara o seu custo com o benefcio fnanceiro gerado, de forma a determinar se o investimento economicamente vivel. Assim, a avaliao de retorno econmico procura responder, principalmente, as seguintes questes: se o benefcio gerado pelo projeto maior do que seu custo; se o projeto vi- vel economicamente; e se existe algum projeto alternativo mais vivel. Calcular o retorno econmico importante porque, mesmo que um projeto tenha impacto positivo (estimado por meio da avaliao de impacto), pode acontecer uma situao em que seu custo seja to alto que inviabilize a repli- cao. Concluiramos, nesse caso, que o projeto funciona, mas no compensa. Muitas vezes, existem projetos que exibem um impacto de grande magnitude, mas quando comparados com seu custo, apresentam-se pouco viveis, ou seja, tm custo muito alto em relao aos benefcios que geram. Por analogia, imagine a deciso de comprar um carro. Se olharmos apenas o lado das benesses do carro como a potncia e o conforto , poderamos, por exemplo, escolher uma Ferrari. Entretanto, essa escolha no considera um ele- mento importante da anlise que o custo. Como vivemos em um mundo com recursos escassos, esse elemento fundamental nas tomadas de decises. E l Fundao Ita Social 148 um dos principais motivos de Ferrari no ser consumida por todos o custo. O mesmo deveria acontecer com o investimento nos programas sociais. Se anali- sarmos somente o impacto do programa que equivale s benesses da Ferrari, muitas vezes estaremos investindo em programas com alto impacto, mas que apresentam custo to elevado que no seriam viveis economicamente. A aplicao do conceito de viabilidade econmica em projetos sociais exige uma viso mais ampla do seu signifcado, pois no trivial pensar o projeto social da mesma forma que se pensa um investimento econmico. Isso porque o benefcio advindo do projeto social no auferido somente pelo fnancia- dor (a partir deste ponto, referido como investidor social). Grande parte dos benefcios auferida pelas pessoas que foram impactadas pelo projeto. Nesse sentido, um benefcio privado. Parte dos benefcios recebida ainda por pes- soas que no participaram do projeto, caracterizando-se como um benefcio pblico. O benefcio pblico ocorre uma vez que o projeto, ao atingir seus ob- jetivos e gerar benefcios para os participantes, tambm benefcia uma parte da sociedade, que ganha (indiretamente) com essas melhorias. Esse fenmeno, em que o projeto atinge indiretamente tambm os que no participam, de- nominado de externalidade. Vamos entender a aplicao dos conceitos mencionados anteriormente, no caso de avaliao de projetos sociais, por meio de um exemplo: o projeto Olimpada Brasileira de Matemtica das Escolas Pblicas - OBMEP, avaliado por BIONDI et al. (2012). A OBMEP tem como um dos principais objetivos me- lhorar a qualidade da educao pblica, especialmente no ensino de matem- tica. Para atingir esse fm, desempenha vrias aes, ou seja, incorre em custos. Apesar dos custos, esse projeto no um investimento fnanceiro no sentido clssico. O projeto no visa lucros para os fnanciadores, mas se ocorrer aumen- to da qualidade da educao, o ganho para o indivduo e para a sociedade des- se aumento pode ser interpretado como retorno social do projeto. O ganho para o participante (a criana) ser uma melhor formao e mais escolaridade, que ela levar por toda a vida benefcio privado. As externalidades (benef- cios pblicos), advindas da maior escolarizao dos participantes, podem ser vrias, como aumento da produtividade do trabalho, melhora na qualidade dos servios pblicos, diminuio da subnutrio infantil na gerao dos flhos desses tratados, entre outros. Se os custos do projeto social so considerados como investimento, e os seus benefcios, como receita proveniente desse investimento, para calcularmos o retorno econmico necessrio dimensionarmos o valor monetrio destes dois elementos. Avaliao Econmica de Projetos Socias l 149 CAPTULO 8 O Clculo do Retorno Econmico Betnia Peixoto 8.1 Benefcios do Projeto Social em Valores Monetrios O benefcio do projeto social ou poltica pblica o valor monetrio do seu im- pacto. Portanto, necessariamente, a avaliao de impacto antecede a avaliao de retorno econmico e somente se realiza quando a avaliao de impacto evi- dencia que o projeto gerou resultados. O que fazemos transformar o impacto em valor monetrio, de forma a obter o benefcio. A transformao do impacto estimado em benefcio uma das maiores difcul- dades da avaliao de retorno econmico. Ela exige a associao de um valor monetrio a um impacto, muitas vezes, no monetrio. A nica exceo so os projetos para gerao de renda, em que o indicador de impacto a renda, ou seja, j estimado em valor monetrio, no exigindo nenhuma transformao. Para os demais projetos sociais, que no tenham como indicador de impacto a renda dos participantes, a transformao do impacto em benefcio precisa ser realizada. A pergunta que se faz como efetuar essa transformao em projetos sociais com objetivos to diversos, como, por exemplo, a melhora na qualidade da educao, na sade, a reduo da criminalidade, entre outros. A resposta no simples. Para efetuarmos essas transformaes, temos que fazer hipteses que permitam atribuir um valor monetrio ao impacto. Essas hipteses variam de projeto para projeto e exigem um profundo conhecimento sobre a temtica qual se aplica. O avaliador precisa conhecer a literatura a respeito do indicador de impacto. Ele precisa saber quanto a mudana causada no indicador, pelo pro- grama, economiza para a sociedade e quanto aumenta o bem-estar, devido contribuio advinda das mudanas geradas nos benefcirios e nas circunstn- cias que os envolvem. Analisemos, por exemplo, um programa para o aumento da escolaridade, no qual o indicador de impacto a taxa de jovens com ensino superior completo. A literatura mostra que escolaridade mais alta propicia salrios maiores, menor l Fundao Ita Social 150 probabilidade de acessar programas sociais, menor probabilidade de encarcera- mento, entre outros efeitos. Na transformao do impacto estimado em benef- cio (valor monetrio do aumento da taxa de jovens com ensino superior comple- to), o avaliador tem que considerar: os ganhos salariais devido ao aumento dos salrios; a probabilidade daqueles jovens tratados acessarem programas sociais e a mdia dos custos em prover esses programas que seriam acessados caso o jovem no tivesse aumentado sua escolaridade isso equivale a uma economia para a sociedade; a probabilidade de os jovens tratados serem presos e o custo dessas prises que teriam acontecido se a escolaridade no tivesse sido aumen- tada o valor que a sociedade deixou de gastar, tambm uma economia. No seria possvel estimar todas essas probabilidades e ganhos se no conhecermos bastante a literatura para podermos fazer hipteses plausveis sobre todos os parmetros que sero empregados nessas estimaes. No caso de projetos na rea de sade, por exemplo, para prevenir a incidncia de diabetes, a transformao do impacto em benefcio tambm baseada em uma srie de hipteses. Digamos que o impacto do projeto seja mensurado em ter- mos da diminuio da taxa de incidncia de diabetes na populao. Uma menor taxa de incidncia de diabetes leva a: uma diminuio dos gastos com o sistema de sade para tratamento das doenas derivadas dessa; uma melhora na vida das pessoas que adquiriram hbitos saudveis por causa do projeto e que fca- riam doentes caso ele no existisse; economia para a sociedade com os dias de trabalho que seriam perdidos se as pessoas fcassem doentes; diminuio dos gastos com previdncia social que teria que ser paga aos doentes e invlidos. Se o projeto para melhorar a empregabilidade dos jovens, por exemplo, o ava- liador deve conhecer muito sobre o mercado de trabalho. Ele precisar determi- nar qual o valor para a sociedade do aumento do nmero de jovens emprega- dos. O fato de mais jovens entrarem no mercado de trabalho gera ganhos para os prprios indivduos (em termos de salrio) e para toda a sociedade como: au- mento da produo porque agora h mais pessoas contribuindo para o produ- to; diminuio da probabilidade de o jovem que arrumou emprego se envolver com lcool, drogas e crime, o que, por sua vez, leva a menores gastos com trata- mentos de toxicmanos e prises; melhora na qualidade do aprendizado dos f- lhos daqueles que foram empregados, pois tero uma melhor estrutura familiar; aumento do nvel de atividade econmica medida que boa parte dos salrios gasta no comrcio, entre outros efeitos. Dos exemplos apresentados, pode-se concluir que para determinar o valor ga- nho ou economizado pela sociedade devido ao projeto o avaliador ter que co- nhecer, profundamente, a literatura sobre o tema. S assim ser capaz de estimar as vrias facetas afetadas pelo projeto e adotar boas hipteses para a transforma- o. Ao fnal desse captulo, apresentamos trs exemplos de avaliaes de proje- tos no Brasil, nas reas de educao, criminalidade e sade. Outra questo que o avaliador ter que considerar na estimativa do benefcio do projeto que o impacto, em geral, perdura mais do que um perodo de tempo. Avaliao Econmica de Projetos Socias l 151 Algumas vezes o benefcio perdura por toda a vida produtiva do indivduo, como no caso dos projetos de qualifcao profssional; ou por sculos, como o caso de projetos de reforestamento. Outras vezes, os benefcios so grandes logo aps a implementao e reduzem-se ao longo do tempo, por exemplo, campanhas de preveno a doenas epidemiolgicas como a dengue. Existem tambm proje- tos que s geram efeitos muitos anos aps sua implementao, como aqueles para o aumento da escolaridade. O que todos esses casos tm em comum que os benefcios ocorrem em momentos distintos no tempo. Se os benefcios so recebidos em momentos diferentes, preciso considerar o tempo no clculo do benefcio total. No se pode, simplesmente, somar os bene- fcios em cada momento para obter o benefcio total. Isto acontece porque, em geral, as pessoas atribuem mais valor ao dinheiro no presente do que no futuro. Afnal, o que voc prefere: ganhar 500 reais hoje ou somente no ano que vem? A maioria das pessoas prefere hoje. Isso se chama preferncia intertemporal. Para calcularmos o benefcio monetrio total do projeto, precisamos considerar o efeito do tempo no seu recebimento. Para isso, montamos o fuxo de caixa do benefcio e utilizamos a taxa de desconto intertemporal para deduzir do mon- tante o fato de que o valor s ser recebido no futuro. A taxa de desconto inter- temporal indica quanto o indivduo valoriza o consumo presente em relao ao futuro, ou seja, o percentual pelo qual ele est disposto a abrir mo do consu- mo no presente para s faz-lo no futuro. Para efetuar o desconto intertemporal aplicamos, ento, os conceitos de valor presente e valor futuro oriundos da matemtica fnanceira. Esses conceitos so bastante intuitivos: i. Valor presente (VP) quanto determinado montante de dinheiro a ser recebido no futuro vale no tempo inicial do investimento; ii. Valor futuro (VF) quanto determinando montante de dinheiro rece- bido no tempo inicial valer em momentos posteriores. A frmula que relaciona estes dois conceitos : (1) Onde: n o nmero do perodo i a taxa de desconto intertemporal Para obter o benefcio total do projeto, aplicamos diretamente essa frmula, de forma a considerar o desconto intertemporal na soma dos benefcios ao longo do tempo.
(2) l Fundao Ita Social 152 Onde o VPTB o valor presente do benefcio total; VB o valor do benefcio no tempo inicial, se ocorrer de o benefcio ser imediato implementao; e VFB o valor do benefcio recebido nos n perodos t. A taxa de desconto intertemporal adequada uma deciso discricionria. Em geral, os economistas consideram a taxa de desconto intertemporal com sen- do igual taxa de juros. A intuio para isso que a taxa de juros seria a recom- pensa fnanceira por deixar de consumir hoje, para consumir amanh. Ela pode ser interpretada como a taxa sobre quanto os indivduos valorizam o presente em relao ao futuro. Quanto mais elevada a taxa de desconto intertemporal, mais as pessoas valorizam o consumo presente. Por outro lado, quanto menor essa taxa, menos as pessoas valorizam o consumo presente em relao ao fu- turo. A taxa de juros considerada como representativa da taxa de desconto intertem- poral a taxa de juros real. A taxa de juros real igual taxa de juros nominal menos a infao / defao. A taxa de juros nominal a de face, ou seja, aquela que paga quando fazemos um investimento. Por exemplo, se em determina- do ano uma aplicao na poupana rendeu 7,5% (taxa de juros nominal) e a infao acumulada foi de 6,5%, ento a taxa de juros real foi de 1%. Utilizamos a taxa de juros real porque o cmputo do montante do benefcio j est isento da infao / defao, pois quando o calculamos usamos as estimativas com os valores monetrios referentes ao ano-base (via de regra, em t ). Portanto, se usssemos a taxa de juros nominal, estaramos descontando a variao do valor da moeda duas vezes. No necessariamente precisamos igualar a taxa de desconto intertemporal taxa de juros. Muitas vezes, os avaliadores adotam taxas de desconto inter- temporal menores que a taxa de juros corrente. Isso acontece, porque, como a maioria dos projetos tem impactos de longo prazo, os avaliadores utilizam uma taxa de juros de longo prazo. A taxa de juros de longo prazo, em geral, menor que a taxa de juros corrente. Alternativamente, muitos estudos utilizam a taxa de juros dos Estados Unidos, por se tratar de uma economia mais estvel que a brasileira. Como a economia brasileira passou nas ltimas dcadas por profundas mudanas, a sua taxa de juros de longo prazo muito voltil e pode no ser uma boa estimativa para o futuro. Para entender melhor os conceitos trabalhados, est disponvel como ltimo tpico do captulo um exemplo fctcio de avaliao de retorno econmico de um projeto para qualifcao profssional de jovens. Avaliao Econmica de Projetos Socias l 153 8.2. Custo do Projeto Uma vez calculado o benefcio total, a outra dimenso necessria para a ava- liao de retorno econmico o custo do projeto. O custo considerado nesse tipo de anlise denominado custo econmico e transcende o custo contbil por considerar o custo de oportunidade do projeto. Vamos entender cada um desses conceitos: Custo econmico = custo contbil + custo de oportunidade O custo contbil todo dispndio que, via de regra, aparece nos demonstrati- vos contbeis. todo desembolso monetrio necessrio para o funcionamento do projeto, por exemplo, pagamento de conta de luz, de pessoal, aquisio de material, etc. O custo de oportunidade difere do custo contbil por ser um custo implcito, ou seja, em geral no aparece nos demonstrativos contbeis. O conceito do custo de oportunidade foi cunhado pela economia para desig- nar o rendimento que se deixa de obter ao realizar determinada escolha. Em outras palavras, o ganho que poderia advir da aplicao alternativa de um determinado recurso. Muitos projetos funcionam com um exguo oramento prprio, mas utilizam muitos recursos extras da sociedade. Por exemplo, um programa de fornecimento de sopa para pessoas carentes que utiliza mo de obra voluntria, que recebe os alimentos de um doador, que utiliza a cozinha cedida de uma instituio benefcente, entre outros recursos. O custo contbil provavelmente ser muito baixo e se somente ele fosse computado no clculo do retorno, esse estaria distorcido. O custo de oportunidade resolve o proble- ma da distoro do retorno, uma vez que computa quanto valeria: a aplicao da mo de obra em outra atividade produtiva; os alimentos doados se fossem aplicados de outra maneira, por exemplo, vendidos; o aluguel da cozinha para um restaurante. Nesse caso especfco, o custo econmico do projeto tem como maior parcela o custo de oportunidade. Ao utiliz-lo para o clculo do retorno econmico, esse no mais estaria distorcido. Um exemplo clssico de custo de oportunidade no terceiro setor o aluguel no pago. Muitos projetos sociais funcionam em imveis cedidos por parcei- ros, pelos quais o aluguel no pago. Como no pagam pelo recurso usado (o imvel), esse no consta no custo contbil. Porm, para o projeto funcionar ele ocupa aquele imvel. Nesse sentido, o projeto usa o recurso (o imvel), mesmo no pagando por ele e, portanto, esse custo precisa ser computado no clculo do retorno. O custo de oportunidade faz esse cmputo. Se o imvel fosse usa- do para outro fm, por exemplo, aluguel para ponto comercial, estaria gerando renda e remunerando o capital investido na sua aquisio. Portanto, o custo de oportunidade do uso do imvel pelo projeto o aluguel que ele deixou de render. l Fundao Ita Social 154 Para melhor compreenso, vejamos outro exemplo. Considere o projeto de curso profssionalizante ministrado no contraturno escolar. O jovem que es- colheu participar do curso deixou de fazer um estgio pelo qual receberia um salrio. Mesmo que seja desejado pelos gestores do projeto, o fato de o jovem assistir as aulas em vez de ir para o estgio remunerado um custo de opor- tunidade de participao no projeto e precisa ser computado na avaliao de retorno econmico. Ainda que esse jovem no fzesse o estgio, o tempo que ele permanece no curso poderia ser usado de forma alternativa para ajudar os pais nos afazeres domsticos, ou para cuidar dos irmos mais novos. Portanto, o custo dos afazeres domsticos e do cuidado com os irmos o custo de opor- tunidade de participar do projeto e precisa ser valorado. Outro custo de oportunidade, muito comum em projetos sociais, o dispn- dio de horas de trabalho dos voluntrios. Quando o projeto social funciona com a colaborao de voluntrios, o custo das horas trabalhadas por eles no aparece no custo contbil, simplesmente porque no foram pagas. Entretanto, para o seu funcionamento esse recurso (as horas de trabalho dos voluntrios) foi utilizado e o cmputo do seu custo deve consider-lo. O uso alternativo desse recurso seria despender as horas em servio remunerado. Assim, o custo de oportunidade do trabalho voluntrio quanto esses profssionais estariam recebendo caso fossem remunerados. Existem muitos outros exemplos de custo de oportunidade, especfcos para cada projeto social ou poltica pblica e para descobri-los basta aplicar o con- ceito na anlise de cada caso. Ao fnal do captulo, apresentamos trs exemplos de custos econmicos considerados em avaliaes no Brasil. Calculado o custo de oportunidade e o custo contbil, a soma de ambos resulta no custo econmico. Assim como acontece com o benefcio, o custo econmi- co pode ocorrer em diferentes momentos no tempo. Novamente, vale relem- brar que no podemos somar o valor gasto em cada momento para obtermos o custo total sem considerar a taxa de desconto intertemporal. Para isso, apli- camos os conceitos de valor presente e valor futuro da matemtica fnanceira e obtemos a seguinte relao:
(3)
Onde o VPTC o valor presente do custo total; VC o valor do custo no tem- po inicial; e VFC o valor do custo incorrido nos n perodos t. Essa frmula anloga quela aplicada ao clculo do benefcio total do pro- grama. Assim, toda a discusso em relao taxa de desconto intertemporal realizada na seo 8.1 continua vlida. Alm disso, no podemos esquecer que Avaliao Econmica de Projetos Socias l 155 a taxa de desconto intertemporal tem que ser a mesma considerada no clcu- lo de Valor Presente do Benefcio Total, ou seja, ao escolhermos uma taxa de desconto intertemporal, essa ser a mesma para todos os clculos do retorno econmico. 8.3. Medidas do Retorno Econmico Aps a estimao do custo e do benefcio de um projeto social ou poltica p- blica, estamos aptos a calcular o seu retorno econmico. O retorno econmico visa a identifcao da viabilidade econmica do projeto, por meio da compa- rao do seu custo com o seu benefcio. A viabilidade econmica se refere ao fato de o projeto gerar um lucro social, ou seja, seu benefcio ser maior que seu custo para a sociedade. O clculo do retorno permite descobrir a viabilidade econmica de um projeto social ou poltica pblica e tambm comparar alternativas de investimentos em projetos diferentes. A comparao de dois projetos indica que aquele com maior retorno o mais atrativo como investimento. Entretanto, preciso ter cuidado com essa comparao. A comparao de projetos s deve ser realizada se eles forem semelhantes em seus objetivos e pblico-alvo. Cada rea de investimento social apresenta re- tornos diferenciados para a sociedade, mas todas precisam de investimento. A deciso de investimento no passa somente pelo retorno de cada rea, mas tambm pela vocao de cada instituio fnanciadora. Por exemplo, projetos de educao bsica costumam gerar retornos elevados para a sociedade pelas caractersticas inerentes ao seu pblico-alvo o impacto perdura por toda a vida do participante. Projetos para idosos, em geral, apresentam retornos mais baixos, tambm por caractersticas inerentes ao pblico-alvo o impacto per- dura poucos anos. No seria correto usar a comparao do retorno econmi- co de ambos para decidir em qual investir, pois essas duas reas sociais tm caractersticas muito diferentes. O ideal seria comparar somente o retorno de projetos de educao bsica com objetivos semelhantes e comparar somente o retorno de projetos para idosos e, dentre cada grupo, decidir em qual investir. Alm disso, o nmero de atendidos e a capacidade de expanso do projeto tambm devem ser levados em considerao. Existem vrias formas de calcularmos o retorno e cada uma delas constitui uma estatstica de retorno econmico. A diferena entre as estatsticas ape- nas a tica da sua construo, pois todas medem a relao entre o custo e o benefcio do projeto. Neste livro, apresentamos quatro estatsticas de retorno econmico: Valor Presente Lquido (VPL), Taxa Interna de Retorno (TIR), Razo Custo-Benefcio e Razo Custo-Efetividade. l Fundao Ita Social 156 O VPL e a TIR decorrem da aplicao direta de conceitos da matemtica fnan- ceira. A Razo Custo-Benefcio um conceito aplicado em diversas reas da economia. Essas estatsticas so muito comuns na anlise de viabilidade eco- nmica de investimentos do setor privado. Por fm, a Razo Custo-Efetividade calculada quando no for possvel transformar o impacto encontrado em be- nefcio, ou seja, quando no for possvel atribuir valor monetrio ao impacto. Veremos detalhadamente cada uma dessas estatsticas. 8.3.1 Valor Presente Lquido VPL O valor presente lquido estima o retorno por meio da subtrao do valor pre- sente do custo total pelo valor presente do benefcio total. A intuio que se os benefcios so maiores que os custos, ento o projeto vivel economica- mente. Ou seja, o projeto gera para a sociedade mais valor do que retira dela em termos do investimento necessrio para sua execuo. Assim, temos: VPL= Benefcio Custo (4) Considerando que os benefcios e os custos acontecem em momentos diferen- tes no tempo, para realizarmos essa subtrao, precisamos que ambos estejam a valor presente de um mesmo perodo. Considerando o primeiro ano do investimento, trazemos os valores do benefcio e do custo de cada ano a valor presente desse perodo, por meio da frmula:
(5)
A anlise do resultado : Se VPL > 0 retorno positivo, o projeto vivel economicamente, pois seu benefcio supera o custo. Se VPL < 0 retorno negativo, o projeto no vivel economicamente, pois seu custo supera o benefcio gerado. Se VPL = 0 retorno neutro, valor do benefcio gerado igual ao custo incor- rido. 8.3.2 Taxa Interna de Retorno - TIR A taxa interna de retorno a taxa de oportunidade de investir o recurso no Avaliao Econmica de Projetos Socias l 157 projeto. Ela representa o retorno implcito do investimento. Matematicamente, a TIR a taxa de desconto intertemporal implcita que iguala o benefcio do projeto ao seu custo, de forma que o valor presente lquido seja zero. Assim:
(6)
Ou, reagrupando os termos de (6), temos:
Calculadoras fnanceiras ou softwares fazem essa estimao. A TIR uma taxa anual, ou na unidade de tempo utilizada para construir o fu- xo de caixa. Para interpretarmos o resultado da TIR, necessria a comparao com a TIR de outro projeto ou com uma taxa mnima de atratividade - TMA. A taxa mnima de atratividade a taxa de juros mnima que um investidor pre- tende obter com o seu investimento. Assim a TMA pode ser a taxa de juros bsica do mercado, a taxa de remunerao da poupana ou outra taxa que se considerar a mnima para remunerar um investimento. Assim, so trs os resultados possveis: Se a TIR > TMA, o projeto vivel economicamente, pois o retorno gerado maior que a taxa mnima de atratividade. Ou seja, o projeto tem um retorno implcito maior do que o mnimo considerado pela sociedade como razovel. Se a TIR < TMA, o projeto no vivel economicamente, porque seu retorno menor que a mnima de atratividade. Ou seja, o projeto tem um retorno im- plcito menor do que o mnimo desejado. Se a TIR = TMA, o projeto est em uma zona de indiferena de retorno, mas economicamente vivel. Ou seja, o projeto gera o mnimo desejado pela so- ciedade. 8.3.3 Razo Custo-Benefcio A Razo Custo-Benefcio uma das estatsticas de retorno econmico mais uti- lizadas, devido sua fcil compreenso. No dia a dia, costumamos fazer anli- ses de custo-benefcio em todas as nossas decises tomadas. Em geral, quando estamos diante de uma escolha, pensamos nos prs e nos contras que podem advir da deciso, para somente depois balizarmos nossas aes. Por exemplo, l Fundao Ita Social 158 com relao compra de um automvel: primeiramente analisamos a potn- cia, o custo de manuteno, o conforto, o design e vrios outros aspectos. De- pois, verifcamos o custo do automvel. Por fm, relacionamos os benefcios de cada modelo e comparamos com o custo. Somente depois de todo esse pro- cesso que decidimos pela compra. Quando se realizam essas comparaes, o que estamos fazendo de forma intuitiva uma anlise custo-benefcio. No caso de projetos privados e sociais a anlise no pode ser intuitiva. O que se faz relacionar o custo e o benefcio do projeto por meio da Razo Custo-Bene- fcio. Essa razo fornece uma estatstica de quanto o retorno para a sociedade de cada real investido no projeto. Para o seu clculo basta dividir o benefcio total pelo custo econmico total 3 . Tanto o benefcio quanto o custo tm que estar a valor presente de um mesmo perodo de tempo. Razo Custo-Benefcio = VPTB / VPTC (7) Onde t indica o tempo n, no qual o benefcio e o custo foram calculados. A in- terpretao do resultado nos fornece o montante de benefcio que ser gerado por cada real investido. Por exemplo, se a Razo Custo-Benefcio foi de 1,5, sig- nifca que a cada real investido o benefcio gerado ser de um real e cinquenta centavos. Portanto, o projeto vivel economicamente. Por outro lado, se a Razo Custo-Benefcio for de 0,60, signifca que cada real investido no projeto valer no futuro apenas sessenta centavos. Ou seja, o dinheiro investido per- deu valor com o projeto, pois esse no foi capaz de gerar benefcios sufcientes para compensar os custos. Se quisermos saber o retorno para a sociedade em termos percentuais, aplica- mos a seguinte frmula: Retorno % = (Razo Custo-Benefcio - 1)*100 (8) Esse resultado nos fornece quanto o investimento no projeto gera no futuro em termos percentuais. Se a Razo Custo-Benefcio de 1,5, ento o retorno ser de 50%. Portanto, o projeto apresenta retorno positivo para a sociedade, sendo vivel economicamente. Com a Razo Custo-Benefcio de 0,6, o retorno ser de -40%, ou seja, retorno negativo, indicando que o programa no vi- vel economicamente. O retorno percentual , somente, uma outra maneira de apresentar o mesmo resultado da razo benefcio-custo. A deciso de como apresentar os resultados escolha discricionria do avaliador e depender do seu conhecimento prvio do pblico para o qual se dirige, de modo a determi- nar qual a forma de mais fcil compreenso. 61 Apesar de a razo ser a diviso do benefcio pelo custo razo benefcio-custo, adotamos a nomenclatura razo custo-benefcio por ser a denominao difundida nacionalmente. Em ingls o termo beneft-cost ratio. 61 Avaliao Econmica de Projetos Socias l 159 8.3.4 Razo Custo-Efetividade A Razo Custo-Efetividade uma alternativa para a comparao dos custos com os benefcios dos projetos, quando no se deseja, ou quando no pos- svel, valorar monetariamente o impacto. Essa estatstica dimensiona o impac- to em relao aos custos, sem a transformao daquele em benefcio. Assim, utilizamos a Razo Custo-Efetividade quando no possvel encontrar boas hipteses para transformar o impacto estimado em valor monetrio ou caso no seja interessante essa transformao. Alguns projetos tm indicadores de impacto de difcil valorao. Por exemplo, projetos para a preservao das baleias. O impacto ser medido em termos de nmero de baleias salvas. Para transformar o impacto em benefcio teramos que saber quanto vale para a sociedade cada baleia salva. Isso exigiria hip- teses nada triviais. Outras vezes, por questes ideolgicas, os avaliadores no querem atribuir valor a alguns indicadores de impacto. No caso de projetos para preveno de doenas, em que o impacto o nmero de vidas salvas. Para transformar esse impacto em benefcio preciso valorar a vida. Muitos autores consideram que o valor da vida quanto a pessoa vai produzir no mercado de trabalho, ou seja, quanto de salrio receber ao longo da sua vida laboral. Isso pode parecer lgico para alguns. Entretanto, para outros, pode parecer um absurdo, pois o valor da vida transcende o seu sentido econmico. Nos dois exemplos, o avaliador poderia optar por apresentar a Razo Custo-Efetividade. A Razo Custo-Efetividade calculada pela diviso do impacto estimado (na avaliao de impacto) pelo custo econmico total: Razo Custo-Efetividade= impacto estimado / VPTC (9) Esta estatstica fornece quanta unidade de impacto se obtm por real gasto. Por exemplo, no caso do projeto para preservao das baleias, a Razo Cus- to-Efetividade fornece quantas baleias foram salvas para cada real gasto. Se a Razo Custo-Efetividade de 0,000003, signifca que a cada real investido salva 0,000003 baleias. A fm de tornar o resultado mais intuitivo, podemos multi- plicar o resultado por 1.000.000. Assim, teramos que, para cada 1.000.000 de reais investidos no programa, trs baleias so salvas. No exemplo do projeto de preveno s doenas, a Razo Custo-Efetividade indica quantas vidas foram salvas para cada real despendido com o programa. Se a Razo Custo-Efetivida- de de 0,00045 e multiplicarmos esse resultado por 100.000, teremos que cada cem mil reais investidos no projeto salvam 45 vidas. Aps calcular a Razo Custo-Efetividade, a pergunta se o valor encontrado seria alto ou baixo. A resposta s poder ser fornecida pelas outras estatsticas de retorno econmico. Isso indica que essa estatstica, apesar de considerada l Fundao Ita Social 160 uma estatstica de mensurao de retorno econmico, no permite que seja avaliada a viabilidade econmica do projeto. Por esse motivo, deve sempre que possvel ser substituda pelas outras estatsticas apresentadas nesse ca- ptulo. Mesmo com essa limitao, a estatstica de custo-efetividade muito usada para comparar projetos. Lembre-se que a comparao deve se restringir a projetos com o mesmo indicador de impacto, o mesmo pblico-alvo e a mes- ma fnalidade. Se o gestor tem que decidir entre dois projetos, ele escolher o que tem maior custo-efetividade, pois com o mesmo custo mais impacto atingido. No exemplo da baleia, se uma outra metodologia de preservao das baleias fosse aplicada com Razo Custo-Efetividade de 0,000001, esta no seria prefervel quela em que a Razo Custo-Efetividade de 0,000003, pois com o mesmo montante menos baleias so preservadas. Algum poderia argumentar que para comparar dois projetos poderamos analisar somente o impacto estimado. Entretanto, a comparao do impacto estimado poderia levar a concluses errneas, pois pode ocorrer a situao em que um projeto tenha impacto maior do que o outro, mas por seu custo ser muito mais elevado, tenha menor Razo Custo-Efetividade. 8.4 Anlise de Sensibilidade A anlise de sensibilidade a ltima etapa da avaliao econmica. Seu obje- tivo testar a sensibilidade (variao) dos resultados da avaliao em relao aos parmetros utilizados. Como a avaliao econmica baseada em mto- dos estatsticos, que esto sujeitos a erros, e em parmetros escolhidos s ve- zes de forma discricionria, faz-se necessrio testar se os resultados encontra- dos sofreriam alterao caso a amostra e os parmetros da avaliao fossem diferentes. Assim, a anlise de sensibilidade uma tcnica de verifcao de robustez dos resultados da avaliao. O termo robustez em avaliao empre- gado no sentido fgurado de fora da avaliao, ou seja, sua confabilidade. Toda avaliao econmica envolve um conjunto de informaes incertas. A incerteza se deve s variaes da amostra e ao espectro de plausveis valores para os parmetros. Por exemplo, podemos calcular o retorno econmico con- siderando uma taxa de desconto intertemporal de 5%. Entretanto, seria plau- svel utilizar uma taxa de desconto de 6% ou 4%, entre outros valores. Nesse caso, na anlise de sensibilidade, refazemos a avaliao de retorno econmico com essas possveis variaes da taxa de desconto intertemporal, para verifcar se os resultados no sofrem alterao. Ento, na prtica, a anlise de sensibilidade implica em refazer a avaliao econmica alterando os parmetros utilizados e verifcar se as estatsticas de retorno econmico continuam com o mesmo resultado. Se o resultado man- Avaliao Econmica de Projetos Socias l 161 tido, dizemos que ele robusto. Isso signifca que, mesmo que nossa estimao apresentasse um erro, o valor real fosse diferente do estimado, o resultado no se alteraria. Existem vrias tcnicas para se realizar a anlise de sensibilidade. Nesse captu- lo abordaremos uma delas, conhecida como anlise de sensibilidade univaria- da (univariate sensitivity approach). A anlise fcil de ser realizada e permite considerar os dois tipos de incertezas da avaliao econmica a causada pe- las variaes da amostra e pelo espectro de plausveis valores dos parmetros. Como vimos ao longo desse livro, a avaliao econmica de um projeto social envolve a estimao de vrios parmetros para os quais utilizamos amostras e tcnicas estatsticas. Isso acontece, por exemplo, na mensurao do impacto do projeto, quando os mtodos de regresso so empregados. Ao utilizarmos amostra para estimar determinado parmetro na populao, incorremos em erros de estimao devido a caractersticas da amostra analisada. Provavelmen- te, a seleo de uma amostra diferente levaria a valor diverso do parmetro. A construo do intervalo de confana procura captar os possveis valores que o parmetro poderia assumir se amostras diferentes fossem utilizadas, com uma probabilidade de certeza. Para considerar a incerteza proveniente de variaes na amostra, em geral, se considera o menor e o maior valor possvel do parmetro, ou seja, os valores do limite inferior e superior do intervalo de confana a 95% ou 90% de confana. Para cada um desses valores, recalculamos as estatsticas de retorno econ- mico e verifcamos a manuteno dos resultados. Se os resultados tiverem se mantido, ento dizemos que o retorno robusto. Esse procedimento repeti- do para cada um dos parmetros estimados com base em amostras. O procedimento para o teste de sensibilidade em relao s incertezas pro- veniente dos valores dos parmetros similar ao proveniente da variao na amostra. A diferena que, nesse caso, no temos os valores dos limites supe- riores e inferiores com uma probabilidade de certeza, porque os parmetros foram escolhidos discricionariamente, com base em conhecimento prvio do avaliador. Assim, a determinao de quais valores esse parmetro poderia as- sumir tambm ser escolha discricionria e difcil. Uma forma muito utilizada pelos avaliadores para determinar os menores e maiores valores a anlise dos valores passados do parmetro. A taxa de desconto intertemporal um exemplo de parmetro escolhido dis- cricionariamente pelo avaliador. Como vimos, alguns economistas consideram essa taxa igual taxa de juros real da economia. Entretanto, existem vrias ta- xas de juros, por exemplo, a taxa bsica chamada de SELIC, a taxa preferencial de juros, a taxa de remunerao da poupana, etc. Alm disso, tambm exis- tem vrios ndices de infao e defao, como ndice de Preos ao Consumi- l Fundao Ita Social 162 dor Amplo (IPCA) e o ndice Geral de Preos (IGP). Assim, surge uma incerteza quanto preciso do retorno econmico calculado, devido discricionarieda- de da escolha desse parmetro. Para fazer a anlise de sensibilidade escolhe- mos o menor e o maior valor da taxa de juros real da economia, de acordo com a srie histrica das vrias taxas existentes. O raciocnio anterior, para a taxa de desconto intertemporal, se aplica a qual- quer outro parmetro considerado na avaliao econmica. Pode-se, por exemplo, utilizar parmetros (incertos) para a estimao dos custos de opor- tunidade ou at mesmo dos custos contbeis. Desse modo, faz-se a anlise de sensibilidade para cada um dos parmetros discricionariamente adotados. Portanto, existem vrios parmetros que utilizamos na avaliao econmica que podem e devem ser testados na anlise de sensibilidade a fm de que pos- samos confrmar a robustez do retorno. Alm de testar o efeito no retorno econmico de mudanas em cada parme- tro, mantendo os demais constantes, os avaliadores tambm testam a varia- o conjunta de dois ou mais parmetros a fm de obterem um espectro ainda maior de testes e verifcar, de forma mais precisa, a robustez dos resultados. Cada novo clculo do retorno, supondo valores diferentes dos parmetros, chamado comumente de cenrios. Considere x o nmero de parmetros a serem analisados. Cada parmetro ter o seu limite inferior e limite superior e seu valor original. Assim, temos x vezes 3 elementos a serem combinados menos a combinao original da avaliao. O total de cenrios dado por: Total de cenrios = - 1 (10)
Aps montarmos todos os cenrios, calculamos a proporo daqueles que tiveram resultados opostos ao da avaliao, em que o valor presente lquido encontrado foi negativo ao invs de positivo, por exemplo. Quanto menor o percentual de cenrios com resultados contrrios ao da avaliao, mais robusto o seu resultado ser. Quanto maior o percentual de cenrios com resultados contrrios ao da avaliao, mais frgeis os resultados estimados. A fm de evitar que o relatrio da avaliao fque enfadonho, os avaliadores no costumam reportar o resultado de cada cenrio. Eles apenas descrevem os parmetros testados, o nmero total de cenrios e o percentual de estimativas contrrio ao da avaliao.
8.5 Exemplo Fictcio Neste ponto, fnalizamos a teoria relativa avaliao econmica de projetos Avaliao Econmica de Projetos Socias l 163 sociais, e em especial, a avaliao de retorno econmico, tema especfco deste captulo. Para fxar melhor o contedo e servir de roteiro para futuras avalia- es de retorno econmico, apresentamos a seguir a avaliao econmica de um projeto fctcio, realando todas as etapas e clculos necessrios estima- o do retorno do projeto. Nome do projeto: Trabalha Brasil Objetivo: inserir jovens no mercado de trabalho. Pblico alvo: jovens nos dois ltimos anos do ensino mdio. Aes: curso profssionalizante com durao de dois anos, oferecido no con- traturno escolar. Nmero de benefcirios: 150 indivduos. Indicador de impacto: empregabilidade dos jovens. Resultado da estimao de impacto um ano aps o fm do projeto: em m- dia, 10% dos tratados conseguiram emprego por causa do projeto. 8.5.1 Clculo do Benefcio Transformao do impacto em benefcio: Dos 150 participantes 10% conseguiram emprego por causa do projeto. Ento, o projeto conseguiu inserir 15 jovens no mercado de trabalho, que no o aces- sariam se no tivessem participado do curso profssionalizante. Para transformar o impacto em benefcio considere as seguintes hipteses: i. O benefcio de colocar o jovem no mercado de trabalho o salrio que ele recebe. Esse equivale ao que ele produz para a sociedade; ii. Na mdia os benefcirios empregados recebem R$ 1.000,00. Esse va- lor foi calculado com base nas informaes de salrio informadas pelos jovens. Para calcular o benfco do projeto por um ano multiplicamos o nmero de jovens que esto empregados por causa do projeto (15) pelo salrio mdio que recebem por ms (R$ 1.000,00) por 12 meses perfazendo um total de R$ 180.000,00 por ano. l Fundao Ita Social 164 Fluxo de caixa e clculo do benefcio total: Para elaborar o fuxo de caixa considere que: iii. Se no fosse o projeto, os jovens benefcirios entrariam no mercado de trabalho, de qualquer forma, cinco anos aps o fm do projeto. Ento, o be- nefcio perdura durante cinco anos. iv. A taxa de desconto intertemporal de 5%. A fgura a seguir ilustra o fuxo de caixa.
Para somar os valores em momentos diferentes no tempo, aplicamos a taxa de desconto intertemporal e calculamos o Valor Presente Total do Benefcio em :
Portanto, o benefcio total do projeto a Valor Presente em de 742.196 reais. O clculo do impacto, consequentemente, do benefcio s considerou o be- nefcio individual. As externalidades advindas do salrio dos jovens inseridos no mercado de trabalho por causa do projeto no foram computadas. Dessa forma, sabemos de antemo que esse benefcio est subestimado. O benefcio real deve ser maior do que o estimado pela avaliao, fazendo com que o seu retorno tambm seja maior. 8.5.2 Clculo do Custo Econmico: Para o funcionamento dos cursos, a gesto do projeto despende recursos com salrio dos professores, material de laboratrio, apostilas e lanches fornecidos Avaliao Econmica de Projetos Socias l 165 para os alunos tabela 1. Alm dos valores efetivamente pagos, o projeto uti- liza o laboratrio fornecido por uma empresa parceira que no cobra aluguel, luz ou gua. Esse valor computado no custo de oportunidade. Tambm os alunos, ao decidirem alocar seu tempo nas aulas em vez de investi-lo em outras atividades, incorrem no custo de oportunidade tabela 2. Os valores das tabe- las se referem aos custos de um ano de funcionamento. Custo econmico = custo contbil + custo de oportunidade Custo econmico = 137.000,00 + 220.450,00 = 357.450,00 Assim, o custo do projeto de 357.450,00 reais por ano. Os jovens permane- cem no projeto por dois anos. Fluxo de caixa e clculo do custo econmico total: A fgura a seguir ilustra o fuxo de caixa dos custos do projeto:
Para somar o custo do projeto nos diferentes momentos do tempo, aplicamos a taxa de desconto intertemporal de 5%, exatamente igual ao clculo do bene- fcio total. Note que estamos trazendo o custo do projeto a valor presente em l Fundao Ita Social 166 . Portanto, o custo desse perodo j est em valor presente.
Assim, o custo econmico total do projeto em de 697.878,57. 8.5.3 Retorno econmico Clculo do Valor Presente Lquido O fuxo de caixa completo do projeto :
Considere a taxa de desconto intertemporal de 5%. O Valor Presente Lquido :
Como j conhecamos o valor presente do benefcio e do custo, o VPL poderia ser calculado de forma alternativa: VPTB : 742.196,00 VPTC : 697.878,57 VPL = VPTB VPTC VPL = 742.196,00 - 697.878,57 = 44.317,43 Avaliao Econmica de Projetos Socias l 167 O resultado signifca que os benefcios do projeto excedem os custos em 44.317,43 reais. Ento, podemos concluir que o projeto apresenta um retorno econmico po- sitivo para a sociedade, sendo vivel economicamente. Clculo da Taxa Interna de Retorno No exemplo do projeto Trabalha Brasil a TIR de 7%. A frmula para seu cl- culo :
Para obtermos a TIR utilizamos o software Excel 4 , no qual inserimos o fuxo de caixa, selecionamos as clulas e inserimos a funo TIR, como apresentado na fgura a seguir: A interpretao da TIR depende da taxa mnima de atratividade que considerar- mos. Suponha que a taxa mnima de atratividade seja de 5%. Ento, a TIR de 7% in- dica que o projeto vivel economicamente, pois tem um retorno implcito maior do que o mnimo desejado pelo investidor. Clculo da Razo Custo-Benefcio Dos clculos anteriores temos que: VPTB : 742.196,00 VPTC : 697.878,57 Razo Custo - Benefcio =
Razo Custo - Benefcio = 62 possvel obter a TIR com calculadora fnanceira e outros pacotes computacionais. Op- tamos por apresentar o exemplo utilizando o Excel, por ser um software muito difundido. 62 l Fundao Ita Social 168 O resultado indica que para cada real gasto no projeto, o retorno para a socie- dade ser de 1,06 reais. Lembre-se que esse valor foi calculado considerando uma taxa de desconto intertemporal de 5%. No exemplo: Retorno = (1,06 - 1)*100 = 6,0% Ou seja, sob uma taxa de desconto intertemporal de 5%, o retorno do projeto de 6%. Exemplo 1: Projeto para melhora na qualidade da educao (BIONDI et al. 2012): O projeto Olimpada Brasileira de Ma- temtica das Escolas Pblicas - OBMEP tem como objetivo a melhora da qualida- de da educao em matemtica nas es- colas pblicas brasileiras. A unidade tra- tada so as escolas pblicas e o indicador de impacto a nota mdia da escola na Prova Brasil dos alunos do 9 ano (antiga 8 srie). A avaliao de impacto utilizou metodologia de diferenas em diferen- as com dados da Prova Brasil de 2005 e 2007. Os resultados mostram que o proje- to melhora a nota mdia das escolas par- ticipantes (foram utilizados vrios mto- dos no clculo do impacto). Para transformar o impacto em benefcio, os autores consideraram as seguintes hi- pteses: i. O impacto positivo estimado na nota mdia dos alunos da 8 srie vale em valores absolutos para todos os alunos matriculados nas escolas participantes do projeto. ii. A melhora no desempenho dos jo- vens na 8 srie afetar os salrios fu- turos dos jovens no mercado de tra- balho - com elasticidade estimada de 0,3, segundo estudo de Curi e Mene- zes-Filho (2007, apud BIONDI et al., 2012) iii. Os retornos da educao no sal- rio so constantes no tempo. Com base nos dados da Pnad 2007, os au- tores projetaram qual seria o salrio anu- al correspondente de um jovem com 18 anos de idade e oito anos de estudo. Para obter o benefcio do projeto multiplica- ram o impacto na nota em relao aos sa- lrios futuros, considerando a elasticida- de pressuposta. Depois, multiplicaram o impacto do projeto no aluno mdio pelo nmero de alunos benefciados, assim obtiveram o benefcio do projeto. No clculo do custo, o trabalho conside- ra dois cenrios: apenas com o custo con- tbil por aluno, que de R$ 2,00; e com o custo econmico (contbil + oportuni- dade) calculado com base no custo eco- nmico de outro projeto similar, a Olim- pada de Lngua Portuguesa Escrevendo o Futuro, concurso semelhante OB- MEP realizado pela Fundao Ita Social e Cenpec. Para os dois cenrios a taxa de desconto intertemporal considerada de 5%. Os autores calculam o VPL total do pro- jeto, o VPL por aluno e a TIR, diferencian- do as estatsticas de retorno para escolas e alunos que s participaram uma vez da OBEMP, que participaram duas e trs ve- zes. Alm disso, repetem os clculos con- siderando os dois cenrios de custo. Em seguida, calculam a mdia de cada esta- tstica estimada. Os resultados apontam para um VPL total mdio de 901 milhes, um VPL por aluno mdio de 181,70 reais e uma TIR mdia de 45% ao ano. Assim, concluem que a OBMEP apresenta uma taxa de retorno elevada e gera benefcios salariais futuros aos jovens participantes. Avaliao Econmica de Projetos Socias l 169 Exemplo 2: Projeto para preveno da violncia (PEIXOTO, 2010). O projeto Fica Vivo foi implementado de forma piloto em uma das favelas mais violentas de Belo Horizonte, Minas Gerais, no ano de 2002. O objetivo do projeto a reduo dos nmeros de homicdios, por meio de aes que combinam poli- ciamento ostensivo com aes sociais. A unidade tratada a favela e o indica- dor de impacto a taxa de homicdios por cem mil habitantes. A avaliao de impacto utilizou a combinao da me- todologia de pareamento por escore de propenso com a de diferenas em di- ferenas e os dados foram provenientes do Banco de Dados Georeferenciados da Polcia de Minas Gerais 2000 a 2006 e o Censo Demogrfco do IBGE 2000. Os resultados mostram o impacto do projeto entre 2002 e 2006, que foi de reduo de 15 homicdios. Para transformar o impacto em benefcio, a autora considerou as seguintes hipte- ses: i. O benefcio de um homicdio evita- do igual perda social do homic- dio. Assim, o benefcio do homicdio evitado a perda que a sociedade deixou de sofrer porque o homicdio foi evitado. Essa perda tem vrios fa- tores, como anos de produo per- didos, custos judiciais, psicolgicos, entre outros. ii. No caso do Brasil, Carvalho et al. (2007, apud PEIXOTO, 2010) calculam o valor dos anos de produo perdi- dos devido ao homicdio. A autora supe que a proporo dos anos de produo perdidos devido ao homi- cdio em relao perda total gerada para a sociedade igual do Reino Unido, onde o custo da perda gerada pelo homicdio foi calculado consi- derando vrios fatores (DUBOURG E HAMED, 2005, apud PEIXOTO, 2010). Para obter o benefcio do projeto, a au- tora aplicou regra de trs considerando o valor dos anos de produo perdidos pela proporo que esse fator represen- ta na perda total gerada pelo homicdio no Reino Unido. Assim, calcularam que a perda total gerada pelo homicdio no Brasil de 490 mil reais. A autora considera o custo econmico do projeto, mas no o subdividiu em custo contbil e custo de oportunidade e sim por uma tipologia de custo prpria. Alm disso, estima o custo do projeto por trs formas diferentes. Os valores de custo anuais mdios por benefcirio variam de 43,17 a 52,43 reais e os custos totais anuais mdios variam de 1,019 a 1,238 milhes de reais, de acordo com o mto- do de estimao. Para realizar o fuxo de caixa do projeto considera a taxa de des- conto intertemporal igual ao ndice de in- fao IPCA-IBGE varivel mensalmente. A razo custo-efetividade de um homi- cdio evitado pelo projeto e tambm a razo custo-benefcio calculada para as trs formas de estimao do custo. A ra- zo custo-efetividade encontrada varia, de acordo com o mtodo de clculo do custo, de 201 a 244 mil reais e a razo cus- to-benefcio varia de 1,99 a 2,42. Os resul- tados indicam que o projeto gera retorno para a sociedade. Como foram utilizados vrios parmetros para a estimao dos resultados, a autora realiza a anlise de sensibilidade varian- do os diferentes valores dos anos de pro- duo perdidos, do percentual que este componente representa na perda total que o homicdio acarreta para a socieda- de e do mtodo de rateio. A anlise de sensibilidade mostra que apenas dois ca- sos, das 62 combinaes de parmetros utilizadas, no se mostraram economica- mente viveis. Para as demais combina- es de parmetros o projeto apresenta retorno para a sociedade. Essa anlise in- dica robustez dos resultados estimados. l Fundao Ita Social 170 Exemplo 3: Projeto de preveno em Sade (CAMELO JUNIOR et. al., 2011) Avaliao econmica da triagem neo- natal da galactosemia, no Estado de So Paulo. A galactosemia uma da doena metablica hereditria, que pode ter seus malefcios prevenidos caso seja detecta- da precocemente. Se o diagnstico for tardio, a criana que apresenta a doena pode precisar de tratamento de urgncia e intensivo, para infeces generaliza- das e insufcincia heptica. Alm de a doena poder evoluir para cirrose, insu- fcincia heptica, cataratas, hipertenso intracraniana, edema cerebral, letargia, hipotonia, retardo mental e morte. Com o diagnstico precoce, a criana necessi- ta apenas de acompanhamento mdico ambulatorial e, se a evoluo do quadro clnico for favorvel, adquire qualidade de vida e possibilidade real de produtivi- dade social futura. Os autores verifcaram o impacto da incluso do diagnstico dessa doena no conhecido teste do pe- zinho, por meio de um estudo piloto no ano de 2006, em So Paulo. Os autores consideram como indicador de impacto a incidncia da doena em crianas. A base de dados proveniente do teste realizado em 59.953 recm-nas- cidos escolhidos aleatoriamente. Os resultados indicaram que 1:19.984 nascidos vivos teriam o diagnstico pre- coce caso o teste para galactosemia fos- se includo no exame do pezinho. Para transformar o impacto em benefcio, os autores assumiram as seguintes hipte- ses: i. O benefcio de um diagnstico pre- coce igual diferena entre a perda social com diagnstico tardio e a per- da social causada pela doena quan- do o diagnstico precoce. ii. O diagnstico tardio gera perda para a sociedade de: despesa com terapia intensiva e enfermarias; pro- cedimentos cirrgicos; tratamento diettico; seguimento ambulatorial a longo prazo; e perda de produo por causa das complicaes geradas pela doena; iii. Mesmo com o diagnstico preco- ce a doena gera perda de: despesa com seguimento ambulatorial a lon- go prazo, sem complicaes e com o tratamento diettico. iv. O valor da perda de produtivida- de foi considerado como a perda de meio dia de trabalho (R$ 21,65), com base no rendimento mdio mensal real das pessoas ocupadas no Brasil, em maro, de 2011 v. R$ 1.298,70. vi. o paciente trabalharia entre 20 e 65 cinco anos de idade. Para obter o benefcio do projeto, os autores subtraram a perda gerada pelo diagnstico tardio da gerada pelo diag- nstico precoce, calculando assim o be- nefcio individual. Em seguida, multipli- caram o benefcio pelo total de nascidos vivos com a doena (incidncia da doen- a multiplicada pelo nmero de nascidos vivos em So Paulo no ano de 2009). Os autores consideraram o custo econ- mico do projeto, mas no o subdividiram em custo contbil e custo de oportuni- dade. So computados os custo do pro- jeto com os kits de deteco da doena, o retorno das crianas detectadas para confrmao, bem como o custo do con- tato para que esse retorno acontea, e a perda de produtividade do trabalho do acompanhante. Para realizar o fuxo de caixa do projeto consideraram a taxa de desconto intertemporal igual SELIC de junho de 2009 de 9,25%. O retorno econmico foi mensurado com base na razo custo-benefcio da triagem neonatal da galactosemia, considerando ainda mais dois nveis de incidncia da doena dados pelos limites do intervalo de confana a 95%. A razo custo-bene- fcio estimada foi de 1,33 e para os inter- valos de confana foi de 0,44 e 3,54. As- sim, os resultados mostram que o projeto gera retorno para a sociedade. Avaliao Econmica de Projetos Socias l 171 Exerccios 1) A avaliao econmica composta de duas etapas. Cite quais so essas eta- pas e os seus principais objetivos. 2) Por que no podemos comparar dois programas apenas usando os resulta- dos da avaliao de impacto? 3) O que o benefcio do projeto e por que devemos transformar o impacto em benefcio? 4) O que a taxa de desconto intertemporal? E quando ela utilizada na ava- liao econmica? 5) Quais so os componentes do custo econmico? 6) Se o custo de oportunidade implcito, como possvel calcul-lo? D exemplos. 7) O que o avaliador pretende captar ao calcular o retorno econmico do pro- jeto? 8) Cite as estatsticas de retorno econmico vistas nesse captulo. 9) Qual a diferena entre as estatsticas de retorno econmico? 10) O que anlise de sensibilidade e qual a sua fnalidade? l Fundao Ita Social 172 Exerccios Prticos 1) O programa Mulher do Futuro fctcio objetiva aumentar a renda de fa- mlias chefadas por mulheres. Para isso, oferece cursos profssionalizantes em diversas reas e ajuda na insero das participantes no mercado de trabalho, por meio de convnios com empresas. Os cursos duram em mdia seis meses. A avaliao de impacto do programa foi pensada desde sua concepo. Assim, realizou-se uma pesquisa com as participantes e no participantes antes da implementao. Dois anos aps o incio do programa, o grupo de avaliao voltou a campo e novamente coletou informaes sobre as mulheres. O banco de dados DDM contm as informaes em dois momentos no tempo esco- laridade, idade, se o domiclio possui luz eltrica, se a mulher vive com cnjuge e a renda familiar per capita. a) Suponha que o experimento foi aleatrio e que possumos dados do programa em um momento do tempo - aps o programa. Calcule o impacto na renda per capita. b) Faa o teste de diferena de mdias entre tratado e controle para as variveis: escolaridade, idade, luz, cnjuge, no perodo aps o programa. c) Como o teste de diferena de mdias mostrou que os grupos tra- tado e de controle no so estatisticamente iguais em todas as caractersticas observadas, calcule o impacto do programa controlando para as variveis ob- servveis, ainda supondo os dados em um momento do tempo - aps o pro- grama. Esse resultado mostrou alguma diferena para o obtido na letra b? Se sim, explique. d) Ainda considerando os dados em apenas um momento do tempo, estime o impacto do programa pelo mtodo pareamento por escore de pro- penso um para um, vizinho mais prximo, raio e Kernel. e) Calcule o impacto do programa pelo mtodo de diferenas em dife- renas. Analise os resultados. f) Faa uma anlise descritiva e o teste de diferena de mdias das ca- ractersticas dos participantes e no participantes antes do incio do programa. O que podemos concluir dos resultados do teste? g) Calcule o impacto do programa combinando o mtodo de parea- mento com o de diferenas em diferenas. Suponha que o resultado da avaliao de impacto mostrou que o programa aumenta em 277,12 reais, por ms, a renda das participantes. Avaliao Econmica de Projetos Socias l 173 O custo do projeto expresso como segue: h) Por que no precisamos transformar o impacto em benefcio? Cal- cule o benefcio anual do projeto i) Monte o fuxo de caixa do projeto supondo que a renda a mais ge- rada pelo programa perdurar durante toda a vida produtiva da mulher e que as mulheres entram no mercado de trabalho com 20 anos e trabalham por 35 anos. j) Em , calcule o benefcio total, custo total, VPL, a TIR, a Razo Custo -Benefcio e a Razo Custo-Efetividade. Suponha uma taxa de desconto inter- temporal de 5%. k) Faa uma anlise de sensibilidade considerando: i. O impacto, que apresenta o intervalo de confana a 95%, variando de 248,45 a 305,79. ii. O retorno do projeto recebido por apenas 5 anos. 2) O programa Brasil Melhor fctcio visa melhorar o desempenho escolar dos alunos do ensino fundamental. Esse programa foi desenvolvido com 245 alunos da Escola Estadual Joo dos Santos. A escola possui ao todo 745 alunos. O desenho do programa no abrangia a sua avaliao de impacto que foi im- plementada aps um ano de seu funcionamento. Dessa forma, s foi possvel obter informaes em um momento no tempo depois do programa imple- mentado. O banco de dados PSM1 apresenta informaes sobre a nota no l Fundao Ita Social 174 exame de profcincia realizado em toda a escola fundamental, a participao no programa, o sexo, a cor e os anos de estudos da me do aluno. a) Calcule o impacto do programa supondo que o experimento foi ale- atrio. Analise os resultados. b) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos de estudos da me. O grupo tratado e controle apresentam diferenas estatis- ticamente signifcativas nas caractersticas mdias? O que podemos concluir com este teste? c) Calcule o impacto do programa supondo que o experimento foi no aleatrio pelo mtodo de regresso MQO, usando todos os no tratados como controle. Analise os resultados. d) Calcule o impacto do programa supondo que o experimento foi no aleatrio pelo mtodo de pareamento por escore de propenso mtodo um para um. e) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos de estudos da me. Utilize apenas o grupo de controle selecionado pelo parea- mento. Compare o resultado deste teste de mdias com o realizado na letra b. O que podemos concluir com esta comparao? f) Faa o grfco do escore de propenso para os tratados e controles selecionados pelo mtodo de pareamento. O que podemos concluir com este grfco? g) Repita os procedimentos de e a g utilizando as metodologias de pareamento por escore de propenso mtodo vizinho mais prximo, raio e mtodo de Kernel. Avaliao Econmica de Projetos Socias l 175 BIBLIOGRAFIA ABADIE, A.; DIAMOND, A.; HAINMUELLER, J. Synthetic control methods for com- parative case studies: estimating the efect of Californias tobacco control pro- gram. Journal of the American Statistical Association. v. 105, p. 493-505, 2010. ABADIE, A.; IMBENS, G. Simple and Bias-Corrected Matching Estimator for Ave- rage Treatment Efect. NBER Working Paper. n. 283, 2002. ANGRIST, J. Lifetime earnings and the Vietnam era sraft lottery: evidence from social security administrative records. American Economic Review. v. 80, p. 313- 335, 1990. ANGRIST, J.; KRUEGER, A. The efect of age at school entry on educational at- tainment: an application of instrumental variables with moments from two samples. Journal of the American Statistical Association. v. 418, p. 328-336, 1992. ANGRIST, J.; PISCHKE J. Mostly harmless econometrics: an empiricists compa- nion. Nova Jersey: Princeton University Press, 2008. 392 p. ANGRIST, J. D.; IMBENS G. W. Two-stage least squares estimation of average cau- sal efects using instrumental variables. Journal of American Statistical Associa- tion. v. 90, p. 430-442, 1995. ANGRIST, J. D.; IMBENS, G. W.; RUBIN, D. B. Identifcation of causal efects using instrumental variables. Journal of the American Statistical Association. v. 91, p. 444-472, 1996. ANGRIST, J. D.; LAVY, V. Using Maimonides rule to estimate the efect of class size on scholastic achievement. Quarterly Journal of Economics. v. 114, p. 533- 575, 1999. ASHENFELTER, O. Estimating the efect of training programs on earnings. Re- view of Economics and Statistics. v. 60, p. 47-57, 1978. ASSAF NETO, A. Matemtica Financeira e suas Aplicaes. 11 edio. So Pau- lo: Atlas, 2009. 296 p. BANEREE, A.; DUFLO, E. Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty. Nova York : Public Afairs, 2011. 320 p. BARROS, R.P.; OLINTO, P.; LUNDE, T.; CARVALHO, M. The impact of access to free l Fundao Ita Social 176 childcare on womens labor market outcomes: evidence from a randomized trial in low-income neighborhoods of Rio de Janeiro. 2011. No Publicado. BERTRAND, M.; DUFLO, E.; MULLAINATHAN, S. How should we trust diference -in-diferences estimates?. Quarterly Journal of Economics. v. 119, p. 249-275, 2004. BIONDI, R. L.; VASCONCELLOS, L.; MENEZES FILHO, N. Evaluating the impact of the brazilian public school math olympics on the quality of education. Econo- mia. Spring, v. 2, n. 2, p. 143-170, 2012. BLOOM, H. Accounting for no-shows in experimental evaluation designs. Evaluation Review. v. 8, p. 225-246, 1984. BLUNDELL, R.; DIAS, M. C. Alternative approaches to evaluation in empirical mi- croeconomics. Journal of Human Resources. v. 44, p. 565-640, 2009. BLUNDELL, R.; DIAS, M. C. Evaluation methods for non-experimental data. Fiscal Studies, v. 21, p. 427-468, 2008. BOARDMAN, A. E.; GREENBERG, D. H.; VINING, A. R.; WEIMER, D. L. Cost beneft analysis: concepts and practice. Nova Jersey: Prentice Hall, 2005. 560 p. BOURGUIGNON, F.; FERREIRA, F. Ex-Ante evaluation of policy reforms using behavioral models. In: BOURGUIGNON, F.; SILVA, L. P. The Impact of Economic Policies on Poverty and Income Distribution: Evaluation Techniques and Tools. Washington: World Bank Publications, 2003. p. 123-141. BRAIDO, L.; OLINTO, P.; PERRONE, H. Gender bias in intrahousehold allocation: evidence from an unintentional experiment. Review of Economics and Statisti- cs. v. 94, p. 552-565, 2012. BURTLESS, G. The case for randomized feld trials in economic and policy rese- arch. Journal of Economic Perspectives. v. 9, p. 63-84, 1995. CAMELO JUNIOR, J. S.; FERNANDES, M. I. M.; JORGE, S. M.; MACIEL, L. M. Z.; SAN- TOS. J. L. F.; CAMARGO JR, A. S.; PASSADOR, C. S.; CAMELO, S. H. H. Avaliao econmica em sade: triagem neonatal da galactosemia. Cadernos de Sade Pblica. v. 27, n. 4, p. 666-676, 2011. CAMPBELL, H. F.; BROWN, R. P. C. Beneft-cost analysis: fnancial and economic appraisal using spreadsheets. Cambridge: Cambridge University Press, 2003. 360 p. CARD, D.; DOBKIN, C.; MAESTAS, N. The impact of nearly universal insurance Avaliao Econmica de Projetos Socias l 177 coverage on health care utilization and health: evidence from medicare. Ame- rican Economic Review. v. 98, n. 5, p. 2242-2258, 2008. CARNEIRO, P.; HECKMAN, J.; VYTLACIL, E. Understanding what instrumental variables estimate: estimating the average and marginal return to schooling. 2005. No Publicado. CHAY, K.; GREENSTONE, M. Does air quality matter; evidence from the housing market. Journal of Political Economy. v. 113, p. 376-424, 2005. COCHRAN, W. Sampling Techniques. New York: John Wiley& Sons, 1977. 428 p. COHEN, E.; FRANCO, R. Avaliao de projetos sociais. 9 edio. Petrpolis: Vo- zes, 2011. 312 p. CRESPO, A. A. Matemtica Financeira Fcil. 14 edio. So Paulo: Saraiva, 2009. 255 p. CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Dealing with limited overlap in estimation of average treatment efects. Biometrika. v. 96, n. 3, p. 187-199, 2009. CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Nonparametric tests for treatment efect heterogeneity. Review of Economics and Statistics. v. 90, n. 3, p.389-405, 2008. DEHEIJA, R.; WAHBA, S. Propensity score-matching methods for nonexperi- mental causal studies. Review of Economics and Statistics. v. 84, n. 1, p. 151- 161, 2002. DEHEJIA, R. Program evaluation as a decision problem. Journal of Econometri- cs. v. 125, p. 141-173, 2005. DEHEJIA, R.; WAHBA, S. Casual efects of nonexperimental studies: reevaluating the evaluation of training programs. Journal of American Statistical Associa- tion. v.94, p.1053-1062, 1999. DRUMMOND, M. F.; SCULPHER, M. J.; TORRANCE, G. W.; OBRIEN, B. J.; STOD- DART, G. L. Methods for the economic evaluation of health care programmes. Nova York: Oxford University Press, 2005. 379 p. DUFLO, E. Schooling and labor market consequences of school construction in Indonesia: evidence from an unusual policy experiment. American Economic Review. v. 91, n. 4, p. 795-813, 2001. DUFLO, E.; GLENNERSTER, R.; KREMER, M. Using randomization in development l Fundao Ita Social 178 economics research: A Toolkit. In: T. SCHULTZ; J. STRAUSS. Handbook of Develo- pment Economics. Oxford: North Holland, 2008. v. 4, p. 3895-3962. EUROPEAN COMISSION. Guide to cost-beneft analysis of investment projects: structural funds, cohesion fund and instrument for pre-accession, 2008. Dis- ponvel em: <http://ec.europa.eu/regional_policy/sources/docgener/guides/ cost/guide2008_en.pdf>. Acesso em: 7 maio 2012. FERMAN, B.; ASSUNO, J. Does afrmative action enhance or undercut invest- ment incentives?: evidence from quotas in brazilian universities. 2009. No Pu- blicado. FERRAZ, C.; FINAN, F. Electoral accountability and corruption: evidence from the audit reports of local governments. American Economic Review. v.101, p. 1274-1311, 2011. FIRPO, S.; FOGUEL, M.; JALES, H. Evaluating the impact of stratifed randomized experiments with an application to a Brazilian public training program. 2011. No Publicado. GRASDAL, A. The performance of sample selection estimators to control for at- trition bias. Health Economics. v. 10, p. 385-398, 2001. GUJARATI, D. N. Econometria Bsica. 3 edio. So Paulo: Makron Books, 2000. 860 p. HAHN, J. On the role of the propensity score in efcient semiparametric esti- mation of average treatment efects. Econometrica. v. 66, n. 2, p. 315-331, 1998. HAHN, J.; TODD, P.; VAN DER KLAAUW W. Identifcation and estimation of tre- atment efects with a regression discontinuity design. Econometrica. v. 69, p. 201-209, 2001. HECKMAN, J.; LOCHNER, L. e TABER, C. Explaining raising wage inequality: ex- plorations with a dynamic general equilibrium model of labor earnings with heterogeneous agents. NBER Working Paper. v. 1, n. 6384, p. 1-58, 1998. HECKMAN, J. Varieties of selection bias. American Economic Review. v. 80, p.313-318, 1990. HECKMAN, J.; LALONDE, R.; SMITH, J. The economics and econometrics of acti- ve labor market programs. In: ASHENFELTER, O.; CARD, D. Handbook of Labor Economics. Oxford: North Holland, 1999. v. 3, p.1865-2097. HECKMAN, J.; HOTZ, J. Alternative methods for evaluating the impact of trai- Avaliao Econmica de Projetos Socias l 179 ning programs. Journal of the American Statistical Association. v. 84, n. 804, p. 862-874, 1989. HECKMAN, J.; ROBB, R. Alternative methods for evaluating the impact of in- terventions. In: HECKMAN, J.; SINGER, B. Longitudinal analysis of labor market data. Nova York: Cambridge University Press, 1985. HECKMAN, J.; SMITH, J. Assessing the case for social experiments. Journal of Economic Perspectives. v. 9, p. 85-110, 1995. HECKMAN, J.; VYTLACIL, E. Local Instrumental Variables. In: HSIAO, C; MORIMU- NE, K; POWELL, J. Nonlinear Statistical Modeling: Essays in Honor of Takeshi Amemiya. Nova York: Cambridge University Press, 2001. HECKMAN, J.; VYTLACIL, E. Structural equations, treatment efects, and econo- metric policy evaluation. Econometrica. v. 73, n. 3, p. 669-738, 2006. HECKMAN, J; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation estimator: evidence from a job training program. Review of Economic Studies. v. 64, n 4, p. 605-54, 1997. HECKMAN, J.; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation estimator. Review of Economic Studies. v. 65, p. 261-294, 1998. HECKMAN, J.; SMITH, J. The pre-program earnings dip and the determinants of participation in a social program: implications for simple program evaluation strategies. Economic Journal. v. 109, p. 313-348, 1999. HIRANO, K.; IMBENS, G. Estimation of causal efects using propensity score wei- ghting: an application to data on right heart catheterization. Health Services & Outcomes Research Methodology. v. 2, p. 259-278, 2001. HIRANO, K.; IMBENS, G.; RIDDER, G. Efcient estimation of average treatment efects using the estimated propensity score. Econometrica. v. 71, n. 4, p. 1161- 1189, 2003. HIRANO, K.; IMBENS, G.; RUBIN, D.; Zhou, X. Identifcation and estimation of lo- cal average treatment efects. Biostatistics. v. 1, n. 1, p. 69-88, 2000. HOFFMANN, R. Estatstica para Economistas. 4 edio. So Paulo: Cengage Le- arning, 2006. 446 p. IMBENS, G. Nonparametric estimation of everage treatment efects under exo- geneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004. l Fundao Ita Social 180 IMBENS, G. The role of the propensity score in estimating dose-response func- tions. Biometrika. v. 87, n 3, p. 706-710, 2000. IMBENS, G.; ANGRIST, J. Identifcation and estimation of local average treat- ment efects. Econometrica. v. 61, n. 2, p. 467-476, 1994. IMBENS, G.; LEMIEUX, T. Regression discontinuity designs: a guide to practice. Journal of Econometrics. v. 142, n. 2, p. 615-635, 2008. IMBENS, G.; RUBIN, D. Rubin causal model. In: DURLAUF, S.; BLUME, L. The New Palgrave Dictionary of Economics. Hampshire: Palgrave Macmillan, 2008, 2 edio. 7344 p. IMBENS, G.; WOOLDRIDGE, J. Recent developments in the econometrics of pro- gram evaluation. Journal of Economic Literature. v. 47, n 1, p. 5-86, 2009. IMBENS, G. Nonparametric estimation of average treatment efects under exo- geneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004. IPEA e CEDEPLAR. Uma proposta de avaliao do plano nacional de formao profssional (planfor). 2000. Relatrio Parcial. No Publicado. LALONDE, R. J. Evaluating the econometric evaluations of training programs with experimental data. American Economic Review. v. 76, p. 604-620, 1986. LEE, D. S.; CARD, D. Regression discontinuity inference with specifcation error. Journal of Econometrics. v. 142, n. 2, p. 655-674, 2008. LEE, D. S.; MORETTI, E.; BUTLER, M. Do voters afect or elect policies? Evidence from the U.S. house. Quarterly Journal of Economic. v. 119, p. 807-859, 2004. LEE, D. S.; LEMIEUX, T. Regression Discontinuity Designs in Economics. NBER Working Paper. v. 48, n. 14723, p. 281-355, 2009. MATTOS, E.; MAIA, S.; MARQUES F. Evidncias da relao entre oferta de traba- lho e programas de transferncia de renda no Brasil: bolsa escola versus bolsa famlia. Pesquisa e Planejamento Econmico v. 40, p. 1-44, 2010. MCEWAN, H. M.; LEVIN, P. J. Cost-efectiveness analysis: methods and applica- tions. Califrnia: Sage Publications, 2001. 308 p. MCRARY, J. Testing for manipulation of the running variable in the regression discontinuity design. Journal of Econometrics. v. 142, n. 2, p. 698-714, 2008. MEYER, B. Natural and quasi-experiments in economics. Journal of Business & Avaliao Econmica de Projetos Socias l 181 Economic Statistics. v. 13, p. 151-161, 1995. MIGUEL, E.; KREMER, M. Worms: identifying the impacts on education and he- alth in the presence of treatment externalities. Econometrica. v. 72, p.159-217, 2004. PEIXOTO, B. Avaliao econmica do projeto fca Vivo: o caso piloto. In: Minis- trio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal. (Org.). Oramento Pblico: II Prmio SOF de Monografas - Coletnea. Braslia, 2010. PONCZEK, V.; SOUZA, A. New evidence of the causal efect of family size on child quality in a developing country. Journal of Human Resources. v. 47, p. 64-106, 2011. PORTER, J. Estimation in the regression discontinuity model. Department of Economics. 2003. No Publicado. ROBINS, J. M.; RITOV, Y. A curse of dimensionality appropriate (coda) asympto- tic theory for semiparametric models. Statistics in Medicine. v. 16, p.285-319, 1997. ROCHA, R.; SOARES, R. Evaluating the impact of community-based health in- terventions: evidence from brazils family health program. Health Economics. v. 19, p. 126-158, 2010. ROSENBAUM, P. Observational studies. Nova York: Springer Verlag, 2002. 375p. ROSENBAUM, P. The role of a second control group in an observational study. Statistical science. v. 2, n. 3, p. 292316, 1987. ROSENBAUM, P.; RUBIN, D. The central role of the propensity score in observa- tional studies for causal efects. Biometrika, v. 70, p. 41-55, 1983. RUBIN, D. Estimating causal efects to treatments in randomized and nonran- domised studies. Journal of Educational Psychology. v. 66, p. 688-701, 1974. RUBIN, D. Assignment to treatment group on the basis of a covariate. Journal of Educational Statistics. v. 2, n. 1, p. 1-26, 1977. RUBIN, D. Matching to remove bias in observational studies. Biometrics. v. 29, p. 159-183, 1973. RUBIN, D. The use of matched sampling and regression adjustments to remove bias in observational studies. Biometrics. v. 29, p. 185-203, 1973. l Fundao Ita Social 182 RUBIN, D. Using multivariate matched sampling and regression adjustment to control bias in observational studies. Journal of American Statistical Associa- tion. v. 74, p. 318-328, 1979. THISTLEWAITE, D.; CAMPBELL, D. Regression-discontinuity analysis: an alterna- tive to the ex-post facto experiment. Journal of Educational Psychology. v. 51, p.309-317, 1960. TODD, P.; WOLPIN, K. Ex-Ante Evaluation of Social Programs. PIER Working Pa- per Penn Institute for Economic Research. n. 06-122, 2006. TRIOLA, M. F. Introduo Estatstica. 10 edio. Rio de Janeiro: LTC, 2008. 686 p. VAN DER KLAAUW, W. Estimating the efect of fnancial aid ofers on college en- rollment: a regressiondiscontinuity approach. International Economic Review. v. 43, p. 1249-1287, 2002. VYTLACIL, E. Independence, monotonicity, and latent index models: An equiva- lence result. Econometrica. v. 70, n. 1, p. 331-341, 2002. WOOLDRIDGE, J. M. Introduo Econometria: Uma Abordagem Moderna. So Paulo: Thomson, 2006. 725 p. Avaliao Econmica de Projetos Socias l 183 BIBLIOGRAFIA COMPLEMENTAR
I. Estatstica TRIOLA, Mario F. Introduo Estatstica. 10 ed. Rio de Janeiro: LTC, 2008. Esse manual bastante adotado em cursos de graduao nas cincias hu- manas. Apresenta uma linguagem fcil, compreensvel para alunos com um conhecimento menos profundo de lgebra. Alm disso, apresenta sees es- peciais com profssionais de vrios campos que utilizam a estatstica como fer- ramenta de trabalho, o que torna a leitura fuida e atraente. Um diferencial a quantidade de exerccios (mais de 1.500) em varias reas das cincias huma- nas e seu foco mais centrado na interpretao do que nos clculos. Muitos dos exerccios usam dados reais, o que os torna mais interessantes para os leitores. O livro aborda temas mais avanados como correlao, regresso e estatstica no paramtrica. HOFFMANN, Rodolfo. Estatstica para Economistas. 4 ed. So Paulo: Thomp- son, 2006. Esse livro ensina estatstica bsica para iniciantes. Apesar de o ttulo direcion -lo para economistas, atende qualquer aluno das cincias humanas interessa- do em aplicar a estatstica no seu campo de trabalho. Com uma linguagem sim- ples e objetiva, sem perder o rigor formal, apresenta os aspectos conceituais e metodolgicos da estatstica. Mais ainda, o livro adentra o tpico de regresso linear, o que permite ao leitor ter uma introduo ao tema. II. Econometria WOOLDRIDGE, Jefrey. M. Introduo Econometria: Uma Abordagem Mo- derna. So Paulo: Thomson, 2006. Esse manual de introduo econometria alia a matemtica existente nesse mtodo de pesquisa emprica econmica com uma ampla interpretao pr- tica de problemas estudados em vrios campos das cincias humanas. Assim, mostra que esse instrumental analtico, antes restrito problemtica econmi- ca, pode ser aplicado em outras cincias para anlise de questes empricas. Com esse enfoque, o livro combina questes mais tcnicas da econometria l Fundao Ita Social 184 com suas aplicaes prticas, facilitando seu entendimento. A estrutura dos tpicos apresentados diferente da tradicional, e segue a diviso por tipos de dados. Essa abordagem moderna muito intuitiva e torna o contedo mais acessvel ao estudante. GUJARATI, Damodar N. Econometria Bsica. 3 Ed., Makron Books, 2000. O manual de econometria bsica adota uma abordagem tradicional do tema. Primeiramente apresentado o modelo de regresso linear, em seguida so listadas as hipteses necessrias e os problemas decorrentes da sua no obser- vao. Por fm, tpicos especiais so discutidos detalhadamente, como regres- so sobre varivel binria, equaes simultneas e modelo de sries temporais. Para compreenso do contedo requerido nvel bsico de clculo, lgebra e estatstica. III. Matemtica Financeira CRESPO, Antnio A. Matemtica Financeira Fcil. 14 ed. So Paulo: Saraiva, 2009. Esse livro uma obra bsica de matemtica fnanceira. Escrito para quem nun- ca estudou o tema, traz os tpicos iniciais como juros simples e compostos, descontos, sries de pagamentos e amortizaes. Com muitos exemplos resol- vidos e exerccios prticos, excelente para um primeiro contato com a mat- ria, principalmente para aqueles que no so familiarizados com a matemtica. Entretanto, para quem deseja se aprofundar uma complementao com ou- tros livros necessria. ASSAF NETO, Alexandre. Matemtica Financeira e suas Aplicaes. 11 ed. So Paulo: Atlas, 2009. Esse manual de matemtica fnanceira utilizado em cursos de graduao e ps-graduao. Tem uma abordagem ampla do tema, incluindo desde os prin- cpios bsicos da matemtica fnanceira, como juros simples e compostos, at tpicos mais avanados, como anlise de ativos fnanceiros. A sequncia dos contedos intuitiva e inclui os principais produtos fnanceiros existentes no Brasil. Dessa forma, o leitor aprende os fundamentos tericos da matemtica fnanceira e suas aplicaes prticas com ativos fnanceiros no pas. Avaliao Econmica de Projetos Socias l 185 AUTORES
Betnia Peixoto Graduada em Cincias Econmicas pela FACE/UFMG (2000), mestre em Eco- nomia pelo CEDEPLAR/UFMG (2003) e doutora em Economia pelo CEDEPLAR/ UFMG (2008). Tem experincia na rea de Economia, com nfase em Economi- ca dos Programas de Bem-Estar Social e Econometria aplicada, atuando prin- cipalmente nos seguintes temas: Avaliao Econmica de Polticas Pblicas e Programas Sociais, Anlise Economtrica Aplicada e Criminalidade. Cristine Campos de Xavier Pinto Possui Ph. D. em Economia pela University of California, Berkeley. Atualmente professora assistente da Escola de Economia de So Paulo, FGV. Suas reas de pesquisa so: Econometria, Economia da Educao e Economia do Trabalho. Lycia Lima Graduou-se em Economia pela UFMG em 2003. Concluiu o mestrado em De- velopment Economics pela School of Oriental and African Studies da Univer- sidade de Londres em 2007. Desde ento, trabalhou como pesquisadora na rea de monitoramento e avaliao de polticas pblicas no Banco Mundial em Washington, na Fundao Joo Pinheiro do governo do Estado de Minas Gerais e na Secretaria de Assuntos Estratgicos da Presidncia da Repblica do Brasil, tendo conduzido principalmente estudos de avaliao de impacto nas reas de sade, educao, governana, pobreza rural e primeira infncia. Miguel Nathan Foguel pesquisador do IPEA desde 1998 e professor auxiliar da PUC/RJ desde 2009. Tem mestrado pela PUC/RJ e doutorado pela UFF. J publicou diversos estu- dos e artigos em livros e revistas cientfcas nas reas de avaliao de polticas sociais, economia do trabalho, desigualdade de renda e pobreza. Recebeu o Prmio Mario Henrique Simonsen, concedido pela Revista Brasileira de Econo- mia, em 2000. coordenador da rede internacional de pesquisa Network on Inequality and Poverty (NIP) no Brasil desde 2009. l Fundao Ita Social 186 Naercio Menezes Filho Naercio Menezes Filho professor titular (Ctedra IFB) e coordenador do Cen- tro de Polticas Pblicas do Insper Instituto de Ensino e Pesquisa. Professor as- sociado da FEA-USP, colunista do Valor Econmico e consultor da Fundao Ita Social, Naercio PhD em Economia pela University College London. Ricardo Paes de Barros Graduou-se em Engenharia Eletrnica no Instituto Tecnolgico da Aeronutica ITA em 1977. Concluiu mestrado em Estatstica pelo Instituto de Matemti- ca Pura e Aplicada IMPA em 1982 e doutorado em Economia pela Univer- sidade de Chicago em 1987. Possui ps-doutorado pelo Centro de Pesquisa em Economia, Universidade de Chicago (1988), e pelo Centro de Crescimento Econmico, Universidade de Yale (1989). Desde 1979, tem trabalhado como pesquisador do Instituto de Pesquisa Econmica Aplicada (IPEA), conduzindo pesquisas nos campos de desigualdade social, educao, pobreza e mercado de trabalho no Brasil e na Amrica Latina. Atualmente subsecretrio da Secre- taria de Assuntos Estratgicos da Presidncia da Repblica SAE/PR.