monitoramento

e avaliao

01
N m e r o

REVISTA BRASILEIRA DE
Jan-Jun/2011

ARTIGOS

A Rede Brasileira de
Monitoramento e
Avaliao: um relato do
processo de sua criao
e desenvolvimento

Afonso Henriques Borges

Jnia Pinho
Joo Pedro Azevedo
John L. Newman
Juliana Wenceslau
Mrcia Paterno Joppert
Sonia Nahas de Carvalho

Avaliao de programas
e profissionalizao da
gesto pblica

Jeni Vaitsman
Rmulo Paes-Sousa

Monitoramento Analtico
como Ferramenta para
Aprimoramento da Gesto
de Programas Sociais Paulo de Martino Jannuzzi
Poltica Social no Brasil:
marco conceitual e
anlise da ampliao do
escopo, escala e gasto
pblico

Jorge Abraho de Castro

Avaliao de
programas e
profissionalizao
da gesto pblica
Jeni Vaitsman1
Rmulo Paes-Sousa2

Doutora em Sociologia pelo Instituto Universitrio de Pesquisas do Rio de Janeiro

(Iuperj). Pesquisadora-titular da Escola Nacional de Sade Pblica, da Fundao Oswaldo

Cruz. Foi Diretora de Avaliao e Monitoramento do Ministrio do Desenvolvimento Social
e Combate Fome (2004 2007).
2

Mdico, PhD em Epidemiologia pela London School of Hygiene and Tropical Medicine

(University of London). Pesquisador do Observatrio de Iniquidades em Sade, da Fundao Oswaldo Cruz. Foi Secretrio de Avaliao e Gesto da Informao do Ministrio do

18

Desenvolvimento Social e Combate Fome (2004 2007). Desde abril de 2010 o Secretrio Executivo do MDS.

Resumo
O presente artigo procura destacar alguns elementos
decisivos para o sucesso e institucionalizao do modelo
de sistema de avaliao e monitoramento desenvolvido no
Ministrio do Desenvolvimento Social e Combate Fome.
So destacadas a articulao, a cooperao e a participao das secretarias e departamentos envolvidos na construAbstract
o do referido modelo e como
This article attempts to highlight some key elea mobilizao e a confluncia de
ments for the success and the institutionalization
interesses em relao a ganhos
of the evaluation and monitoring system model
developed by the Ministry of Social Development
comuns viabilizaram a sua instiand Fight Against Hunger. The text covers aspects
tucionalizao.

such as articulation, cooperation and participation

of the secretariats and departments involved in
constructing the system and how the mobilization
and the confluence of interests in joint gains made
possible its institutionalization.

Palavras-chave:
Programas sociais; Polticas pblicas; Avaliao; Monitoramento; Gesto pblica
R evista B rasileira

de

M onitoramento

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

19

Introduo
No Brasil, a expanso dos sistemas de ava-

com culturas profissionais e reas de atu-

liao integrados s estruturas governamen-

ao distintas, os problemas enfrentados

tais vem produzindo algumas mudanas no

podem ser entendidos como problemas de

mbito da gesto das polticas pblicas. Com

implementao de uma inovao dentro de

alguma tradio nas reas da educao e da

organizaes.

sade, mais recentemente, a avaliao tem

sido institucionalizada na rea de proteo

Nesta reflexo ex-post, descrevemos o mo-

social no contributiva, conquistando cada

delo do sistema de avaliao e monitora-

vez maior legitimidade como atividade mais

mento desenvolvido no MDS procurando

integrada ao processo das polticas. Este tra-

destacar alguns elementos que conside-

balho um relato do caso do Ministrio do

ramos como decisivos para seu sucesso e

Desenvolvimento Social e Combate Fome

institucionalizao. Entre esses elementos,

(MDS), criado em 2004 e que, desde ento,

mostramos como a cooperao pressuposta

constri um sistema de avaliao e monito-

no modelo e a participao das secretarias

ramento por meio de uma unidade especfica

e departamentos envolvidas possibilitaram

para este fim. Se, por um lado, a introduo

a mobilizao e a confluncia de interesses

desses mecanismos significa maior profissio-

em relao a ganhos comuns que viabilizam

nalizao da gesto, por outro, no se trata de

sua institucionalizao.

um processo sem os tradicionais conflitos entre as esferas tcnica e a poltica.

Na primeira seo, fazemos uma breve discusso sobre a dualidade poltico-gerencial

Os autores do trabalho, que participaram da

que caracteriza o campo da avaliao de po-

formulao e implementao do sistema, fa-

lticas e programas; na segunda seo, discu-

zem uma reflexo sobre o perodo de 2004

timos os mecanismos de cooperao e con-

a 2007, quando a rea foi implementada e

fiana, que se colocam como centrais para o

contratou ou codesenvolveu 72 estudos de

enfrentamento de desafios organizacionais;

avaliao dos seus, ento, 22 programas.

na terceira seo, descrevemos o processo

de institucionalizao do sistema de avalia-

20

A construo de um sistema de avaliao e

o no Ministrio do Desenvolvimento Social

monitoramento dos programas e polticas

e Combate Fome durante os trs primeiros

do MDS significou a implementao de uma

anos de sua existncia, de 2004 a 2006, e

poltica de avaliao e monitoramento, o

as caractersticas de seu modelo. Finalmen-

que dependeu de um conjunto de elemen-

te, fazemos algumas consideraes finais

tos de natureza institucional e poltica. Em

sobre o sistema de avaliao construdo

um Ministrio novo, formado pela juno de

e seu papel para a profissionalizao da ges-

rgos federais j existentes anteriormente,

to pblica.

Avaliao,
gesto e poltica
A discusso sobre os limites, significados e

pode produzir alta carga poltica sobre pro-

papis atribudos avaliao de polticas e

gramas ou valores em disputa (PATTON, 1987;

programas por diferentes vertentes tericas e

WEISS, 1987; GREENE, 1994).

disciplinares extensa. Move-se desde uma

viso gerencialista que considera a avaliao

Nas sociedades democrticas contempor-

como parte dos mecanismos de accountability

neas, em que atores governamentais e no

desenvolvidos nas sociedades contempor-

governamentais participam e disputam pol-

neas e que contribuiria com a efetividade e

ticas, os resultados dos estudos acabam ten-

transparncia das aes governamentais at

do efeitos polticos, principalmente quando

os que ressaltam muito mais sua dimenso

revelam aspectos no esperados ou contr-

poltica e uso em funo de interesses pol-

rios aos objetivos que haviam sido previstos

ticos (MOKATE, 2003; CAIDEN, G.E. & CAIDEN,

para o programa avaliado. Resultados, quan-

N., 2001; GVA-MAY, 1999; GREENE, 1994;

do divulgados, podem ser usados tanto para

OSZLAK, 2005; FARIA, 2005; GUBA, E. & LIN-

tomadas de decises por parte dos gestores

COLN, Y., 1989).

contratantes da avaliao, quanto por outros

atores envolvidos na disputa por determina-

Sem entrar nessa discusso, nossa perspecti-

da agenda poltica. Uma vez que atores e in-

va entender o processo de construo do

teresses existem dentro e fora das estruturas

sistema de avaliao do MDS a partir da du-

governamentais, a divulgao de resultados

alidade de uma rea que ao mesmo tempo

de avaliao, ainda que internamente, tam-

tcnica e poltica. Ou seja, trata-se de reco-

bm pode assumir uma conotao poltica. A

nhecer as caractersticas especficas da ava-

divulgao externa de resultados sempre re-

liao de polticas e programas pblicos, uma

percute sobre gestores, dirigentes e a comu-

atividade exercida em um terreno atravessa-

nidade de polticas envolvidos nos programas

do pela poltica, onde os estudos extrapolam

avaliados.

o simples mbito da produo de conhecimento. Ainda que realizados dentro dos pa-

A confluncia entre produo de conhecimen-

rmetros cientficos socialmente reconheci-

to e poltica, tpica do campo da avaliao,

dos, enquanto pesquisa aplicada s polticas

estreita-se quando o que est em jogo so

pblicas, acabam fazendo parte das disputas

programas com grande visibilidade poltica e

polticas do setor avaliado ou mesmo da pol-

social e, sobretudo, quando a legitimidade e

tica de um modo geral. No se trata, portanto,

a eficcia desses programas so contestadas

de um conhecimento terico descontextuali-

por atores com alto poder de vocalizao e

zado, mas de um tipo de conhecimento que

formao de agenda. Por outro lado, a prpria

R evista B rasileira

de

M onitoramento

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

21

existncia da avaliao como mecanismo ins-

respondem presso da sociedade por maior

titucionalizado produz no apenas mudan-

transparncia e responsabilizao da gesto

as de atitudes em relao aos mecanismos

pblica, como parte do Estado democrtico:

de melhoria da ao governamental, mas

distintas correntes de pensamento hoje reco-

induz tambm um debate poltico mais bem

nhecem que a sorte da democracia e, de certo

informado sobre polticas e programas. Se a

modo, do bom governo, est inextricavelmen-

avaliao como instrumento de gesto pode

te unida possibilidade de instaurar efetivos

ser capaz de produzir maior clareza e debate

mecanismos de responsabilizao da funo

pblico sobre as polticas, somente a poltica

pblica (OSZLAK, 2005, p. 248).

poder produzir transformaes nas polticas.

A institucionalizao de diferentes mecanisCom todos os conflitos polticos que possam

mos de accountability, entre os quais a avalia-

envolver os resultados de estudos de avaliao,

o, tornou-se parte da governana nos Esta-

inegvel seu papel de produzir accountability.

dos democrticos e onde existem diferentes

Embora esse termo seja muitas vezes traduzido

mecanismos de prestao de contas. No Bra-

como responsabilizao, Oszlak (2005) observa

sil, essa institucionalizao parte do proces-

que ele se refere a um processo de prestao

so mais amplo de construo da democracia e

de contas; no entanto, o termo accountability

da profissionalizao da administrao pbli-

conota a prpria obrigao de se prestar contas,

ca, em que um conjunto de controles de dife-

assumida voluntariamente pelo sujeito, sem

rentes naturezas foi se estabelecendo a partir

necessidade da interveno de um terceiro para

da Constituio de 1988.

exigi-la. Essa distino crucial, pois a obrigao faz parte dos valores e, portanto, da cultura;

A avaliao pode agregar qualidade polti-

no precisando, necessariamente, ser exigida

ca pblica em um campo estratgico onde se

por outros. A meno ao termo accountability

disputam questes de legitimao poltica e

evocaria, de imediato, relao com as noes

social (SUBIRATS, 2005) e constituir um dos

de transparncia, eficincia, eficcia, bom go-

mecanismos que contribuem para diminuir

verno, autonomia, controle, servio ao cidado,

aquilo que Cunill-Grau identifica como um

legitimidade, ou, inclusive, democracia. E tam-

dficit de controle da sociedade sobre o Es-

bm pareceria associada a seus opostos: arbi-

tado (CUNILL-GRAU, 2004, p. 44). Dentro de

trariedade, opacidade, corrupo, ineficincia,

uma viso que associa a melhoria do controle

autoritarismo etc.

da administrao pblica ampliao da democracia, a construo da funo pblica pro-

22

Ainda que a necessidade de mecanismos de

fissional constitui uma das condies bsicas

controle e accountability seja fortemente res-

para a democratizao do sistema poltico,

saltada pelas vertentes gerencialistas, essa

em que o funcionalismo profissional teria for-

no uma problemtica restrita esfera admi-

te incidncia sobre a capacidade do estado

nistrativa ou de gesto e que deveria ser cativa

em contribuir com certo grau de autonomia

de uma nica viso terica. Tais mecanismos

formulao de polticas.

Por outro lado, do ponto de vista da melhoria

A cooperao vista por vrios autores

da capacidade de gesto do Estado, a execu-

como um dos principais problemas da im-

o de estudos de avaliao s adquire re-

plementao. Uma vez que as pessoas em

levncia se esses e seus resultados fizerem

diferentes cargos, posies e autoridade

parte de sistemas de avaliao, o que reme-

tm que trabalhar juntas, seja no interior de

te ao problema da institucionalizao desses

uma organizao com vrios departamen-

sistemas no interior de estruturas governa-

tos, ou entre vrias organizaes, quando

mentais. Decerto, esse processo depende de

elas precisam cooperar, isso facilitado

um conjunto de condies, entre as quais

quando h interdependncia de recursos,

a deciso poltica de implantar um sistema

congruncia de objetivos e confiana m-

de avaliao, com a consequente alocao

tua (CLINE, 2000; LUNDIN, 2007). Por outro

de recursos financeiros, fsicos e humanos.

lado, a confiana, uma das bases para a ao

Depende tambm da cooperao entre os

coletiva e a produo de bens pblicos,

membros da organizao.

apontada como central na capacidade das

organizaes em administrar sua dinmi-

Cooperao e confiana

ca de modo eficiente e assegurar sua so-

Em qualquer organizao, o sucesso de uma

que envolvem a coordenao de vrios

inovao, como a criao e institucionali-

tomadores de deciso (COLEMAN, 1999;

zao de uma estrutura de avaliao, exige

PUTNAM, 1996; KLIKSBERG, 1999; TYLER,

legitimidade e adeso dos membros da or-

2003; OWEN & VIDERAS, 2008).

brevivncia e crescimento, em contextos

ganizao, o que pressupe, entre outras

coisas, que eles acreditem na relevncia da-

No caso do MDS, confiana e cooperao

quilo que esto implementando, ou seja, nas

foram to indispensveis quanto a neces-

prticas de avaliao.

sidade, para a atividade de avaliao, de

compartilhar bancos de dados gerenciais

Como qualquer inovao, a implementao

sobre os programas, como cadastro de be-

do sistema de avaliao no MDS exigiu a cria-

neficirios, dados fsico-financeiros, alm

o de uma base comum de entendimento

de informao, conhecimento sobre os pro-

para a atuao conjunta entre as secretarias

gramas e contatos com municpios. A coo-

responsveis pela conduo dos programas

perao intraorganizacional entre diferen-

e a secretaria responsvel pela avaliao.

tes unidades responsveis pela gesto da

Ou seja, foi preciso conseguir resolver dois

poltica, no plano executivo, e pela avalia-

problemas bsicos de qualquer organizao

o foi imprescindvel para implementao

social: cooperao e confiana.

da avaliao.

R evista B rasileira

de

M onitoramento

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

23

O modelo criado no MDS

O modelo representa a institucionalizao

O novo Ministrio comeou ento a responder

de uma atividade no interior desta unidade

pelas polticas nacionais de desenvolvimento

do Governo Federal, ainda que seja efetuada

social, de segurana alimentar e nutricional,

por pesquisadores contratados externamen-

de assistncia social e de renda de cidadania,

te e estritamente orientada para responder

que ficaram a cargo, respectivamente, das se-

perguntas referentes ao planejamento, im-

cretarias finalsticas que se originaram dos

plementao ou repercusses de programas

antigos rgos: Secretaria Nacional de Segu-

pblicos. O termo programa utilizado como

rana Alimentar (SESAN); Secretaria Nacional

denominao geral de uma poltica, programa

de Assistncia Social (SNAS); Secretaria Na-

ou ao governamental.

cional de Renda de Cidadania (SENARC). Foram tambm criadas duas secretarias para o

A criao do MDS reuniu distintas trajetrias

desenvolvimento de atividades que vieram a

organizacionais, campos de conhecimento e

ser chamadas de meio: a Secretaria de Arti-

objetos de atuao, com suas prprias vises

culao Institucional e Parcerias (SAIP) e a Se-

de mundo, modos de agir e solues para a

cretaria de Avaliao e Gesto da Informao

conduo de suas atividades e resoluo

(SAGI). Essas duas secretarias apresentam,

de problemas. No existia, em nenhuma das

na estrutura do MDS, a mesma posio que

organizaes anteriores que se fundiram no

as secretarias finalsticas, so unidades que

novo ministrio, cultura de avaliao, ou seja,

se relacionam horizontalmente na hierarquia

um conjunto de prticas e crenas incorpo-

organizacional; acima delas encontra-se so-

rando a avaliao como parte da gesto de

mente a Secretaria-Executiva, alm, claro,

programas e polticas. Pelo contrrio, havia

do Ministro.

grande desconhecimento do significado e da

prpria funo avaliao.

Coube SAGI as funes de avaliao e monitoramento das polticas e programas de de-

As bases normativas da institucionalizao da

senvolvimento social do MDS. Isso significou

avaliao no MDS foram estabelecidas com

uma inovao em termos de gesto pblica

a criao do prprio Ministrio em janeiro

brasileira, uma vez que at ento no existia,

de 2004 e com a definio de sua estrutu-

em nenhum Ministrio, uma secretaria com

ra organizacional em maio do mesmo ano. O

essa finalidade exclusiva4. Do ponto de vista

MDS fundiu o Ministrio da Assistncia Social

regimental, as competncias da SAGI foram

(MAS), o Ministrio Extraordinrio de Segu-

formuladas pelas instncias dirigentes do

rana Alimentar e Combate Fome (MESA)

MDS, no processo de sua criao. Contudo,

e a Secretaria-Executiva do Programa Bolsa

nesse momento, isso no significou a formu-

Famlia, a qual era vinculada diretamente

lao, tampouco a implementao; apenas a

Presidncia da Repblica.

instituio de suas bases normativas.

24

Nesse mbito, cabe diferenciar atividades de

planejamento, a programao e a tomada de

controle e de avaliao, que, s vezes, so

decises futuras.

confundidas entre si. Enquanto o foco das

atividades de avaliao e monitoramento a

O risco de contaminao pelos interesses polti-

qualidade da gesto, o das atividades de con-

cos de organizaes, grupos ou indivduos est

trole a legalidade dos atos da administra-

na raiz da recomendao de que as avaliaes

o pblica, o cumprimento das normas e dos

sejam executadas por instituies externas. Em

procedimentos legais.

nossa experincia, houve uma razo suplementar a essa recomendao: a possibilidade de se

O objetivo mais geral do sistema de avaliao

agregar aos estudos maior diversidade e maior

consistiu na produo de informao baseada

volume de expertise na observao de vrios

em evidncias e sistematizada sobre progra-

aspectos de um programa. A constituio de

mas, polticas, aes, servios; na produo

uma equipe interna organizao capaz de co-

de insumos para mudanas nos programas

brir os vrios campos de saber para a avaliao

que pudessem melhorar seu desempenho

de programas tende a ser de alto custo, de li-

no apenas nas metas previstas, mas tambm

mitada capacidade de produo de estudos de

em seus objetivos. Do ponto de vista geren-

qualidade e de maior risco de endogenia nas

cial, enquanto funo incorporada rotina da

escolhas metodolgicas.

execuo das polticas pblicas, seu objetivo foi o de subsidiar tomadas de decises e

Em uma estrutura de avaliao cuja rationale

aes de um conjunto de atores interessados.

a legitimidade cientfica, esta tambm a base

para legitimidade poltica, interna e externa-

Avaliaes de programas podem ser feitas

mente. A qualidade tcnica dos estudos tornou-

por meio de diferentes tipos de estudos,

se um capital poltico, subsidiando o debate

que observam vrias de suas dimenses,

pblico sobre os principais programas da rea.

tais como: relevncia, eficincia, efetividade, resultados e impactos. Espera-se que as

As escolhas dos desenhos de estudos de ava-

indicaes desses estudos contribuam para

liao devem ser vistas tambm como parte

melhorar a qualidade dos processos de im-

desse ambiente, onde os mtodos dos estu-

plementao ou verificar os resultados dos

dos dependem das perguntas que se quer

programas, dando tambm subsdios para o

responder, dos recursos e das fontes de da-

Medida Provisria n. 163, de 23 de janeiro de 2004, transformada na Lei n. 10.868, de 13 de maio de 2004.

As atribuies da SAGI, apresentadas no Anexo I, foram definidas pelo Decreto n. 5.074, de 11 de maio de 2004, e corrobo-

radas pelo Decreto n. 5.550, de 22 de setembro de 2005.

R evista B rasileira

de

M onitoramento

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

25

dos disponveis e do tempo de resposta de-

avaliao e produz informaes mensurveis

sejado. Os parmetros adotados pela SAGI,

sobre a demanda e a oferta das polticas p-

no MDS, seguiram a tipologia clssica da rea

blicas. No entanto, os estudos requerem re-

quanto s dimenses que podem abordadas

cursos financeiros considerveis e expertise

pelos estudos de avaliao (DRAIBE, 2001):

nem sempre disponvel, alm de exigir tempo

demorado para obter resultados. Os princi-

A) PROCESSOS estudos sobre os pontos que favorecem ou dificultam os processos de implementao da poltica ou
do programa, includos seus desenhos,
suas dimenses organizacionais e institucionais. Os resultados das avaliaes
de processos podem ser mais facilmente utilizados por gestores e gerentes,
que tm a possibilidade de tomar providncias em relao a achados e recomendaes pertinentes.

pais usurios dos estudos mais robustos de

B) RESULTADOS englobam: desempenho, que se refere aos produtos definidos pelas metas do programa; impacto,
que indica mudana na situao dos
beneficirios, provocada diretamente
pelo programa. As avaliaes de impacto
procuram comparar as respostas dadas
por dois ou mais grupos similares da
populao quanto s condies de exposto e no exposto a um determinado
programa. H ainda o componente efeitos, que se refere aos resultados sociais
ou institucionais no esperados de um
programa.

ser realizadas mais rapidamente.

impacto so tomadores de deciso e formuladores de programas nacionais ou transnacionais, gestores de nveis hierrquicos mais altos e pesquisadores envolvidos com o tema.
As avaliaes de processos ou de desempenho, por sua vez, so de realizao mais factvel, porque so mais flexveis metodologicamente. So geralmente aplicadas em estudos
de processos ou de desempenho, podendo

Quanto maiores ou mais complexos forem a

abrangncia temtica, a representatividade
da populao observada, o grau de aprofundamento das questes, a combinao de mtodos, o nmero de estratos de uma amostra
e a quantidade de cruzamentos pretendida na
anlise, mais demorada e cara ser uma pesquisa. Em compensao, uma pesquisa mais
robusta metodologicamente pode ter maior
peso na definio dos rumos de determinados programas, desde que no ultrapasse o
tempo mximo esperado para a produo das

26

Os estudos de impacto, geralmente consi-

respostas s perguntas formuladas. O tempo

derados o padro-ouro da avaliao, usam

da produo de conhecimento no costuma

mtodos quantitativos de coleta de da-

coincidir com o tempo da poltica e isso um

dos e modelos estatsticos/economtricos

problema inerente dualidade da rea, que

para analis-los; baseiam-se em estratgias

sempre se tenta antecipar, mas como qual-

amostrais complexas e em desenhos quase-

quer poltica implementada, nem sempre de

experimentais. Essa configurao possui alta

acordo com o previsto. De qualquer forma,

legitimidade na comunidade internacional de

no impediu a institucionalizao do sistema.

O processo de
institucionalizao
O MDS desenvolveu um modelo com algumas

a processos inovadores so resolvidas apenas

singularidades: posicionamento horizontal

por procedimentos hierrquicos, sem a criao

na estrutura organizacional; concentrao de

de mecanismos de cooperao e construo

recursos humanos com alta qualificao; con-

de confiana. A participao dos membros das

tratao externa dos estudos de avaliao;

secretarias finalsticas na elaborao da agenda

nfase na gesto dos contratos de pesquisa

e na implementao da avaliao definio

e disseminao dos resultados; desenvolvi-

do desenho e das questes de pesquisa, cons-

mento de instncia ministerial de pactuao

truo de instrumentos de pesquisa, discusso

da agenda de avaliao e financiamento com

de relatrios e recomendaes, incorporao

recursos oriundos, em grande parte, de em-

das recomendaes pertinentes garantiu a

prstimos junto s agncias internacionais.

adeso e legitimidade ao processo, criando as

bases para sua sustentabilidade, a despeito de

Essa iniciativa significou uma inovao na

subsequentes mudanas nos cargos de direo.

gesto pblica brasileira, uma vez que, at

ento, no existia, em nenhum Ministrio,

O convencimento dos membros da organiza-

uma secretaria com essa finalidade exclusiva.

o e, sobretudo, dos gestores de que as in-

Comparativamente s demais experincias

formaes produzidas por monitoramento e

latino-americanas, a posio dessa unida-

avaliao possibilitariam no apenas melho-

de na estrutura organizacional do Ministrio

rar o desempenho dos programas, mas tam-

tambm singular. Em pases como Chile, Ar-

bm verificar se os resultados previstos esta-

gentina e Mxico, a funo avaliao ora est

vam sendo alcanados, assim como possveis

concentrada num rgo gestor do planeja-

reformulaes, consistiu em uma etapa ne-

mento de todo o sistema governamental (caso

cessria do processo de institucionalizao.

chileno), ora tem suas funes distribudas

em vrias unidades de gesto e controle no

A legitimidade da avaliao passa pelo reco-

interior dos Ministrios de Desenvolvimento

nhecimento de sua utilidade. Enquanto atores

Social (casos argentino e mexicano).

racionais, os gestores de programas tm interesse pela funo instrumental da avaliao

Essa posio na estrutura organizacional, sua

e isso que d sentido ao investimento em

autonomia relativa dentro de um rgo recente,

estudos acadmicos. A cooperao entre dife-

reunindo secretarias com diferentes trajetrias,

rentes membros do corpo tcnico, pesquisa-

precisava ser legitimada. Como organizaes

dores externos e gestores dos programas con-

so locais de conflito, dificilmente, resistncias

sistiu em grande incentivo para a cooperao.

R evista B rasileira

de

M onitoramento

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

27

Com a centralizao da funo avaliao na

acompanhamento e avaliao dos estudos

SAGI, a unidade tornou-se responsvel por

contratados requer recursos humanos

realizar ou contratar todos os estudos de

qualificados. A inexistncia de um corpo de

avaliao referentes aos programas sob ges-

funcionrios prprio, capacitado para essas

to do Ministrio. Tambm ficou a cargo da

atividades, consistiu uma debilidade en-

capacitao dos gestores do MDS em ativi-

frentada de diferentes formas, inicialmente

dades de avaliao, com o objetivo de for-

por meio de contratos precrios. A partir de

necer-lhes maior competncia para definir

2007, as contrataes precrias foram subs-

suas demandas; debater as metodologias es-

titudas por mecanismos mais estveis.

colhidas e os resultados encontrados e, principalmente, apropriar-se dos resultados das

Para avaliar os programas das trs grandes

investigaes para a melhoria dos programas

reas do Ministrio, investiu-se em compe-

e polticas sob sua gesto.

tncia tcnica e formao multidisciplinar,

recrutando-se profissionais oriundos de dife-

Ainda que do ponto de vista regimental as

rentes reas de atuao e de conhecimento:

competncias da SAGI tenham sido formula-

cincias sociais e humanas, tecnologia da in-

das pelas instncias dirigentes do Ministrio

formao, demografia, estatstica, economia,

poca de sua criao, isso no implicou a

nutrio, assistncia social, agronomia etc. O

formulao, tampouco a implementao, de

objetivo foi constituir uma unidade compac-

uma poltica ou um modelo de avaliao;

ta, com a maior competncia tcnica agrega-

apenas a instituio de suas bases normati-

da possvel (Tabela 1).

vas. Crucial para a implementao de qualquer empreendimento a capacidade insti-

O financiamento externo e o consequente

tucional da agncia responsvel por isso. O

relacionamento com agncias internacio-

primeiro efeito da criao de uma unidade

nais contriburam para aumentar a quali-

responsvel por avaliao foi a construo

dade do debate interno sobre o papel da

de capacidade institucional, envolvendo re-

avaliao na gesto pblica. A relao com

cursos financeiros, fsicos e humanos. Alm

atores externos reforou a necessidade de

da alocao dos recursos prprios, os oriun-

produo de evidncias cientficas, forta-

dos de emprstimos de organismos inter-

lecendo os atributos de independncia e

nacionais foram fatores indutores da imple-

transparncia buscados nos estudos e seus

mentao e institucionalizao do processo.

resultados. aqui que a qualidade tcnica

e cientfica dos estudos de avaliao pode

28

A exigncia de critrios tcnicos e profis-

cumprir no apenas as clssicas funes

sionais para desempenhar um conjunto de

gerenciais, mas tambm a de legitimidade

atividades de avaliao definio de estu-

poltica de sua funo no mbito de uma

dos, desenhos e metodologias; contratao;

gesto pblica profissionalizada.

 tabela - RECURSOS HUMANOS DA SECRETARIA DE AVALIAO E

GESTO DA INFORMAO SEGUNDO FUNO E TITULAO MXIMA - JULHO
DE

Fonte: SAGI/MDS
** 4 cursavam o mestrado.
* Todos cursavam o ensino superior.

No ano de 2006, foi constituda a poltica de avaliao e monitoramento do MDS (BRASIL, 2006),
que define como aes de avaliao os estudos
e pesquisas com os seguintes objetivos:
a) anlise
programas;

da

implementao

de

f) elaborao de diagnsticos de perfil

da demanda;

b) anlise de resultados imediatos dos

programas;

g)
avaliao
da
satisfao
beneficirios/usurios;

c) anlise de impactos ou efeitos dos

programas;

h) avaliao da qualidade dos servios

prestados;

d) anlise da eficincia, da equidade, da

eficcia e da efetividade de programas;

i) elaborao de estudos de linha de

base.

de

e) anlise do perfil dos beneficirios dos

programas;

R evista B RasileiRa

de

M onitoRaMento

a valiao | n MeRo 1 | J aneiRo -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

29

A agenda de avaliao passou a ser regida

preende as etapas da discusso e preparao

pelo Plano Anual de Monitoramento e Avalia-

dos termos de referncia. O Termo de Refe-

o elaborado por grupo de trabalho com re-

rncia (TR) utilizado para estabelecer os pa-

presentao dos atores relevantes envolvidos

rmetros tcnicos e jurdico-administrativos

na gesto dos programas, sob coordenao

necessrios aos editais de seleo e contra-

da SAGI. Aprovado, anualmente, no ms de

tao de pessoa fsica ou jurdica para a exe-

agosto, o Plano indica os programas e aes

cuo das pesquisas. Os parmetros tcnicos

do MDS a serem priorizados pelas avaliaes

definem escopo, objetivos, metodologia, cro-

no ano seguinte (VAITSMAN; RODRIGUES;

nograma e custos do projeto.

PAES-SOUSA, 2006). A elaborao do Plano

considera as avaliaes realizadas anterior-

Os parmetros jurdico-administrativos refe-

mente pelo MDS ou por outras instituies,

rem-se aos requisitos exigidos pelas normas.

de modo a evitar repeties e desperdcio de

Entre estes ltimos, enfatizamos dois aspec-

recursos.

tos: a propriedade dos microdados por parte do MDS e a adequao tcnica da equipe

O fluxo de avaliao dos

programas do MDS

executora.

Quem demanda e utiliza os resultados dos

delo desenvolvido no MDS foi a disponibi-

estudos de avaliao? No caso do MDS, de-

lizao dos microdados das pesquisas por

mandas sobre questes e temas a serem ava-

meio do Consrcio de Informaes Sociais

liados podiam partir de dirigentes, gestores

(CIS), preservando-se a confidencialidade

e gerentes de diferentes nveis. A divulgao

dos indivduos observados. A publicao

de resultados de avaliaes atinge a comuni-

dos microdados torna mais eficiente a utili-

dade de polticas envolvidas com o tema da

zao dos recursos pblicos investidos em

proteo social, pblicos com interesses va-

pesquisa e promove a transparncia em re-

riados, tendo, portanto, distintas implicaes.

lao aos resultados desses investimentos.

H sempre diversos tipos de audincia para

Permite a confrontao e comparao dos

os resultados da avaliao: gestores e tcni-

resultados divulgados com resultados oriun-

cos envolvidos com os programas avaliados,

dos de outras anlises, promovendo uma va-

outros gestores pblicos, pesquisadores, jor-

lidao informal das informaes divulgadas

nalistas e demais interessados nas reas aca-

sobre os programas. Do ponto de vista pol-

dmica e poltica.

tico, a divulgao pblica um mecanismo

Uma inovao no ciclo da avaliao do mo-

que aumenta o controle da sociedade sobre

30

De modo geral, o fluxo de avaliao dos pro-

o governo. Aqui tambm, a boa gesto im-

gramas do MDS pode ser dividido em: 1) de-

plica maior accountability e transparncia.

finio da demanda, 2) contratao dos estu-

A seguir, apresentamos, de maneira esque-

dos e gesto dos contratos e 3) disseminao

mtica, o fluxo de avaliao dos programas

dos resultados. A definio da demanda com-

sociais do MDS.

fluXo de avaliao dos programas do mds

R evista B RasileiRa

de

M onitoRaMento

a valiao | n MeRo 1 | J aneiRo -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

31

Consideraes finais
A experincia do MDS mostra que, na pers-

metodologias de avaliao. A divulgao, por

pectiva da institucionalizao e legitimidade,

meio de publicaes de resultados de avalia-

difcil separar a funo de gesto da avalia-

o, alm de tornar pblico os produtos das

o de suas funes estratgicas. Pois, para os

polticas e programas, subsidia o debate tc-

gestores, justamente sua utilidade enquanto

nico e poltico da rea de desenvolvimento

instrumento de gesto que fomenta a coope-

social.

rao e, ao mesmo tempo, legitima a agenda

da avaliao, promovendo maior participao

Nesse sentido, a apropriao e o uso dos

dentro da organizao. Processos mais trans-

resultados da investigao pela gesto das

parentes e cooperativos fomentam a adeso

polticas e programas, que de fato, coroariam

ao processo de accountability e criam condi-

o ciclo de avaliao de um programa ou po-

es para a incorporao, pelos membros da

ltica, constituem um desafio ao mesmo tem-

organizao, da cultura da avaliao.

po poltico e gerencial. Questes como a no

coincidncia entre o tempo da poltica e o da

32

As contrataes externas, garantindo maior

produo de conhecimento costumam ser

independncia e iseno dos estudos, cons-

objeto de conflitos entre os diferentes atores

tituram elementos decisivos para a cons-

envolvidos no processo de implementao e

truo de legitimidade interna e externa. Do

avaliao. Muitas vezes, recomendaes rele-

ponto de vista interno, o envio permanente

vantes de estudos de boa qualidade no con-

dos resultados das investigaes s instn-

seguem interferir na dinmica das polticas e

cias de pactuao renova a autoridade dos

programas, seja pela indiferena dos gesto-

avaliadores perante os avaliados, reduzindo

res ou dificuldade de mobilizar os respons-

os potenciais conflitos entre estes.

veis por mudanas nessa dinmica.

A utilizao dos resultados de avaliao pe-

A experincia do MDS muito recente, mas

las diferentes audincias depende do grau

pode ser inserida no processo de profissio-

de domnio e interesse sobre os programas

nalizao da administrao pblica brasileira

e polticas, bem como do conhecimento das

(ABRCIO, 2007; NOGUEIRA & CAVALCANTI,

2009). Os estudos de avaliao realizados

a construo de uma gesto mais eficaz e

cumpriram seus objetivos de produo de

transparente.

evidncias em polticas pblicas. Ganhos

de informao, anlises e subsdios para a

Ainda que a institucionalizao de sistemas

expanso e o planejamento dos programas

de avaliao integrados s estruturas gover-

foram conquistas obtidas base de coope-

namentais dependa de inmeros fatores so-

rao organizacional e legitimidade interna

bre os quais nem sempre seus formuladores

e externa, pautadas por critrios de transpa-

ou implementadores tm poder de deciso e

rncia e excelncia. A avaliao conseguiu

influncia, a experincia do MDS, ao instituir

um lugar institucional, passando no apenas

um sistema de avaliao, expandiu o debate

a ser aceita, mas fortemente demandada

qualificado sobre os projetos e polticas de

como necessria pelas demais unidades e

governo. A discusso de questes que so

membros da organizao.

objeto das polticas, com base em evidncias,

produz opinies e julgamentos mais informa-

As atividades da unidade de avaliao de-

dos, promovendo mudanas de qualidade na

sempenharam tanto funes estratgicas,

arena das polticas pblicas.

de governo, ao promoverem a transparncia

das aes do Estado, quanto operacionais,

Com todas as dificuldades que a implementa-

ao produzirem evidncias para os gestores

o de sistemas de avaliao e monitoramento

de programas. Ainda que o sistema tenha

apresenta, seja quanto sua legitimidade or-

sido implementado a partir de um modelo

ganizacional, seja quanto ao uso de seus re-

top-down, dentro de uma perspectiva ge-

sultados, a avaliao, enquanto uma atividade

rencialista, a cooperao entre os atores

integrada s estruturas governamentais, no

envolvidos garantiu a participao de vrios

apenas produz evidncias que podem contri-

nveis hierrquicos da organizao. A din-

buir para melhorar a eficcia dos programas e

mica do processo de contratao de estu-

polticas pblicas, mas tambm contribui com

dos e produo e divulgao de resultados

o processo de construo de uma gesto p-

constituiu-se em elemento importante para

blica mais transparente e profissionalizada.

R evista B rasileira

de

M onitoramento

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

33

Referncias bibliogrficas
ABRUCIO, Fernando Luiz. Trajetria recente da gesto pblica brasileira: um balano crtico e a renovao da agenda de reformas. Revista Brasileira de
Administrao Pblica, Rio de Janeiro: FGV, p. 6786. 2007. Edio Especial Comemorativa.
BRASIL. Ministrio do Desenvolvimento Social
e Combate Fome. Portaria sobre a poltica de
avaliao e monitoramento do MDS. Braslia, DF:
MDS, 2006.
CAIDEN, G. E; CAIDEN, N. Enfoques y lineamiento, la mediciona y la evaluation des desenpeo
en programas del sector publico. Revista do Servio Pblico, v. 52, n. 1, p. 78-103, 2001.
CLINE, Kurt D. Defining the implementation
problem: organization management versus cooperation. Journal of Public Administration Research and Theory, Oxford, v. 10, n. 3, 2000.
COLEMAN, James. Social capital in the creation of
human capital. In: DAS GUPTA, Partha; SERAGELDIN, Ismail. Social capital: a multifaceted perspective. Washington, DC: The World Bank, 1999.
CUNILL-GRAU, Nuria. La Democratizacin de la
administracin pblica: los mitos a vencer. In:
POLTICA y gestin pblica. Buenos Aires: Centro Latinoamericano de Administracin para el
Desarrollo; Fondo de Cultura Econmica de Argentina, S.A., 2004.

34

DRAIBE, S. M. Introduo. In: BARREIRA, M. C. R.

N.; CARVALHO, M. do C. B. de (Orgs.). Tendncias
e Perspectivas na Avaliao de Polticas Sociais.
So Paulo:IEE/PUC-SP, 2001.
FARIA, Carlos Aurlio P. A Poltica da avaliao
de polticas. Revista Brasileira de Cincias Sociais, So Paulo, v. 20, n. 59, 2005.
GEVA-MAY, I; PAL, L. Good Fences Make Good
Neighbors - Policy Evaluation and Policy Analysis Exploring the Differences, Evaluation, v. 5,
n.3, p.259277. 1999.
GUBA, E. G. & LINCOLN, Y. S. Fourth Generation
Evaluation. Newbury Park, CA, Sage Publications, 1989.
GREENE, Jennifer C. Qualitative Program Evaluation: practice and promise. In: DENZIN, N; Lincoln. Y. Handbook of Qualitative Research. London: Sage Publications, 1994. p.530-544.
LUNDIN, Martin. Explaining cooperation: how
resource interdependence, goal congruence,
and trust affect joint actions in policy implementation, J Public Adm Res Theory, v.17, n. 4, p.
651-672. 2007.
KLIKSBERG, Bernardo. Capital social y cultura,
claves esenciales del desarrollo. Revista de la
Cepal, Santiago de Chile, n. 69, dez. 1999.

MOKATE, K. Convirtiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social. Washington, D. C.: Banco Interamericano de Desenvolvimento, 2003.
NOGUEIRA, Ronaldo; CAVALCANTE, Pedro. Avaliao e monitoramento: duas experincias de
institucionalizao na gesto das polticas pblicas no Poder Executivo Federal Brasileiro. In:
CONGRESO INTERNACIONAL DEL CLAD SOBRE LA
REFORMA DEL ESTADO Y DE LA ADMINISTRACIN PBLICA, 14, 2009, Salvador (Bahia), Brasil.
OSZLAK, Oscar. Responsabilizacin o respondibilidad?: el sujeto y el objeto de un Estado
responsable. In: RESPONSABILIZACION y Evaluacin de la gestin pblica. Caracas: Centro
Latinoamericano de Administracin para El Desarrollo; Editorial Texto, C.A., 2005. p. 239-272.
OWEN, Ann L; VIDERAS, Julio. Trust, cooperation,
and implementation of sustainability programs:
the case of Local Agenda 21, Ecological Economics, Elsevier, v. 68, n. 1-2, p. 259-272, December 2008.
PATTON. Evaluationss political inherency:
practical implications for design and use. In:
PALUMBO,D. J. The Politics of program evaluation. Newbury Park, CA. Sage, 1987. p. 100-145.

R evista B rasileira

de

M onitoramento

PUTNAM, Robert D. Comunidade e democracia: a experincia da Itlia moderna. Rio de

Janeiro: Fundao Getlio Vargas, 1996.
SUBIRATS, Joan. Podemos utilizar los instrumentos de evaluacin como palanca de
gobierno del sector pblico? In: RESPONSABILIZACIN y Evaluacin de la gestin pblica. Caracas: Centro Latinoamericano de
Administracin para el Desarrollo ; Editorial
Texto, C.A., 2005. p.47-58.
TYLER. Trust within organisations, Personnel
Review, v. 32 , n. 5, p.556 568. 2005.
VAITSMAN, Jeni; RODRIGUES, Roberto W. S;
PAES-SOUSA, Rmulo. O Sistema de avaliao e monitoramento das polticas e programas sociais: a experincia do Ministrio do
Desenvolvimento Social e Combate Fome.
Braslia: MDS; UNESCO, 2006. Policy Papers,
n.17.
WEISS, C. Where politics and evaluation research meet. In: Palumbo, D. J. (Ed.) The politics of program evaluation. Newbury Park,
CA. Sage Publications, 1987.

A valiao | N mero 1 | J aneiro -J unho

Avaliao de programas e profissionalizao da gesto pblica

de

2011

35