c ultivando os Frutos Sociais

A Importncia da Avaliao nas Aes das Empresas

Anna Maria T. Medeiros Peliano (coord.)

Governo Federal Secretaria de Assuntos Estratgicos da Presidncia da Repblica Ministro Samuel Pinheiro Guimares Neto

Fundao pblica vinculada Secretaria de Assuntos Estratgicos da Presidncia da Repblica, o Ipea fornece suporte tcnico e institucional s aes governamentais possibilitando a formulao de inmeras polticas pblicas e de programas de desenvolvimento brasileiro e disponibiliza, para a sociedade, pesquisas e estudos realizados por seus tcnicos.

As opinies emitidas nesta publicao so de exclusiva e de inteira responsabilidade de sua autora, no exprimindo, necessariamente, o ponto de vista do Instituto de Pesquisa Econmica Aplicada, ou da Secretria de Assuntos Estratgicos da Presidncia da Repblica. permitida a reproduo deste texto e dos dados nele contidos, desde que citada a fonte. Reprodues para fins comerciais so proibidas

Presidente

Marcio Pochmann
Diretor de Estudos e Polticas Sociais

Jorge Abraho de Castro

Coordenadora-Geral da Pesquisa Ao Social das Empresas

Anna Maria T. Medeiros Peliano

Elaborao do Documento

Anna Maria T. Medeiros Peliano

Equipe da Pesquisa Ao Social das Empresas
Ana Carolina Aires Cerqueira Prata Luana Simes Pinheiro Luis Fernando de Lara Resende Marco Antnio de Sousa Roberto SantAnna Mattos Vanessa Nascimento Viana

Cultivando os frutos sociais : a importncia da avaliao nas aes das empresas / Anna Maria T. Medeiros Peliano (coord.).- Braslia : Ipea, 2009. 90 p. : grfs. Inclui bibliografia. ISBN 978-85-7811-034-5 1. Servios Sociais. 2. Empresas. 3. Participao Social. 4. Brasil. I. Peliano, Anna Maria T. Medeiros. II. Instituto de Pesquisa Econmica Aplicada. CDD 361.70981

Agradecimento: Apoio

Nathalie Beghin Escritrio da CEPAL no Brasil

c ultivando os Frutos Sociais

A Importncia da Avaliao nas Aes das Empresas
Anna Maria T. Medeiros Peliano (coord.)

Braslia 2009

a presentao

Com esta nova iniciativa, o Ipea d sequncia aos estudos que vem desenvolvendo sobre a atuao das empresas pblicas e privadas no campo social, desta vez com foco na prtica e no uso que elas fazem da avaliao dos resultados de suas aes sociais. Os trabalhos nessa rea, que tiveram incio h uma dcada, desdobram-se em uma srie de investigaes sobre as aes empresariais em benefcio dos segmentos mais pobres da populao. Tais investigaes fazem parte da Pesquisa Ao Social das Empresas (Pase), que revela quais so e como se do estas prticas, por que so promovidas por estas empresas e organizaes, e quais so os possveis espaos para o estabelecimento de parcerias com o Estado. Seus resultados e concluses foram amplamente divulgados pelo Ipea, a includas a publicao de cinco livros e a disponibilizao de diversos documentos de trabalho por meio de site especfico da Pesquisa. Esta edio volta-se para o estado da arte da avaliao dos projetos sociais sob a tica de seus prprios promotores, ou seja: o que eles fazem no sentido de aquilatar o desenvolvimento e o alcance de seus projetos, o que os motiva a avaliar e qual o montante de recursos a investido, quais as maiores dificuldades enfrentadas, a viabilidade, a propriedade e a utilidade de suas avaliaes. A par de uma garimpagem da literatura existente sobre a temtica, o leitor encontrar neste volume, acompanhados de anotaes pontuais, desde depoimentos sistematizados de empresas e organizaes que atuam na rea social at informaes agregadas, as quais, se nem sempre permitem generalizaes, renem elementos para a identificao, discusso e proposio no mbito do processo avaliativo na rea, seu alcance e seus limites. relevncia do assunto somam-se o ineditismo das informaes apresentadas, seu carter multiplicador tanto para estudos quanto para aes futuras, assim como a seriedade tcnicocientfica mpar que sempre caracterizou os trabalhos desenvolvidos no mbito da Pesquisa, sem, contudo, circunscrever a compreenso do livro ao universo dos especialistas. E por isso que o Ipea tem a grata satisfao de tornar pblico seu contedo.

Marcio Pochmann Presidente do Ipea

SUMRIO
Introduo: Que Estudo Este? ______________________________________________11 A Avaliao segundo Informaes da Pesquisa Ao Social das Empresas (Pase) ___________25 As empresas, no Brasil, avaliam as suas aes sociais?________________________________27
Quantas empresas avaliam as suas aes sociais?___________________________________27 Que tipo de empresas avalia as suas aes sociais?_________________________________29

A Avaliao na Observao de Campo_______________________________________35 O que se entende nas empresas por monitoramento e avaliao de aes sociais? _________37 O que motiva as empresas a avaliarem sua atuao no campo social?_____________________40 Quais as expectativas das empresas em relao avaliao?__________________________44 Quem demanda as avaliaes sociais das empresas?________________________________46 Nos ltimos tempos, o que mudou dentro da empresa em relao avaliao?______________47 Que aes so monitoradas e avaliadas? E por qu?________________________________48 Como as empresas avaliam as suas aes sociais?__________________________________52
Como so planejadas as avaliaes?____________________________________________53 Como so elaborados os diagnsticos da situao social das comunidades?________________54 Como so definidos e coletados os indicadores?____________________________________56

Que recursos so mobilizados?________________________________________________58 Que atores so envolvidos nas avaliaes?________________________________________60 Quais os resultados percebidos e divulgados?______________________________________63 Quais as maiores dificuldades enfrentadas?________________________________________65 Que uso foi feito do monitoramento e da avaliao?_________________________________68 Na viso das empresas, as avaliaes geram tenses?________________________________72

Concluso: O que se Pode Extrair das Experincias de Avaliao nas Empresas Privadas? ____75 Bibliografia_ ____________________________________________________________81

i ntroduo
Que estudo este?

Chama ateno o interesse crescente das empresas privadas em serem identificadas e diferenciadas pela defesa de causas sociais. Tal fenmeno, impulsionado em meados dos anos 1990, adquire, mais recentemente, novos contornos. Na dcada passada, as empresas diferenciavamse pelo simples fato de realizarem algum tipo de ao social. J o desafio dos novos tempos diferenciarem-se pela qualidade destas aes e pela comprovao de seus resultados por meio de argumentos mais robustos. Isto porque, de um lado, a maioria absoluta das empresas j atua em prol das comunidades mais pobres e, por outro, porque cresce a cobrana, por parte de segmentos organizados da sociedade, para conhecer os resultados desta atuao. Atento ao interesse do setor no governamental de contribuir no atendimento s demandas sociais, o Instituto de Pesquisa Econmica Aplicada (Ipea) tem desenvolvido, desde o final da dcada de 1990, uma srie de estudos e pesquisas a respeito da participao do setor privado em atividades voltadas para as comunidades mais pobres. Em 2002, foi divulgada a primeira Pesquisa Ao Social das Empresas (Pase), que teve como objetivo investigar o envolvimento voluntrio das empresas na rea social, as caractersticas de suas intervenes e a magnitude deste atendimento. Foram pesquisadas mais de nove mil empresas em todo o Brasil, compondo uma amostra cujos resultados refletem o comportamento do universo das empresas privadas com um ou mais empregados. A partir deste estudo, marcado por seu ineditismo, produziu-se um mapeamento desta atuao social,1 que apontou 59% dos estabelecimentos empresariais no Brasil desenvolvendo atividades sociais em benefcio das comunidades mais pobres, alocando recursos da ordem de R$ 7,8 bilhes.2 Entre 2004 e 2006, voltou-se a campo para atualizar essas informaes e analisar sua evoluo. A partir da nova investigao, foi possvel identificar um crescimento de dez pontos no percentual de empresas que atuam no campo social: de 59% para 69%. No obstante este crescimento, observou-se uma queda no volume de recursos investidos para R$ 5,5 bilhes,3 devida a um recuo exclusivo na regio Sudeste. Vale registrar que, nos primeiros estudos sobre as aes sociais das empresas, a motivao era desenhar o perfil desta atuao e acompanhar, no tempo, seus desdobramentos na esfera pblica. Em
1. Ver Peliano (2000). 2. Em valores constantes de 2008, atualizados pelo ndice Nacional de Preos ao Consumidor (INPC). 3. Em valores constantes de 2008, atualizados pelo INPC.

13

um momento em que se expandia o apelo por novos arranjos entre os setores pblico e privado no campo social, era necessrio conhecer melhor os novos atores, que estavam ampliando suas aes. Nos dias atuais, o interesse pelas parcerias expresso em diversas polticas pblicas e em um vasto conjunto de iniciativas do setor empresarial, criando a oportunidade de se aprofundar o conhecimento sobre o tema. Uma vez analisado o perfil, a dimenso e a evoluo das aes sociais das empresas, sobressai a necessidade de conhecerem-se os resultados desta participao. Para tanto, buscou-se, neste estudo, investigar como as prprias empresas esto avaliando sua atuao, e que resultados esto percebendo em relao s comunidades atendidas. Sem perder de vista o fato de que so as polticas governamentais que respondem pelo acesso aos direitos sociais, no se pode desconsiderar a existncia de uma ampla atuao no estatal, realizada por organizaes com ou sem fins lucrativos, que interfere na melhoria do bem-estar social da populao e necessita ser melhor conhecida. Em que pese a existncia de uma literatura relativamente vasta sobre a avaliao de projetos sociais, pouco se sabe sobre as avaliaes realizadas neste campo pelo setor no governamental, especialmente pelas empresas privadas ou por suas fundaes e institutos. As empresas no Brasil avaliam suas aes sociais? Se sim, que empresas avaliam estas aes? Por que motivos? Que aes so avaliadas? Como so avaliadas? Que uso as empresas fazem dos resultados das avaliaes? O que se pode aprender com estas experincias? Foi para responder a perguntas deste teor que o Instituto de Pesquisa Econmica Aplicada (Ipea), em parceria com a Comisso Econmica para a Amrica Latina e o Caribe (Cepal), apoiou a presente pesquisa, cujos resultados so apresentados ao longo deste volume. Os resultados analisados foram extrados da Pesquisa Ao Social das Empresas de 2006, e de uma pesquisa de campo desenvolvida entre 2007 e 2008, em dezoito empresas localizadas em Braslia, Rio de Janeiro e So Paulo. A maioria absoluta destas empresas visitadas de grande porte e tem atuao publicamente reconhecida no campo social algumas delas at mesmo premiadas por suas atuaes. No se trata de uma amostra estatisticamente representativa do universo de empresas que avaliam suas aes sociais, mas, dada a riqueza de informaes obtidas, acredita-se que seus resultados refletem muito dos processos desenvolvidos nas empresas maiores que ora se dedicam a avaliar suas aes sociais. Dessa forma, o estudo sobre a avaliao das aes sociais de empresas privadas que atuam no pas partiu de uma identificao do universo de empresas que declaram avaliar suas aes para,

14

em seguida, investigar, com base na percepo de profissionais das prprias empresas, por que, como e para que as empresas se dedicam a esta atividade. A identificao daquele universo, cujos resultados so descritos neste volume, foi realizada a partir de tabulaes especiais sobre a base de dados da Pesquisa Ao Social das Empresas (Pase 2006). Este livro apresenta uma anlise qualitativa das caractersticas e significados das avaliaes desenvolvidas por um grupo de grandes empresas, desenvolvido com base em estudos de casos mltiplos. Note-se que, para fins desta pesquisa, extraiu-se, de diversas definies propostas por estudiosos do tema, o seguinte entendimento a respeito do que deve ser considerado avaliao: um processo de aquisio sistemtico de informaes que permitem qualificar, com base na aplicao de critrios publicamente defensveis, at que ponto um determinado programa/ao realizou adequadamente as atividades previstas e atingiu os objetivos esperados. A avaliao deve ainda gerar subsdios para a tomada de decises relacionadas s aes sociais,4 e conter recomendaes para seu encaminhamento e aprimoramento. Em um primeiro momento, pretendeu-se usar o conhecimento obtido no estudo para elaborar uma metodologia a ser utilizada em uma meta-avaliao, isto , para avaliar em larga escala as avaliaes feitas por empresas de diferentes setores, portes e regies do pas. O propsito era confrontar os procedimentos de avaliao adotados nas empresas com as recomendaes extradas da literatura sobre a utilidade, a viabilidade, a propriedade e a preciso tcnica destas avaliaes.5 Com isto, seria possvel verificar se elas atendem s necessidades de informao dos dirigentes e gestores das aes sociais e contribuem para o seu aprimoramento (utilidade); se adotam procedimentos simples e de baixo custo (viabilidade); se o processo transparente e visto como legtimo pelos atores envolvidos (propriedade); e se a qualidade da coleta e da anlise das informaes atende aos requisitos exigidos (preciso tcnica).

15

4. Para delimitar o significado de ao social, levou-se em conta o conceito proposto na Pesquisa Ao Social das Empresas (Pase) intitulada A iniciativa privada e o esprito pblico: um retrato da ao social das empresas no Brasil: qualquer atividade que as empresas realizam, em carter voluntrio, para o atendimento das comunidades, nas reas de assistncia social, alimentao, sade e educao, entre outras. Essas atividades incluem desde pequenas doaes eventuais a pessoas ou instituies at grandes projetos mais estruturados (Peliano e Beghin, 2003). 5. A seleo de tais atributos baseia-se nas recomendaes do Joint Committee on Standards for Educational Evaluation (1994). No entanto, para a avaliao destes atributos, sugere-se um elenco de trinta diretrizes, que no foram seguidas a rigor neste estudo.

16

A primeira seleo das empresas para os estudos de caso foi feita com base no banco de dados da Pase/Ipea. Por motivos operacionais, foram identificadas, de incio, seis empresas, com sede em Braslia, de diferentes portes e setores de atividade, que haviam declarado possuir avaliaes documentadas de suas atividades sociais. Procedeu-se, ento, realizao de contatos telefnicos com os responsveis pelas aes sociais em cada uma destas empresas. Na ocasio, foi explicado o objetivo da nova pesquisa e solicitado o agendamento de entrevista. Todavia, j neste primeiro contato, metade das empresas recusouse a participar, informando, contrariamente ao que haviam declarado anteriormente, no avaliarem suas aes sociais. Da metade que se disps a participar, apenas uma empresa confirmou, na entrevista, avaliar suas aes sociais, mas os procedimentos por ela adotados no atendiam aos requisitos bsicos de uma avaliao. Tal discrepncia, percebida logo de incio e depois corroborada ao longo deste estudo, revela que aquilo que a grande maioria das empresas entende por avaliao no corresponde ao constante na literatura. Apesar disso, as empresas pesquisadas mostraram grande interesse em descrever seus projetos sociais, e sinalizaram preocupaes em acompanhar e divulgar melhor sua implementao. Diante da limitao das informaes extradas nessas primeiras visitas, optou-se pela elaborao de um novo mapeamento de empresas no s de Braslia, mas tambm do Rio de Janeiro e de So Paulo. Neste novo conjunto, foram includas 20 empresas que no constavam, necessariamente, do banco de dados da Pase, mas que so reconhecidas por sua atuao social, publicao de balanos sociais, divulgaes em veculos de comunicao ou premiaes por projetos sociais. A hiptese era que estas empresas avaliassem suas aes nos moldes recomendados. Sem a preocupao de construir uma amostra representativa do universo, cuidou-se de abranger, nesta nova seleo, empresas, institutos e fundaes empresariais, privadas e pblicas, nacionais e multinacionais, de setores econmicos distintos e que atuam em reas sociais tambm distintas, de forma a captar uma maior variedade de situaes possveis dentro dos limites de tempo e recursos deste estudo. Deste modo, foram contatadas 26 empresas, das quais dezoito foram visitadas (quadro 1). Em oito empresas, no foi possvel o levantamento, ou porque no foi vivel agendar a entrevista nas datas solicitadas, ou porque informaram j no contato telefnico que no avaliavam as suas aes.

Quadro 1
Informaes resumidas das empresas pesquisadas Empresa/tipo de instituio Setor de atividade da empresa (ou da mantenedora) Funo dos entrevistados Descrio do projeto avaliado Programa de alfabetizao destinado a jovens e adultos a partir de 14 anos de idade. Foi implementado a partir de convnios com os governos federal, estadual e municipal, instituies sem fins lucrativos, associaes de moradores, igrejas, comits da cidadania e entidades diversas. Projeto de educao e sade voltado ao trabalho educativo-preventivo com crianas de instituies carentes, por meio de exames laboratoriais gratuitos, avaliao clnica, aes educativas e recreativas, transmitindo informaes sobre educao, cultura, higiene e sade a fim de diminuir os ndices de verminose das instituies assistidas. Projeto realizado em parceira com uma organizao no governamental sem fins lucrativos, que teve por objetivo alfabetizar e habilitar idosos como artesos. Instalao de um jardim e construo de um campo de futebol em uma instituio hospitalar. Programa de educao para valores que buscam fomentar a participao social e o protagonismo juvenil em classes da 5 8 srie do ensino fundamental e nos dois primeiros anos do ensino mdio. Foi viabilizado por meio de parcerias entre secretarias de educao, escolas municipais e a comunidade escolar em geral (incluindo alunos, educadores, pais e responsveis). Continua

1. Fundao

Setor financeiro

Diretoria de avaliao de projetos

2. Instituto

Setor de sade

Diretoria

17

3. Empresa

Diretoria de Setor de saneamento avaliao de projetos Setor de servios de Proprietrio da paisagismo empresa

4. Empresa

5. Instituto

Setor de fumo

Gerncia de projetos sociais

Continuao Empresa/tipo de instituio Setor de atividade da empresa (ou da mantenedora) Funo dos entrevistados

Descrio do projeto avaliado Programa de educao para a sade iniciado por governo estadual, posteriormente apoiado pela empresa. Tem como pblico-alvo: diretores, professores, agentes de sade e justia, estudantes adolescentes da rede pbica de ensino. Seu principal objetivo criar e ampliar espaos de discusso e aprendizagem para adolescentes e jovens da rede pblica de ensino sobre sade sexual e reprodutiva, sexualidade e direitos relacionados.

6. Fundao

Setor de minerao

Assessoria de comunicao

7. Empresa

Setor de comunicao

18

Programa de educao voltado para o fortalecimento da escola pblica de educao bsica por meio do traDiretoria e gerncia balho voluntrio e da ao solidria. Foi implementado de planejamento em parceria com organizaes sem fins lucrativos, social poder pblico local e empresas comprometidas com a educao de qualidade para todos. Programa de fomento ao empreendedorismo e gerao de renda, desenvolvido e implantado em parceria com organizaes sem fins lucrativos. Visa formar empreendedores bem-sucedidos, socialmente responsveis e comprometidos com a sua comunidade e, simultaneamente, construir uma rede de voluntrios.

8. Empresa

Setor qumico e petroqumico

Gerncia de investimentos sociais

9. Empresa

Setor de bebidas no alcolicas

Gerncia de marketing social

Programa de educao voltado ao fomento de lideranas jovens. Tem o objetivo de combater a evaso escolar. executado em parceria com organizaes sem fins lucrativos, poder pblico e empresa.

Continua

Continuao Setor de atividade da empresa (ou da mantenedora)

Empresa/tipo de instituio

Funo dos entrevistados

Descrio do projeto avaliado

10. Empresa

Setor qumico e petroqumico

Gerncia de programas sociais

Programa de combate fome e pobreza que tem como foco a garantia dos direitos da criana e do adolescente, a gerao de emprego e renda, e a educao e qualificao profissional de jovens e adultos.

11. Instituto

Setor de vesturios

Presidncia

Programa de fomento leitura, executado em parceria com organizaes sem fins lucrativos, escolas pblicas, comunidade e voluntrios. Tem o objetivo de promover, por meio da leitura, o acesso de crianas e adolescentes ao conhecimento e cultura.

12. Fundao

Setor financeiro

Diretoria financeira e superintendncia da fundao

Programa de educao voltado formao qualificada de jovens da periferia de grandes cidades por meio de oficinas de leitura, apreciao e produo cultural e artstica, e expresso corporal. Executado em parceria com organizaes sem fins lucrativos e o poder pblico, tem como principal objetivo permitir aos jovens melhores nveis de escolaridade e o desenvolvimento de competncias e habilidades.

19

13. Empresa

Setor de cosmticos

Diretoria de sustentabilidade

Projeto de educao voltado para a qualificao de profissionais de redes municipais de educao. Executado em parceria com o poder pblico local e organizaes com e sem fins lucrativos, o projeto busca reduzir a repetncia e a evaso escolar.

Continua

Continuao

Empresa/tipo de instituio

Setor de atividade da empresa (ou da mantenedora)

Funo dos entrevistados

Descrio do projeto avaliado

14. Empresa

Setor financeiro

Gerncia de educao e sustentabilidade

Programa de garantia dos direitos da criana e do adolescente, centrado na educao pblica de qualidade e conduzido com o envolvimento dos funcionrios da empresa, clientes e fornecedores.

15. Empresa

Setor de tecnologia da informao

Gerncia de cidadania e assuntos corporativos

No realiza avaliao das aes sociais desenvolvidas; s faz o monitoramento.

20
16. Empresa Setor educacional

Coordenador-professor

No realiza avaliao das aes sociais desenvolvidas; s faz o monitoramento.

17. Empresa

Setor alimentcio

Gerncia de recursos humanos

No realiza avaliao das aes sociais desenvolvidas; s faz o monitoramento.

18. Empresa

Setor de comunicao

Gerncia de recursos humanos

No realiza avaliao das aes sociais desenvolvidas; s faz o monitoramento.

Fonte: Avaliao de aes sociais Diretoria de Estudos Sociais (Disoc)/Ipea (2007).

Nessa etapa da pesquisa de campo, o objetivo principal foi identificar os conceitos incorporados pelas empresas, as estruturas organizacionais montadas, as atividades realizadas, os resultados obtidos e as percepes dos entrevistados sobre o processo avaliativo. Para tanto, foram coletadas informaes obtidas em entrevistas guiadas por um roteiro semiestruturado, que contava com perguntas abertas (resposta livre) e fechadas (mltipla escolha), complementadas pela consulta a relatrios de avaliao, balanos, sites e outras publicaes das empresas pesquisadas. Foram entrevistados profissionais de diversas formaes e atribuies. Predominaram aqueles com formao em cincias sociais (isto , sociologia, antropologia, psicologia, comunicao social, letras, administrao e marketing) que ocupam cargos de: i) coordenao e gerncia de programas/projetos sociais; ii) diretoria; e iii) superintendncia das instituies entrevistadas. A diversidade dos entrevistados permitiu obter perspectivas diferentes, mas, ainda assim, os pontos de vista expressados refletem a opinio dos quadros dirigentes das empresas, e no do conjunto dos atores envolvidos. O primeiro roteiro para a entrevista foi elaborado com base nos subsdios obtidos na reviso bibliogrfica realizada no incio do estudo. Ao longo do trabalho de campo, no entanto, este roteiro foi sendo modificado de forma a excluir o que no era possvel captar e, ao mesmo tempo, incorporar novas dimenses que no haviam sido previstas. Em funo da realidade captada no campo, a proposta de construir uma metodologia para uma meta-avaliao dos programas sociais desenvolvidos pelas empresas foi objeto de reviso no decorrer do trabalho. Observou-se que as experincias de avaliao so ainda muito recentes e restritas a um grupo de empresas de maior porte, que nem sempre disponibilizam relatrios completos das metodologias utilizadas e dos resultados obtidos. Assim, a hiptese preliminar sobre os resultados da Pase que, em geral, o que foi declarado como avaliao aproxima-se muito mais de um acompanhamento sobre aspectos de gesto e de satisfao dos atores envolvidos do que de um processo consistente de avaliao. Desse modo, a opo foi abandonar parcialmente a proposta inicial e aprofundar a anlise sobre o sentido das avaliaes quanto aos trs primeiros atributos: utilidade, viabilidade e propriedade. Buscou-se, ainda, incorporar questes relativas ao monitoramento,6 visto ser este considerado parte integrante do processo de avaliao.
6. De acordo com a literatura analisada, foram definidos como monitoramento os processos internos que permitem acompanhar regularmente dados relativos aos custos, ao desenvolvimento e qualidade de uma ao, possibilitando ajustes frente a possveis riscos e adequao dos rumos de um programa/ao tendo em vista o aprimoramento dos servios oferecidos.

21

Redirecionado o foco do estudo, o roteiro foi novamente estruturado para a obteno de respostas, basicamente, aos seguintes blocos de indagaes: D D D D D D o que as empresas entendem por monitoramento e avaliao das aes sociais; quais so as motivaes para avaliar sua atuao no campo social; quais procedimentos so adotados para a avaliao, e que recursos so mobilizados; quais so os atores envolvidos no processo de avaliao; qual o uso dos resultados obtidos; e quais so as percepes sobre as avaliaes realizadas.

22

A opo de se aplicar um roteiro de entrevista semiestruturado, baseado em uma srie de perguntas previamente ordenadas, mas que permite ao entrevistador acrescentar perguntas de esclarecimento, justifica-se devido flexibilidade deste instrumento. Assim, foi possvel obter dos entrevistados informaes ricas e diversas e captar as distintas percepes e procedimentos adotados para o monitoramento e para a avaliao, o que seria difcil mediante aplicao de um questionrio fechado, no qual as respostas estariam condicionadas s alternativas apresentadas. A garantia de anonimato tambm contribuiu para a maior espontaneidade das respostas e para a riqueza das informaes fornecidas. Tal opo deveu-se ao objetivo da pesquisa, que no julgar a avaliao realizada por cada uma das empresas, mas sim compreender o processo de forma global ou, conforme Robert Yin (2005), elaborar uma explanao geral que se ajuste a cada um dos casos individuais, embora os casos variem nos detalhes. So reconhecidas as limitaes de estudos realizados nos moldes adotados. Entre as mais destacadas na literatura, encontram-se aquelas relacionadas pouca capacidade de generalizao e comparao das concluses encontradas, tanto em funo do nmero reduzido de respondentes quanto das dificuldades de homogeneizao e padronizao de respostas coletadas de maneira aberta. Porm, tendo em vista os propsitos desta etapa do estudo explorar o que est acontecendo nas empresas no campo da avaliao e identificar questes que merecem ser posteriormente aprofundadas , considerou-se que as vantagens da abordagem adotada superam suas deficincias. As entrevistas, que duraram cerca de duas horas cada, foram gravadas e transcritas. Para facilitar a interpretao e a anlise dos depoimentos, as transcries foram organizadas sob a forma de

uma matriz, na qual os depoimentos coletados foram agrupados nos sete blocos temticos citados anteriormente. O trabalho consistiu, basicamente, em categorizar as informaes, organizando os relatos em cada bloco temtico. Depois de organizados na matriz, quando necessrio, as informaes foram complementadas por dados secundrios (relatrios, sites etc.) De posse dessa matriz e recorrendo s gravaes, foi possvel concentrar o trabalho de anlise na comparao e na avaliao do sentido e das intenes reveladas pelas respostas dos entrevistados, de modo a selecionar o essencial e orden-lo em torno das ideias principais. Em outras palavras, desmontou-se a estrutura e os elementos do contedo para esclarecer suas diferentes caractersticas e extrair sua significao (LAVILLE e DIONE, 1999). A documentao disponibilizada pelas empresas foi analisada individualmente e, ainda que limitada, contribuiu para a identificao de traos importantes e caractersticos das avaliaes implementadas. Assim, a viso construda sobre a atuao das empresas e suas percepes a respeito do que fazem e do que avaliam foi obtida com base nas declaraes de seus dirigentes e gestores, enriquecida, quando possvel, pelo material informativo coletado nas visitas de campo. Na sequncia, este livro apresenta a anlise das evidncias extradas das empresas pesquisadas. Visto que estas so distintas e atuam na rea social de forma diversa, o resultado sintetiza as lies aprendidas do estudo de cada uma delas, e no compe um retrato dos casos individuais. Mesmo assim, foi possvel identificar certa homogeneidade nos conceitos e nos procedimentos de planejamento, implantao e aproveitamento dos resultados da avaliao. Considerando-se, no entanto, o nmero reduzido de empresas pesquisadas, os resultados obtidos no so passveis de generalizaes, nem permitem a construo definitiva de padres de comportamento. Para isto, ser necessrio ir a campo novamente para investigar um nmero maior de empresas que adotem os critrios recomendados em suas avaliaes. Tambm importante para que se obtenha um quadro mais completo a respeito do tema explorar o universo de empresas que, apesar de investirem recursos significativos no campo social, ainda no iniciaram o processo de avaliao. Para este grupo, cabem as seguintes indagaes: que expectativas as empresas tm em relao s suas aes sociais? Por que no avaliam esta atuao? Quais so as suas dificuldades? Como percebem a importncia da avaliao? De posse deste conhecimento, ser possvel confrontar as evidncias extradas neste estudo e explorar explicaes concorrentes ou contraditrias, que podero trazer novos elementos importantes ao que se pretende conhecer.

23

segundo informaes da a avaliaoao social das empresas pesquisa (pase)

Na Pesquisa Ao Social das Empresas mencionada anteriormente, indagou-se s empresas se possuam avaliaes documentadas de suas aes sociais. Com base nesta informao, foi possvel identificar o nmero de empresas no pas por porte, setor de atividade e regio que declaram avaliar suas aes no campo social. Os resultados obtidos so analisados a seguir. Cabe mencionar, no entanto, que no possvel saber, pelas informaes levantadas na Pase, qual o tipo de avaliao realizada, tampouco seu nvel de qualidade. No se pode afirmar se as avaliaes referem-se apenas s percepes dos dirigentes e condutores da ao social sobre os resultados obtidos, ou se envolvem uma construo metodolgica mais elaborada, com anlise e acompanhamento sistemtico de indicadores que reflitam os resultados das atividades realizadas em prol das comunidades. Com o objetivo de cobrir parcialmente esta lacuna, foi desenvolvido o estudo de campo apresentado na segunda parte desta publicao, adiante.

As empresas, no Brasil, avaliam as suas aes sociais?

O grande destaque na anlise dos dados oriundos da Pase sobre avaliao que apenas uma pequena parcela de empresas emprega esforos para avaliar e documentar os resultados de suas atividades, no obstante o volume de recursos investidos no social e a lgica da eficincia que, em tese, permeia a atuao empresarial.

27

Quantas empresas avaliam as suas aes sociais?

Conforme se observa no grfico 1, no Brasil somente 16% do universo das empresas que atuam no social (cerca de 95 mil estabelecimentos) declararam possuir algum tipo de avaliao documentada das aes sociais realizadas.

Grfico 1

As empresas possuem avaliao documentada das aes sociais desenvolvidas?

28

Fonte: Pesquisa Ao Social das Empresas no Brasil (Disoc/Ipea, 2006). Tabulaes Especiais (2008).

Entre os diversos fatores que podem contribuir para esse comportamento das empresas, destacam-se: D D D D a percepo de que no necessrio investir tempo e recursos para a avaliao porque a empresa conhece, informalmente, o que acontece na ponta; a constatao de que os recursos investidos nas aes sociais so relativamente pequenos e, sendo a atuao recente, no h, por conseguinte, resultados a medir; o reconhecimento da fragmentao das aes e a predominncia de doaes pontuais, o que dificulta, aparentemente, a realizao de avaliaes; o entendimento de que o objetivo da atuao restringe-se a ajudar as comunidades independentemente dos resultados, no havendo, portanto, interesse;

o reconhecimento de que no h definies claras dos objetivos e metas para as aes sociais, no sendo vivel, assim, avaliar seus resultados nos moldes convencionalmente recomendados; a baixa expectativa em relao aos resultados das aes sociais, o que leva a empresa a se satisfazer com as informaes obtidas em um monitoramento interno, operacionalmente mais simples e mais barato; e a percepo de que a avaliao custa caro, sendo melhor investir diretamente nas atividades fins.

Essas so hipteses que merecem ser posteriormente exploradas em um levantamento de campo mais abrangente, junto a empresas de diferentes portes que no avaliam suas aes sociais.7

Que tipo de empresa avalia as suas aes sociais?

O interesse pelas avaliaes, segundo as informaes das empresas, varia de acordo com a regio geogrfica, o setor de atividade e o porte das empresas. Os dados extrados da Pase, apresentados nos grficos 2 a 4, ilustram esta afirmao. O Sudeste foi a regio que proporcionalmente mais avaliou suas aes sociais: um quarto das empresas ali sediadas declarou possuir avaliao documentada da ao social desenvolvida para a comunidade (grfico 2). As demais regies apresentaram percentuais bem abaixo do verificado no Sudeste, variando entre 5% e 10%.

29

7. Essa questo especfica foi apresentada a um conjunto de grandes empresas em uma pesquisa recente realizada pela TNS InterScience, com o apoio do Instituto Fonte e da Fundao Ita Social. As empresas que no avaliam os resultados dos seus projetos sociais apresentaram as seguintes justificativas: 28% confiam nas organizaes que apoiam; 21% atribuem a no avaliao falta de recursos financeiros ou humanos; 17% informam que tm alguma avaliao, mas que no so estruturadas; 11% declaram falta de conhecimento sobre o tema avaliao que justifique o investimento; 2% no acham necessrio; e 20% no sabem informar (Avaliao do investimento social no setor privado, So Paulo, TNS InterScience, 2008, no publicada).

Grfico 2

Por regio: qual o percentual de empresas que possuem avaliao documentada das aes sociais desenvolvidas?

30

Fonte: Pesquisa Ao Social das Empresas no Brasil (Disoc/Ipea, 2006). Tabulaes Especiais (2008).

No entanto, considerando-se que as empresas da regio Sudeste destinaram para o social cerca de 70% do total dos recursos investidos no pas (R$ 3,8 bilhes a valores de 2008), os resultados indicam que nem mesmo o alto volume de recursos aplicados foi capaz de impulsionar, de maneira decisiva, o desenvolvimento de avaliaes que permitissem sociedade conhecer os resultados destas intervenes. No conjunto, o setor industrial o que menos tem se dedicado a avaliar suas aes, como pode ser observado no grfico 3. Nas informaes disponveis, no se tem elementos para explicar esta diferena. Uma hiptese que as indstrias estariam mais distantes das comunidades atendidas e, assim,

acompanhariam menos os resultados de suas aes sociais. Para explicar este fenmeno, seriam necessrios estudos mais especficos, que levassem em considerao os determinantes histricos e culturais de tal comportamento. Vale ressaltar, no entanto, que, analisando-se apenas o comportamento das maiores empresas (mais de 500 empregados), verifica-se que estes percentuais se alteram. Neste grupo, 31% dos estabelecimentos comerciais e 30% dos industriais declaram avaliar sua atuao social, contra 18% das empresas de servios. Grfico 3

Por setor de atividade econmica: qual o percentual de empresas que possuem avaliao documentada das aes sociais desenvolvidas?

31

Fonte: Pesquisa Ao Social das Empresas no Brasil (Disoc/Ipea, 2006). Tabulaes Especiais (2008).

J os percentuais das empresas do setor de servios e de comrcio que declaram avaliar suas aes sociais esto bem prximos da mdia nacional (16%). Este resultado no surpreende na medida em que as empresas destes setores representam cerca de 75% das que desenvolvem aes sociais no pas. Portanto, o comportamento deste grupo influencia fortemente os resultados finais. Um dado surpreende entre as empresas de diferentes portes que declaram possuir algum tipo de avaliao documentada: considerando-se o nmero de empregados, no h grandes diferenas no comportamento das menores e das maiores empresas (grfico 4). Grfico 4

Por nmero de empregados: qual o percentual de empresas que possuem avaliao documentada das aes sociais desenvolvidas?

32

Fonte: Pesquisa Ao Social das Empresas no Brasil (Disoc/Ipea, 2006). Tabulaes Especiais (2008).

O esperado seria que as grandes empresas, que investem mais recursos nas aes sociais, estivessem mais preocupadas em conhecer o impacto desta aplicao e as qualidades e deficincias das atividades desenvolvidas. Porm, o percentual das empresas com mais de 500 empregados que declaram possuir avaliao documentada apenas um pouco maior (trs pontos percentuais) do que o das microempresas. Este resultado sinaliza pouca compreenso do que uma avaliao. A hiptese, neste caso, que a qualidade das informaes das grandes empresas maior: melhor conhecedoras do significado de uma avaliao, foram mais precisas ao responder ao questionrio. Essa dificuldade no entendimento foi captada no estudo qualitativo apresentado a seguir. Inicialmente, foram selecionadas as empresas de Braslia, de diferentes portes, que haviam declarado na Pase possuir avaliaes documentadas. J nos primeiros contatos, observou-se que a maioria no avaliava suas aes nos moldes esperados e sequer possua um entendimento correto sobre esta atividade. Parte delas via na avaliao apenas o controle contbil-financeiro, informaes sobre o nmero de beneficirios atendidos por meio das aes sociais apoiadas, e informaes eventuais junto ao pblico-alvo. Uma vez que estes controles financeiros so adotados por muitas empresas de menor porte, este fato pode explicar por que informaram avaliar suas aes sociais, ou seja, estas empresas entendem que estes controles, e to somente eles, corresponderiam a avaliaes suficientes de suas aes sociais.

33

a avaliao na observao de campo

De posse das informaes sobre as empresas no Brasil que declaram avaliar suas aes sociais, procurou-se aprofundar o conhecimento sobre a forma desta avaliao a partir de estudo qualitativo realizado em um grupo de 18 empresas, a maioria de grande porte, localizadas nas cidades de Braslia, Rio de Janeiro e So Paulo. Conforme ressaltado, no se trata de uma amostra estatisticamente representativa do universo de empresas que avaliam suas aes sociais. Porm, pode-se assumir enquanto hiptese plausvel que os resultados obtidos refletem muito dos processos de avaliao desenvolvidos nas empresas de grande porte. A ampliao deste estudo para um nmero maior de empresas que efetivamente avaliam suas aes sociais poder trazer respostas mais generalizveis. A anlise das informaes extradas deste estudo apresentada nas sees seguintes. Para ampliar seu entendimento, foram mesclados depoimentos de diversos entrevistados. Ressalte-se que, para a preservao do indispensvel sigilo, os relatos no esto identificados por entrevistado ou por natureza da instituio, apenas pelo setor de atividade econmica das empresas.

O que se entende nas empresas por monitoramento e avaliao de aes sociais?

Um primeiro ponto a destacar na anlise dos depoimentos obtidos nesse grupo de empresas que as equipes responsveis pelo monitoramento e avaliao das aes sociais tm uma compreenso do tema condizente com os preceitos encontrados na literatura. Todas percebem o monitoramento e a avaliao enquanto instrumentos de gesto, necessrios para julgar os resultados da ao e auxiliar a tomada de decises. O monitoramento visto como um olhar interno e permanente sobre a gesto das aes desenvolvidas. Fica clara sua associao ao controle do que est acontecendo em todo o processo de implementao, ou seja, verificao da eficincia e eficcia das aes, ainda que estes termos no estejam necessariamente presentes nos relatos, conforme se observa nos depoimentos a seguir:

37

O monitoramento uma interveno tcnica. o instrumento que vai colher as informaes para a avaliao, para ver se estamos alcanando os objetivos. (Empresa do setor de vesturio)

Monitoramento pressupe uma ao mais constante e um conjunto de indicadores atravs dos quais voc pode atuar de forma permanente e que tambm servem como ferramenta de gesto permanente. (Empresa do setor de comunicao) Monitoramento focado no processo. Voc vai trabalhar com indicadores definidos l atrs quando foram definidas as suas metas e seus objetivos. (Empresa do setor de bebidas no alcolicas) Monitoramento um procedimento interno e permite acompanhar o andamento do programa e fazer adequaes. (Empresa do setor de minerao)

38

A avaliao frequentemente definida enquanto um procedimento que visa identificar os resultados das aes realizadas. Permite comparar o planejado e o alcanado e, eventualmente, dimensionar o seu impacto (a efetividade). Pelos depoimentos dos entrevistados, a avaliao fundamenta melhor um juzo de valor sobre diferentes componentes de um programa ou projeto e fornece subsdios para solucionar problemas, corrigir rotas ou entender fatores de sucessos ou fracassos relativos aos resultados. Alguns mencionam o carter pontual da avaliao, e outros, seu carter contnuo. Muitos destacam a importncia de contar com avaliadores externos para garantir a iseno necessria coleta e anlise dos resultados.

Avaliao um instrumento de gesto. Ela no s nos d o retorno de todos os procedimentos realizados, mas tambm permite corrigir as distores no curso do processo. A avaliao no feita apenas em determinados momentos do programa, do desenvolvimento do programa ou apenas no seu final, mas ela vem desde o incio, nasce com o programa. (Empresa do setor de vesturio) Avaliao um procedimento necessrio para entender o impacto do projeto, se aquele projeto realmente est trazendo algum beneficio para aquela comunidade, para aquele pblico a que ele se prope. (Empresa do setor qumico e petroqumico) Avaliao aquela parada que voc faz para perceber se tem um percurso, como ele foi feito e o que aconteceu ao longo dele de positivo, de dificuldade. (Empresa do setor de bebidas no alcolicas) A avaliao um instrumento de deciso, realmente para nos levar a refletir sobre a ao. (Empresa do setor financeiro)

A avaliao se d em um momento em que voc verifica se os objetivos propostos pela instituio foram cumpridos. como voc enxergou a combinao de resultados. (Empresa do setor qumico e petroqumico)

Importante destacar que, em vrios momentos das entrevistas, observou-se que os depoimentos se referiam ao monitoramento, enquanto as perguntas eram relativas s avaliaes. Os entrevistados das empresas que monitoram e avaliam suas aes no fazem uma distino muito ntida entre as duas atividades. Muitos as tratam como sinnimas e verifica-se at mesmo certa relutncia em diferenciar estes dois instrumentos. Quando instigados, alguns distinguem na avaliao um olhar mais aprofundado, um processo mais amplo, que pode anteceder uma ao ou ocorrer aps sua finalizao. Outros, ao contrrio, consideram que o monitoramento incorpora a avaliao, na medida em que traz elementos para julgamento de valor e tomada de decises. O que parece ser consenso o entendimento de que o monitoramento e a avaliao so etapas interdependentes de um mesmo processo, ou seja, enquanto a avaliao compreendida como uma fotografia tirada no meio ou no final dos programas, o monitoramento seria comparvel a um filme que perpassa todo o processo. Os relatos ilustram estas vises:

39

Avaliao parte do monitoramento. O monitoramento tem como essncia a avaliao. Porque, se eu inicio o projeto falando que esses so os objetivos, como eu vou medir esse resultado? Durante todo processo de monitoramento eu estou avaliando, ele est embutido. (Empresa do setor financeiro) Monitoramento pressupe uma ao mais constante. um processo mais horizontal do que uma avaliao. Quanto mais monitorado , mais fcil fica a avaliao e medir o impacto. (Empresa do setor de comunicao) Pessoas externas fazem a avaliao. O monitoramento feito por ns. Nesse sentido a avaliao em geral traduz aquilo que voc percebeu ao longo do monitoramento. Mas sempre tem uma novidade na avaliao. (Empresa do setor de cosmticos) Eu no consigo separar um monitoramento de uma avaliao. Porque mesmo que a avaliao no seja externa, ela est sendo feita internamente pela nossa equipe que vai l e acompanha nossos programas no dia a dia. Ento se ela est monitorando o andamento daquele programa e est vendo que alguma coisa saiu do eixo, naturalmente a avaliao est sendo feita e naturalmente uma adequao quele programa vai ser necessria. (Empresa do setor de minerao)

Toda vez que se est monitorando, de certa forma se estabelece um controle, portanto, se est avaliando. (Empresa do setor de fumo) O monitoramento no est fora da avaliao e ambos so ferramentas de gesto que permitem o aprimoramento do programa. (Empresa do setor de vesturio)

O que motiva as empresas a avaliarem sua atuao no campo social?

As motivaes para avaliar as aes sociais tm dimenses distintas e determinam a forma pela qual as avaliaes so realizadas. Observa-se que o interesse em conhecer os resultados dos investimentos, aprimorar a gesto e impulsionar os programas e projetos comum entre as empresas. Avaliar para iluminar uma afirmao recorrente. Ela referida tanto no sentido de jogar a luz para dentro da empresa visando ampliar o conhecimento e mostrar os caminhos e rotas alternativas , quanto para fora objetivando atrair parcerias, reproduzir a experincia em outras organizaes privadas ou pblicas, e fortalecer a identidade e legitimar a atuao da empresa.

40

Se estamos trabalhando no social temos que buscar um fato consistente que mude aquela situao que deu origem ao projeto. Eu quero ter o resultado e quero poder orientar as nossas decises em relao aos nossos investimentos. (Empresa do setor financeiro) Voc pode ter seu credo, mas se no tiver uma prova que a coisa acontece, que traz resultados e agrega, esse credo sozinho no caminha. Ento, atravs do resultado que eu acho que se consegue fazer o que se faz. (Empresa do setor de bebidas no alcolicas) muito importante que haja avaliao (externa), at para que no se repita o histrico de que mais um programa tocado pela empresa que quer limpar o seu nome, que quer dizer isso ou aquilo. Ento a independncia da empresa que faz a avaliao muito importante, vital. (Empresa do setor de fumo) Avaliao oferece uma referncia, uma espcie de prestao de contas para a sociedade em geral.
(Empresa do setor de comunicao) A avaliao para as empresas se constitui em um sobre-esforo que necessrio realizar porque nessa rea existe um risco de comunicar projetos e programas sem saber os resultados obtidos ou o que tende

a causar um impacto ruim. No d para comear a propagar projetos sociais em que no se sabe se estes esto gerando os efeitos devidos; (...) [no se deve] comunicar s porque eles vo levar o nome da sua organizao. (Empresa do setor de fumo) Se eu gero expectativas eu tenho que saber, no mnimo, se eu estou conseguindo entregar essas expectativas direito. Acho que a avaliao ajuda a responder isso: se as promessas que fiz esto sendo entregues. (Empresa do setor financeiro)

Apenas uma minoria das empresas menciona como motivao importante a busca, nos resultados da avaliao, dos argumentos para definir a manuteno ou o corte de recursos. A maioria considera um risco transformar a avaliao em um instrumento externo de punio e defende a busca de informaes para a gesto e o aprimoramento interno. A defesa desta viso que a empresa assume o compromisso com a causa e com a comunidade e, se os resultados no esto sendo alcanados, porque algo no est sendo bem feito e precisa ser reformulado; no significa, porm, eliminar o projeto ou a ao. Em outras palavras, um grupo est mais prximo da abordagem da avaliao centrada na obteno de resultados,8 cuja premissa deixar que o fato de alcanar os objetivos determine o xito ou fracasso e justifique melhorias, manuteno ou encerramento das atividades do programa.9 Outro grupo destaca que busca na avaliao contribuies para superar dificuldades e decidir sobre alternativas operacionais mais inteligentes, estando mais prximo, portanto, de uma abordagem centrada na administrao. Ilustram estas duas posies:
Os recursos so escassos, temos que utilizar da melhor forma possvel. Essa a motivao e quanto mais precisa for a avaliao, melhor. A avaliao ajuda a direcionar para uma forma mais eficaz de utilizao dos recursos. Se meus recursos no so infinitos, tenho que fazer escolhas. Ento vou priorizar onde eu

41

8. Essas vises e motivaes distintas se refletem no contedo e na forma com que as empresas desenvolvem as suas avaliaes. Consideradas, por exemplo, as diferentes abordagens descritas por Worthen, Sanders e Fitzpatrick (2004) observase, na pesquisa de campo, o desenvolvimento dos seguintes tipos de avaliao: i) centradas em objetivos, ou seja, voltadas para medir os resultados das aes sociais e desenvolvidas com nfase nos objetivos e metas alcanados; ii) centradas na administrao voltadas para recolher informaes para o processo de tomada de decises enfatizando os aspectos de gesto; iii) centradas em especialistas que buscam obter legitimidade externa a partir do julgamento de valor de especialistas externos; e iv) centradas nos participantes voltadas para uma maior aproximao com os atores e beneficirios envolvidos. Cabe mencionar, no entanto, que na prtica nenhum dos tipos descritos rigorosamente seguido e as avaliaes podem se enquadrar, simultaneamente, em mais de uma destas categorias. 9. Madaus e Stufflebeam (1989). In: Worthen, Sanders e Fitzpatrick (2004).

tenho melhor retorno, onde o investimento destes acaba sendo mais eficaz. Veja, no eficaz para a empresa, para comunidade. (Empresa do setor financeiro) Se no der resultado porque ns no estamos sabendo fazer. Mas por isso no abriremos mo [dos projetos]; faremos melhor. Porque isso premissa para a gente. [A avaliao] um instrumento de aprimoramento e no de seleo e corte de recursos. (Empresa do setor de cosmticos)

Dimensionar os impactos nem sempre considerado motivo para desencadear uma avaliao. Todos reconhecem que um investimento tem que apresentar resultados, e que necessrio conhec-los; no entanto, o mesmo no se verifica em relao aos impactos. Alguns destacam as dificuldades de se isolarem do contexto econmico, social e cultural das comunidades os impactos de suas aes, ou de localizar a sua contribuio nesse latifndio (empresa do setor de vesturio). Outros sustentam que impactos no se medem no curto prazo e, em geral, o que se apresenta como impactos so, na realidade, resultados sociais. A ttulo de exemplificao:
Porque o impacto tem que ter um marco zero, voc tem que acompanhar aquele cidado durante e depois do tempo que ele est naquele projeto. Ele requer um olhar mais profundo. No dizer mandei sim o jovem para o mercado de trabalho. Isso resultado para ns. Na nossa viso incluir trinta pessoas no mercado de trabalho resultado social. Impacto o que aconteceu na vida delas. Pensamos que se tudo que ns organizamos acontecer nesse perodo que estabelecemos, ento estaremos prontos para pensar numa avaliao de impacto. (Empresa do setor qumico e petroqumico)

42

Diferenas culturais e histricas das organizaes, bem como a viso que possuem de suas aes sociais, podem explicar as diferenas atribudas ao papel e objetivos das avaliaes. Por exemplo, de tabulaes especiais dos dados da Pase (2006) se extrai que, entre as grandes empresas que avaliam sua atuao no campo social, 52% declaram ter como objetivo melhorar sua imagem, 40% buscam aumentar a satisfao dos empregados, e 32% se preocupam em complementar a ao do governo. Entre as empresas do mesmo porte que no avaliam suas aes sociais, estes percentuais caem para 22%, 24% e 17%, respectivamente. Neste ltimo grupo de empresas sobressai o atendimento destinado a atender pedidos de outras entidades (57%) e solicitaes de amigos ou polticos (34%), conforme se observa no grfico 5.

Grfico 5

Por quais motivos as empresas realizaram aes sociais?1

43

Fonte: Pesquisa Ao Social das Empresas no Brasil Disco/Ipea (2006). Tabulaes Especiais (2008). Nota: 1 Empresas com mais de 500 empregados.

Quais as expectativas das empresas em relao avaliao?

A declarao de uma empresa parece sintetizar bem o que elas esperam extrair de suas avaliaes: saber se est valendo a pena investir. No entanto, por trs desta afirmao identificam-se significados distintos, entre os quais saber se esto acontecendo mudanas na vida das comunidades, se o investimento est sendo bem gerido ou, ainda, se est sendo bom para a imagem da empresa. Do leque das expectativas em relao s avaliaes se destacam: D D D D obter informaes sobre o andamento e os resultados dos programas e projetos; obter, em momento oportuno, subsdios para a tomada de decises relativas a reformulaes ou finalizao das aes; identificar dificuldades e lacunas na implantao dos programas e projetos; extrair subsdios para replicar a tecnologia social da empresa; levantar informaes para divulgar os resultados e dar transparncia s aes das empresas; e internalizar na empresa um aprendizado sobre os investimentos sociais.

44

D D

A maior parte delas considera que obter informaes sobre o uso dos recursos no o foco prioritrio, e que para tanto possuem outros instrumentos de controle e acompanhamento. As expectativas em relao s avaliaes se refletem nas afirmaes a seguir:

Para ns uma das questes fundamentais o como a avaliao vai nos apoiar na gesto do conhecimento. Essa a principal expectativa. Como efetivamente ela vai apoiar o aprendizado da organizao, mas tambm como o registro dessa experincia, da avaliao da experincia vai apontar uma proposta de alternativa de enfrentamento dessa questo. (Empresa do setor de vesturio) Ver o resultado efetivo. Exemplo: estou trabalhando em um cenrio onde tinha explorao sexual. Essa realidade mudou? Est em processo de mudana? Queremos avaliar isso. E tambm qualificar o nosso investimento social privado. (Empresa do setor financeiro)

Ento o que a avaliao produz? Ela produz mudanas de rumo, produz readequao dos projetos, permite que voc dialogue com o seu fazer e busque as formas de aperfeioar. um fator da aprendizagem. (Empresa do setor qumico e petroqumico) Queramos um insumo para poder pensar o novo programa. No fim das contas, em ltima instncia isso era o grande objetivo [da avaliao]: aprender com o passado para poder pensar o futuro. (Empresa do setor qumico e petroqumico) Espera-se da avaliao essa viso clara de como est o programa. Ento o que o avaliador precisa nos dar se aquele programa est ou no atingindo seus objetivos iniciais. Ento, se temos um programa de educao para qualificar professores por meio da melhoria da qualificao dos professores, a avaliao precisa responder se est havendo uma melhoria na aprendizagem e se aqueles professores esto melhor qualificados para aquela localidade, para aquela realidade. (Empresa do setor de minrios) Temos muita certeza em relao ao que queremos dos programas, e o que esperamos do avaliador que nos traga respostas se aquela situao esta sendo atendida. (Empresa do setor de minrios) A avaliao para verificar os resultados, tirar lies para outros projetos. para aprendizagem. (Empresa do setor financeiro) A avaliao no deve ser importante s para ns, mas para todos os envolvidos. Para os secretrios de educao ela foi importante. Para o instituto foi fundamental tambm. Ento procuramos que a avaliao agregue para todos os envolvidos. uma iniciativa da empresa, ela paga pela empresa, mas ela tem um olhar do compartilhar. (Empresa do setor de cosmticos)

45

As expectativas sobre a relevncia de processos avaliativos so to positivas que fica difcil compreender por que a maioria das empresas no pas no avalia sua atuao. A cultura da avaliao dos investimentos econmicos no se estendeu para o social. As dificuldades apontadas na subseo 7.7 adiante explicam, parcialmente, a escassez generalizada de avaliaes dos programas e projetos sociais. Outra justificativa plausvel que boa parte dos anseios dos dirigentes pode ser satisfeita com as informaes obtidas no processo de monitoramento interno, considerado operacionalmente mais simples e mais barato. Este um campo que merece ser posteriormente explorado em um levantamento especfico junto a empresas que no avaliam suas aes.

Quem demanda as avaliaes sociais das empresas?

Interessante observar que a maioria dos entrevistados declara que a iniciativa de avaliar partiu do prprio grupo envolvido na gesto dos programas ou projetos. Uma parte menor atribui a deciso diretoria e, eventualmente, s organizaes parceiras, destacando-se as instituies governamentais. A direo ou os conselhos ou comits externos ao grupo gestor participam destas decises, diretamente na aprovao dos recursos destinados avaliao ou, indiretamente, ao pressionar por conhecer os resultados alcanados. Alguns entrevistados admitem que a rea de comunicao da prpria empresa demanda por informaes de resultados para divulgar sua atuao social. Porm, no se atribui aos meios de comunicao externos uma presso efetiva por informaes qualificadas. No se menciona, tambm, presso das comunidades em conhecer os resultados ou impactos da atuao de que so alvos. Assim, pelas informaes obtidas, avaliar seria uma deciso de ordem interna, uma iniciativa para conhecer e mostrar resultados que parte espontaneamente das prprias empresas. No entanto, esta concluso no trivial. Cresce o interesse das empresas em serem publicamente identificadas pela defesa de causas sociais. Para tanto, vm tomando cincia de que necessitaro de mais do que declaraes de princpios para mostrar sociedade o seu compromisso efetivo. As presses externas podem no estar sendo explicitadas, mas, de alguma forma, esto influindo nas decises de avaliar. As afirmaes a seguir servem como exemplos para a percepo das demandas por avaliaes:

46

Presso para fazer avaliao no tem, tenho presso para o resultado. (Empresa do setor de tecnologia da informao) A empresa como um todo muito feliz com nossa atuao no campo social; ento, muito mais que cobrana, recebemos [grupo gestor] de certa forma um incentivo para fazer mais; a presso sempre no sentido de buscar por esses resultados, ela saudvel. (Empresa do setor de comunicao) As empresas operam um sistema onde nmeros so vitais para garantir a sustentabilidade do negcio e de todos os investimentos que esse negcio faz. O que voc no consegue explicar com nmeros ou o que voc no consegue suportar com nmeros mais difcil de ser mantido. At mesmo quando se fala da questo da sustentabilidade. (Empresa do setor qumico e petroqumico)

Tem uma demanda dos acionistas por avaliao, mas o instituto comeou a discutir, trouxe para a empresa a discusso, houve uma confluncia de expectativas. (Empresa do setor de vesturio) Alm de ter o conselho, ns temos uma comisso executiva. Um dos pontos que somos bastante cobrados esta questo dos resultados: o que este programa na verdade est trazendo para a comunidade. (Empresa do setor financeiro) Outra questo que estamos nos deparando que hoje os prprios secretrios de educao e as prprias organizaes [parceiras] esto mais demandantes de alguns impactos que gostariam que fossem mensurados e que no so to objetivos. Ns estamos quebrando a cabea para ver como se tornam mais objetivas algumas coisas que eles querem saber. (Empresa do setor financeiro) H algumas secretarias que so mais exigentes e h outras que esto passo a passo acompanhando o programa. A Secretaria Municipal de Educao tambm tem encontros semanais com a nossa coordenao local. E eu no vejo isso [a presso] como uma coisa ruim, no. Eu vejo isso como uma coisa maravilhosa. (Empresa do setor de bebidas no alcolicas)

Nos ltimos tempos, o que mudou dentro da empresa em relao avaliao?

h um entendimento generalizado de que cresceu, nesta dcada, o valor atribudo avaliao das aes sociais. Tal atitude geralmente explicada pelas mudanas na viso das empresas sobre sua atuao na rea social. A necessidade de avaliar e de mostrar resultados fica mais evidente medida que crescem os investimentos, ampliam-se os territrios atendidos, institucionaliza-se a conduo do setor dentro das empresas e buscam-se parcerias para implantar e replicar programas e projetos. E mais: a avaliao das aes sociais mencionada pelos gestores enquanto instrumento que auxilia na mudana de cultura dentro das prprias empresas e facilita o dilogo interno com as demais diretorias e gerncias. Finalmente, uma viso qualificada da estratgia de comunicao das empresas, mais voltada para resultados, tem contribudo recentemente, tambm, para incentivar a avaliao das aes. guisa de ilustrao:

47

O programa (...) foi construdo completamente alinhado ao planejamento estratgico da empresa. Ento no uma ao anexa. Ele tem indicadores e objetivos estratgicos dentro da companhia, o horizonte de tempo atrelado ao plano de negcios da companhia. Ento a hora que isso [o programa] ganha uma importncia estratgica para o negcio, a avaliao vem junto com uma necessidade de medir o que estamos conseguindo produzir. (Empresa do setor qumico e petroqumico) Eu vejo que essa discusso sobre a necessidade de avaliao existe j h uns quatro anos, sempre foi uma pergunta latente. E a comeamos a nos debruar, at porque esse um dos grandes desafios de todas as organizaes similares ao instituto. (Empresa do setor de vesturio) [Houve mudanas] a partir do momento que a fundao deixou de ser simplesmente financiadora e passou a ser uma parceira dos programas; se no tivesse a avaliao esse papel de parceria estaria comprometido. (Empresa do setor de minrios) Acho que avaliar um grande desafio do nosso mercado. [Hoje a necessidade de avaliar maior] porque anteriormente se passava cheques, hoje no passamos cheques. (Empresa do setor financeiro) O programa (...) nasceu em 2002 com essa perspectiva de que se no acompanho e avalio o resultado, no consigo criar uma cultura de participao e corresponsabilidade. Tudo o que fazemos envolvemos, sempre que possvel, nossos funcionrios e os nossos fornecedores tambm. Ento se eu no tiver isso, eu no consigo estabelecer um canal de comunicao. (Empresa do setor financeiro) Nenhum programa desenhado no gabinete e implementado. Quer dizer, as pessoas que fazem a gesto so envolvidas, isso demanda tempo. Em um primeiro momento havia uma resistncia imensa palavra avaliao e hoje tm pessoas que defendem ardorosamente essa questo da avaliao. (Empresa do setor financeiro)

48

Que aes so monitoradas e avaliadas? E por qu?

Nem todas as aes so igualmente monitoradas e, sobretudo, avaliadas, mesmo nas empresas estruturadas para acompanhar suas aes sociais. Mas isto no as impede de conhecerem bem a aplicao dos recursos investidos e, de certa forma, os resultados obtidos. O monitoramento e a avaliao so considerados etapas progressivas de um mesmo processo e se implementam proporo que crescem a participao das empresas e as expectativas em relao aos resultados.

Nas empresas pesquisadas, praticamente todos os programas/projetos desenvolvidos diretamente ou em parceria so de alguma forma monitorados, ainda que nem sempre se encontre um sistema para monitorar igualmente todas as aes executadas. O mesmo no acontece em relao s avaliaes. Os programas ou projetos no so avaliados simultaneamente e mencionase um sistema de rodzio das aes avaliadas, ou a implantao, em andamento, de sistemas de avaliao integrados ao monitoramento. A cultura da avaliao parece ser recente na grande maioria das empresas e, portanto, ainda no foi possvel avaliar todas as aes, pelo menos nos termos entendidos como necessrios. Geralmente, a prioridade para a avaliao conferida s aes em que a empresa se envolve mais diretamente na execuo, que investe maior volume de recursos (financeiros ou humanos), e quelas consideradas mais importantes. No caso, importncia significa, sobretudo, as aes mais antigas, de maior cobertura (territorial ou populacional), que tm maior possibilidade de gerar impactos, maior potencial de reproduo e de atrair parcerias. Foi citada, ainda, a prioridade aos projetos que ao longo do tempo apresentaram resultados insatisfatrios e aos projetos institudos mais recentemente e cujos resultados no se conhecem.

49

Eu localizaria alguns aspectos [mencionando critrios para selecionar aes que merecem prioridade no monitoramento]: primeiro a dimenso geogrfica, segundo a dimenso do investimento financeiro, e terceiro o potencial de impacto da causa. (Empresa do setor de vesturio) Apesar de todos os projetos serem monitorados ainda no tnhamos uma padronizao desse monitoramento. Com um novo programa vem uma padronizao para podermos consolidar e rastrear. (Empresa do setor qumico e petroqumico) Estamos comeando a avaliar; ento os critrios variam por projeto. O critrio do programa foi avaliar o mais antigo porque se pressupe que j tem um impacto diferenciado. (Empresa do setor de cosmticos) Avaliamos todos os programas, mas de formas diferenciadas. Muitas vezes trabalhamos com indicadores de processo, no de resultado. na profundidade que est a diferena. (Empresa do setor financeiro)

Preocupao semelhante com o monitoramento e a avaliao dos programas/projetos no foi observada em relao s doaes eventuais para terceiros. As empresas declaram conhecer as iniciativas apoiadas, as instituies beneficiadas e o destino dos recursos doados. Em geral, o controle se d por meio dos projetos apresentados para a solicitao de apoio, relatrios de atividades, prestaes de contas, depoimentos informais ou at mesmo visitas de campo. h um clima de confiana em relao s doaes e, na grande maioria dos casos, as informaes sobre este tipo de atuao no so sistematizadas e nem fazem parte do sistema de monitoramento. Na maior parte das vezes no se exige sequer que as aes apoiadas sejam avaliadas pelas instituies receptoras. Tal comportamento parece coerente com os objetivos dessas doaes: apoiar aes mais emergenciais e atender a presses de grupos de interesse, a includas as comunidades do entorno como uma poltica de boa vizinhana. A hiptese neste caso que os objetivos das doaes tm um fim no prprio atendimento s presses e no se relacionam diretamente com as mudanas sociais; portanto, pragmaticamente no fariam muito sentido cobranas em relao medio de resultados nas comunidades atendidas. Tambm ocorre de as doaes serem to pequenas que no se justificam tais exigncias.

50

As doaes eu no monitoro; eu acompanho. (Empresa do setor qumico e petroqumico) [Para as doaes] existe um roteiro que eles [os gerentes] preenchem de acompanhamento de como aqueles recursos foram aplicados. (Empresa do setor financeiro) (...) projetos prprios, parcerias e apoios pontuais, essas so as trs linhas que atuamos. Nos apoios pontuais no fazemos essa anlise tcnica. Como o nome diz, so apoios de pequeno porte na comunidade. O que existe um roteiro de acompanhamento que os gerentes fazem depois de trs meses que foi concedido o apoio. A ideia que ele preencha o roteiro e faa um pequeno relatrio de acompanhamento de como aqueles recursos foram aplicados. (Empresa do setor financeiro) Para a parceria e apoios pontuais fizemos uma avaliao da proposta. Acho que isso foi bastante rico para os parceiros; criou uma cultura de avaliao. A prioridade foi dada para avaliar os projetos prprios. (Empresa do setor financeiro)

Nas grandes empresas essas doaes representam uma parcela pequena dos investimentos e, aparentemente, so feitas a contragosto. No queremos ser uma organizao de balco (empresa do setor de fumo) uma afirmao que reflete um sentimento generalizado nas empresas pesquisadas. Da resulta que as doaes eventuais no so consideradas parte integrante da estratgia de ao social e, consequentemente, da estratgia de monitoramento e avaliao. Uma postura diferente observa-se em relao s doaes aos Fundos da Criana e do Adolescente (FIA), julgadas politicamente mais corretas. Contudo, mesmo nestes casos o controle mais efetivo atribudo ao Ministrio Pblico.

Todos os convnios de doao ao FIA o Ministrio Pblico recebe uma cpia. Se tiver uma denncia, ele tem que agir; assim eu no monitoro. (Empresa do setor qumico e petroqumico)

Ao se pensar na avaliao do setor privado em sua totalidade, e a partir da observao do comportamento das grandes empresas frente s doaes, podem ser extradas algumas questes que merecem ser exploradas: D D D D D monitoramento e avaliao so atividades apenas para as grandes empresas? que esforos as empresas menores devem empreender para monitorar e avaliar as suas doaes?10 controlar o uso dos recursos e acompanhar informalmente as doaes seria suficiente para contribuir para a melhoria do atendimento social privado? quais os riscos de se burocratizarem as pequenas doaes em nome da necessidade de conhecer seus resultados? qual a possibilidade de avaliar o impacto global das aes sociais do setor privado, na ausncia de mais detalhes sobre o desempenho da maioria das empresas?

51

No objetivo deste estudo responder a tais indagaes, mas cabe provocar novas questes que podero ser posteriormente aprofundadas.
10. Vale lembrar que a maior parte delas atua fazendo doaes, conforme informaes da Pesquisa Ao Social das Empresas (Pase) A iniciativa privada e o esprito pblico: um retrato da ao social das empresas no Brasil (Ipea, 2006).

Como as empresas avaliam as suas aes sociais?

Na pesquisa solicitou-se s empresas que destacassem um projeto avaliado e para o qual fora estabelecido e devidamente documentado um plano de ao com: definio de objetivos, metas e resultados a serem alcanados; estratgia de interveno ou metodologia de ao; cronograma de implantao; e com previso de custos, de parcerias e de monitoramento. Foi a partir da experincia com o projeto escolhido que se buscou observar a viabilidade e a propriedade das avaliaes realizadas. Vale mencionar que o contedo dos projetos avaliados no foi analisado no mbito desta pesquisa e, portanto, no se sabe se foram suplantadas as limitaes recorrentes nos programas sociais tais como elevado grau de generalidade e ambiguidade dos objetivos, irrealismo das metas, e dificuldades tanto em vincular as atividades dos programas s metas e objetivos como em garantir na ponta a execuo nos moldes previstos nos planos. Uma anlise mais profunda do desenho de cada projeto e do contedo de sua avaliao seria necessria

52

para uma concluso mais precisa da qualidade das avaliaes realizadas. Mas, conforme mencionado, no foi possvel acessar os relatrios completos. Ainda assim, no decorrer das entrevistas percebeu-se que as empresas, com o apoio de especialistas externos, esto avanando na construo de novas metodologias para a avaliao de programas sociais. Foram observados casos de transferncia da experincia para organizaes governamentais, de publicao de textos sobre metodologias de avaliao, e de promoo de cursos de capacitao para terceiros. A anlise apresentada a seguir refere-se exclusivamente aos relatos dos entrevistados sobre os procedimentos adotados para a avaliao dos programas, destacando-se os seguintes aspectos: i) o planejamento da avaliao; ii) a elaborao de diagnsticos sobre os problemas a serem enfrentados; iii) a definio dos indicadores utilizados na avaliao e os mecanismos de coleta das informaes; iv) os recursos financeiros investidos; v) os atores envolvidos; vi) os resultados dos projetos extrados das avaliaes; e vii) as dificuldades enfrentadas.

Como so planejadas as avaliaes?

Em primeiro lugar, cabe destacar que a avaliao, na metade das empresas pesquisadas, no fez parte do planejamento inicial da ao social. Em geral, desenvolvida j com as aes em andamento e s excepcionalmente tem incio junto com a implantao de um projeto ou aps a sua finalizao. No entanto, na maior parte das declaraes, para o ano seguinte j constam dos planos das empresas pesquisadas a ampliao e o aprimoramento das avaliaes. Os depoimentos dos entrevistados a seguir ilustram a insero da avaliao no planejamento das aes sociais.

Tudo est registrado em documento: objetivos especficos, metas, estratgia de ao e metodologia, cronograma, previso de custo, plano de monitoramento, indicadores para cada objetivo especfico, e detalhamento de atividades. Tem l resultados esperados e resultados j obtidos. Plano de avaliao, alm de monitoramento. Tem previso de parcerias, grau de interao com polticas pblicas, grau de envolvimento da comunidade. Tem mais uma coisa que procura identificar que a produo de tecnologias sociais que possam ser depois replicadas em outros projetos, outros territrios, a partir do aprendizado daquele projeto. (Empresa do setor qumico e petroqumico) Plano de avaliao externa no tem. Sabe-se que ao longo do tempo o programa vai ser avaliado, mas ele no larga de sada j prevendo que daqui a trs anos ele vai ser avaliado. No tenho essa previso inicial. (Empresa do setor de minrios) Na hora de avaliar percebeu-se os resultados e se definiu o que seria avaliado. No h um documento de planejamento que esteja registrado. A avaliao no planejada, feita a posteriori, no tem diagnstico prvio. (Empresa do setor de comunicao) Avaliar um objetivo desejvel que tentamos fazer, sempre que tem uma causa relevante. Sabemos que de alguma maneira aquilo vai ter algum impacto e at impacto negativo, ento buscamos isso. Mas considerando o volume e a diversidade das aes, a maior parte das vezes o que temos um feedback aleatrio. Ns no temos um planejamento, uma meta para avaliao. Ela acontece, no ficamos zerados, mas ela no planejada. Por exemplo, num determinado projeto se a instituio... [parceira] prope fazer uma pesquisa para avaliar a eficcia da ao: timo! A se faz! Isso diferente de sentar com a instituio... e dizer que faz parte da nossa parceria que a cada ano e meio ns vamos fazer uma pesquisa para avaliar esse impacto ou fazer uma pesquisa de percepo da populao em relao ao projeto. Acaba acontecendo, mas de uma forma pontual e no planejada, no estruturada,

53

isso no uma meta. Podemos at planejar se sentirmos uma necessidade, mas no algo definido de forma permanente. (Empresa do setor de comunicao) [No prximo ano] vai entrar um sistema de acompanhamento e avaliao que vai desde a deciso do investimento at o resultado final. Est em amplo processo. Esse negcio da avaliao comeou com o balano social que fazemos todo ano. (Empresa do setor qumico e petroqumico) No ano que vem estaremos estendendo esse piloto [de avaliao] para alguns outros projetos, definindo indicadores e resultados. Vamos vivenciar isso com outros projetos e dar continuidade naquilo que j avanamos. No ano de 2008, eu avano na profundidade daqueles que ainda no esto nesse modelo. (Empresa do setor financeiro) O programa foi avaliado desde o primeiro momento e durante toda a implantao do programa para ver os processos, produtos e impactos. (Empresa do setor financeiro)

54

A existncia de planos de ao e diagnsticos da situao essencial para uma avaliao, mas no suficiente para garantir a qualidade dos resultados. Wholey e seus colaboradores definiram um conjunto de critrios necessrios avaliao de programas: i) os objetivos, os efeitos colaterais e as necessidades de informao devem estar bem definidos no plano de ao; ii) os objetivos devem ser plausveis e a implementao deve corresponder ao modelo previsto; e iii) os usos que se pretende fazer das informaes da avaliao devem estar bem definidos (WORThEEN, SANDERS e FITZPATRICk, 2004). O contedo dos projetos avaliados no foi analisado segundo estes critrios. No obstante, conhecido o grau de generalidade e ambiguidade dos objetivos dos programas sociais, o irrealismo das metas, as dificuldades de vincular as atividades dos programas s metas e aos objetivos, e as dificuldades de garantir na ponta a execuo nos moldes previstos nos planos. Uma anlise mais profunda do processo de planejamento, assim como da definio do desenho de cada projeto e da sua respectiva avaliao seriam necessrias para uma concluso mais precisa da qualidade das avaliaes realizadas.

Como so elaborados os diagnsticos da situao social das comunidades?

A existncia de diagnsticos da situao a ser enfrentada por uma interveno social essencial para uma avaliao posterior. Observou-se em campo que a identificao dos problemas realizada

de forma diferenciada entre as empresas pesquisadas. No entanto, foi possvel identificar uma tendncia: as empresas fazem opo prvia por uma causa de reconhecida importncia no pas (por exemplo, promoo educao, proteo infncia, capacitao de jovens etc.) e, posteriormente, buscam informaes gerais que possam ajudar na implantao dos programas ou projetos relacionados ao tema selecionado. Ento, com base em informaes secundrias e debates internos ou com especialistas (pessoas ou instituies pblicas e privadas), definem o que fazer e onde intervir. Em seguida, colhem informaes mais especficas, diagnsticos mais detalhados sobre o pblico-alvo e, eventualmente, potenciais parceiros locais (monitores escolares, mediadores de leitura, assessores pedaggicos, organizaes no governamentais etc.). So estas informaes que facilitam as avaliaes posteriores.

Escolhemos um dos direitos a educao, nosso foco a educao. Ns chegamos a um municpio e falamos que queremos apoiar a educao, que um dos direitos. Pode ser infantil, se essa for a necessidade. Pode ser educao complementar ou ento profissionalizante. Ento muitas vezes se trabalha um projeto de educao complementar que est querendo atacar a questo do abuso sexual. Tem uma causa e se prope como projeto estruturado a trazer a criana para dentro do projeto e a famlia. Pode ser projeto de esporte, cultura, mas em qualquer nvel deles a famlia tem quer ser trabalhada. Mesmo quando falo profissionalizante, no capacitar o jovem para desempenhar uma funo, mas como um indivduo. Voc pode at usar produo do artesanato, mas voc est dando uma questo de valores, cidadania, outra questo junto com o projeto. Nenhuma ao pode ser pensada sem se fazer um diagnstico. Ns resolvemos fazer uma pesquisa, houve realmente uma pesquisa sobre as reais demandas da educao neste pas. Constatamos os dficits educacionais de leitura, de escrita e de clculo. Foi uma pesquisa muito mais em livros, em sites, naquilo que j estava pronto, em dados secundrios. Fomos ao Ipea, ao Instituto Paulo Monte Negro, usamos os resultados do MEC. No fomos a campo nem temos condies para isso, mas a partir desses dados ns podemos observar o que ocorre em cada regio em relao leitura e escrita, o que podemos constatar em termos de existncia de biblioteca e concepes de espao. Foi feito um diagnstico do macroproblema e, em seguida, localizadas as regies. (Empresa do setor de vesturio) O diagnstico foi feito por meio de um mapeamento com dados secundrios da Prefeitura de So Paulo. Como ns escolhemos esses bairros? Foi atravs da Secretaria de Assistncia e da Secretaria do Trabalho. Naquela poca a Secretaria do Trabalho tinha acabado de fazer um mapeamento da juventude aqui no municpio de So Paulo. Ento tinham esses dados da questo da morte por violncia, por questo de

55

escolaridade. Com base nessas informaes se escolheu dois bairros em que tinha o maior ndice de vulnerabilidade juvenil. Os principais indicadores considerados foram baixa escolaridade e a questo da morte por homicdios. A partir da com a Secretaria de Assistncia ns vimos todas as organizaes locais que j estavam fazendo trabalho com jovens nesta faixa e convidamos estas organizaes para um encontro. Neste encontro ns apresentamos quais eram as premissas do programa. Quer dizer essa questo da circulao, a questo do jovem de fazer interveno na prpria comunidade, do aumento de escolaridade e as possibilidades de permitir aos jovens a insero no mundo do trabalho. Fizemos o convite para as organizaes que quisessem trabalhar conosco. Foi feito um teste piloto foi em So Paulo. Para os jovens que entraram no programa se investigou os anos de escolaridade, se frequentava a escola, se estava empregado, mas s para os que entraram no programa. (Empresa do setor financeiro) Fizemos uma discusso interna sobre como faramos, que estratgia utilizaramos para combater a pobreza. Foi feita uma discusso com os ministrios. Fizemos discusses, tem estudo, referncias que as pessoas trouxeram para a discusso, mas a empresa no financiou nenhum tipo de macrodiagnstico. Aproveitamos o que j existia em termos de literatura, artigo. (Empresa do setor qumico e petroqumico) Logo no comeo fizemos uma pesquisa para saber os perfis dos mediadores de leitura do programa. At para poder trabalhar a formao, para identificar quais so as necessidades desses mediadores. (Empresa do setor de vesturio) Tnhamos indicadores sobre os municpios, mais gerais sobre a juventude, agora dos jovens que participaram, no tivemos, no era exequvel fazer, porque foram abrangidos 94 mil pais e 44 mil jovens. (Empresa do setor de fumo) Foi feito um estudo de cenrio e de como a questo do desemprego, como o programa poderia contribuir. (Empresa do setor qumico e petroqumico)

56

Como so denidos e coletados os indicadores?

Ao iniciar o processo de avaliao as empresas tm clareza quanto aos seus objetivos gerais julgar se os programas e projetos esto sendo bem executados (processos), quais os resultados obtidos (produtos) e, eventualmente, os impactos provocados. Porm, se os objetivos gerais da avaliao esto claros para as empresas, o mesmo nem sempre acontece em relao s informaes que precisam ser levantadas e metodologia a ser utilizada. Estas questes so construdas, geralmente, com o apoio de especialistas e parceiros ao longo do desenvolvimento dos programas ou projetos.

As empresas mencionam, a par do uso de indicadores qualitativos e quantitativos, a necessidade de trabalhar com uma grande diversidade de indicadores, tendo em vista as caractersticas e dimenses distintas das aes que desenvolvem e do pblico que buscam atingir. Por exemplo, num mesmo projeto de educao buscam medir resultados relacionados aos alunos, aos professores e aos gestores locais. Tal complexidade uma caracterstica tpica dos programas sociais em geral. Para a coleta de informaes necessrias construo dos indicadores aplicam questionrios, fazem encontros com diferentes atores envolvidos na execuo, e muito frequente declararem visitas de campo feitas de forma regular ou ocasional. Quando a cobertura dos programas muito grande adotam o processo de amostragem. Tambm lanam mo de informaes mais gerais produzidas pelos rgos governamentais Instituto Brasileiro de Geografia e Estatstica (IBGE), Ministrio da Educao (MEC), Ipea, secretarias estaduais e municipais etc. Os depoimentos dos entrevistados so eloquentes para identificar os caminhos percorridos.

Ao iniciar a avaliao no se tinha clareza das informaes que queramos. Foi uma construo. Tnhamos um pr-conceito para avaliar questes sociais, ambientais e econmicas porque se o investimento social alimentado pela estratgia de sustentabilidade, no posso fugir desses trs eixos. Vamos estruturando as perguntas avaliativas no processo conforme definimos os indicadores. Se quero avaliar esse programa, ento o que vou perguntar para definir o indicador? (Empresa do setor financeiro) Ns tnhamos algumas perguntas definidas que ns queramos responder ao longo do processo, mas o prprio dilogo com a organizao (externa) nos ajudou a aprimorar a natureza dessas perguntas. Ento eles nos ajudaram a aperfeioar as questes que ns trazamos. Foi construdo. (Empresa do setor de vesturio) Tnhamos clareza de algumas coisas que queramos avaliar e, conforme discutamos, percebamos outras que no tinham aparecido anteriormente. E fomos ajustando at construir a metodologia final. Eles [os avaliadores externos] trouxeram ideias tambm. Vem do prprio avaliador externo que j tem uma prtica de avaliao diferente da nossa. Apontamos alguns pontos que sabamos que eram frgeis [no projeto], outros que desconfivamos e queramos testar se eram mesmo. (Empresa do setor qumico e petroqumico) Definimos doze critrios que passam pela questo da defasagem srie/idade, condio socioeconmica da famlia, capacidade de comunicao ou no, risco social, gravidez precoce, timidez, alunos que

57

tiveram nmeros de repeties exageradas. Ento de doze aspectos, que chamamos de critrios, os professores recebem esses critrios, orientamos, capacitamos e eles ento vo identificando dentre seus alunos de sexta a stima srie aqueles que atenderiam esse perfil dos critrios [para serem monitores]. (Empresa do setor de bebidas no alcolicas)

Que recursos so mobilizados?

Apesar da importncia atribuda s avaliaes, elas no recebem destaque na programao oramentria anual e os custos so embutidos nos recursos globais dos programas ou projetos. No se conhece exatamente o percentual gasto nas atividades de avaliao e no so contabilizados os recursos despendidos com as equipes internas para as atividades de monitoramento e avaliao. Foi mencionado investimento de at R$ 450 mil em projetos de avaliao, e as estimativas do que seria um percentual adequado variam de 3% a 25% do valor dos investimentos sociais nas atividades fins.

58

Pelas informaes obtidas os percentuais so inversamente proporcionais aos valores globais dos programas ou projetos. Os custos variam significativamente em funo: D D D D D do tipo de informaes trabalhadas (dados secundrios ou pesquisas de campo); da disponibilidade ou no de informaes prvias advindas do monitoramento; da dimenso dos levantamentos de campo (nmero de beneficirios, tipo de atores entrevistados, abrangncia territorial); do tempo de durao e profundidade das pesquisas avaliativas; e dos servios includos na avaliao, tais como oficinas com atores envolvidos e cursos de capacitao, entre outras atividades.

No temos um oramento para a avaliao porque o custo est inserido no desenho. Tenho um investimento de um milho e se desse um milho tem uma parcela que eu pago para consultoria me apoiar nas oficinas e a avaliao e o monitoramento esto embutidos ali, mas tambm tem a capacitao... Ento no fazemos essa distino. (Empresa do setor financeiro)

No basearia essa avaliao em percentual do projeto. Acho que tem um conceito que est acima do valor, que a necessidade e adequao para se fazer a medio; vai do escopo do projeto, abrangncia, da necessidade. Quanto mais monitorado mais fcil fica avaliar e medir o impacto. Esse custo muito variado. Eu diria que uma deciso gerencial, no para ser tomada com base em percentual. (Empresa do setor de comunicao) Todos os projetos que estamos apoiando tm uma planilha de prestao de contas, um campo especfico para avaliao. Ns estimulamos os projetos no prprio roteiro que eles destinem uma verba para a avaliao, que no dizemos quanto tem que ser percentualmente porque achamos que cada projeto um contexto. E a eles tm condies de definir isso melhor do que ns. No temos trabalhado com margem percentual. obvio que se 80% for para a avaliao fica completamente desconexo. (Empresa do setor qumico e petroqumico) Agora tem um investimento que no contabilizamos com relao avaliao e monitoramento, que esse trabalho dos gestores internos. Quanto custa um gestor interno para fazer isso, no temos isso contabilizado para pode dizer percentualmente o que isso significa. (Empresa do setor qumico e petroqumico) Depende do oramento que contamos [para o projeto]. O ideal, com um oramento razovel, acho que uns 10 ou 15%, at 20%. Eu chegaria [a investir em avaliao] at 25% [dos recursos investidos nas aes sociais] entendendo que a perspectiva da avaliao de contribuir com o projeto. Ela instrumento de gesto. (Empresa do setor de cosmticos) Nunca fiz esse clculo [do percentual de recursos gasto na avaliao] porque de fato ele est intrnseco no programa. diferente se eu fao uma avaliao externa e vou reservar R$ 200 mil para fazer. No assim que ns fazemos. Est inserido no custo administrativo do projeto. (Empresa do setor financeiro) A avaliao mais cara que ns fizemos est na faixa de R$ 400 mil, mas, R$ 400 mil para avaliar um projeto de escolas pblicas, dependendo dos esforos, no nada. Acho que [gastar] 3% [do valor do projeto] um nmero razovel. Vamos fazer um paralelo de quando voc vai lanar uma ao na bolsa... as taxas no campo de investimentos so na faixa de 2%, quase 3%. Ento eu diria que mais ou menos o que eu esperaria. Eu diria que num projeto maduro investir algo por volta de 2% a 3% no me pareceria absurdo. Eu incluiria como se fosse um custo administrativo meio que obrigatrio. O nmero 3% um chute. Que seja 4%, mas acho que 4% est exagerado. (Empresa do setor financeiro) No h oramento especfico, est dentro do nosso oramento de investimentos sociais. Est dentro do nosso dia a dia. (Empresa do setor qumico e petroqumico)

59

No h um percentual fixo, depende de cada projeto. Essa avaliao [do programa X] foi superior a 20% do projeto, porque o projeto estava espalhando no Brasil inteiro e houve muito custo de viagem. (Empresa do setor de fumo)

Finalmente, no tocante aos recursos mobilizados, importante destacar que o uso da avaliao que pode justificar (ou no) seu custo: se a avaliao no causar nenhum impacto os recursos, independentemente do volume, no precisam ser desperdiados; podem ter outro destino. A avaliao bem feita e bem aproveitada, porm, pode trazer grandes economias ao evitar investimentos futuros em atividades improdutivas. Pela anlise do uso das avaliaes (seo 8), observa-se que as empresas tm buscado aproveit-las de forma efetiva.

Que atores so envolvidos nas avaliaes?

60
Conforme ressalta Weiss (1983),11 cada grupo de atores envolvido nas avaliaes tem diferentes interesses nos programas, faz diferentes questes sobre eles e tem diferentes poderes para usar os resultados. No entanto, se um nmero maior de atores aumenta a complexidade do processo, tambm aumenta sua legitimidade. Os atores envolvidos nas avaliaes variam de empresa para empresa ou, mesmo dentro de uma mesma empresa, de programa para programa. Contudo, interessante observar que a grande maioria das empresas incorpora distintos atores para desenvolver os seus programas/projetos: so instituies parceiras (pblicas e privadas) ou instituies contratadas para realizar o atendimento, professores de escolas, monitores, facilitadores de leitura, coordenadores locais, enfim, um elenco muito variado de pessoas que participam na implementao das aes, muitas vezes envolvidas j no desenho das avaliaes. No desenho e na execuo da avaliao todas as empresas pesquisadas contaram com o apoio externo de especialistas (pessoas fsicas ou jurdicas) e praticamente em todas elas foi mencionado
11. In: Shadish, W., Cook,T. e Leviton, L. (1995).

um intenso intercmbio entre os consultores externos e as equipes das prprias empresas, especialmente na definio do contedo da avaliao e, em muitos casos, na prpria execuo. A participao de dirigentes, membros de conselhos, de comits e acionistas tambm mencionada pela maioria. Porm, em geral, esta participao se d no momento de definir o que vai ser avaliado e quais recursos sero investidos ou, no final, na apreciao dos resultados. Quanto s comunidades atendidas, elas costumam ser envolvidas no momento das pesquisas de campo, quando entrevistadas. Muitas empresas reconhecem ser importante envolv-las desde as primeiras etapas, mas nem sempre sabem como operar esta participao. Este, todavia, no um ponto de consenso. Algumas empresas tm dvidas sobre o envolvimento das comunidades no desenho da avaliao, enquanto outras j solicitam, no edital, que os projetos apresentados sejam desenvolvidos com a comunidade, inclusive quanto definio de como sero avaliados. As empresas reconhecem que o processo participativo de avaliao recente e difcil, mas que esto internalizando uma aprendizagem que poder contribuir para avanos futuros. Entre as medidas que adotam para compatibilizar diferentes interesses e olhares, destacam-se: D o incentivo ao dilogo, por meio de reunies e oficinas com a participao dos mais diversos atores; a descentralizao das atividades de monitoramento e avaliao para o mbito local, envolvendo atores locais, como universidades e organizaes no governamentais; e a definio de novas estratgias de comunicao direta com os parceiros e beneficirios, por meio de call centers e contatos telefnicos com lideranas comunitrias das localidades atendidas.

61

Escolhemos o conceito colaborativo da avaliao. Ento o que temos feito para enfrentar as dificuldades que contratamos isso com o parceiro, ele participa ativamente em um momento zero. Para fazer as perguntas avaliativas, para chegar s definies dos indicadores. Acho que ter o parceiro, os outros atores envolvidos no projeto, participando da avaliao, tem nos ajudado muito. (Empresa do setor financeiro) Temos parcerias governamentais, a iniciativa com a secretaria municipal de educao e eles participam dessa avaliao. (Empresa do setor de vesturio)

O instituto (X) fez a avaliao, mas a equipe tcnica aqui da empresa participou. Alm da anlise documental o instituto (X) conversou com os gestores de projetos da empresa. Teve entrevistas, teve uma etapa de anlise de documentos e uma conversa com a equipe interna para depois ir para visita em campo. Tudo foi feito em conjunto, o desenho, a anlise documental. Na prpria construo da metodologia discutimos com eles [instituto (X)]. Eles vieram com propostas e fomos ajustando. Escutamos o que eles estavam trazendo, mas tinham coisas que queramos investigar e que foram colocadas na construo da metodologia. Quando o instituto (X) foi para esse grupo de projetos que foram selecionados para visita in loco, teve uma conversa tambm com o pblico-alvo. Tinha a verso da instituio e a verso dos participantes. Foram [para campo] a equipe tcnica da empresa e do instituto (X). (Empresa do setor qumico e petroqumico) Primeiro acho que a avaliao tem um componente educativo; nesse sentido eles [os beneficirios] devem participar. Esta avaliao foi sim um processo educativo. Ento esse o primeiro e mais relevante aspecto; depois o fato de ser este o nosso posicionamento. Para ns a atuao conjunta premissa, ento j que premissa, os beneficirios sempre participaro. (Empresa do setor de cosmticos) Os beneficirios devem participar sim, mas com um olhar diferenciado. Pode ser desde que haja uma perspectiva diferente sobre o beneficirio como informante, que no haja uma iluso. H um saber do jovem que uma informao de avaliao do programa. Mas acho que o filtro do jovem beneficirio como informante de avaliao pode ser to ou mais grave que o do prprio executor. O jovem pode viver uma situao agradvel dentro do programa, mesmo que eu no atinja os resultados esperados, o que distorce a avaliao. Ao mesmo tempo, muito complicado fazer uma avaliao sem ouvir os beneficirios. (Empresa do setor de fumo) Acho que o beneficirio deveria estar sempre envolvido. Seria o ideal, at porque no fundo a percepo do cliente, voc est procurando um ndice de satisfao. Na formulao, no, porque no fizemos nenhuma avaliao prvia, mas participar mais como informante. (Empresa do setor de comunicao) Buscamos o retorno deles. Quando sentamos mesa, ns os editores do programa somos os executores, eles no participam no. O que se busca o retorno deles, depoimentos. (Empresa do setor qumico e petroqumico) Ns buscamos a transformao da realidade social, a construo da cultura de participao e corresponsabilidade que retorna para a marca. So os trs grandes objetivos do investimento social. Para eu ter construo de cultura, no adianta s ter a minha equipe fazendo. Ento quem avalia os projetos so funcionrios espalhados pelo Brasil inteiro. So eles que visitam o municpio. Eles que

62

vo l dizer que esse projeto pode ou no dar certo. E a nas oficinas ao longo dos anos eles tambm so convidados. No vo todos, mas eles tambm so convidados, so parceiros do projeto. (Empresa do setor financeiro) Na verdade queremos saber se os pblicos esto vendo a nossa atuao e as expectativas que eles tm em relao a essa atuao. H uma inteno de compartilhar o resultado dessa avaliao com o pblico. Para ns uma questo de respeito e uma oportunidade de podermos discutir com eles sobre os resultados. (Empresa do setor de cosmticos)

Quais os resultados percebidos e divulgados?

A maioria absoluta das empresas pesquisadas dispe de relatrios com resultados das avaliaes. No entanto, a maior parte no publica e sequer disponibiliza estes relatrios. Utilizam nos sites, nos balanos sociais ou em outros informes alguns dados selecionados. Assim, pode-se verificar que as avaliaes ainda no se configuram enquanto instrumentos que garantam maior transparncia das aes desenvolvidas pelo setor privado no campo social. Em todos os depoimentos mencionou-se que as avaliaes apontaram resultados positivos em relao s comunidades atendidas. Seja por meio de pesquisas de campo, seja pela aplicao de questionrios ou pelo acompanhamento permanente na ponta, o fato que sempre so citados indicadores de sucesso. Muitos deles, inclusive, quantificados. No obstante, observa-se, tambm, que as avaliaes apontam as fragilidades e necessidades de aprimoramento, servindo de bssola para os atores envolvidos. No cabe, no mbito deste estudo, apresentar os resultados obtidos por cada uma das aes avaliadas, mas destacar a percepo de tais resultados pelas empresas. Atente-se para as declaraes a seguir.

63

Primeiro, o resultado mais importante que o programa funciona. Mesmo identificando todos os problemas, um ano depois o salrio mdio dos jovens que fizeram o curso foi 15% acima dos que no fizeram. Isto a um impacto de curto prazo. Ns ainda no sabemos o impacto de longo prazo. Nossa ideia ao longo do tempo ir medindo isso. (Empresa do setor financeiro)

O objetivo do projeto avaliado combater o analfabetismo funcional, mas eu diria que um dos grandes pontos fortes desse projeto a questo da mobilizao pela educao na regio onde ele acontece. Isto um diferencial. Ele no s um projeto de alfabetizao, um projeto de articulao, mobilizao e conscientizao para o tema da educao. Inclusive a avaliao aponta isso. Tnhamos essa percepo, mas a avaliao reforou. Ela mostra uma sociedade de hoje bem mais mobilizada para o tema. Ento o que este resultado vai fazer? Esse resultado trouxe perspectivas de direcionamento da atuao de todos os envolvidos diretamente com o tema: professor, diretor, coordenador, famlias dos alunos, toda a equipe da secretaria, gestor pblico, secretaria, o instituto [parceiro]. (Empresa do setor de cosmticos) O municpio [que atendemos] considerado crtico em relao ao ndice do desenvolvimento infantil e o ndice de excluso social. O programa se prope trabalhar com a questo do sistema dos direitos e crianas em situao vulnervel. A nossa bandeira a educao. Comeou com a proposta de atender 60 crianas na faixa de zero a seis anos e hoje j tem 250 e a prefeitura ento passou a assumir a gesto desse projeto. Fora isso, temos o grupo de mes que teve condio de se organizar para uma linha produtiva. Hoje mes que deixaram as crianas l se organizaram para uma cooperativa. Ento como acompanhamos, vivemos o projeto durante o ano inteiro e temos proximidade com ele. (Empresa do setor financeiro)

64

Todo processo de transformao voc colhe atravs de depoimentos. Do prprio jovem, que vai dizer que antes eu vivia na rua agora eu estudo e das pessoas que esto ao redor dele. Ento dos pais, dos professores, das pessoas que se relacionam com aquele adolesceste [que se extraem as informaes]. (Empresa do setor de minerao) H depoimentos, informao qualitativa de educadores, diretores dizendo, por exemplo, que o ndice de repetncia caiu depois que passamos a promover uma srie de aes de voluntariado. Sim, tivemos vrias surpresas com as avaliaes. No saberia dizer pontualmente, tanto do lado positivo quanto do negativo. Tiveram dados que me surpreenderam, alguns no sentido de decepcionar e outros no sentido de alegrar. A avaliao trouxe informaes extremamente valiosas e que serviram para ajustar o projeto. (Empresa do setor de comunicao) Contamos hoje 45 empreendimentos em operao. Tem gente que tem aquele esprito empreendedor, quer montar um negcio, quer fazer alguma coisa e no sabe como. Ento temos essas histrias. com essa avaliao, com esse monitoramento que estamos nos dando conta de que podemos fazer mais. (Empresa do setor qumico e petroqumico) Por que esse programa um sucesso? Porque ele tem acompanhamento. Ns estamos semanalmente nas escolas. Ento nossa presena faz parte do programa, faz parte da escola. Ns somos vistos como parceiros. A gente vai ao conselho de classe, a gente participa das avaliaes dos alunos, a gente tem

uma vida de integrao com as escolas tambm. (...) Houve alguma mudana nos alunos que vivem na monitoria? Muita. A coluna dele est ereta. Eu nunca vou esquecer isso. Isso muita coisa. O corpo fala. (...) Investir na autoestima desses jovens uma marca do programa. Temos exemplo de monitores que falam: Eu no brincava com meus irmos, eu batia nos meus irmos. E depois do trabalho de monitoria eles perguntam para os irmos: O que voc tem de trabalho de casa para fazer? [E acrescentam]: Eu fico mais com eles. Eu brinco com meus irmos. Eu saio com eles. Eu estou mais dentro de casa. (...) O relacionamento dos professores tambm mudou. Professores passam a perceber mudanas que esses jovens vivem atravs do exerccio da monitoria, mais assduos s aulas, melhora a participao. (Empresa do setor de bebidas no alcolicas)

Quais as maiores diculdades enfrentadas?

No questionrio utilizado na pesquisa constava uma pergunta sobre o grau de satisfao da empresa com as avaliaes realizadas, oferecendo as seguintes alternativas: insatisfatrio, baixo, mdio, alto e muito alto. Nada menos que alto ou muito alto foi obtido como resposta. Em algumas empresas nem foi considerado necessrio formular a questo, tamanho era o entusiasmo expresso em diversos momentos da entrevista, conforme se pde depreender de vrios depoimentos aqui apresentados. No entanto, todo o entusiasmo presente naqueles gestores envolvidos com a avaliao traz outra questo, a ser melhor explorada: se os motivos que levam as empresas pesquisadas a avaliarem suas aes so to claros e se a satisfao de quem avalia to explicitamente reconhecida, como se explica que a maioria das empresas no pas, independentemente do porte, no avalia sua atuao social? O aprendizado que se pode extrair das dificuldades percebidas mais rico do que aquele que se extrai com os xitos mencionados. No obstante as opinies positivas, as empresas reconhecem diversas dificuldades enfrentadas no caminho que limitam o alcance das avaliaes realizadas. Mais uma vez os problemas detectados no processo de avaliao e monitoramento so semelhantes e algumas empresas preferem no fazer a distino no momento de responder s distintas questes. Sem a pretenso de definir uma ordem hierrquica, as dificuldades podem ser agrupadas em sete blocos, a saber:

65

definir com os diferentes atores envolvidos os objetivos do monitoramento e da avaliao, assim como as informaes a serem produzidas, respeitando-se a diversidade de olhares e necessidades; definir conjuntamente os indicadores de processos, resultados ou impactos mais adequados; idealizar um modelo de monitoramento e avaliao simples, tempestivo e de custos relativamente baixos; manter e atualizar um banco de informaes, especialmente quando os programas e projetos so de grande abrangncia populacional e territorial e a empresa depende de informaes fornecidas por terceiros (escolas pblicas, por exemplo); compatibilizar as informaes gerenciais com as realidades locais, ou seja, confrontar as informaes de rotina produzidas pelas empresas com as distintas percepes sobre o desempenho dos programa/projetos expressas por parceiros e atores envolvidos; capacitar e manter uma equipe interna, com conhecimento especfico, que possa se dedicar a essas funes pelo tempo necessrio; e contornar as tenses que as avaliaes podem gerar entre as empresas e os atores diretamente envolvidos na execuo dos programas ou projetos.

D D D

66

Os depoimentos dos entrevistados ilustram as dificuldades detectadas e as estratgias adotadas para o seu enfretamento:
Cada projeto tem suas particularidades que queremos buscar. E queremos tambm entender os diferentes parceiros, o que uma dificuldade e leva um tempo para construir uma coisa em comum. (Empresa do setor de cosmticos) Alimentar um banco de dados de informaes de monitoramento difcil. Por exemplo, das 1.500 escolas que trabalhamos em outro projeto, teve muita escola que pedimos o tal do retrato do diagnstico (...) e voltou uns 20%. Achamos bastante expressivo, um bom resultado porque somos da iniciativa privada, eles no tm [legalmente] que prestar conta nenhuma para ns, outra relao. Ento 20% foi um excelente resultado. (Empresa do setor de cosmticos) Embora as avaliaes sejam importantes, elas do trabalho. A no ser que seja uma avaliao superficial que se marca um X de sim ou no em trs questes e tudo bem. Isso no avalia nada. Agora quando se

vai mais fundo, se quer perceber no conjunto o que mudou, como se procedeu, o que inviabilizou, quais foram as dificuldades, isso d trabalho. D trabalho para elaborar e para que as pessoas entendam o que voc quer avaliar. E o tempo que isso ocupa? E o tempo do professor na escola? s vezes esse tempo para o professor falta, ele est muito ocupado. Por mais importante e valioso que possa ser, [ele pensa] mais uma tarefa para eu fazer. (Empresa do setor de bebidas no alcolicas) s vezes quando voc rene parceiros com vises muito diferentes, chegar a pontos que so fundamentais para aquele programa nem sempre muito fcil. Ao mesmo tempo em que a diversidade de olhares muito rica, s vezes voc chegar a consensos nesses olhares e decidir no fcil. Quando voc pe junto, por exemplo, o poder pblico, a organizao, os prprios participantes, os educadores, que concluses eu tiro se vale a pena algumas coisas que uns acreditam muito, mas que os resultados no esto sendo eficazes? Quer dizer, como eu uso essas informaes para essa tomada de deciso? Acho que s vezes a est a dificuldade maior. E como em alguns programas temos parceiros de diversas partes do pas, ento reunir isso tambm tem custos. (Empresa do setor financeiro) Vou falar da simplicidade. difcil. Esse modelinho aqui de avaliao por indicadores, estamos h dois anos e meio idealizando. E tambm os instrumentos e coleta de informaes tm uma complexidade. Isso exige dedicao e investimento da empresa e uma disposio muito grande de fazer de uma forma sria. (Empresa do setor financeiro) A dificuldade, posso dizer, dedicar tempo e investimento para definir o que fazer e como fazer. Que na verdade voc tem que ir priorizando para ir pegando experincia. Tempo e recurso. Eu s queria marcar aqui que no avanamos por causa disso e sim porque tinha aprendizado a ser gerado. Empresa do setor de vesturio) Como disse, a prtica de avaliao de projetos recente. No tenho ainda informaes suficientes para tirar um diagnstico, mas na minha percepo o mais complicado foi que o parceiro executor do projeto compreendesse e aceitasse, porque muitas vezes ele tem medo da avaliao. (Empresa do setor de cosmticos) Acho que o grau de satisfao com a avaliao foi muito alto, mas acho que isso no significa que no tenhamos muito a aprimorar. Foi muito alto em comparao com o que j vnhamos fazendo, mas tem um trabalho rduo pela frente. Uma questo que complicada com relao avaliao porque gostaramos de poder olhar cada projeto por meio da avaliao externa. (Empresa do setor qumico e petroqumico) [Para contornar as dificuldades] primeiro reunimos vrias vezes no s com o executor, mas com os demais parceiros. As prefeituras e as secretarias de educao tambm foram envolvidas. Os secretrios

67

queriam muito a avaliao, porque para eles tambm fundamental, eles tambm so financiadores e so os que estaro l recebendo o benefcio da informao. Houve tambm muita discusso com a instituio que faria a avaliao para se construir o quadro lgico. Tudo isso tudo teve a participao de todos. Entender qual seria o objetivo, o que traria a avaliao etc. uma avaliao muito transparente. (Empresa do setor de cosmticos)

Que uso foi feito do monitoramento e da avaliao?

Uma avaliao s se justifica se for til, e se sua utilidade puder ser medida pela capacidade de reduzir incertezas, melhorar a efetividade das aes e propiciar a tomada de decises relevantes (MINAYO et al., 2005). Estes aspectos foram observados na pesquisa de campo, questionando-se os entrevistados sobre que uso as empresas fazem dos resultados obtidos nas avaliaes e no monitoramento interno. As respostas sinalizam que as empresas confirmam a importncia da avaliao a partir dos parmetros destacados recorrentemente na literatura sobre o tema. Vale destacar, no entanto, que os mesmos atributos so estendidos ao monitoramento.

68

As informaes obtidas tanto no monitoramento quanto na avaliao so utilizadas para definir a correo de rotas, o aprimoramento das aes e at mesmo a substituio por novos programas ou projetos. Segundo os entrevistados, elas so tambm essenciais para que os gestores prestem contas diretoria da empresa, aos conselhos, aos acionistas, e, em alguns casos, sociedade. Ou seja, os resultados servem para dar visibilidade atuao social e costumam ser aproveitados na estratgia de comunicao externa e nos balanos sociais. Foi mencionado, inclusive, que a avaliao viabilizou a participao da empresa em concursos e prmios. Sobressaem frequentes menes utilizao e ao confronto dos resultados do monitoramento ou da avaliao em debates promovidos pelas empresas por meio de encontros, fruns ou oficinas de trabalho com os diferentes atores envolvidos nas aes sociais. A anlise dos depoimentos dos entrevistados mostra que no h distines claras no uso dos resultados do monitoramento ou da avaliao. Tal observao contrasta com as indicaes encontradas na literatura sobre usos diferenciados dos resultados de acordo com o tipo de monitoramento ou de avaliao realizados. Um exemplo clssico desenvolvido por Scriven (1967) distingue

a avaliao formativa (mais prxima do que considerado monitoramento) da avaliao somativa (que mede os impactos) por diversas caractersticas, entre elas: i) pelo uso a primeira volta-se para decises relativas gesto do programa e a segunda para decises relativas ao seu futuro; ii) pelo pblico uma destina-se aos administradores e equipe do programa e a outra aos administradores e/ou consumidores potenciais, rgos financiadores ou parceiros; e iii) pelas informaes geradas uma gera informaes para que a equipe do programa possa melhor-lo e outra gera informaes para que a equipe do programa possa decidir por sua continuidade, ou os consumidores por sua adoo. Est fora do alcance deste estudo mergulhar em questionamentos sobre as teorias existentes, mas vale reafirmar que a linha divisria entre monitoramento e avaliao no ntida, e que estas diferenas no puderam ser visualizadas entre as empresas pesquisadas por nenhum dos critrios mencionados. Verificou-se uma nica exceo, ou seja, uma empresa pblica que adota a distino entre avaliao formativa e somativa, e a utiliza conforme prescrito na literatura. Merece destaque o reconhecimento generalizado entre os entrevistados de que o monitoramento e a avaliao so indispensveis para garantir a qualidade das aes. Em todas as avaliaes encomendadas so feitas recomendaes de aprimoramento que as empresas declaram terem sido atendidas, pelo menos parcialmente. A flexibilidade e autonomia para alterar as estratgias de ao observadas no setor privado conferem avaliao e ao monitoramento um valor surpreendente. Duas crticas comuns s avaliaes de programas sociais no foram mencionadas nos depoimentos: o monitoramento como atividade de rotina burocrtica e a avaliao como controle externo intil. Estas questes merecem destaque e exigem observao em mais larga escala, porque contrastam frontalmente com as anlises de diversos estudiosos sobre o uso das avaliaes no campo da poltica social. Nas anlises centradas basicamente em avaliaes de polticas governamentais, o que se menciona frequentemente na literatura que a avaliao raramente fator decisivo para a programao social.12 As polticas pblicas no so resultados de decises racionais sobre alternativas. Emergem de decises por acrscimos, com base em costumes e regras implcitas sobre o que pode ser feito, improvisaes frente a novas situaes, ajustes mtuos s aes de outros policymakers, negociaes de conflitos de interesses, oportunidades conjunturais e como produtos de outras decises.13
12. Ver Freeman e Rossi (1985) In: Shadish, W., Cook,T. e Leviton, L. (1995). 13. Ver Weiss (1976). In: Shadish, W., Cook,T. e Leviton, L. (1995).

69

Com base nas informaes obtidas nas empresas pesquisadas pode-se aventar a hiptese de que o espao para decises mais racionais bem maior no setor privado e decorre de caractersticas inerentes s suas aes sociais, tais como: D D as empresas atuam em carter voluntrio e, portanto, podem optar sobre o que fazer sem as cobranas, muitas vezes conflitantes, dos diversos atores envolvidos; as empresas identificam-se muito mais pelas causas sociais que assumem do que pelos programas e projetos que desenvolvem ou apoiam e, portanto, mudanas operacionais no meio do caminho so menos visveis e menos questionadas publicamente; as empresas so muito mais financiadoras do que executoras de projetos e, por conseguinte, menos apegadas aos desenhos operacionais e aos interesses institucionais; as empresas no se comprometem, a priori, com a manuteno das aes no longo prazo, e podem substituir ou interromper seus programas e projetos com mais facilidade; e as empresas so menos envolvidas nos conflitos poltico-partidrios que interferem nas aes governamentais e influenciam decises.

D D D

70

Os relatos a seguir ilustram os usos atribudos avaliao e ao monitoramento.

A avaliao trouxe muitas mudanas. Ns revimos uma srie de aspectos do processo do programa e agora comeamos o que chama a verso II do programa com algumas lies que aprendemos. Tanto que queremos agora fazer avaliao da segunda verso do programa com todas essas alteraes para depois poder acompanhar esses jovens ao longo do tempo. Porque o que restou da primeira verso hoje? Eu acho que 40 % do [primeiro] programa. O resto outro programa que est rodando. (Empresa do setor financeiro) [Usamos o monitoramento] para revisar e ajustar o projeto o tempo todo. Na verdade estamos trabalhando no s com recurso da empresa, mas com recurso do funcionrio. Ento para ns muito importante fazer com que o projeto de fato construa o resultado esperado e que nos d um posicionamento de uma prestao de contas de quem investiu. (Empresa do setor financeiro) Quando eu volto [na oficina com os parceiros] no ano seguinte dizendo que estamos em campanha de mobilizao, falo quais foram os resultados para que eles possam ter credibilidade e participarem novamente. (Empresa do setor financeiro)

No tnhamos certeza [do que fazer] e acho que a avaliao nos ajudou a tomar decises. A perceber onde pr mais luz onde traria mais resultados. (Empresa do setor financeiro) No caso do territrio, por exemplo, estamos fazendo uma avaliao, uma reviso estratgica, vendo que ter se afastado da viso territorial talvez tenha limitado os resultados desejados e que de repente seja o caso de voltar. Isso foi tirado da avaliao. (Empresa do setor qumico e petroqumico) A avaliao foi uma ferramenta muito til. Tambm fundamental que voc no fique 100% a reboque da avaliao. Usamos a avaliao como uma ferramenta de apoio. Quando pedimos uma avaliao porque j temos uma srie de percepes, temos nossas avaliaes, baseadas no trabalho de campo, no feedback dos parceiros ou no contato dirio com as questes que dizem respeito ao projeto. Desenvolvemos uma percepo interna aqui que nos d diversas linhas de necessidade, de onde esto os problemas, de onde esto as oportunidades. Ento a avaliao se junta a esse pacote no liquidificador e o que utilizamos depois no direcionamento do projeto, seja nas atuaes de campo, seja naquilo que diz respeito somente a comunicao. (Empresa do setor de comunicao) Eles [os avaliadores] trouxeram pontos vulnerveis que identificaram tanto no desenvolvimento do projeto quanto do ponto de vista metodolgico, na relao do projeto com seus participantes, na relao da empresa com as organizaes. Tudo isso foi utilizado para repensar e reconstruir alguns processos desde o momento do planejamento da composio da nossa carteira de projetos at o momento de monitorar, de como se relacionar com as instituies, como medir o que fazemos. (Empresa do setor qumico e petroqumico)

71

Outra leitura do uso das informaes poderia ser feita com base na anlise dos relatrios de monitoramento e avaliao das empresas. At que ponto as avaliaes desencadeadas pelas empresas atendem aos requisitos considerados fundamentais para garantir o uso das informaes produzidas, conforme sugerido por Weiss e Bucovalas (1980)?14 Para estes autores, o uso das informaes vai depender de um conjunto mais amplo de requisitos da avaliao, a saber: i) traz respostas relevantes para a tomada de decises; ii) disponibiliza os resultados no momento oportuno para a deciso; iii) gera resultados claros e sem ambiguidades; iv) leva a resultados que sejam de conhecimento e do interesse dos tomadores de deciso; v) produz recomendaes implementveis dentro dos limites de recursos existentes; e vi) apresenta resultados que no sejam contrrios a interesses fortes e blocos poderosos.
14. In: Shadish, W., Cook,T. e Leviton, L. (1995).

Dada a impossibilidade, no mbito deste estudo, de acessar os relatrios de avaliao das empresas pesquisadas, no foram observados todos os requisitos sugeridos por aqueles autores. No obstante, dado o ineditismo no uso das avaliaes de projetos sociais por parte das empresas, seria importante aprofundar esta anlise em estudos posteriores.

Na viso das empresas, as avaliaes geram tenses?

Para a maioria dos entrevistados, as avaliaes, se no forem bem encaminhadas e bem utilizadas, podem gerar tenses e comprometer a credibilidade e a continuidade dos projetos. A viso, no entanto, que o clima de ansiedade e ameaa pode se dar no mbito das instituies executoras que receiam o descrdito e a perda do apoio, e no dentro das prprias empresas. Fortalece esta defesa o fato de que, na maior parte das vezes, as empresas no executam diretamente os seus programas e projetos, e assumem o papel de financiadoras que correm o risco de prejudicar sua prpria imagem se os programas e projetos apoiados no forem bem-sucedidos na ponta.

72

Outro fator que pode reduzir a viso das tenses internas que, na maioria das vezes, a deciso de avaliar partiu das prprias equipes responsveis pelas aes sociais, sem a perspectiva de gerar cortes de verbas ou de avaliar o desempenho pessoal dos gestores. recorrente a afirmao de que dentro das empresas j existe uma cultura da avaliao e que, portanto, a o tema mais tranquilo. No entanto, alguns relatos parecem contradizer parcialmente essas afirmaes. No decorrer das entrevistas so frequentes as menes s relaes afetivas, s paixes que acometem as equipes envolvidas com as aes sociais. Neste envolvimento emocional, muitas vezes o fiador da atuao das empresas pode, segundo a tica dos dirigentes, limitar a viso objetiva e crtica em relao aos resultados.

Acho que de alguma maneira, sim [os gestores receiam a avaliao], porque quando voc vai trabalhando e construindo uma relao afetiva com o que voc faz, por mais que no seja consciente e proposital, tem uma torcida interna para que aquilo continue. Agora tambm tentamos trabalhar com critrios mais objetivos possveis sobre o que esperado de cada projeto, sobre qual a conduta [que] esperamos dos gestores internos para tentar minimizar qualquer tipo de proteo. (Empresa do setor qumico e petroqumico)

Porque surge em [um] primeiro momento uma desconfiana. E ns deixamos muito claro que no uma auditoria, mas s vai ser percebido na dinmica dos contatos. Porque ns no trabalhamos com auditorias nesse aspecto. Visitamos essas organizaes trs ou quatro vezes por ano. (Empresa do setor de vesturio) A minha equipe menos porque tambm tem esse olhar de que quer que d certo. Mas a equipe que apoiada l na ponta vive esse sentimento [receio de descontinuidade]. A pessoa da empresa que cuida do programa (...) tem um olhar critico porque sabe que se os projetos no caminharem bem, podem ferir a credibilidade do programa. No ferir a credibilidade do programa por vezes fazer com que l na ponta o projeto que no est sendo muito bem executado deixe de ser executado. Ento ela [a pessoa da empresa] preza por isso. Agora quem sofre o municpio que pode perder o apoio no ano seguinte, ou no ter apoio. Eu acho que gera tenso, sim. at positivo que gere. (Empresa do setor financeiro) Vou deixar bem claro que os gestores que atuam na ponta tm receio da avaliao, mas aqui talvez eu ache que no possa se aplicar bem. Quando vem a deciso de uma avaliao de um programa que est dentro de uma instituio, pode gerar um receio. Porque geralmente os gestores e executores do projeto se apaixonam por ele. Ns [da empresa] no somos os executores diretos. (Empresa do setor de cosmticos) Na minha equipe gera menos tenso porque tambm tem esse olhar de que quer que d certo. Mas a equipe que apoiada l na ponta, sim, vive esse sentimento [receio de descontinuidade]. (Empresa do setor financeiro) Se eu avaliar um projeto e se, por exemplo, o acionista no gostar do resultado, obviamente que ele vai fazer uma avaliao tambm da minha performance [membro da equipe] naquele momento. No tem como ver um resultado de uma avaliao e ficar isento daquilo: a avaliao no serve para isso, ela serve justamente para provocar uma srie de reaes. Mas a avaliao tambm uma cultura na empresa, ns somos avaliados como profissionais. Eu tenho a minha avaliao de desempenho individual. E a tem uma questo de como a empresa lida com a cultura da avaliao. E se voc me falar se eu tenho receio, no. Mas eu acredito que esta rea [social] tem muita clareza do seu objetivo. E as pessoas que trabalham nessa rea so pessoas que tm uma relao profissional muito diferente da cultura corporativa: so pessoas que trabalham por uma causa, mais que apenas por um emprego. Ento, se a minha performance no corresponder, a empresa tambm pode no corresponder para mim, no que eu busco em termos de processos e resultados dos investimentos sociais. Para ns isso natural. Em geral, a cultura corporativa tem um vnculo diferente com a percepo e o uso dos resultados da avaliao. (Empresa do setor de cosmticos)

73

Penso que dentro da empresa, por ser uma empresa com preocupao com resultados, essas tenses so menores do que seriam talvez em uma ONG [organizao no governamental]. Porque a prpria mentalidade dentro da empresa sempre uma mentalidade de buscar resultados, de aferir resultados. Ento na verdade isso est embutido, includo em todas as pessoas que fazem parte da instituio. Por isso acho que essas tenses no so to problemticas. Elas existem, mas se resolvem sem conflitos maiores que atrapalhem a execuo. Esta clareza da importncia da avaliao e do papel da avaliao e o quanto pode ser enriquecedor est em todos ns. Temos a clareza que a avaliao para apoiar processos decisrios. A questo da tenso com a avaliao, quando voc entra com os [executores], existe. Quer dizer, no d para negar que existe. Agora isso muito conversado. (Empresa do setor financeiro) Acho que sim [gera tenses]. Em geral, tanto para quem est sendo avaliado quanto para quem est avaliando. Quem est avaliando s vezes sente como quem tem o poder na mo ali de ver o outro estar em suas mos. H certa resistncia para se avaliar no Brasil. uma caracterstica da nossa cultura. (Empresa do setor de bebidas no alcolicas) Avaliamos que o risco manter os projetos sem avaliao. Os receios quanto avaliao s acontecem na cabea dos avaliadores que veem a avaliao como um instrumento punitivo, fiscalizatrio. Isso pode acontecer, talvez, para os interlocutores que esto na ponta, no para ns; para ns uma condio de mudar. Penso que quando se faz uma pergunta, voc pode ouvir sim ou no, a avaliao a mesma coisa. O fato de a avaliao ser uma estratgia de controle no significa que ela seja uma estratgia policial. Acho que essa uma diferena bsica. Instrumento de controle no um instrumento policial, no instrumento de fiscalizao, no instrumento de averiguar conduta para punir ou premiar; ele ajuda a executar, ajuda a gerir, ajuda a administrar, ajuda a prever riscos. (Empresa do setor de fumo) No se abandona o projeto, se abandona a forma de fazer o projeto, e isso no gera nenhum tipo de tenso. Pelo contrrio, isso d uma enorme satisfao quando voc v que mudou para direo certa. (Empresa do setor de comunicao) Por ser uma fundao ligada a uma empresa como a nossa, que tem o foco em resultados, ns sempre fomos cobrados por isso. Sempre foi colocado [pelo diretor]: no se apaixone pelo projeto. E ns sempre lidamos muito com os educadores e tcnicos que so todos apaixonados pela questo da educao e ento, muitas vezes, voc se encanta com o projeto, com aquele processo que pode ser lindo e maravilhoso, mas que no est sendo eficaz em seus resultados. (Empresa do setor financeiro)

74

c oncluso

O que se pode extrair das experincias de avaliao nas empresas privadas?

 sempre arriscado generalizar os resultados obtidos em pesquisas realizadas com um nmero relativamente pequeno de experincias. No obstante, a anlise das identidades e diferenas observadas neste grupo de grandes empresas, reconhecidas por sua atuao no campo social, traz elementos importantes para uma reflexo sobre os alcances e limites das avaliaes (propriedade, viabilidade e utilidade), e para a identificao de um elenco de novas questes para pesquisas futuras. Entre as novidades captadas, destacam-se as motivaes recentes das empresas de maior porte para avaliarem as suas aes sociais. Cada vez mais, elas percebem a necessidade de a opinio pblica reconhecer que o seu comprometimento com as questes sociais no se limita a declaraes de princpios, ou a uma estratgia de marketing, e que a sua atuao contribui efetivamente para uma melhoria das condies de vida das comunidades atendidas. Outro fator importante o reconhecimento, por parte das equipes responsveis pelos programas e projetos sociais, de que a avaliao um instrumento poderoso de gesto, que pode ajud-las a ampliar seus conhecimentos na rea, desenvolver novas tecnologias sociais, articular parcerias e, o que indito, influenciar as polticas pblicas. Paralelamente, medida que crescem os recursos alocados, ampliam-se tambm as presses dos quadros diretivos, conselheiros e acionistas por informaes sobre os resultados dos investimentos sociais. Nesse novo contexto, as empresas esto gradativamente estruturando suas estratgias de monitoramento e avaliao. Estes dois instrumentos so considerados etapas de um mesmo processo, que vo sendo cumpridas proporo que crescem o envolvimento das empresas com os programas e as expectativas em relao aos resultados. Esta viso integrada importante e traz reflexos diretos na forma como as empresas esto acompanhando suas atuaes. Em geral, ao desenharem-se os programas, no so planejadas as aes de avaliao. Estas vo sendo implementadas com os programas em curso, como um complemento ao monitoramento, o qual j realizado de forma generalizada. Na maior parte das vezes, no se dispe de diagnsticos detalhados da situao dos beneficirios no momento inicial das intervenes, tampouco dos impactos esperados. As informaes sobre os problemas a serem enfrentados so obtidas de formas diferenciadas. No entanto, o mais frequente fazer primeiro a opo por uma causa especfica (por exemplo, educao, proteo infncia, capacitao de jovens etc.) e, posteriormente, buscar informaes secundrias que possam subsidiar o desenho dos programas ou projetos. A falta de definio

77

prvia sobre metas e indicadores de avaliao contornada pelo envolvimento de diversos atores na construo da metodologia de avaliao, na definio das perguntas que buscam responder, na realizao dos levantamentos de campo e na anlise das informaes. Com o apoio de especialistas externos, as empresas esto avanando na identificao de novas metodologias que, em alguns casos, j se transformaram em referncias at mesmo para organizaes governamentais. frequente a meno ao dilogo com as instituies parceiras (pblicas e privadas), com os executores e com representantes do pblico-alvo por meio de encontros, oficinas, visitas de campo e,excepcionalmente, pela criao de canais diretos de comunicao com as comunidades atendidas (call centers). Assim, no quesito relativo propriedade das avaliaes, ou seja, transparncia e legitimidade do processo, a percepo extrada dos depoimentos dos entrevistados que as empresas esto se aprimorando nas avaliaes e que as experincias recentes podem trazer subsdios importantes para avaliaes futuras. Contudo, vale a ressalva de que o mesmo no acontece com os resultados obtidos nestes processos de avaliao. Os relatrios elaborados no so integralmente disponibilizados para o pblico externo, ficando seu acesso restrito aos atores mais diretamente envolvidos com a execuo dos programas. Segundo as informaes obtidas neste estudo, h muito o que fazer para garantir a viabilidade das avaliaes, isto , para garantir sua reproduo em larga escala, o que requer a adoo de procedimentos simples, a custos razoveis. Um primeiro ponto que chama ateno a pequena proporo de empresas que avalia suas aes sociais, apesar do volume de recursos investidos, da f na avaliao como instrumento de gesto, e das presses mais recentes por resultados. Mesmo nas empresas estruturadas para avaliarem as suas aes, h um reconhecimento generalizado da existncia de impedimentos para a expanso da experincia para todos os programas sociais por elas desenvolvidos. O elenco de dificuldades apontadas reflete a necessidade de se avanar na identificao de instrumentos que deem conta de captar o olhar e as demandas de um conjunto muito variado de atores, e de selecionar um nmero mais reduzido de indicadores de processos, de resultados ou de impactos que sejam de fcil coleta e atualizao. Quanto aos recursos demandados, a queixa maior foi observada em relao ao tempo e ao conhecimento requeridos por parte dos profissionais das empresas, que no esto disponveis com frequncia. No foi possvel julgar a adequao dos custos financeiros, tanto pelo fato de no serem devidamente registrados quanto pela enorme variao de valores, o que demandaria uma anlise detalhada, caso a caso, e que

78

no era a proposta deste estudo. O que se pode afirmar que os custos variam em funo de um conjunto extenso de fatores e que so inversamente proporcionais aos valores globais investidos nos programas. O maior destaque nas avaliaes realizadas pelas empresas se verifica no quesito utilidade. Os entrevistados foram enfticos e unnimes em reafirmar sua importncia para o avano do conhecimento interno e para o aprimoramento das aes desenvolvidas. As avaliaes so consideradas um instrumento de gesto essencial para subsidiar a tomada de decises e as correes de rumo, legitimar a atuao das empresas e atrair novas parcerias. neste campo que as avaliaes das empresas privadas distinguem-se das avaliaes dos programas governamentais que, geralmente, tm pouca interferncia nas mudanas de rota. Algumas caractersticas do setor privado podem explicar, parcialmente, tal comportamento. A flexibilidade e a autonomia das empresas para alterar ou suspender seus programas facilitam o uso dos resultados e das recomendaes contidas nas avaliaes. A interao das equipes das empresas e dos avaliadores contribui para internalizar o aprendizado e as propostas de correes. Ao atuarem mais como financiadoras do que executoras diretas dos programas sociais, as empresas preservam um distanciamento que reduz as tenses geradas pelas avaliaes e cria condies para a adoo de recomendaes mais radicais. Estas so hipteses que merecem ser melhor exploradas, tendo em vista a reconhecida necessidade de se ampliar a prtica de avaliao das polticas sociais. Longe de esgotar as informaes necessrias a um retrato completo das avaliaes realizadas pelas empresas privadas, os avanos obtidos nesta primeira explorao do tema evidenciam a sua relevncia, as possibilidades de aprendizagem suscitadas pelas experincias em andamento e a necessidade de responder s diversas indagaes apresentadas ao longo deste volume. Conhecer melhor os detalhes de estratgias e metodologias de avaliao faz parte do campo de preocupaes de todos aqueles que se envolvem diretamente na formulao e acompanhamento de programas sociais. neste contexto que se insere o presente estudo, que d continuidade srie de pesquisas realizadas no Ipea sobre a participao de organizaes da sociedade civil no campo social. O que motivou sua realizao est contido no prprio ttulo da publicao: Cultivando os frutos sociais: a importncia da avaliao nas aes sociais das empresas. Ele reflete o entendimento de que uma avaliao bem conduzida e bem aproveitada representa um excelente adubo para fertilizar as aes sociais e produzir maiores e melhores resultados para a sociedade.

79

b ibliografia

ADULIS, D . O uso do marco lgico na gesto e avaliao de projetos. In: Apoio gesto. Rio de Janeiro: 2001. Site da RITS. Artigo. ______. Como planejar a avaliao de um projeto social? In: Apoio gesto. Rio de Janeiro: 2002. Site da RITS. Artigo. ALTENFELDER, R. Responsabilidade socioambiental. Folha de So Paulo, 11 de janeiro de 2008. Caderno Opinio. ARMANI, D. Como elaborar projetos? Guia prtico para elaborao e gesto de projetos sociais. Porto Alegre, Tomo: 2001. BANCO MUNDIAL. Monitorizao e avaliao: algumas ferramentas, mtodos e abordagens. Washington, D.C., Banco Mundial: 2004. Disponvel em: <http://www.worldbank.org/oed/ecd>. BEGhIN, N. A filantropia empresarial: nem caridade, nem direito. Departamento de Poltica Social. Dissertao (Mestrado) UnB, Braslia, 2003. BID. Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos. In: Oficina de evaluacin online (EVO), 15/12/2000. Guia do Banco Interamericano de Desarrollo para aplicao do marco lgico em projetos e programas financiados pelo Banco, 1997. Disponvel em: <http://www.iadb.org/cont/evo/SPBook/lamatriz.htm>. BORBA, P. et al. Monitoramento e avaliao de programas e projetos sociais: desenvolvimento de um plano de avaliao. In: SEMINRIOS EM ADMINISTRAO FEA/USP, 7., So Paulo: Faculdade de Economia, Administrao e Contabilidade USP, ago. 2004. Disponvel em: <http://www. ead.fea.usp.br/Semead/7semead/>. BRINkERhOFF, R. The success case method: find out quickly whats working and whats not. San Francisco: Berrett-koehler, 2003. BROSE, M. Marco lgico, Metaplan, ZOPP. 2001. Artigo disponvel no site da Rede DLIS sobre marco lgico, a metodologia participativa Metaplan e o mtodo de planejamento ZOPP. Disponvel em: <http://www.rededlis.org.br/planejamento.asp?id=146&action=mostra>. Acessado em: 15/12/2001. ChIANCA, T. Desenvolvendo a cultura de avaliao em organizaes da sociedade civil. So Paulo: Global, 2001.

83

DAVIDSON, E. J. Evaluation methodology basics: the nuts and bolts of sound evaluation. Thousand Oaks, CA: Sage, 2004. FEDATO, M. C. L. Responsabilidade social corporativa: benefcio social ou vantagem competitiva. Um estudo das estratgias de atuao social empresarial e sua avaliao de resultados. Dissertao (Mestrado) Faculdade de Economia, Administrao e Contabilidade USP, So Paulo, 2005. FEDATO, C.; PIRES, J; MORETTI, T. Avaliao de resultados de projetos e programas sociais. In: IV SEMINRIOS EM ADMINISTRAO FEA/USP, 4., So Paulo: Faculdade de Economia, Administrao e Contabilidade USP, 2003. Estudo Geral de Caso. FREEMAN; ROSSI. In: ShADISh, W.; COOk, T.; LEVITON, L. Foundations of program evaluation: theories of practice. Sage, 1995. GREENE, J. C. Understanding social programs through evaluation. In: DENZIN, N. k.; LINCOLN, Y. S. (Ed.). Handbook of qualitative research. Thousand Oaks, CA: Sage, 2nd. Ed., 2000. GRUPO DE INSTITUTOS, FUNDAES E EMPRESAS (GIFE). Investimento social privado no Brasil. So Paulo: GIFE, 2001. ______. Guia GIFE sobre investimento social privado. So Paulo: Takano, 2002. ______. Censo Gife 2005/2006. So Paulo: Edies Jogo de Amarelinha, 2006. Disponvel em: <http://www.gife.org.br>. INSTITUTO EThOS DE EMPRESAS E RESPONSABILIDADE SOCIAL EMPRESARIAL. Indicadores Ethos de responsabilidade social empresarial. So Paulo, 2004. JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The personnel evaluation standards: how assess systems for evaluating educators. Newbury Park, CA: Sage, 1988. kELLOGG FOUNDATION. Program evaluation handbook. Battle Creek, MI: The W. k. kellogg Foundation, 1998. Disponvel em: <http://www.wkkf.org>. kRIPPENDORFF. In: LDkE, A. Anlise de contedo, 1986. LAVILLE, C.; DIONNE, J. A construo do saber: manual de metodologia de pesquisa em cincias humanas. Porto Alegre: Editora Artes Mdicas Sul Ltda.; Belo horizonte: Editora UFMG, 1999.

84

LETIChEVSkY, A. C.; VELLASCO, M. M. B. R.; TANSChEIT, R.; SOUZA, C. R. La Categoria precisin en la meta-evaluacin: aspectos prcticos y tericos en un nuevo enfoque. In: Ensaio. Avaliao e Polticas Pblicas em Educao. Rio de Janeiro, v. 13, n. 47, 2005. MADAUS; STUFFLEBEAM (1989). In: WORThEN, B.; SANDERS, J.; FITZPATRICk, J. Avaliao de programas: concepes e prticas. So Paulo: EDUSP, 2004. MARINhO, A.; FAANhA, L. O. Programas sociais: efetividade, eficincia e eficcia como dimenses operacionais da avaliao. Rio de Janeiro: Ipea, 2000 (Textos para Discusso n. 787). MARINO, E. Manual de avaliao de projetos sociais. So Paulo: Saraiva, 1998. ______. Avaliao: a mudana do paradigma. In: Manual de avaliao de projetos sociais. So Paulo: Saraiva, 2003. 2 Ed. Disponvel em: <http://www.fonte.org.br/documentos/artigo%203. pdf>. Acessado: em 23/04/2008. ______. Diretrizes para avaliao de projetos e programas de investimento social privado. Estudo da aplicabilidade dos standards de avaliao de programas definidos pelo The Joint Committe on Standards for Educational Evaluation. In: Programas e projetos de investimento social privado. Dissertao (Mestrado) Faculdade de Economia, Administrao e Contabilidade USP, So Paulo, 2003. MARTINELLI, A. C. Empresa-cidad: uma viso inovadora para uma ao transformadora. In: IOSChPE, E. B. (Org.). Terceiro setor: desenvolvimento sustentado. So Paulo: Paz e Terra, 1997. MATTAR, F. N. Pesquisa de marketing. So Paulo: Atlas, 2 Ed., 1994. MENEZES-FILhO, N.; VASCONCELLOS, L.; WERLANG, S. Avaliando o impacto da progresso continuada. In: ENCONTRO BRASILEIRO DE ECONOMETRIA, 27., Natal: Sociedade Brasileira de Econometria, 2005. Artigo. MINAYO, M. C. S.; ASSIS, S. G.; SOUZA ER (Org.). Avaliao por triangulao de mtodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz, 2005. MONTEIRO, G. A avaliao dos impactos sociais dos programas de governo. In: CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIN PBLICA, 7., Lisboa: Centro Latinoamericano de Administracin para el Desarrollo, 2002.

85

MORAES, A. D. Responsabilidade social corporativa. So Paulo: UNIVAP, 2002. PACZkOWSkI, S. Desenvolvimento de um procedimento de avaliao de prticas de responsabilidade social das organizaes produtivas. Dissertao (Mestrado) Curso de Ps-Graduao em Administrao da Universidade Federal de Santa Catarina, Florianpolis, 2003. PATTON, M. Q . Qualitative research and evaluation methods. Thousand Oaks, CA: Sage, 2002. ______. Utilization focused evaluation checklist. 2000. Disponvel em: <http://www.wmich. edu/evalctr/checklists>. ______. Qualitative evaluation checklist. 2004. Disponvel em: <http://www.wmich.edu/evalctr/ checklists>. PELIANO, A. M. T. M. (Coord.). A iniciativa privada e o esprito pblico: a ao social das empresas do Sudeste brasileiro. Braslia: Ipea, 2000. Disponvel em: <http://www.ipea.gov.br/asocial>.

86

______. (Coord.). Ao social das empresas do Centro-Oeste quem so e onde esto. Braslia: Ipea, 2000. Mimeografado. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). Ao social das empresas do Norte quem so e onde esto. Braslia: Ipea, 2000. Mimeografado. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). A iniciativa privada e o esprito pblico: a ao social das empresas do Nordeste brasileiro. Braslia: Ipea, 2001. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). A iniciativa privada e o esprito pblico: a ao social das empresas do Sul do Brasil. Braslia: Ipea, 2001. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). Bondade ou interesse? Como e por que as empresas atuam na rea social. Braslia: Ipea, 2001. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). A iniciativa privada e o esprito pblico: um retrato da ao social das empresas no Brasil. Braslia: Ipea, 2003. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). Ao social das empresas do Centro-Oeste quem so e onde esto. Braslia: Ipea, 2004. Mimeografado. Disponvel em: <http://www.ipea.gov.br/asocial>.

______. (Coord.). Ao social das empresas do Norte quem so e onde esto. Braslia: Ipea, 2004. Mimeografado. Disponvel em: <http://www.ipea.gov.br/asocial>. ______. (Coord.). A iniciativa privada e o esprito pblico: a evoluo da ao social das empresas privadas no Brasil - Pesquisa Ao Social das Empresas/PASE. Braslia: Ipea, 2006. Mimeografado. Disponvel em: <http://www.ipea.gov.br/asocial>. PIANTO, D.; SOARES, S. Use of survey design for the evaluation of social program: the PNAD and PETI. In: ENCONTRO NACIONAL DE ECONOMIA, 32., Joo Pessoa: Associao Nacional dos Centros de Ps-Graduao em Economia, 2004. QUEIROZ, A. A responsabilidade social das empresas no Brasil: um estudo sobre indicadores. In: CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIN PBLICA, 5., Santo Domingo: Centro Latinoamericano de Administracin para el Desarrollo, 2000. REIS, L. G. C. Avaliao de projetos como instrumento de gesto. RITS, 1999. Disponvel em: <http:// www.rits.org.br/gestao_teste/ge_testes/ge_tmesant_nov99.cfm>. Acessado em: 15/12/2001. RICO, E. M. (Org.). Avaliao de polticas sociais: uma questo de debate. So Paulo: Cortez, 1998. ROChE, C. Avaliao de impacto dos trabalhos de ONGs: aprendendo a valorizar as mudanas. So Paulo: Cortez, 2000. RODRIGUES, M. C. P. Ao social das empresas privadas: como avaliar resultados? A metodologia EP2ASE. Rio de Janeiro: Editora FGV, 2005. ROSSI, P. h. In: ROSSI, h. P.; LIPSEY, M. W.; FREEMAN, h. E. Evaluation: a systematic approach. Thousand Oaks, CA: Sage, 7 Ed., 2004. ROSSMAN, G. B.; RALLIS, S. F. Learning in the field: an introduction to qualitative research. Thousand Oaks, CA: Sage, 1998. SANDERS, J. R. (Coord.) The program evaluation standards. The Joint Committee on Standards for Educational Evaluation. Thousand Oaks, CA: Sage, 2nd. Ed., 1994. ______. Mainstreming Evaluation. In: New Directions for Evaluation. American Evaluation Association. n. 99; San Francisco, 2003.

87

SANDERS, J. R.; NAFZIGER, D. N. A basis for determining the adequacy of evaluation designs. paper #6. Alaska Department of Education to the Northwest Regional Educational Laboratory, 1976 (Occasional Paper Series). Schwandt, t. a. Dictionary of qualitative inquiry. thousand Oaks, ca: Sage, 2nd. Ed., 2001. SCRIVEN, M. Key evaluation checklists. 2005. Disponvel em: <http://www.wmich.edu/evalctr/ checklists>. ______. The logic and methodology of checklists. Disponvel em: <http://www.wmich.edu/evalctr/checklists>. ______. An introduction to meta-evaluation. In: Educational Products Report, n. 2, p. 36-38, 1967. ______. Evaluation thesaurus. Newbury Park, CA: Sage, 1991. ShADISh, W.; COOk, T.; LEVITON, L. Foundations of program evaluation: theories of practice. Sage, 1995.

88

SILVA, R. Evaluacin: en bsqueda de un nuevo paradigma. In: CONFERNCIA DA REDE DE MONITORAMENTO, AVALIAO E SISTEMATIZAO DA AMRICA LATINA E CARIBE, 1., Lima: Instituto Fonte para o Desenvolvimento Social, 2004. SILVA, R. R.; BRANDO, D. B. Os quatro elementos da avaliao. So Paulo: Instituto Fonte para o Desenvolvimento Social, 2003. Disponvel em: <http://www.fonte.org.br>. SISTEMA DE INFORMACIN, MONITOREO Y EVALUACIN DE PROGRAMAS SOCIALES (SIEMPRO)/UNESCO. Gestin integral de programas sociales orientada a resultados: manual metodolgico para la planificacin y evaluacin de programas sociales, 1999. SPLETT, P. Session four: evaluation. Virginia: Virginia Departament of health, 1999. STAkE, R. The art of case study research. Thousand Oaks, CA: Sage, 1995. STUFFLEBEAM, D. L. Meta-evaluation. Michigan: The Evaluation Center Western Michigan University, 1974 (Occasional Paper Series Michigan n. 3). ______. Strategies for institutionalizing evaluations: revisited. Michigan: The Evaluation Center Western Michigan University, 1997.

STUFFLEBEAM, D. L.; FOLEY, W. J.; GEPhART, W. J.; GUBA, E. G.;hAMMOND, R. L., MERRIMAN, h. O.; PROVUS, M. Educational evaluation and decision making. Itasca, Illinois: Peacock, 1971. TNS INTERSCIENCE. Avaliao do investimento social no setor privado. So Paulo: TNS InterScience, 2008. Mimeografado. TROChIM, W. M. The research methods knowledge base. 2nd Edition. Disponvel em: <http:// trochim.human.cornell.edu/kb/index.htm>. Acessado em: agosto de 2005. VALARELLI, L. Indicadores de resultados de projetos sociais. In: Apoio gesto. Site da RITS; 1999. Artigo. Naturalistic evaluation. In: WILLIAMS, D. D. (Ed.). New Directions for Program Evaluation, n. 30, 1986. WEISS (1976). In: ShADISh, W.; COOk, T.; LEVITON, L. Foundations of program evaluation: theories of practice. Sage, 1995. ______ (1983). In: ShADISh, W.; COOk, T.; LEVITON, L. Foundations of program evaluation: theories of practice. Sage, 1995. ______; BUCOVALAS (1980). In: ShADISh, W.; COOk, T.; LEVITON, L. Foundations of program evaluation: theories of practice. Sage, 1995. WORThEN, B.; SANDERS, J.; FITZPATRICk, J. Avaliao de programas: concepes e prticas. So Paulo: EDUSP, 2004. YIN, R. Estudo de caso: planejamento e mtodos. Porto Alegre: Bookmann, 3 Ed., 2005.

89

 Instituto de Pesquisa Econmica Aplicada ipea 2009

Editorial
Coordenao
Iranilde Rego

Reviso
Cludio Passos de Oliveira Marco Aurlio Dias Pires Reginaldo da Silva Domingos

Editorao Eletrnica Renato Rodrigues Bueno

Bernar Jos Vieira Everson da Silva Moura Cludia Mattosinhos Cordeiro Helenne Schroeder Sanderson (estagiria) Eudes Nascimento Lins (estagirio)

Execuo do Projeto Grfico

Renato Rodrigues Bueno

Composto em Univers 10/15 (texto) Century Schollbok 10/14,5 e Univers Condensed 12/14,5 (ttulos) Galliard BT 8,5/12 (tabelas) e Futura LT BT 9,5/13 (quadros) Impresso em papel couch fosco 120g/m (miolo) Carto Supremo 250g/m (capa) Braslia - DF