INTOSAI

Diretrizes para Aplicao de Normas de Auditoria Operacional

Tribunal de Contas do Estado da Bahia Brasil Srie Tradues N.o 10

INTOSAI Secretaria Geral RECHNUNGSHOF (Tribunal de Contas da ustria) DAMPFSCHIFFSTRASSE 2 A-1033 VIENA USTRIA

Tel.: ++43 (1) 711 71 Fax: ++43 (1) 718 09 69 E-MAIL: intosai@rechnungshof.gv.at; WORLD WIDE WEB: http://www.intosai.org

Intosai

Autorizao para traduo ao idioma portugus concedida pela Organizao Internacional de Entidades Fiscalizadoras Superiores em 27 de julho de 2005. EQUIPE DE PRODUO Traduo: Inaldo da Paixo Santos Arajo Cristina Maria Cunha Guerreiro Reviso Tcnica: Frederico de Freitas Tenrio de Albuquerque Pedro Humberto Teixeira Barretto Reviso Gramatical: Clarissa Carneiro da Rocha Jos Lcio de Farias Digitao e Diagramao: Cristiano Pereira Rodrigues Impresso: Empresa Grfica da Bahia

I 61 International Organization of Supreme Audit Institutions Diretrizes para aplicao de normas de auditoria operacional: normas e diretrizes para a auditoria operacional baseadas nas Normas de Auditoria e na experincia prtica da INTOSAI./. International Organization of Supreme Audit Institutions; Traduo de Inaldo da Paixo Santos Arajo e Cristina Maria Cunha Guerreiro. Salvador: Tribunal de Contas do Estado da Bahia, 2005. 166 p. Traduo de: Implementation guidelines for performance auditing: standards and guidelines for performance auditing based on INTOSAIs Auditing Standards and practical experience 1. Auditoria Pblica: Normas. 2. Administrao Pblica: ustria. 3. Tribunal de Contas da ustria. I. Ttulo

DIRETRIZES PARA APLICAO DE NORMAS DE AUDITORIA OPERACIONAL Normas e diretrizes para a auditoria operacional baseadas nas Normas de Auditoria e na experincia prtica da INTOSAI

Prefcio verso em portugus

Em continuidade Srie de Tradues do Tribunal de Contas do Estado da Bahia, iniciada em 1995, na gesto do Conselheiro Adhemar Martins Bento Gomes, tenho a grata satisfao de apresentar o 10 ttulo dessa coleo, exatamente no ano em que este Tribunal comemora os seus 90 anos de existncia. A escolha das Diretrizes para Aplicao de Normas de Auditoria Operacional da Organizao Internacional de Entidades Fiscalizadoras Superiores (INTOSAI), publicadas originalmente em julho de 2004, nos idiomas ingls, francs, espanhol, alemo e rabe, para compor essa srie no poderia ser mais oportuna, j que essas diretrizes se constituem em um referencial de todo o processo desse tipo de auditoria. Com efeito, no obstante a Constituio Federal brasileira de 1988 ter considerado a fiscalizao operacional como um dos tipos de fiscalizao a cargo do Congresso Nacional, exercido com o auxlio dos Tribunais de Contas, poucas tm sido as iniciativas de editar no idioma portugus publicaes sobre to importante tema. Como a auditoria operacional objetiva precipuamente que seja respondido pelas Entidades Fiscalizadoras Superiores (EFSs) aqui englobando os Tribunais de Contas brasileiros das trs esferas de governo se as aes pblicas so realizadas com economia, eficincia, eficcia e efetividade, ento a divulgao dessas diretrizes em muito pode contribuir para o aperfeioamento da auditoria governamental brasileira, bem como para facilitar os estudos e pesquisas de todos os interessados no tema. Tenho conscincia de que no basta apenas o conhecimento das normas, mas sim, a sua adaptao, divulgao e aplicao pelas EFSs, que em muito auxiliaro essas instituies no desempenho de sua misso constitucional, de modo que possa, cada vez mais, atender aos anseios da sociedade, a qual sempre espera que seus escassos recursos sejam gastos de forma justa, eficiente e sbia. Ciente da importncia da divulgao de documentos tcnicos relacionados auditoria governamental, cumpre registrar que exemplares dessas
5

Diretrizes sero distribudos para auditores do Tribunal de Contas do Estado da Bahia, para instituies de controle governamental brasileiras e de pases de lngua portuguesa, universidades, centros de estudo e outros interessados. Por fim, gostaria de agradecer INTOSAI, na pessoa do Dr. Josef Moser, seu Secretrio Geral e Presidente do Tribunal de Contas da ustria, que autorizou, de pronto, a traduo para o idioma portugus dessas diretrizes, em perfeita sintonia com o lema da INTOSAI: experincia mtua em benefcio de todos; equipe tcnica deste Tribunal de Contas, responsvel pela produo deste documento, e aos meus pares, Conselheiros do Tribunal de Contas do Estado da Bahia, que apoiaram integralmente esse projeto. Salvador, Bahia, Brasil, novembro de 2005. Manoel Figueiredo Castro Conselheiro-Presidente do Tribunal de Contas do Estado da Bahia

Prefcio
No Congresso Internacional de Entidades Fiscalizadoras Superiores (INCOSAI) em Montevidu (1998), decidiu-se apoiar o desenvolvimento de diretrizes para a aplicao das Normas de Auditoria da Organizao Internacional de Entidades Fiscalizadoras Superiores (INTOSAI). O Comit de Normas de Auditoria (CNA) da INTOSAI realizaria esse desenvolvimento com a colaborao de outros comits permanentes e grupos de trabalho. As Normas de Auditoria concentram-se principalmente na auditoria contbil, porm envolvem tambm a auditoria operacional. Como tm destacado muitas Entidades Fiscalizadoras Superiores (EFSs), a auditoria operacional necessita de diretrizes especiais, j que difere da auditoria contbil. Por conseguinte, considerada oportuna a criao de diretrizes especficas para a auditoria operacional. Na reunio do Comit realizada em Londres (2000), concluiu-se um primeiro debate sobre o tema, e, depois da reunio de Lisboa (2002), o material de trabalho foi remetido aos membros do Comit para seus comentrios. O trabalho em curso foi apoiado pelo Comit Diretivo da INTOSAI em Seul (2001). Na reunio do Comit em Estocolmo (2002), decidiu-se enviar um anteprojeto a todos os membros da INTOSAI para sua apreciao. Foi elaborado um projeto final que, posteriormente, foi aprovado pelo Comit na reunio de Bratislava (2003). Ao longo de todo o processo, o Comit Diretivo foi informado sobre o avano alcanado e aprovou os planos de trabalho apresentados. Estas Diretrizes para Aplicao da Auditoria Operacional so o resultado dos esforos conjuntos dos membros do Comit de Normas de Auditoria da INTOSAI, integrado pelas Entidades Fiscalizadoras Superiores (EFSs) de:
Antgua e Barbuda Arbia Saudita Argentina Austrlia ustria Azerbaijo Brasil Camares Canad Costa Rica Dinamarca Egito Eslovquia Estados Unidos Filipinas ndia Japo Litunia Nambia Noruega Portugal Reino Unido Samoa Sucia; Presidente Tonga Tunsia Ucrnia Uruguai

Desejaria agradecer especialmente s EFSs do Reino Unido (ingls), Canad (francs), ustria (alemo), Arbia Saudita (rabe) e Estados Unidos (espanhol) seu apoio na reviso de provas das verses nas distintas lnguas. Tenho a satisfao de apresentar-lhes este documento. Constitui um passo importante dentro do processo de aperfeioamento da auditoria operacional entre os auditores da Administrao Pblica. As diretrizes devero ser consideradas como um documento vivo, que deve ser atualizado medida que se avana na sua utilizao. No um documento normativo ou tcnico, nem tampouco um manual, porm contm numerosas diretrizes e outras informaes com implicaes prticas que levam em considerao as premissas e caractersticas especiais da auditoria operacional. Ainda que estas diretrizes reflitam as melhores prticas atuais, no sero de aplicao plena por todos os membros da INTOSAI, devido s diferentes competncias e tradies. Cabe a cada membro determinar qual a melhor maneira de aplic-las e utiliz-las. O objetivo deste documento : Descrever as caractersticas e os princpios da auditoria operacional. Ajudar os auditores operacionais das EFSs na superviso e realizao das auditorias operacionais, de modo eficiente e efetivo. Servir de base para as boas prticas de auditorias operacionais. Estabelecer um marco para o desenvolvimento futuro da metodologia e o desenvolvimento profissional da auditoria operacional. Ao representar o Comit de Normas de Auditoria, gostaria de agradecer a todos os Comits e membros da INTOSAI sua dedicao e cooperao na realizao deste projeto. Tambm agradeo aos meus colegas do Comit seu oportuno apoio e suas contribuies positivas a esta atividade. Estocolmo, julho de 2004. Kjell Larsson Auditor-Geral, Escritrio Nacional de Auditoria da Sucia Presidente do Comit de Normas de Auditoria da INTOSAI

Sumrio
Introduo Captulo 1: 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 Captulo 2: 2.1 2.2 2.3 2.4 Captulo 3: 3.1 3.2 3.3 3.4 ......................................................................................... O que auditoria operacional? ............................ O que auditoria operacional segundo a INTOSAI? .................................................................... Qual o perfil caracterstico da auditoria operacional?................................................................... Que noes constituem a base da auditoria operacional?................................................................... Quais so as questes bsicas da auditoria operacional?................................................................... O que significa a auditoria da economia, da eficincia e da eficcia? ................................................ Como a forma de gesto pblica utilizada afeta a auditoria operacional? .............................................. Como se relaciona a auditoria operacional com a mensurao de desempenho e a avaliao de programas? .................................................................... Existem diferenas nos objetivos e nos enfoques analticos? ...................................................... Resumo .......................................................................... Princpios da auditoria governamental aplicveis auditoria operacional .................... Como os princpios da auditoria se aplicam auditoria operacional? ................................................. Quais so os requisitos gerais de um auditor operacional?................................................................... Existem outras importantes salvaguardas? .............. Resumo .......................................................................... 11 15 15 16 16 18 19 25 27 31 35 37 37 43 46 49

Normas e orientaes prticas: incio e planejamento da auditoria operacional .......... 51 Quais so as etapas gerais do processo de auditoria operacional? ................................................. 51 O que o planejamento estratgico envolve?............ 52 O que o planejamento de cada auditoria operacional envolve? ................................................... 56 Resumo .......................................................................... 67
9

Captulo 4: 4.1 4.2 4.3 4.4 4.5 4.6 Captulo 5: 5.1 5.2 5.3 5.4 5.5 5.6 Apndices 1 2 3 4 5 6 7

Normas e orientaes prticas: realizao da auditoria operacional ...................................... O que caracteriza o processo da anlise principal? ..... O que deve ser levado em considerao no processo de coleta de dados? .................................... O que caracteriza a evidncia da auditoria e os resultados da auditoria? ......................................... Como deve ser enfrentado um ambiente em mudana e em conflito? .............................................. O que importante quando se analisam os dados e se formulam concluses? ........................................ Resumo .......................................................................... Normas para o relatrio e orientaes para as entidades auditadas: apresentao dos resultados da auditoria operacional ................. O que significa a necessidade de se concentrar no relatrio final? ......................................................... O que se requer para que o relatrio seja confivel? .... Quais so as caractersticas de um relatrio de auditoria operacional adequado e til? ..................... Como deve ser distribudo um relatrio de auditoria operacional? ................................................. Para que servem os processos de acompanhamento? ....................................................... Resumo ..........................................................................

69 69 70 73 75 76 78

81 81 82 84 86 87 88
91

Referncias e Bibliografia ...................................................................

Metodologia da auditoria operacional ..................... Critrios da auditoria operacional ............................. As evidncias e a documentao ............................... Comunicao e garantia de qualidade...................... Auditoria operacional e tecnologia da informao ...... Auditorias operacionais em atividades com uma perspectiva ambiental................................ Em direo a um enfoque sistmico da auditoria operacional: um marco terico .................................

99 121 125 135 141 149 161

10

Introduo
Os auditores operacionais podem enfrentar em seu trabalho diversidades e ambigidades considerveis. Eles necessitam de competncias para analisar as atividades e as prticas de gesto. Podem deparar-se com a necessidade de familiarizar-se com ampla gama de disciplinas e contextos organizacionais. Devem ter a capacidade de redigir relatrios sobre temas complexos de forma lgica e cuidadosamente fundamentados. Estas diretrizes podem oferecer ajuda nesses campos, porm grande parte dos resultados depende de que os prprios auditores operacionais desenvolvam sua competncia nas referidas reas por outros meios. As diretrizes levam em conta as Normas de Auditoria da INTOSAI pertinentes e se baseiam nos princpios da auditoria operacional geralmente aceitos, extrados da experincia dos membros da INTOSAI1. Para elaborar diretrizes de aplicao baseadas na experincia, foi feito um estudo sobre as normas e diretrizes de diversas Entidades Fiscalizadoras Superiores (EFSs) com larga experincia em auditoria operacional. A experincia de realizar esse tipo de auditoria e de aplicar as Normas de Auditoria tem acrescentado valiosa contribuio em relao interpretao prtica das Normas de Auditoria. No possvel elaborar diretrizes aplicveis a todos os tipos de auditoria operacional, porque as comparaes entre as prticas de auditoria operacional realizadas em diferentes pases mostram notveis variaes na competncia, no alcance, na organizao e nos mtodos utilizados. As diretrizes de auditoria operacional no podem englobar integralmente todos os enfoques, mtodos e tcnicas possveis, j que na prtica isso incluiria a totalidade das cincias sociais. Ademais, as auditorias operacionais fazem referncia a uma variedade de temas e perspectivas que abrangem o setor governamental em sua inteireza e no seria possvel desenvolver normas e procedimentos detalhados que se aplicassem igualmente em todas essas situaes. Na auditoria operacional no possvel elaborar

O Diretor de Auditoria Tony Angleryd (Sucia) elaborou as diretrizes, porm muitos membros da INTOSAI ajudaram no processo. As Normas de Auditoria Operacional dos membros e dos grupos de trabalho regionais foram estudadas. Deve-se mencionar explicitamente as Diretrizes de Auditoria Operacional, aprovadas na VIII Assemblia da ASOSAI, em outubro de 2000.

11

um manual tipo livro de receitas, que se possa aplicar com carter universal para obter bons resultados. Algumas EFSs, por conseguinte, consideraro que diretrizes desse tipo possuem valor limitado. Por exemplo, poderiam ser consideradas demasiadamente ambiciosas para os auditores que tenham escassa ou nenhuma experincia em projetos especficos de auditoria de gesto ou de avaliao de programas. Como descrito nas Normas de Auditoria, pargrafo 1.0.6: As EFSs devem aplicar seus prprios critrios s diversas situaes que surjam no curso da auditoria pblica. Ademais, no pargrafo 1.0.13 destaca-se: Em razo da abordagem e da estrutura de algumas EFSs, nem todas as Normas de Auditoria so aplicveis a todos os aspectos de sua atividade. Por exemplo, a natureza colegiada e jurdica da fiscalizao empreendida pelos Tribunais de Contas conferem a certos aspectos de sua atividade um carter fundamentalmente distinto das auditorias contbeis e operacionais que realizam as EFSs organizadas em um sistema hierrquico dirigido por um Auditor Geral ou Controlador Geral. Isso significa que a prpria EFS deve decidir de que forma e em que medida vai empregar as diretrizes em suas prprias prticas de auditoria e no desenvolvimento de seu trabalho.2 O que foi mencionado antes no deve ser considerado como um argumento contra a normalizao nem as diretrizes, desde que, quando se trata da normalizao na auditoria operacional, a questo consiste em saber o que fazer, e no em como faz-lo. Por exemplo, ao planejar um estudo, cabe esperar que os auditores realizem determinadas consideraes e englobem aspectos especficos. Como se realizar esse trabalho, dever ser decidido caso a caso, levando em conta que os mtodos e tcnicas devero ser aplicados com todo o cuidado necessrio, que se costuma considerar como melhor prtica em cincias sociais e auditoria. O presente documento reflete a experincia das EFSs com larga tradio e com normas consolidadas de auditoria operacional. Trata primordialmente de questes relacionadas com a auditoria operacional, realizada como exames ou investigaes especficos. Isto , a auditoria de gesto como atividade especfica e profissional, que requer preparao especi-

Neste documento, os diversos pargrafos das Normas de Auditoria (2001) so citados como NA, seguidos do(s) correspondente(s) nmero(s) de pargrafo. As citaes figuram em itlico. O termo auditoria de regularidade (contbil) foi abreviado como auditoria contbil.

12

alizada, normas especficas, planejamento especial, relatrios especiais, etc.3 Por conseguinte, este documento est destinado sobretudo quelas EFSs que estejam realizando ou pensam realizar esse tipo de auditoria operacional.4 Estas diretrizes so compostas de cinco captulos principais. O Captulo 1 estabelece o marco geral da auditoria operacional. O Captulo 2 define a aplicao dos princpios de auditoria governamental auditoria operacional. O Captulo 3 contempla normas e diretrizes para o planejamento de auditorias operacionais. O Captulo 4 contempla normas e orientao para realizar auditorias operacionais. O Captulo 5 contempla normas e orientao para apresentar os resultados da auditoria operacional. Os Apndices contm informao adicional sobre a maneira de planejar e realizar auditorias operacionais. Incluem ainda informao sobre auditoria operacional em relao tecnologia da informao (TI), e sobre a realizao de auditorias operacionais numa perspectiva ambiental. Ademais, apresenta-se um marco de enfoques sistmicos em auditoria operacional.

Este documento proporciona diretrizes gerais. Como a auditoria operacional varia consideravelmente entre os distintos pases, considerou-se conveniente que as diretrizes sejam menos normativas e detalhadas que o habitual. Por exemplo, isso excluiria, em certa medida, classe de exerccio de controle continuado que se baseia nos chamados indicadores operacionais. Sem dvida, no se excluem os estudos no-peridicos (aprofundados) sobre temas tais como a possvel eficcia e validade dos sistemas de mensurao operacional nos programas do setor pblico. (Ver a seo 1.7).

13

Captulo 1
O que auditoria operacional? 1.1 O que auditoria operacional segundo a INTOSAI? As Normas de Auditoria da INTOSAI (NA 1.0.38 e 1.0.40) afirmam o seguinte: O escopo de atuao da fiscalizao pblica abrange as auditorias de regularidade e as operacionais ou de gesto, e A auditoria operacional ou de gesto preocupa-se em verificar a economia, a eficincia e a eficcia, e tem por objetivo determinar: (a) se a administrao desempenhou suas atividades com economia, de acordo com princpios, prticas e polticas administrativas corretas; (b) se os recursos humanos, financeiros e de qualquer outra natureza so utilizados com eficincia, incluindo o exame dos sistemas de informao, dos procedimentos de mensurao e controle do desempenho e as providncias adotadas pelas entidades auditadas para sanar as deficincias detectadas; e (c) a eficcia do desempenho das entidades auditadas em relao ao alcance de seus objetivos e avaliar os resultados alcanados em relao queles pretendidos. A auditoria operacional se baseia em decises tomadas pelo Poder Legislativo ou nos objetivos por ele estabelecidos, e pode ser realizada em todo o setor pblico.
A auditoria operacional um exame independente da eficincia e da eficcia das atividades, dos programas e dos organismos da Administrao Pblica, prestando a devida ateno economia, com o objetivo de realizar melhorias.

15

1.2 Qual o perfil caracterstico da auditoria operacional? Como descrito nas Normas de Auditoria, a auditoria operacional, em comparao com a auditoria contbil, no est demasiadamente sujeita a expectativas e requisitos especficos. A auditoria contbil tende a aplicar normas relativamente fixas, enquanto que a auditoria operacional mais flexvel na seleo de temas e objetos, mtodos e critrios de fiscalizao. A auditoria operacional no uma auditoria de regularidade com critrios formalizados, e suas razes no se encontram nas auditorias do setor privado. Trata-se de exame independente, realizado com carter no repetitivo. Pela sua prpria natureza, a auditoria de gesto tem escopo amplo e est sujeita a critrios e interpretaes distintos. A auditoria de gesto deve dispor de ampla seleo de mtodos de investigao e avaliao, e atuar a partir de uma base de conhecimentos muito distinta daquela da auditoria tradicional. No se trata de uma forma de auditoria baseada em uma lista de comprovao. As caractersticas especiais da auditoria operacional se devem variedade e complexidade das questes relacionadas com sua atividade. Dentro de suas competncias legais, a auditoria operacional deve ter a liberdade necessria para examinar todas as atividades do setor pblico a partir de diferentes perspectivas (NA 4.0.4, 4.0.21-23 e 2.2.16). O carter distinto da auditoria operacional no deve ser considerado, evidentemente, como um argumento que prejudique a colaborao entre os dois tipos de auditoria.
A auditoria operacional no tem suas razes na forma da auditoria que habitual no setor privado. Tem suas razes na necessidade de anlises independentes e de amplo escopo acerca da economia, da eficincia e da eficcia dos programas e organismos da Administrao, efetuadas em carter no-peridico.

1.3 Que noes constituem a base da auditoria operacional? A prestao de contas da Administrao significa que os responsveis por um programa governamental ou um rgo so responsveis pela sua execuo eficiente e eficaz. A prestao de contas pressupe uma fiscalizao pblica das atividades do programa, rgo ou entidades. A auditoria operacional uma maneira pela qual os contribuintes, financiadores, rgos legislativos, administradores, cidados e meios de comunicao efetivam um controle e obtm uma perspectiva acerca da execuo e dos produtos das diferentes atividades da Administrao Pblica. uma forma de responder a perguntas como a seguinte: obtivemos resultado com a aplicao do dinheiro p16

blico, ou os gastos poderiam ser realizados de um modo mais adequado ou mais inteligente? Ademais, um critrio de boa governana que todos os servios pblicos ou todos os programas da Administrao sejam submetidos auditoria. A legitimidade e a confiana so valores essenciais para todas as atividades da Administrao, e a auditoria operacional pode contribuir para fortalecer esses valores, apresentando informao pblica e confivel sobre a economia, a eficincia e a eficcia dos programas governamentais. Isso facilitado pelo fato de que a auditoria operacional independente dos rgos do governo, cujas atividades so submetidas fiscalizao. Desse modo, obtm-se viso independente e confivel do desempenho do programa ou dos elementos fiscalizados. A auditoria operacional no pode ter com os auditados quaisquer interesses e vnculos, financeiros ou de outro tipo. Ao elaborar avaliaes independentes, a auditoria operacional tambm pode servir de base para as decises sobre futuros investimentos e atividades. A base para esse instrumento proporcionar incentivos para a mudana mediante a realizao de anlises independentes e avaliaes de desempenho do setor pblico a importncia da aprendizagem e da informao confivel. Em um mundo complexo e em rpido processo de mudana, com recursos limitados e muitas incertezas, necessita-se da auditoria operacional.
A base da auditoria operacional est constituda por determinadas noes:

O ponto inicial a importncia de avaliar a economia, a eficincia e a eficcia de todas as atividades do governo. Para isso, necessita-se de uma auditoria que examine e avalie essas matrias e que contribua para a melhoria do gasto pblico, dos servios pblicos, da prestao de contas e da gesto pblica.

Em segundo lugar, importante dispor de informao confivel e independente. Necessita-se de auditor que represente o interesse pblico, que possa pensar e atuar com independncia, com o objetivo de apresentar e avaliar a situao existente. Por ltimo, so importantes um resumo geral e perspectivas sobre as atividades da Administrao Pblica, e a capacidade da auditoria de influenciar sobre o desempenho dessa e melhor-lo. Requer-se um auditor competente que possa desempenhar esse papel, e que promova incentivos para a aprendizagem e a mudana, e melhores condies para a tomada de decises.

17

1.4 Quais so as questes bsicas da auditoria operacional? Pelo menos teoricamente, todos os programas ou empresas do setor pblico e a maioria dos processos que geram podem ser analisados empregando-se uma frmula que descreve o modo de passar de uma posio para outra, por determinados meios, com a finalidade de alcanar objetivos especficos. Na auditoria de gesto isso realizado, com freqncia, respondendo a duas perguntas bsicas: As atividades esto sendo feitas corretamente? As atividades certas esto sendo feitas? A primeira pergunta se dirige inicialmente ao executor e significa, em sentido amplo, se as decises polticas esto sendo aplicadas adequadamente. A essa pergunta costuma-se associar uma perspectiva normativa, ou seja, o auditor deseja saber se o corpo diretivo tem cumprido as regras ou os requisitos estabelecidos. Com o objetivo de aprofundar a anlise, a pergunta pode ser ampliada no sentido de verificar se as atividades realizadas so as consideradas mais apropriadas, sempre com a condio de que se faam as coisas corretamente. At este momento, a auditoria operacional tem se ocupado primordialmente com diferentes aspectos da economia ou da eficincia das atividades. O alcance das anlises se amplia significativamente formulando-se a segunda pergunta: as atividades certas esto sendo feitas? Outra maneira de delinear a questo seria perguntar se as polticas aprovadas tm sido implementadas adequadamente ou se os meios adequados tm sido empregados. Assim, esse tipo de pergunta faz referncia eficcia ou ao impacto exercido sobre a sociedade. Com efeito, a pergunta poderia inclusive significar que uma empresa do setor pblico ou uma ao escolhida para alcanar um determinado objetivo corre o risco de ser posta sob julgamento. Um auditor de gesto, por exemplo, poderia julgar que uma determinada ao ineficaz e no se adequa aos objetivos. Entretanto, no momento em que o auditor comea a perguntar se o compromisso pblico em si mesmo vivel, ter que mostrar cautela para no ir alm das suas competncias, atravessando a fronteira que o separa do campo poltico. O modelo de input/output outro meio de ilustrar estas interaes. O modelo supe um fluxo como o que est demonstrado a seguir:

18

Compromisso Propsito definido

Input
Recursos alocados

Ao/ Produo Ao realizada

Output
Servios prestados

Impacto (Resultado) Objetivos cumpridos

Os outputs so o resultado dos inputs e das aes realizadas para alcanar objetivos especficos. Na teoria, seria possvel que a auditoria operacional investigasse todos os componentes e relaes existentes no modelo input/output, exceto o componente que se encontra no extremo esquerdo. As duas perguntas bsicas formuladas anteriormente continuam sendo pertinentes, e tambm o a ampla gama de perspectivas que podem ser aplicadas para respond-las.

1.5 O que significa a auditoria da economia, da eficincia e da eficcia? Como descrito anteriormente, a auditoria de gesto se ocupa basicamente de examinar a economia, a eficincia e a eficcia.5 Em conformidade com as Normas de Auditoria (NA 1.0.40), cada auditoria de gesto pode ter como objetivo examinar um ou mais de um desses aspectos. Economia reduzir custos De acordo com as Normas de Auditoria, economia significa reduzir ao mnimo o custo de aquisio dos recursos utilizados para realizar uma atividade, com a qualidade requerida. A economia somente poder ser medida se existir um critrio razovel ou motivos para faz-lo. As auditorias da economia podem oferecer respostas a questes como as seguintes: Os meios escolhidos ou o equipamento adquirido os inputs representam o uso mais econmico dos recursos pblicos? Os recursos humanos, financeiros ou materiais tm sido utilizados de forma econmica? As atividades gerenciais so realizadas em conformidade com os adequados princpios de administrao e as polticas adequadas de gesto?
5 Na auditoria operacional tambm se levam em conta normas referentes s consideraes ambientais e aos requisitos de eqidade. (Ver apndice 6.)

19

Ainda que o conceito de economia esteja bem definido, no tarefa fcil a concluso de uma auditoria da economia. Constantemente representa uma tarefa desafiante para o auditor avaliar se os inputs adquiridos representam o uso mais econmico dos recursos pblicos, se os recursos disponveis so utilizados de maneira econmica, e se a qualidade e a quantidade dos inputs so coordenadas de forma tima e adequada. Pode ser ainda mais difcil elaborar recomendaes que reduzam os custos sem afetar a qualidade e a quantidade dos servios prestados aos cidados. Eficincia aproveitar da melhor maneira possvel os recursos disponveis A eficincia est relacionada com a economia. Tambm nesse caso a questo central se refere aos recursos utilizados. A pergunta principal se esses recursos so empregados de maneira tima ou satisfatria, ou se seriam alcanados os mesmos objetivos ou similares, do ponto de vista da qualidade e do prazo, com menos recursos. Estamos conseguindo o mximo de output em termos de quantidade e qualidade de nossos inputs e aes? A pergunta se refere relao existente entre a qualidade e quantidade de servios prestados, e as atividades e o custo dos recursos utilizados para produzi-los, com o objetivo de alcanar resultados. Sem dvida, uma opinio sobre a eficincia sempre costuma ser relativa. So raras as ocasies em que a ineficincia se apresenta de imediato. Podese formular juzo sobre a eficincia, utilizando-se uma comparao com atividades similares, com outros perodos de tempo ou com uma norma que tenha sido adotada de maneira explcita. s vezes, a melhor prtica aplicvel como norma. As avaliaes da eficincia tambm podem basear-se em condies no relacionadas com normas especficas, por exemplo, quando as questes so to complexas que no existem normas. Nesses casos, as avaliaes tm que se basear nos melhores argumentos e informaes disponveis, em conformidade com as anlises realizadas na auditoria. A auditoria da eficincia envolve aspectos como a comprovao de que: so empregados de modo eficiente os recursos humanos, financeiros e outros; os programas, entidades e atividades do setor pblico so geridos, regulados, organizados, executados, supervisionados e avaliados com eficincia;
20

 as atividades das entidades pblicas so coerentes com os objetivos e requisitos estipulados; os servios pblicos so de boa qualidade, esto orientados para o cliente e so prestados no momento oportuno; e os objetivos dos programas do setor pblico so realizados, observando-se uma relao custo-eficcia adequada. O conceito de custo-eficcia est relacionado com a capacidade ou potencial que uma entidade, atividade, programa ou operao, que sejam auditados, tm para gerar determinados produtos a um custo razovel. As anlises de custo-eficcia so anlises da relao entre o custo e os produtos, expressa como custo por unidade de produto obtido. A relao custo-eficcia somente um dos elementos no exame completo da eficincia, que tambm poderia incluir anlises do tempo no qual so gerados os produtos, por exemplo. No obstante, isso nem sempre coincide com o tempo timo que se requer para otimizar o efeito. Em alguns casos pode ser difcil separar por completo os dois conceitos, eficincia e economia. Por exemplo, ambos podem referir-se a se a entidade auditada: ajusta-se a prticas corretas de provisionamento; adquire o tipo, a qualidade e a quantidade apropriados de recursos, a um custo adequado; mantm adequadamente seus recursos; utiliza a quantidade tima de recursos (pessoal, equipamento e instalaes) na produo ou prestao da quantidade e qualidade adequadas de bens ou servios, com pontualidade; cumpre os requisitos das leis e regulamentaes que regem ou afetam a compra, a manuteno e o uso dos recursos da entidade; e estabelece um sistema de controle gerencial. Em realidade, as auditorias de economia tendem a centrar-se nos trs primeiros pontos enumerados. O conceito de eficincia se restringe basicamente pergunta: os recursos so empregados de uma maneira tima ou satisfatria? Por conseguinte, na maioria dos casos, a eficincia se especifica de duas maneiras possveis: (i) se poderiam ter sido obtidos os mesmos resultados utilizando menos recursos, e (ii) se poderiam ter sido empregados os mesmos recursos para alcanar melhores resultados (em quantidade e qualidade).
21

A auditoria contbil tambm se dedica a essas questes, por exemplo quando se examinam as prticas de compra. Na auditoria contbil, todavia, o escopo mais limitado. Em comparao com a auditoria de gesto, o objetivo no consiste em avaliar a economia ou a eficincia das atividades do setor pblico. Eficcia alcanar os propsitos ou objetivos estipulados A eficcia* constitui essencialmente um conceito de alcance de objetivos.6 Faz referncia relao existente entre os objetivos fixados, os produtos gerados e os objetivos alcanados. Esto sendo alcanados os objetivos estabelecidos de acordo com os meios empregados, os produtos obtidos e os efeitos observados? Os efeitos constatados so realmente conseqncia da poltica em questo, e no de outras circunstncias? A eficcia consta de duas questes: so alcanados os objetivos da poltica? Isso pode ser atribudo poltica implementada? Para julgar em que medida so alcanados os objetivos, necessrio que esses sejam formulados de modo que torne possvel uma avaliao desse tipo. Isso no pode ser conseguido com objetivos vagos ou abstratos. Para julgar em que medida os acontecimentos observados correspondem de fato poltica, requer-se a realizao de uma comparao. O ideal seria realizar uma medio antes e outra depois da aplicao da poltica, e uma medio sobre um grupo de controle, que no tenha sido submetido a essa poltica.7 Na prtica, tais comparaes costumam ser difceis de realizar, em parte porque, com freqncia, se carece de material de comparao. Nesses casos, existe a alternativa de avaliar a razoabilidade das premissas nas quais se baseia a poltica. Com freqncia ter-se- que eleger um objetivo de auditoria menos ambicioso, por exemplo avaliar em que medida so alcanados os objetivos, se tm chegado aos beneficirios, ou o nvel de desempenho. O auditor poderia avaliar ou medir a eficcia comparando os produtos ou o impacto, ou o estado de coisas com as metas estabelecidas nos objetivos da poltica. Esse enfoque freqentemente definido como anlise
*(N. do T) Para algumas EFSs o conceito de eficcia est relacionado aos bens e servios (produtos) gerados pela
6 7

ao ou programa, enquanto os impactos deles resultantes esto relacionados ao aspecto da efetividade. Isto , o grau em que um programa ou uma entidade alcanaram suas metas e objetivos. O termo poltica envolve tanto a poltica do governo como a da entidade auditada (ver seo 2.1 e nota 25). Se os objetivos da poltica so vagos e abstratos, sempre surgem dificuldades na realizao de auditorias operacionais. Ver outras informaes no apndice 2.

22

do alcance de objetivos. No entanto, ao auditar a eficcia, geralmente tambm h que se determinar em que grau os instrumentos utilizados contriburam de fato para o alcance dos objetivos da poltica. Isso se constitui em uma auditoria da eficcia, em seu sentido autntico, e exige provas de que os resultados, etc. que so observados foram originados efetivamente da ao em questo, e no de algum outro fator. Por exemplo, se o objetivo da poltica reduzir o desemprego, a observao de uma reduo na quantidade de desempregados conseqncia das atividades da entidade auditada, ou conseqncia de uma melhora geral no ambiente econmico, sobre o qual a entidade auditada no teve influncia? Nesse caso, o plano da auditoria deve incluir as questes de atribuio, quer dizer, tem que enfrentar o problema de excluir efetivamente as variveis do meio externo. Efeitos colaterais. Um aspecto parte da auditoria de gesto so os efeitos colaterais no-intencionais da poltica. O estudo dos efeitos colaterais complicado, devido ao fato de que podem ser muito diversos, j que no se limitam aos objetivos da poltica. Uma forma de limitar o escopo do exame consiste em concentrar-se naqueles efeitos colaterais que em outras situaes seriam evitados (p. ex. os efeitos da poltica econmica que so negativos para o meio ambiente). Isso no significa, entretanto, que todos os efeitos colaterais sejam indesejveis. Por exemplo, ao auditar a eficcia, a auditoria operacional pode: avaliar se os programas governamentais so concebidos e projetados eficazmente, e se so claros e coerentes; avaliar se os objetivos de um programa governamental novo, ou em curso, e os recursos que lhe so alocados (legais, financeiros, etc.) so apropriados, coerentes, adequados ou pertinentes; avaliar se a estrutura organizacional, o processo de tomada de decises e o sistema de gesto para a execuo do programa so eficazes; avaliar a eficcia dos programas e investimentos governamentais e/ou seus componentes individuais, ou seja, avaliar se so cumpridas as metas e os objetivos; avaliar se os impactos sociais, econmicos e ecolgicos, diretos ou indiretos, observados em uma determinada poltica, se devem poltica em questo ou a outras causas; identificar fatores que inibam um rendimento satisfatrio ou cumprimento dos objetivos;
23

 avaliar se o programa complementa, duplica, inibe ou se contrape a outros programas relacionados; avaliar se a qualidade dos servios pblicos satisfaz as expectativas dos usurios ou os objetivos estabelecidos; avaliar a adequao do sistema empregado para medir, supervisionar e informar sobre a eficcia de um programa; identificar a utilidade relativa dos meios alternativos para alcanar um maior desempenho, ou eliminar fatores que inibam a eficcia do programa; e analisar as causas dos resultados e dos problemas observados ao identificar as formas de conseguir que as atividades e os programas governamentais funcionem com mais eficcia. Embora uma auditoria em particular no tenha necessariamente que chegar a concluses acerca desses trs aspectos (ou seja, economia, eficincia e eficcia), pode no ser muito vantajoso o exame dos aspectos da economia ou da eficincia de atividades isoladas, se no levada tambm em considerao ainda que brevemente sua eficcia. Por outro lado, em uma fiscalizao da eficcia, possvel que o auditor tambm deseje levar em conta aspectos da economia e da eficincia: os produtos de uma entidade, atividade, programa ou operao que seja auditado, podem ter causado o impacto desejado, porm, os recursos empregados para alcan-lo so utilizados de modo econmico e eficiente? Para examinar a eficcia, geralmente necessrio avaliar o resultado ou impacto de uma atividade. Embora um enfoque baseado no sistema possa ser til (p. ex., para avaliar a maneira em que a entidade auditada mede e controla o impacto de suas aes), o auditor tambm costuma ter necessidade de obter evidncias substanciais suficientes acerca do resultado e do impacto da atividade ou do programa. De igual modo, para avaliar o efeito de uma atividade ou de uma reforma governamental, em geral necessrio sempre coletar informao no somente sobre as entidades auditadas e suas atividades e interaes, como tambm sobre outros participantes na rea em questo. Evidentemente, isso adquire um interesse especial quando se acredita que as aes de outros participantes podem influir sobre o impacto mencionado.8

O escopo deve ser limitado. As anlises, entretanto, no devem ser limitadas.

24

Um aspecto especfico se constitui no estudo dos efeitos no previstos, sobretudo se forem negativos. Nesse caso, ocorre um problema de estabelecimento de limites, porque tais efeitos podem se estender em reas que se encontrem fora da competncia e das faculdades da EFS. Uma forma de limitar o escopo poderia consistir em examinar os efeitos no previstos combatidos em outros programas, p. ex., os efeitos colaterais sobre o meio ambiente de um programa de promoo econmica.9
Nas mesmas circunstncias, a economia faz referncia reduo de custos, a eficincia se refere obteno dos mximos ou melhores resultados com os recursos disponveis, e a eficcia consiste em alcanar os propsitos ou objetivos estabelecidos.

1.6 Como a forma de gesto pblica utilizada afeta a auditoria operacional? A forma de gesto pblica utilizada em um determinado momento tambm influenciar necessariamente as prioridades da auditoria operacional. Em pases onde a gesto pblica est relacionada primordialmente com os meios e est menos envolvida com os fins, as auditorias tambm tendem a centrar-se em estabelecer se as regras so cumpridas e aplicadas, e no se as regras servem ou parecem servir ao objetivo que se prope. Naqueles pases que tm adotado a administrao por objetivos e resultados, aparentemente se tem optado pela posio contrria. Na maioria dos casos, a gesto do setor pblico manifesta uma combinao dessas abordagens. Como mencionado anteriormente, a gesto por objetivos e resultados tende a promover a auditoria da eficincia e da eficcia. Tambm possvel que o auditor j no tenha que tratar com uma Administrao Pblica tradicional regida por regras, mas sim com uma Administrao cuja competncia tenha sido ampliada de modo considervel em relao forma como devem ser postas em prtica as intenes do Poder Legislativo, e com os meios que sero empregados para alcan-las. As seguintes perguntas costumam ser de interesse para um auditor operacional:

Para maior informao: Auditing Efficiency, OAG (Canad), 1995, e Auditing Policy Results Manual, Algemene Rekenkamer (Pases Baixos), 1997.

25

 Existe uma estrutura clara de metas de desempenho, e so selecionadas as prioridades e os instrumentos adequados na utilizao dos recursos pblicos? Existe uma distribuio clara de responsabilidades entre os distintos nveis de autoridade, estando presente tambm o princpio da subsidiariedade? Existe uma conscincia generalizada acerca dos custos, e uma orientao para a produo de servios, centrando a ateno nas necessidades dos cidados? dada a devida importncia aos controles de gesto e aos requisitos de informao? Os ministrios e os rgos que deles dependem se encarregam de garantir a implantao das medidas apropriadas de controle interno. Nesse contexto, a tarefa especfica do auditor de gesto consiste em observar se essa responsabilidade desempenhada corretamente. Cabe ao auditor contbil avaliar em que medida tambm a entidade auditada o tenha realizado na prtica, em sua atividade habitual.10 Alm do mais, um objetivo comum para a maioria dos governos na atualidade a melhoria na qualidade dos servios pblicos, sobretudo medida que continuam sendo incrementadas as expectativas das pessoas sobre o que representa a qualidade (muitas vezes, em comparao com a qualidade do servio prestado pelo setor privado). Para promover melhorias desse tipo, muitas Administraes tm iniciado programas de modernizao com objetivo de prestar melhores servios que, por exemplo, sejam acessveis com mais facilidade e mais conforto, ofeream aos cidados maior capacidade de escolha, e sejam realizados com maior rapidez. A qualidade dos servios pblicos uma questo cada vez mais importante, e os parlamentares e os governos de todo o mundo esperam que as EFSs a ela se refiram em seus relatrios sobre auditoria operacional.
Os pases que tm adotado a gesto por objetivos e resultados costumam concentrar-se mais no desempenho do que antes. A forma de gesto pblica utilizada influenciar o interesse pela auditoria operacional.

10

Nos ltimos anos as EFSs tm debatido com freqncia as questes referentes auditoria das polticas da Administrao Pblica e as reformas administrativas.

26

1.7 Como se relaciona a auditoria operacional com a mensurao de desempenho e a avaliao de programas? Tanto o Poder Executivo como o Legislativo necessitam de informao sobre avaliao que lhes ajude a tomar decises sobre os programas pelos quais so responsveis, quer dizer, uma informao que lhes apresente se e de que relevantes maneiras uma empresa ou um programa do setor pblico est funcionando de forma adequada ou no, e por qu. Ao longo dos anos, os rgos da Administrao e outras entidades tm empregado numerosos enfoques analticos para avaliar as funes e os resultados dos programas, polticas, atividades e organizaes do setor pblico. A auditoria operacional e os estudos de avaliao tm sido esboados para julgar a forma como atuam os programas especficos, e podem diferir muito entre si. Um aspecto particular consiste na relao existente entre a medio de desempenho, a avaliao de programas e a auditoria operacional. Medio de desempenho A medio de desempenho significa habitualmente o processo contnuo de controle e informao sobre os resultados dos programas, sobretudo na consecuo das metas preestabelecidas. As medies de desempenho podem fazer referncia ao tipo ou ao nvel das atividades do programa que so realizadas (processos), aos produtos ou servios diretamente realizados por um programa (outputs), e/ou aos resultados deste. A medio do desempenho se baseia em que um programa tenha alcanado seus objetivos ou requisitos, expressos como padres mensurveis de desempenho. A medio do desempenho, devido a sua natureza contnua, pode servir como sistema de alerta prvio para a direo, e como veculo de melhoramento da accountability* perante o pblico. O processo contnuo de comprovao do cumprimento dos objetivos fixados por parte de um programa ou um organismo pblico uma incumbncia da direo e do controle interno, e no uma tarefa dos auditores externos. responsabilidade dos auditores contbeis e no dos auditores operacionais a confirmao de que as contas esto corretas. No obstante, no campo da medio do desempenho a comprovao da qualidade da informao sobre o desempenho, elaborada pelo Poder Executivo para o Poder Legislativo podem participar tanto os auditores contbeis como
* (N. do T.) Obrigao de prestar contas por uma responsabilidade recebida.

27

os auditores de gesto, seja em atividades separadas, seja em auditorias conjuntas.11 Os indicadores de desempenho s vezes podem ser utilizados tambm como indicadores ou referncias no planejamento de auditorias operacionais especficas. Um dos temas da auditoria operacional consiste em comprovar se os sistemas de mensurao de desempenho dos programas pblicos so eficientes e eficazes. Por exemplo, podem ser realizados estudos em profundidade para ver se os indicadores de desempenho medem os elementos corretos, ou se os sistemas de mensurao de desempenho envolvidos esto capacitados para proporcionar resultados mensurveis e dotados de credibilidade.12 Avaliao de programas e auditoria operacional As avaliaes de programas so estudos individuais sistemticos que avaliam como funciona um programa. As avaliaes de programas costumam examinar uma gama de informaes sobre o desempenho dos programas e seu contexto que tem um alcance mais amplo do que factvel controlar durante seu funcionamento habitual. Uma avaliao de programa permite uma mensurao geral do funcionamento do programa e do que pode ser feito para melhorar seus resultados. As avaliaes de programas constituem um tipo de estudo que pode ser executado pelas EFSs sob o ttulo geral de auditorias operacionais. Nos ltimos anos, o conceito de avaliao de programas tem sido um tema cada vez mais debatido entre as EFSs. Tem-se discutido se a avaliao de programas uma tarefa importante para uma EFS. Foi criado um grupo especial (Grupo de Trabalho sobre Avaliao de Programas da INTOSAI) para desenvolver princpios e orientaes nesse campo. Dentro da INTOSAI se costuma aceitar que a avaliao de programas possui objetivos similares aos da auditoria operacional, a partir do ponto de vista de que se prope a analisar a relao existente entre os objetivos, os recursos e os resultados de uma poltica ou de um programa. Tambm se tem concordado que a avaliao de programas constitui uma tarefa importante para uma EFS que tenha a autoridade legal e a qualificao requeridas para realizar tais estudos.

11

Os estudos ad hoc e em profundidade costumam ser uma tarefa tpica da auditoria operacional em uma IOC. No obstante, os relatrios rotineiros ou peridicos sobre diferentes entidades da Administrao podem muito bem constituir uma tarefa de fiscalizao para os auditores contbeis (s vezes, em colaborao com os auditores operacionais, por exemplo, se os auditores contbeis no estiverem capacitados para realizar auditorias desse tipo). 12 Ver, por exemplo, NA 1.0.27 e 1.0.45.

28

A avaliao de programas tem sido concebida como um paradigma das atividades e dos mtodos destinados a realizar medies exaustivas de uma questo, empregando enfoques cientficos mais ou menos elaborados. Ainda que a auditoria operacional possa utilizar enfoques e metodologias semelhantes aos empregados na avaliao de programas, em conformidade com o Grupo de Trabalho sobre Avaliao de Programas da INTOSAI, no necessariamente se dedica a avaliar a eficcia de uma poltica ou das polticas alternativas. Alm de examinar os resultados, uma avaliao de programas pode incluir temas, tais como determinar se os objetivos estipulados so coerentes com a poltica geral. Esse tema tem sido objeto de discusso entre as EFSs. Algumas delas tm competncia para avaliar a eficcia da poltica do governo e/ou do rgo, e incluem a avaliao de programas em sua competncia para realizar auditoria operacional. Outras no esto obrigadas a realizar tais fiscalizaes. De acordo com o Grupo de Trabalho sobre Avaliao de Programas da INTOSAI, a auditoria e a avaliao de programas podem se dividir nas sete categorias seguintes:13 Auditoria de regularidade: so cumpridas as regulamentaes? Auditoria de economia: os inputs selecionados representam o uso mais econmico dos recursos pblicos em uma gesto especfica? Auditoria de eficincia: os resultados obtidos so proporcionais aos recursos empregados? Auditoria de eficcia: os resultados so coerentes com a poltica? Avaliao da coerncia da poltica: os meios empregados pela poltica so coerentes com os objetivos fixados? Avaliao do impacto da poltica: qual o impacto econmico e social da poltica? Avaliao da eficcia da poltica e anlise das causas: os resultados observados se devem poltica, ou existem outras causas? Na prtica, todavia, as classificaes variam. Uma EFS com uma prolongada experincia em avaliao de programas o Government

13

Grupo de Trabalho sobre Avaliao de Programas da INTOSAI (1995). Relatrio resumido do projeto.

29

Accountability Office GAO (novo nome para o General Accounting Office GAO) dos Estados Unidos da Amrica. Essa EFS define quatro tipos freqentes de avaliao de programas na auditoria operacional:14

(1) A avaliao de processos Avalia o grau em que um programa est funcionando na forma desejada. Costuma fazer referncia conformidade das atividades do programa com os requisitos legais e regulamentares, o desenho do programa, e as normas profissionais ou as expectativas dos clientes. Cada vez se torna mais importante avaliar se a qualidade das atividades por exemplo, se os formulrios de solicitao, os tempos de processo, as prestaes de servio e outras atividades orientadas aos clientes satisfaz s expectativas dos cidados. (2) A avaliao de resultados Avalia o grau em que um programa alcana seus objetivos orientados a resultados e a clientes. Concentra-se em outputs (produtos) e outcomes (resultados, includos os efeitos colaterais e efeitos involuntrios), com o objetivo de julgar a eficcia dos programas, porm pode tambm destacar os temas de qualidade e as perspectivas dos clientes. Uma avaliao de resultado tambm pode avaliar os processos dos programas para compreender a forma como os resultados foram produzidos. (3) A avaliao de impacto Avalia a influncia especfica de um programa, comparando os resultados do programa com uma estimativa do que poderia ter ocorrido sem ele. Essa forma de avaliao empregada quando se sabe que existem fatores externos que influenciam os resultados do programa, com o objetivo de destacar a contribuio dele para o alcance de seus objetivos. (4) As avaliaes de custo-benefcio e de custo-eficcia So anlises que comparam os produtos ou resultados de um programa com os custos (os recursos alocados) que se requerem para consegui-los. Quando se aplicam a programas j existentes, tambm so consideradas como uma forma de avaliao de programas. As anlises da relao custo-eficcia avaliam o custo de cumprir um nico objetivo ou meta, e podem ser utilizadas para identificar a alternativa menos onerosa para

14

Medio e Avaliao do Desempenho: Definies e Relaes (GAO/GGD-98-26).

30

satisfazer tal objetivo. As anlises de custo-benefcio se propem a identificar todos os custos e benefcios pertinentes.15
No campo da avaliao de desempenho, podem participar tanto os auditores contbeis como os auditores operacionais. Em alguns pases, uma auditoria de gesto em particular pode incluir muitas classes diferentes de estudos, inclusive diversas avaliaes de programas. Nesse sentido, a avaliao de programas pode ser considerada como uma das inmeras ferramentas possveis de serem utilizadas pela auditoria operacional. Independentemente de que a avaliao de programas seja definida como uma tarefa especial ou como um tipo de estudo realizado por uma EFS, sob o ttulo geral de auditorias operacionais, trata-se de uma atividade com interesse e importncia crescentes.16

1.8 Existem diferenas nos objetivos e nos enfoques analticos? A competncia e a orientao da auditoria operacional, tal como se mencionou anteriormente, variam nos diversos pases. Muitas EFSs no esto obrigadas a realizar auditorias operacionais, ou podem considerar que se encontram um tanto limitadas em sua capacidade e experincia. Outras EFSs podem ter uma larga tradio de realizao de avanadas auditorias operacionais e complexas avaliaes de programas. Uma das caractersticas da auditoria o enfoque normativo, no qual as discrepncias entre as normas e a realidade os resultados obtidos de fato so expressas de modo explcito, e as avaliaes e recomendaes possuem um carter normativo. Entretanto, alm de ser normativa, a auditoria operacional tambm costuma ser descritiva, e pode incluir tambm elementos analticos. Por exemplo, uma auditoria operacional pode determinar quais so as causas da diferena existente entre as condies efetivas e os critrios tericos. O enfoque orientado a resultados e o orientado a problemas Na auditoria operacional existem diversas tradies e aspiraes. H dois enfoques que diferem de modo bastante significativo, ainda que ambos
15

16

Algumas EFSs, como parte de suas competncias, podem incluir tambm a Avaliao de polticas (a eficcia das polticas estabelecidas), e outras EFSs realizam trabalhos que so definidos como Avaliao de sistemas (a adequao dos sistemas adotados). Outras reas de crescente interesse so as auditorias operacionais de atividades com uma perspectiva ambiental e a auditoria operacional referente tecnologia da informao. (Ver os apndices 5 e 6.)

31

se baseiem nas normas nacionais de auditoria operacional. So o enfoque orientado a resultados e o enfoque orientado a problemas. O enfoque orientado a resultados trata principalmente de questes como: Qual o desempenho obtido ou que resultados so alcanados? ou So cumpridos os requisitos ou os objetivos? Nesse enfoque se estuda o desempenho (que faz referncia economia, eficincia e eficcia) e se relacionam os descumprimentos efetuados com as normas estabelecidas (metas, objetivos, regulamentaes, etc.) ou os critrios de auditoria (definidos antes que se inicie o estudo principal). Se o critrio difcil de ser identificado, o auditor necessita trabalhar com os especialistas no assunto para desenvolver critrios aceitveis, que sejam objetivos, pertinentes, razoveis e alcanveis no momento de sua aplicao. Os critrios de auditoria permitem proporcionar avaliaes dos resultados. Nesse enfoque, provvel que as deficincias se definam como desvios das normas e dos critrios. Quando se apresentam recomendaes, freqentemente se propem mecanismos para se eliminar tais desvios. A perspectiva, nesse sentido, basicamente normativa. No enfoque orientado a problemas, a alterao ocorre primordialmente na verificao e anlise de problemas, geralmente sem fazer referncia a critrios de auditoria definidos anteriormente.17 Nesse enfoque, as deficincias e os problemas ou, no mnimo, os indcios dos problemas so o ponto de partida de uma auditoria, no a concluso.18 Uma das tarefas principais da auditoria consiste em verificar a existncia dos problemas destacados e analisar suas causas sob distintas perspectivas (problemas relacionados com a economia, a eficincia e a eficcia, em entidades ou programas do setor pblico). O enfoque orientado a problemas trata de interrogaes do tipo: Os problemas constatados existem realmente, e, nesses casos, como podem ser entendidos e qual a sua causa? So formuladas e comprovadas hipteses sobre as causas e as conseqn-

17

Para avaliar um problema, inicialmente tem-se que entender tanto o problema como suas complexas causas e conseqncias. Ao menos quando se trata de analisar os complexos problemas da eficincia e da eficcia, nem sempre possvel definir os critrios de auditoria na fase de planejamento. s vezes, nem sequer tem sentido faz-lo. 18 Os indcios acerca de problemas referentes eficincia e eficcia freqentemente so vagos, subjetivos, complexos e difceis de definir e compreender. Esses so alguns exemplos de possveis indcios de problemas referentes aos trs Es (economia, eficincia e eficcia): custos crescentes que provocam a demanda de mais recursos; desequilbrio evidente entre aportes e metas; falta de clareza na definio de responsabilidades entre os rgos do Poder Executivo que estejam envolvidos; ambigidades e contradies da regulamentao; tempos de espera prolongados ou grandes atrasos; falta evidente de competncia; crticas do estilo de direo; deficincias nos servios e na orientao ao cliente; grande nmero de queixas ou reclamaes do pblico; mudanas nas circunstncias externas e indcios de efeitos colaterais negativos nos programas da Administrao.

32

cias.19 A perspectiva analtica e instrumental; o propsito fornecer informao atualizada sobre os problemas constatados e como enfrentlos. Os auditores no tm restries em suas anlises.20 So levadas em considerao todas as possveis causas importantes (somente se consideram como hipteses as metas gerais), quer dizer, no se excluem as propostas para modificar as leis, as regulamentaes e o desenho estrutural das entidades do setor pblico, quando se demonstram que as premissas existentes do origem a problemas graves verificados.21 Assim, a avaliao desses dois enfoques da auditoria de gesto pode ter uma origem normativa (baseada nos desvios com respeito s normas ou aos critrios) ou analtica (baseada na anlise das causas especficas dos problemas). De fato, a anlise independente o que caracteriza o enfoque orientado a problemas, enquanto que o enfoque orientado a resultados se caracteriza basicamente por sua avaliao imparcial do cumprimento de determinados critrios ou normas (ainda que possa envolver tambm elementos analticos). Os enfoques orientado a resultados e a problemas representam, por um lado, diferentes tradies de auditoria22 e por outro, eles tambm podem servir para ilustrar o fato de que a auditoria operacional envolve diversos tipos de mtodos prticos.23 Perspectivas descendentes e ascendentes As perspectivas tambm podem variar. A auditoria operacional se baseia normalmente em uma perspectiva de propriedades gerais, isto , uma perspectiva descendente. Concentra-se principalmente nos requisitos, intenes, objetivos e expectativas do Poder Legislativo e da Administrao central. Em alguns pases, entretanto, tambm possvel no mbito de objetivos e premissas estabelecidos acrescentar uma perspectiva orientada ao cliente (um centro de ateno na gesto de servios, nos tempos de espera e em outros temas relativos aos clientes ou consumidores finais em questo). Isso poderia ser considerado como uma interpretao da misso de controle, que se prope a satisfazer aos interesses dos cidados, concentrando a
19

Uma hiptese uma afirmao bem-fundamentada (comprovvel), que faa referncia s causas e s conseqncias do problema, que vai ser auditado (baseando-se na hiptese de que o problema existe). 20 No se limitam s anlises das diferenas entre as condies e os critrios de auditoria. 21 Para mais informaes sobre o enfoque orientado a problemas, ver, por exemplo, o Handbook on Performance Auditing, RRV (Sucia), 1998. 22 oportuno mencionar que representam distintos nveis de aspiraes. 23 Os dois enfoques metodolgicos tambm podem ser considerados como entrelaados entre si, como se se tratasse de diferentes passos de uma auditoria. Ainda que, por sua natureza, o enfoque orientado a problemas seja mais amplo e mais profundo em sua ambio analtica, o enfoque orientado a resultados, em sua forma avanada, tambm pode motivar anlises elaboradas.

33

ateno em problemas de importncia real para estes e para a comunidade, uma espcie de perspectiva de baixo para cima. O centro de ateno sobre a obrigao de prestar contas accountability ou sobre as causas dos problemas Normalmente, a auditoria se relaciona com a obrigao de prestar contas; porm, isso nem sempre ocorre. A auditoria da prestao de contas pode ser descrita como um juzo acerca da forma como os responsveis, em diferentes nveis, tm alcanado as metas pertinentes e outros requisitos. Um enfoque alternativo consiste em concentrar-se na compreenso e explicao das observaes reais efetuadas durante a auditoria. Em vez de averiguar quem que est equivocado, podem ser analisados os fatores que ocasionam os problemas descobertos, e debater o que preciso fazer a respeito. Esse enfoque reflete a idia de que o objetivo global da auditoria operacional consiste em promover a economia, a eficincia e a eficcia. Os dois enfoques representam idias diferentes da auditoria operacional. Em um deles a auditoria tem como centro de ateno a prestao de contas, semelhante auditoria contbil, enquanto que o outro que enfoca a economia, a eficincia e a eficcia se ocupa essencialmente da matria auditada e das causas dos problemas observados. A auditoria da prestao de contas tem a vantagem de que freqentemente mais fcil ser realizada e, ademais, corresponde imagem convencional da auditoria. O problema, todavia, reside no fato de que a eficincia e a eficcia so assuntos complexos que exigem anlises mais amplas. A auditoria da prestao de contas tambm envolve riscos: tem que se limitar sua perspectiva e seu alcance, o que limita, por sua vez, de modo indevido, a possibilidade de uma anlise independente. Por outro lado, se a ateno se volta aos problemas observados e para suas possveis causas, isso facilita o surgimento de auditorias que englobem reas de responsabilidade correspondentes a diversas partes diferentes. Dessa maneira, so criadas as condies prvias para anlises globais. preciso destacar, todavia, que esse enfoque demanda maiores exigncias em relao competncia dos auditores. A mensagem desta seo que tambm h diferenas entre os enfoques metodolgicos em relao s aspiraes analticas. Em termos gerais, algumas EFSs tm definido elevadas aspiraes analticas em suas auditorias operacionais, enquanto que outras se fixam em um nvel inferior.
34

A auditoria operacional no deve ser excessivamente racionalizada. Uma auditoria operacional avanada consiste em um complexo trabalho investigativo que exige flexibilidade, imaginao e uma elevada competncia analtica. Os procedimentos, mtodos e normas excessivamente racionalizados podem prejudicar, de fato, o funcionamento e o desenvolvimento da auditoria operacional. Por conseguinte, preciso evitar um excesso de detalhe nas normas, de forma semelhante aos sistemas de controle de qualidade. O progresso e as prticas devem basear-se na aprendizagem que provm da experincia.
A orientao da auditoria operacional varia nas diferentes EFSs. Existem dois enfoques especialmente distintos: o orientado a resultados e o orientado a problemas. O enfoque orientado a resultados trata de questes tais como: Qual o desempenho obtido, ou so alcanados os objetivos? O enfoque orientado aos problemas se dedica primordialmente s anlises de problemas. Trata de questes tais como: Os problemas constatados existem realmente, e, nesse caso, qual a sua causa? A auditoria operacional pode aplicar perspectivas descendentes e ascendentes. Normalmente, a auditoria est vinculada prestao de contas, porm na auditoria operacional nem sempre assim. A auditoria operacional no deve cingir-se a normas excessivamente detalhadas e racionalizadas. Isso pode ser um obstculo criatividade e capacidade profissional.

1.9 Resumo A auditoria operacional examina a economia, a eficincia e a eficcia dos programas e dos organismos da Administrao, e responde a perguntas tais como: Os inputs escolhidos representam a utilizao mais rentvel dos recursos pblicos? Estamos obtendo os melhores servios com os recursos disponveis? Os objetivos da poltica esto sendo cumpridos em sua totalidade, e os resultados so conseqncias da poltica aplicada? As perspectivas e os objetos auditados podem variar, quer dizer, podem ser auditados tanto os organismos especficos como as atividades desenvolvidas em toda a Administrao. A auditoria operacional se baseia nas decises tomadas e nas metas fixadas pelo Poder Legislativo, e pode ser realizada em todo o setor pblico. A auditoria operacional no uma auditoria peridica com pareceres formalizados. Trata-se de um exame efetuado com carter no-peridico. uma fiscalizao que se concentra mais no desempenho do que nos gastos e na contabilidade. Tem sua origem na necessidade de
35

anlises independentes acerca da economia, da eficincia e da eficcia dos programas e dos organismos governamentais. O perfil caracterstico da auditoria operacional se deve, em parte, variedade e complexidade das questes relacionadas com suas atividades. Todas as atividades da Administrao podem ser analisadas mediante a utilizao de uma frmula que descreve como mudar de uma posio para outra, atravs de um meio determinado, para alcanar objetivos especficos. Na auditoria operacional isso freqentemente conseguido, quando se responde s perguntas bsicas: as coisas esto sendo feitas de modo correto? Esto sendo feitas as coisas corretas? O processo contnuo para garantir que um programa ou um rgo da Administrao cumpra os objetivos uma questo de direo e controle internos. Todavia, na rea de mensurao de desempenho, podem intervir tanto os auditores contbeis como os auditores operacionais. Alm de examinar o impacto do que foi produzido, a avaliao de programas pode incluir questes tais como: Os objetivos so coerentes com a poltica ou com as opes existentes para trocar de poltica, com o objetivo de alcanar resultados que sejam mais eficazes? Em alguns pases, as auditorias operacionais podem incluir muitas classes de estudos e inclusive diversas avaliaes de programas. Nesse sentido, a avaliao de programas pode ser considerada como uma das numerosas ferramentas possveis, que so empregadas em uma auditoria operacional. A auditoria operacional possui diversas vertentes. H dois enfoques especialmente distintos. O enfoque orientado a resultados trata de questes tais como: Qual o desempenho obtido, ou que resultados so alcanados, e so cumpridos os requisitos ou os objetivos? O enfoque orientado aos problemas trata de questes tais como: Os problemas constatados existem realmente, e qual a sua causa? A auditoria est vinculada prestao de contas, porm em auditoria operacional nem sempre assim. No se deve racionalizar excessivamente a auditoria operacional. um trabalho de investigao que exige flexibilidade, imaginao e capacidade analtica. Os procedimentos, mtodos e normas excessivamente detalhados podem obstaculizar, na prtica, o funcionamento da auditoria operacional.
36

Captulo 2
Princpios da auditoria governamental aplicveis auditoria operacional Ao realizar uma auditoria operacional, os auditores devem se ajustar ao Cdigo de tica e s Normas de Auditoria da INTOSAI, e s normas e diretrizes da EFS aplicveis auditoria operacional. As normas gerais de auditoria da INTOSAI estipulam que a auditoria e a EFS devem ser independentes, possuir a competncia requerida e exercerem a ateno devida (NA 1.0.6 e 2.2.1). 24 2.1 Como os princpios da auditoria se aplicam auditoria operacional? Devem ser definidas adequadamente a competncia da auditoria e as metas gerais A competncia da auditoria costuma constar em disposies legais. Entre outras coisas, regula em que medida uma EFS pode fiscalizar programas e organismos do setor pblico. Freqentemente so necessrias regulamentaes especiais que estabelecem as condies da auditoria operacional, como, por exemplo, acesso a informao procedente de fontes que no sejam as entidades auditadas, a capacidade de formular recomendaes, a competncia para examinar empresas e programas governamentais, e a eficcia da legislao. A competncia para realizao de auditoria operacional costuma especificar os requisitos mnimos de fiscalizao e informao, especifica o que se requer do auditor, conferindo-lhe a autoridade necessria para realizar a atividade e relatar os resultados (NA 2.2.12, 2.2.19, 1.0.32- 38, 1.0.42 e 1.0.47). Se possvel, a ao da auditoria deve envolver a totalidade do oramento estatal, e incluir todos os rgos pertinentes do Poder Executivo e todos os programas governamentais ou servios pblicos correspondentes. Sem o devido suporte legal, poderia se considerar ilegal a publicao de crti24

Para mais informaes sobre esses documentos da INTOSAI, ver: a Declarao de Lima, o Cdigo de tica e as Normas de Auditoria, p. 10-34, e Independncia das Entidades Fiscalizadoras Superiores.

37

cas justificadas eficincia e eficcia dos programas governamentais, pelo menos em relao a temas politicamente sensveis. Para evitar essa situao e a suspeita de autocensura a competncia para realizar auditoria operacional deve ter apoio poltico e pblico. (NA 2.2.18-20 e 2.2.23). Os objetos da auditoria os objetos que poderiam estar sujeitos a auditorias operacionais pelas EFSs, em conformidade com sua competncia so a poltica, os programas, a organizao e a gesto. A poltica costuma ser definida como a atividade dirigida a alcanar determinados propsitos e, possivelmente, em um prazo determinado.25 Um programa pode ser definido como um conjunto de meios inter-relacionados legais, financeiros, etc. para aplicar uma determinada poltica do organismo pblico ou do governo. A organizao pode ser caracterizada de diferentes formas, porm, na maioria dos casos, significa a soma de pessoas, estruturas e processos que se propem a alcanar determinados objetivos. A gesto costuma significar todas as decises, aes e regras necessrias para a conduo, a contabilizao e a utilizao dos recursos humanos, financeiros e materiais. Com freqncia, a gesto est relacionada com as atividades internas de uma organizao. As polticas e os programas aprovados pelo Poder Legislativo, definidos pelo Poder Executivo ou pelos dirigentes desse Poder tambm podem ter um centro de ateno interno, relacionado com uma organizao especfica (e suas atividades e desempenho internos). Entretanto, na maioria dos casos, seu centro de ateno mais amplo e externo, e inclusive pode estar relacionado com atividades de organizaes no-governamentais (e a influncia que exercem na sociedade, nas polticas e nos programas, etc.).26 Em muitos pases, a Constituio ou a legislao vigente outorga EFS o direito explcito de realizar determinada forma de auditoria operacional. Algumas EFSs podem realizar exames da eficincia e da eficcia de complexas polticas ou empresas governamentais, at mediante uma anlise em profundidade dos problemas constatados. Outras adotam um enfoque mais limitado. Como parte das explicaes iniciais, as Normas

25

O termo poltica nas presentes diretrizes se no for dito nada em contrrio envolve tanto a poltica do governo como a do organismo pblico. O termo poltica pode ser empregado como equivalente poltica do organismo para aquelas EFSs que no possuem a competncia legal de revisar ou de avaliar a poltica governamental. (O termo atividade governamental envolve tanto a poltica como o programa.) 26 Ver, por exemplo, o Manual of Performance Auditing, AG (Pases Baixos), 1996.

38

de Auditoria (NA 1.0.42) declaram: Em muitos pases, a competncia legal da EFS com relao auditoria operacional no inclui a reviso da orientao poltica dos programas de governo. Nesses casos, a auditoria operacional no pe em julgamento os mritos dos objetivos polticos, mas apenas envolve o exame das aes empreendidas para planejar, implementar ou avaliar os resultados dessas polticas, e pode envolver um exame da adequao da informao que conduz tomada de decises polticas. Em pases onde a Constituio ou a legislao no exigem que a EFS realize fiscalizaes de economia, de eficincia e de eficcia, a prtica atual mostra uma tendncia a incluir esse tipo de atividade como parte das auditorias contbeis ou de regularidade (NA 1.0.13, 1.0.42-43). Os objetivos gerais da auditoria operacional tambm podem ser definidos na legislao ou ser matria de decises internas da EFS. Habitualmente, as EFSs tratam de alcanar uma ou vrias das seguintes metas gerais: (1) fornecer ao Poder Legislativo um exame independente das prticas de implementao econmicas, eficientes ou eficazes de polticas ou programas governamentais; (2) fornecer ao Poder Legislativo anlises independentes e no-peridicas acerca da validade e da confiabilidade dos sistemas de mensurao de desempenho, declaraes ou auto-avaliaes acerca do desempenho, que so publicadas pelas entidades do Poder Executivo; (3) fornecer ao Poder Legislativo anlises independentes acerca dos problemas de economia, eficincia e eficcia nas atividades do governo e, desse modo, contribuir para a melhoria delas; (4) fornecer ao Poder Legislativo avaliaes independentes acerca do efeito intencional e no-intencional, direto ou indireto, dos programas da Administrao e dos seus rgos, e sobre a medida em que so alcanados os propsitos ou os objetivos, ou por que no so alcanados. Um objetivo freqente da auditoria operacional em muitos pases fixado pelo legislador ou pela prpria EFS consiste em avaliar e melhorar o funcionamento dos programas governamentais e da Administrao central e de organismos vinculados (NA 1.0.20, 1.0.27, 1.0.40, e 4.0.25). Em alguns pases, a formulao de recomendaes importante. Em outros, no se expressa nenhuma recomendao, devido s estru39

turas, s caractersticas da legislao e s tradies histricas. A auditoria operacional deve ter a liberdade de selecionar reas de exame dentro de sua competncia De acordo com as Normas de Auditoria (NA 2.2.10-19), uma EFS deve ter liberdade para selecionar as reas cobertas por suas auditorias de gesto. A NA 2.2.8 afirma: A EFS pode fornecer aos membros do Legislativo resumos de fatos constantes dos relatrios de auditoria, mas importante que a EFS se mantenha margem de influncias polticas, a fim de preservar a imparcialidade no desempenho de suas funes fiscalizadoras. Isso implica que a EFS no seja susceptvel a interesses polticos particulares, nem tampouco d a impresso de s-lo. No pargrafo 2.2.10 indica-se: Em alguns pases, a fiscalizao da gesto financeira do governo constitui uma prerrogativa do Parlamento ou Assemblia eleita; isso pode tambm ocorrer com a auditoria da receita e da despesa, em nvel regional, onde o controle externo cabe Assemblia Legislativa. Nesses casos, a fiscalizao realizada em nome do legislativo, sendo conveniente que a EFS leve em conta seus pedidos de investigaes especficas, ao programar os trabalhos de auditoria. Contudo, importante que a EFS mantenha sua liberdade para conduzir todas as suas atividades, inclusive as tarefas solicitadas pelo Parlamento. Tambm importante que o governo no tenha nenhum poder de ingerncia sobre o desempenho de suas funes (NA 2.2.14). As auditorias operacionais costumam ser auditorias ex-post O momento inicial no qual uma EFS pode examinar a eficincia e a eficcia ocorre depois que a Administrao tenha tomado uma deciso em relao poltica em questo (isso o que aproximadamente se extrai da NA 4.0.22 e 4.0.25). Em certos pases, pode ser realizada uma anlise de objetivos ou uma auditoria das atividades de elaborao de polticas antes da sua implementao. Por outro lado, os problemas nos quais se concentra a auditoria de gesto ou os que se prope eliminar devem ser problemas atuais, com o objetivo de resultarem valiosos para o usurio dos relatrios de auditoria.

40

Os objetivos gerais do Poder Legislativo so levados em considerao De maneira geral, as decises polticas e os objetivos estabelecidos pelo Poder Legislativo constituem o marco de referncia que serve de base para os critrios de exame empregados na auditoria operacional. No funo de uma EFS julgar esses objetivos e decises. Entretanto, a EFS como conseqncia de seus trabalhos pode efetuar comentrios crticos sobre os objetivos; por exemplo, perguntar se so coerentes ou se possvel aferir em que medida so alcanados. Por conseguinte, um relatrio de auditoria operacional pode colocar em avaliao os mritos das polticas ou decises atuais. As metas ou os objetivos podem ser demasiadamente vagos, entrar em conflito com outros objetivos, ou se basear em uma informao insuficiente. As polticas podem ser ineficientes e ineficazes, e possvel que se requeiram alteraes com o objetivo de superar as deficincias existentes. Por outro lado, o papel da auditoria operacional consiste, sem dvida alguma, em avaliar a economia, a eficincia e a eficcia dos objetivos e das regulamentaes de carter mais especfico, que sejam estabelecidos, por exemplo, pelos rgos da Administrao. (Ver NA 2.2.5 e 2.2.9.) Embora a auditoria operacional no questione os objetivos polticos, pode apontar as conseqncias de uma determinada poltica. Tambm pode identificar e ilustrar as deficincias provocadas por objetivos em conflito. Portanto, a auditoria operacional, por exemplo, no pe em julgamento o nvel de benefcio dos sistemas de bem-estar social. Os auditores devem dispor, como ponto de partida, de um conjunto de problemas que estejam relacionados com a economia, a eficincia e a eficcia dos sistemas de bem-estar social que so auditados. Isso poderia ocorrer, por exemplo, quando determinado nvel de benefcios em uma rea especfica provoca efeitos secundrios involuntrios em outra rea. O auditor operacional, nesse caso, pode avaliar a falta de coordenao entre os diferentes sistemas e indicar os problemas que surgem. Se o nvel real de benefcio visivelmente distinto do nvel previamente fixado, a auditoria operacional pode examinar os motivos desse fenmeno. Deve ser promovido e garantido um trabalho com alta qualidade profissional As Normas de Auditoria da INTOSAI e seu Cdigo Deontolgico evidenciam que todos os auditores da Administrao Pblica devem atuar
41

com integridade, imparcialidade, objetividade, competncia e zelo profissional. preciso cingir-se a nveis ticos estritos para servir da melhor forma possvel ao interesse pblico, e na NA 2.2.36 est declarado: Dado que o cumprimento dos deveres e obrigaes que recaem sobre as EFSs decisivo para o controle das contas pblicas, as EFSs devem aplicar, no desenvolvimento de suas funes, as metodologias e prticas da mais alta qualidade. Incumbe-lhes, portanto, fixar as normas e os procedimentos que tm de ser aplicados de modo que fique garantido o exerccio eficaz de sua competncia legal, o que supe, por parte tanto de seu pessoal como dos especialistas contratados, uma estrita observncia de suas normas, procedimentos de planejamento, metodologias e superviso. Com freqncia, as auditorias de gesto so atividades complexas, que requerem uma ampla gama de competncias, conhecimentos e experincias para serem realizadas. A NA 2.1.26 declara: Dada a importncia de que as EFSs realizem suas funes da melhor maneira possvel, deve ser prestada especial ateno aos programas relativos ao controle de qualidade de suas atividades fiscalizadoras e dos resultados alcanados. Tambm se afirma que as EFSs devem estabelecer sistemas e mtodos para (a) confirmar se os procedimentos de controle de qualidade funcionam satisfatoriamente; (b) assegurar a qualidade dos relatrios de auditoria; e (c) promover melhorias e evitar que se repitam as deficincias. (NA 2.1.27). Entretanto, nenhum sistema de garantia de qualidade pode proporcionar garantias de alta qualidade nos relatrios sobre auditoria operacional. Em poucas palavras, para a garantia de qualidade, os sistemas avanados so menos importantes do que dispor de pessoal competente e motivado. Em outros termos, os sistemas de garantia de qualidade devero ser pertinentes e fceis de gerir, e no complexos. Segundo a INTOSAI, os temas de qualidade tm que estar integrados no processo de execuo; e, inclusive, nas fases iniciais de planejamento, os sistemas de garantia de qualidade podem ser indispensveis para garantir que os problemas que vo ser tratados, so importantes e esto bem definidos. Os objetivos, problemas e questes de auditoria, assim como as reas selecionadas, determinam, em grande medida, a qualidade da auditoria. O processo de planejamento e as diversas etapas que constituem a tomada de decises garantem que a qualidade seja avaliada periodicamente, j que preciso cumprir determinadas condies antes que a auditoria possa avanar. importante uma preparao meticulosa, com o objetivo de
42

definir as questes de auditoria, a informao necessria e o seu esboo (NA 2.1.27 e 3.1.1).
A competncia da auditoria operacional deve abarcar o oramento do Estado e a totalidade dos correspondentes programas da Administrao. O auditor deve ter a liberdade necessria para selecionar reas de fiscalizao dentro da sua competncia. O marco de referncia bsico constitudo pelos objetivos e pelas decises polticas estabelecidos pelo Poder Legislativo. Como conseqncia dos resultados de seus trabalhos, uma auditoria operacional pode pr em avaliao os mritos das polticas existentes. Em geral, as auditorias operacionais so fiscalizaes expost, que fazem referncia a temas atuais. preciso promover e garantir um alto nvel de qualidade em seu trabalho.

2.2 Quais so os requisitos gerais de um auditor operacional? Os auditores operacionais devem possuir competncia profissional especfica A auditoria operacional uma atividade baseada na informao, em que os valores profissionais ocupam uma posio de destaque. Esses valores incluem a necessidade de que seja dada aos auditores a oportunidade de desenvolver competncias e nveis adequados de qualidade e de resultados em sua produo. Isso inclui a criao de um ambiente estimulante, que promova as melhorias na qualidade (NA 1.0.45 e 2.1.9). Todos os auditores devem possuir a adequada capacidade profissional para realizar suas tarefas (NA 2.2.1 e 2.2.33-38) e a EFS deve selecionar pessoal que possua as qualificaes adequadas (NA 2.1.2). As Normas de Auditoria gerais da INTOSAI tambm assinalam que as EFSs tm que: desenvolver e formar seus profissionais para que eles possam realizar eficazmente suas tarefas, e definir a base para o desenvolvimento dos auditores; preparar manuais e outros materiais de orientao acerca da realizao das auditorias; apoiar as competncias e as experincias disponveis em seus profissionais e identificar as competncias que so necessrias; estabelecer uma adequada distribuio de competncias nas tarefas e definir o nmero de pessoas suficientes para a audito-

43

ria, e realizar planejamento e superviso adequados para alcanar suas metas no nvel requerido de cuidado e zelo; e examinar a eficincia e a eficcia das suas normas e dos seus procedimentos internos. A capacidade de contratar pessoal adequado constitui um fator decisivo para a auditoria operacional. Cada membro do quadro de funcionrios constitui um investimento de carter nico. Um auditor operacional deve possuir a formao acadmica pertinente, e, como norma geral, requerse que o auditor possua ttulo universitrio e experincia em trabalhos de investigao/avaliao. As qualidades pessoais tambm so de importncia considervel (capacidade analtica, criatividade, receptividade, habilidades sociais, honradez, critrio, pacincia, capacidades adequadas de comunicao oral e escrita, etc.). (NA 2.1.4 e 2.1.10.) Para formar um auditor operacional, um chefe de equipe de auditoria operacional ou um diretor de auditoria operacional, preciso que o profissional possua determinadas qualificaes especficas. Por exemplo, um auditor operacional deve ter adequada formao em cincias sociais e em mtodos de investigao e avaliao cientfica. Tambm pode ser essencial um conhecimento especializado nas distintas reas funcionais que vo ser auditadas, porm, na auditoria operacional ou na avaliao de programas, nem sempre so necessrias competncias avanadas em contabilidade e auditoria contbil. No caso das EFSs que tenham organizado sua auditoria operacional em separado da auditoria contbil, perfeitamente admissvel que o pessoal selecionado para a auditoria operacional tenha histrico e competncias diferentes das do pessoal selecionado para a realizao de auditorias contbeis27. Com o objetivo de satisfazer aos requisitos de qualidade especificados nas Normas de Auditoria (NA 2.2.36-39), as EFSs devero ter um programa que garanta que seu pessoal mantenha sua competncia profissional mediante estudo e formao permanentes. A aprendizagem atravs do trabalho prtico de auditoria fator central no processo de desenvolvimento (NA 2.1.2, 2.2.37-38 e 2.1.16). O estudo e a formao permanentes podem incluir temas tais como os avanos atuais em metodologia de auditoria operacional, direo ou co27

Ao menos que tenha ampla experincia em auditoria operacional ou em tarefas similares, um chefe de equipe ou um diretor de auditoria operacional talvez corra o risco de no ser aceito (ou respeitado) pelos auditores operacionais.

44

mando, mtodos de investigao qualitativa, anlises de estudos de caso, amostragem estatstica, tcnicas de coleta de dados quantitativos, esboo da avaliao, anlises de dados e redao clara para o leitor. Tambm podem incluir temas relacionados com o escopo de trabalho dos auditores; por exemplo a Administrao Pblica, poltica e estrutura do setor pblico, poltica da administrao, economia, cincias sociais ou tecnologia da informao (NA 2.1.6-10). As qualificaes do pessoal que realiza auditorias operacionais incluem: conhecimento dos mtodos e tcnicas aplicveis em auditoria operacional, e formao, competncia e experincia necessrias para aplicar esse conhecimento auditoria realizada; conhecimento dos organismos, programas e funes da Administrao Pblica; competncias para uma comunicao clara e eficaz, tanto oral como escrita; e competncias especiais em funo da auditoria especfica (estatstica, tecnologia da informao, engenharia, etc., ou conhecimento de especialista na matria em questo) (NA 2.2.33-38 e 2.1.11-12). A auditoria operacional deve ser realizada em equipe, j que as questes implicadas so complexas. Por conseguinte, no se requer que todos os membros da equipe possuam a totalidade das competncias antes mencionadas. Ademais, nem sempre ser possvel que uma EFS contrate pessoal que rena todos os requisitos. As competncias requeridas, portanto, podero ser desenvolvidas quando a pessoa j esteja ocupando seu cargo, na medida em que os candidatos para a contratao tenham demonstrado com clareza que tm o potencial e a atitude necessrios para o tipo de trabalho que envolve a auditoria operacional. A eficcia, o profissionalismo e o zelo devem servir de guia ao trabalho de auditoria A auditoria operacional deve ser suficientemente bem definida e o seu enfoque tem que ser funcional. A organizao da auditoria tem que cumprir as exigncias gerais da correta gesto de projetos (NA 3.0.2-3 e 3.1.1-3). A auditoria operacional deve ser realizada de forma meticulosa, com o propsito de obter evidncias pertinentes, confiveis e suficientes, de modo
45

a permitir que qualquer outra pessoa com conhecimento chegue s mesmas concluses que aparecem no relatrio de auditoria operacional. Isso exige escolher critrios corretos ao se decidir o objetivo de auditoria, o qu e quando auditar, o enfoque e a metodologia, o escopo da auditoria, as questes sobre as quais se informar, e a concluso global da auditoria. A boa comunicao com a entidade auditada e com distintas classes de especialistas importante durante todo o processo de auditoria. De igual modo, os responsveis pela auditoria operacional devem se mostrar vigilantes. importante que a base ftica das descries, as anlises e as recomendaes finais sejam exatas. O relatrio tem que ser objetivo e equilibrado, e assumir um tom sbrio, com o propsito de ser valioso para a Administrao (NA 2.2.39, 3.5.1- 2 e 4.0.22-25). Os princpios da adequada administrao tm que ser cumpridos. O processo de auditoria deve ficar documentado da forma apropriada. Devem-se evidenciar por escrito as decises importantes efetuadas ao longo da auditoria e as consideraes subjacentes. preciso manter arquivos acessveis e um registro tipo dirio de bordo. Os principais objetivos da documentao alm de auxiliar a equipe de auditoria consistem em registrar as evidncias de auditoria que sirvam de apoio s concluses e decises, proporcionar registros que auxiliem gesto e a superviso da auditoria, e permitir que o trabalho seja revisado por funcionrios de nvel mais elevado. A informao obtida durante a auditoria dever ser tratada com carter confidencial at que seja apresentado o relatrio (NA 2.2.39-40, 3.0.2-3, 3.1.1, 3.2.1, 3.5.2-7 e 4.0.24). Todos os auditores governamentais devem atuar com honradez, imparcialidade, objetividade, competncia e zelo profissional. Para cumprir estas normas, o auditor operacional deve ter a formao adequada e possuir experincia em trabalho de investigao/avaliao. As qualidades pessoais tambm so de importncia considervel. A eficcia, o profissionalismo e o zelo devem guiar o trabalho de auditoria. 2.3 Existem outras importantes salvaguardas? Ainda que essas diretrizes constituam uma base coerente para a realizao de uma auditoria de gesto, o julgamento profissional (se bem aplicado sobre a base de regras e procedimentos pertinentes) continua sendo o componente mais importante da auditoria operacional. O auditor dever adotar uma atitude de iseno profissional durante toda a auditoria,
46

reconhecendo que podem existir circunstncias que faam com que determinados aspectos da informao relacionada com o desempenho sejam expostos erroneamente. possvel que se tenha que aplicar diversas medidas de proteo tanto essenciais como prticas para evitar que ocorram tais coisas. Dever ser dada uma garantia razovel sobre a qualidade da informao Uma auditoria de gesto realizada em conformidade com as normas de auditoria aplicveis proporciona uma garantia razovel de que a informao relacionada com o desempenho est isenta de erros graves. A auditoria operacional depende, cada vez mais, da qualidade da informao apresentada pelas entidades auditadas e das possibilidades de se obter informao, que atualmente armazenada em meios eletrnicos. Um adequado sistema de controle do funcionamento interno servir de ajuda para o auditor. O razovel depende da situao, quer dizer, do tipo de evidncias disponveis e das concluses que possam delas ser extradas (NA 3.5.2). preciso informar adequadamente s entidades auditadas A EFS dever dar conhecimento as entidades da Administrao responsveis pelo programa auditado, ou que nele intervenham, acerca das caractersticas da auditoria, preferencialmente antes do seu incio (NA 3.1.4). Devido s caractersticas da auditoria operacional, importante que os funcionrios de nvel hierrquico mais elevado estejam adequadamente familiarizados com o propsito da fiscalizao. O trabalho realizado deve ser supervisionado de forma adequada As normas de auditoria da INTOSAI afirmam: O trabalho realizado pela equipe de auditoria, em todos os seus nveis e fases, deve ser adequadamente supervisionado durante a auditoria e a documentao obtida deve ser revisada por um membro experiente da equipe(NA 3.2.1). Quando o trabalho delegado a um membro da equipe de auditoria, o responsvel pelo projeto deve dirigir, supervisionar e revisar cuidadosamente o trabalho delegado. Todos os membros da equipe devem compreender os objetivos da auditoria, os termos de referncia do trabalho que lhes foi determinado, e a natureza das obrigaes impostas (NA 3.2.2).
47

A superviso da equipe de auditoria operacional por parte de membros experientes do pessoal de fiscalizao envolve dirigir, apoiar e supervisionar o trabalho da equipe, com a finalidade de garantir o cumprimento dos objetivos da auditoria (Ver apndice 4). Em conformidade com as Normas de Auditoria (NA 3.2.3), isso significa garantir que: todos os membros da equipe compreendem plenamente os objetivos da auditoria; os procedimentos de auditoria so adequados e realizados de forma apropriada; so postas em prtica as normas de auditoria internacionais e nacionais; as evidncias da auditoria so relevantes, confiveis, suficientes, documentadas e servem de apoio aos resultados e concluses; e so cumpridos os oramentos, os programas e os prazos. O uso de especialistas requer um cuidado especial Na auditoria operacional, freqentemente so utilizados especialistas. Antes de recorrer a um especialista, entretanto, o auditor dever se assegurar de que ele possui a competncia necessria requerida para os objetivos da auditoria. Um especialista, caso necessrio, uma pessoa ou uma empresa que possui competncias, experincia e conhecimentos especializados em um determinado campo da auditoria. O auditor deve se assegurar de que o especialista independente da atividade ou programa, e tem que inform-lo sobre as condies e a deontologia necessrias. Ainda que o auditor operacional possa utilizar o resultado do trabalho de um especialista como evidncia de auditoria, o auditor continua sendo integralmente responsvel pelas concluses contidas no relatrio de auditoria (NA 2.1.18, 2.2.43- 45).
Os auditores devem informar as entidades da Administrao envolvidas com o programa auditado sobre as caractersticas do trabalho de auditoria operacional. Tais entidades devem garantir, de modo razovel, que a informao relacionada com o desempenho seja confivel. Ainda que o auditor possa utilizar o trabalho de um especialista, o prprio auditor que continua sendo plenamente responsvel pelas concluses.

48

2.4 Resumo A competncia para realizar auditoria operacional deve estar definida pela legislao, e muitas vezes so necessrias regulamentaes especiais que especifiquem as condies da auditoria operacional. A competncia deve abarcar a totalidade do oramento do Estado, includos todos os rgos e entidades pblicos e todos os servios pblicos pertinentes. A competncia deve estabelecer auditorias em rgos individuais da Administrao, e em grandes empresas de interesse pblico que so de propriedade estatal, assim como em programas que fazem referncia a toda a Administrao a partir de perspectivas distintas. O auditor operacional deve ter liberdade para selecionar as reas de fiscalizao dentro da competncia de realizar auditoria operacional. As decises e os objetivos polticos estabelecidos pela legislao devem constituir o critrio de referncia da auditoria operacional. Entretanto, uma EFS como conseqncia dos resultados de seus trabalhos tambm pode efetuar comentrios crticos sobre os objetivos polticos, por exemplo, se esses so incoerentes ou se est demonstrado que impossvel comprovar at que ponto so alcanados. Em geral, as auditorias operacionais tm que ser auditorias ex-post, porm em alguns pases pode ser realizada uma auditoria nas atividades de preparao de polticas antes que estas sejam implementadas. Todos os auditores da Administrao devem atuar com honradez, imparcialidade, objetividade, competncia e zelo profissional, porm, devido s caractersticas da auditoria operacional, isso adquire uma importncia especial. O auditor operacional deve possuir formao adequada e ter experincia em trabalhos de investigao/avaliao. As qualidades pessoais tambm so de importncia considervel (capacidade analtica, criatividade, receptividade, habilidades sociais, honradez, critrio, pacincia e adequadas competncias de comunicao oral e escrita). A auditoria operacional uma atividade baseada no conhecimento, e devido a suas caractersticas especiais e a seus estreitos vnculos com a poltica um trabalho de elevada qualidade representa talvez o fator individual de maior importncia para o seu reconhecimento. Com o objetivo de garantir alta qualidade no trabalho, a EFS deve
49

prestar ateno especial criao de ambiente para a auditoria operacional, que garanta incentivos para a boa qualidade e as respectivas melhorias. Um sistema de garantia de qualidade que funcione adequadamente constitui um elemento importante nesse contexto. A eficcia, o profissionalismo e o zelo devem guiar o trabalho de auditoria, e devem ser cumpridos os princpios de uma correta administrao. Os auditores tm que dar conhecimento s entidades da Administrao envolvidas com o programa quais so as caractersticas do trabalho de auditoria operacional. Antes de utilizar especialistas, o auditor deve se assegurar de que o trabalho deles necessrio e garantir que esses so independentes. Ainda que o auditor possa utilizar como evidncia o resultado do trabalho dos especialistas, ele continuar sendo plenamente responsvel pelas concluses.

50

Captulo 3
Normas e orientaes prticas: incio e planejamento da auditoria operacional 3.1 Quais so as etapas gerais do processo de auditoria operacional? Como se afirma na NA 3.0.1: O objetivo das normas de procedimento na execuo da auditoria estabelecer os critrios ou sistemas gerais que o auditor deve seguir para permitir que suas atuaes sejam objetivas, sistemticas e equilibradas. As normas de execuo do trabalho de campo estabelecem um marco para o planejamento, realizao e gerenciamento do trabalho de auditoria (NA 3.0.2). O processo de auditoria operacional envolve diversas etapas. Em sentido amplo, inclui a fase de planejamento, a fase de execuo* e a fase de acompanhamento. Freqentemente a fase de planejamento se divide em diferentes estgios. O primeiro estgio consiste no planejamento estratgico, quando se analisam os possveis assuntos e questes a serem auditados. Uma vez escolhida uma rea para a auditoria operacional, pode ser realizada uma anlise preliminar que origine um plano de trabalho para a anlise principal com o objetivo de coletar informao que permita planejar uma proposta da anlise principal. Durante todo o estudo principal deve-se dar importncia especial elaborao do relatrio final que seja submetido considerao do governo, do Poder Legislativo, dos rgos executivos envolvidos e do pblico em geral. A fase de redao do relatrio baseada na experincia deve ser considerada como um processo contnuo de formulao, teste e reviso de idias sobre o tema. Questes tais como o efeito e o valor previstos da auditoria devem ser levadas em considerao ao longo de todo o processo. Fixar prazos para a fase de redao do relatrio pode melhorar a tempestividade da informao. O processo de acompanhamento identifica e documenta o impacto da auditoria e o avano efetuado na execuo das recomendaes emitidas.
* (N. do T.) A INTOSAI considera a atividade de redao do relatrio como parte integrante da fase de execuo.

51

Este processo decisivo para fornecer comentrios EFS e ao Poder Legislativo (NA 2.2.5-6).
O processo de auditoria operacional envolve diferentes etapas: planejamento estratgico, trabalho de preparao, anlise principal e atividades de acompanhamento.

3.2 O que o planejamento estratgico envolve? A auditoria operacional se aplica primordialmente s reas em que se considera que uma fiscalizao externa e independente resulte valiosa para promover a economia, a eficincia e a eficcia. Freqentemente, na auditoria contbil, os objetos do exame e as perspectivas que se aplicaro so definidos pela prpria legislao bsica da EFS. Como anteriormente descrito, a EFS costuma dispor de maior liberdade na seleo de objetos e enfoques da auditoria de gesto. A EFSs deve considerar cuidadosamente a estratgia de seleo de reas para as auditorias operacionais, que ajude a fixar prioridades e efetuar selees. O interesse em mudanas manifestado pelo governo, por exemplo, pode contribuir para esse processo (NA 2.1.21-22 e 3.1.1-2). A seleo de reas de auditoria deve ser realizada sem presses externas (NA 2.2.14). A EFSs deve manter sua neutralidade poltica, porm a preservao da sua independncia no impede que o Poder Executivo lhe faa solicitaes e proponha reas de fiscalizao. Entretanto, para que desfrute da independncia adequada, a EFS deve poder recusar as solicitaes desse tipo (NA 2.2.16). O planejamento estratgico a base da seleo de reas de auditoria e de possveis anlises preliminares. O planejamento pode ser efetivado seguindo estes passos: 1. Determinar as possveis reas de auditoria a partir das quais se efetuaro as selees estratgicas. A seleo de reas de auditoria envolve opes estratgicas com conseqncias para a EFS. O nmero de reas possveis amplo, e a capacidade da EFS limitada. Isso significa que tais selees devem ser realizadas com cuidado (NA 2.1.21 e 2.2.38). 2. Estabelecer os critrios que se empregaro nessas selees. Provavelmente o principal critrio de seleo seja a potencial contribuio da auditoria avaliao e melhoria do funcionamento da Administrao central e dos organismos a ela vinculados (NA 3.0.1).
52

De acordo com o passo 2, os critrios gerais de seleo seriam os seguintes: Valor agregado: quanto melhores forem as perspectivas de realizar uma auditoria til, de qualidade elevada, e quanto menos tenha sido objeto de avaliao o campo ou o tema em questo, maior ser o valor agregado correspondente. Agregar valor significa proporcionar novos conhecimentos e perspectivas. Problemas ou reas problemticas importantes: quanto maior for o risco de que surjam conseqncias sobre o aspecto da economia, da eficincia e da eficcia, ou da confiana pblica, mais importantes tendem a ser os problemas. Pode-se considerar que um problema importante ou relevante se for provvel que os conhecimentos existentes sobre ele influenciem o usurio do relatrio de auditoria operacional. Uma superviso ativa e orientada a problemas facilita a identificao de reas de auditoria.28 Riscos ou incertezas: o planejamento estratgico pode se basear na anlise de riscos, ou com um carter menos terico na anlise dos indcios de problemas reais ou potenciais. Quanto maior for o interesse pblico envolvido, quando existem motivos para suspeitar de ineficincia, maiores sero os riscos, e quanto menor for o conhecimento, maior ser a incerteza. A concentrao desses indcios ou fatores vinculados a uma entidade ou um programa da Administrao pode representar um sinal importante para a EFS e induzi-la a planejar auditorias, cujo alcance e escopo dependero dos indcios detectados. Entre os fatores que poderiam indicar um maior risco (ou incerteza) se encontram, por exemplo, os seguintes: Os valores financeiros ou oramentrios so de grande volume, ou so realizadas alteraes importantes em tais valores. Esto envolvidas reas tradicionalmente propensas ao risco (aquisies, alta tecnologia, questes ambientais, sade, etc.) ou reas de risco impossvel de admitir.

28

Ver uma exposio mais ampla sobre a seleo de problemas em Handbook in Performance Auditing RRV (Sucia), 1999, e Picking the winners, NAO (Reino Unido), 1997.

53

 Esto envolvidas atividades novas ou urgentes, ou condies modificadas (requisitos, exigncias). As estruturas de gesto so complexas e poderiam gerar certa confuso em torno das responsabilidades. No existe informao confivel, independente e atualizada sobre a eficincia ou a eficcia de um programa da Administrao. Algumas EFSs podem escolher temas, baseando-se em selees estratgicas e no em critrios de seleo (por exemplo, com respeito ao tipo de auditoria operacional, s esferas de polticas, relao com reformas dentro do setor pblico, etc.). s vezes essas selees estratgicas podem refletir as condies constitucionais e legais, assim como as tradies estabelecidas. Tambm podem refletir as realidades polticas, ou seja, no se espera que determinados temas estejam sujeitos fiscalizao. Por conseguinte, o planejamento estratgico permite diferentes aspiraes e decises. Vinculado ao sistema de planejamento anual da EFS, o planejamento estratgico pode ser uma ferramenta que permita estabelecer prioridades e eleger possveis auditorias para serem executadas. Em outro contexto, pode servir como mecanismo para eleger futuros temas de auditoria, com base em um planejamento mais detalhado. Tambm pode servir como instrumento para a tomada de decises estratgicas acerca das polticas referentes ao futuro roteiro da auditoria. Por exemplo, uma EFS pode apresentar as seguintes opes referentes futura orientao fiscalizadora:
Centrada no cumprimento das leis e regulamentaes para garantir sua execuo Centrada em unidades organizacionais individuais Centrada em empresas / programas da Administrao

Centrada na eficcia para contribuir para as modificaes e inovaes

Uma possvel seleo estratgica consiste em contribuir para a modernizao da Administrao Pblica e concentrar-se na auditoria de programas do governo que tenham problemas importantes de eficcia. Uma seleo alternativa poderia ser outra aspirao e outro centro de ateno dedicados auditoria de organismos individuais da Administrao, e seu cumprimento das regulamentaes administrativo-econmicas.
54

Em uma sociedade em processo de mudana, lgico revisar periodicamente as atividades pblicas para comprovar se elas cumprem os objetivos e solucionam os problemas para os quais foram criadas. medida que avana o tempo, novas exigncias substituem as anteriores. Como as demandas e as circunstncias mudam constantemente, a auditoria operacional ou de gesto ter que estar preparada para controlar e seguir os avanos e as tendncias de desenvolvimento, revisar as prioridades e utilizar novos enfoques e mtodos. Quando se define uma EFS ou ela mesma se define como instrumento de mudana, importante que as prioridades da auditoria de gesto reflitam as necessidades de melhoria do setor pblico. Por exemplo, em uma situao de grande dficit oramentrio ou com um estilo de gesto antiquado, a auditoria operacional pode realizar contribuies para a economia, para um melhor uso dos recursos ou para uma modernizao da gesto. Por outro lado, se o debate pblico se concentra no problema do desemprego, da ecologia, da eqidade, da transparncia, dos servios ao cliente, etc., possvel que a auditoria operacional prefira outorgar prioridade a esses temas. Em outras palavras, o planejamento estratgico pode no se limitar a propor temas viveis de auditoria. O ideal seria integrar as reas de auditoria ou questes de auditoria em uma perspectiva global.29 Algumas EFSs realizam estudos especiais para configurar conhecimentos ou competncias dentro de uma nica rea da Administrao Pblica ou em rea definida por um tema de auditoria que ajudem no processo de planejamento estratgico.30 Geralmente, o exerccio do planejamento estratgico da EFS tem como resultado um programa de auditoria coerente e convincente. O programa enumera as reas de auditoria e oferece um relato resumido dos problemas de provisionamento, questionamentos e outros elementos, justificando cada um deles. O ideal que, na continuidade, o programa sirva de base para o planejamento operacional e a alocao de recursos.
O planejamento estratgico constitui a base da seleo de temas de auditoria, e vinculado com o sistema de planejamento anual da EFS, pode servir como ferramenta para fixar prioridades e selecionar auditorias. Pode servir como mecanismo de seleo

29

O trabalho de auditoria sobre um tema especfico tem sido realizado mais freqentemente nos ltimos anos. Trata-se de um trabalho a longo prazo, que costuma produzir diversos relatrios de auditoria inter-relacionados. 30 Ver um exemplo em Strategy for Performance Audits in the Chemical Sector, Escritrio Nacional de Auditoria da Sucia, 2002.

55

de futuros temas de auditoria e como base para um planejamento mais detalhado. Finalmente, pode servir como instrumento das decises de poltica estratgica acerca do futuro plano da auditoria. O planejamento pode ser efetivado mediante os seguintes passos: determinar as reas potenciais para serem auditadas, estabelecer os critrios de seleo que vo ser utilizados, e identificar as fontes principais de informao para as possveis auditorias. Geralmente, o exerccio de planejamento estratgico ter como resultado um programa de auditoria coerente e convincente para a EFS, como base para o planejamento operacional e a alocao de recursos.

3.3 O que o planejamento de cada auditoria operacional envolve? De acordo com as Normas de Auditoria da INTOSAI (NA 3.1.1), o auditor deve planejar o exame de modo que garanta a realizao de uma auditoria de alta qualidade, de maneira econmica, eficiente e eficaz, e com a devida pontualidade. Em geral, na auditoria operacional se faz indispensvel um planejamento bem elaborado. Antes de iniciar o estudo principal da auditoria operacional, por conseguinte, importante definir os objetivos de auditoria, seu escopo e a metodologia requerida para alcanar os objetivos. Com freqncia, isso se realiza na forma de anlise preliminar.31 O propsito da anlise preliminar determinar se existem as condies necessrias para efetuar uma anlise principal, e caso existam, apresentar uma proposta de auditoria junto com um plano de trabalho. Em primeiro lugar, o planejamento operacional deve ser uma ferramenta que oriente o processo de execuo. Alm disso, aporta os conhecimentos bsicos e a informao de que se necessita para compreender a entidade, o programa ou a funo. Por exemplo, um planejamento adequado garante que a auditoria operacional seja ampla e realista. Normalmente, a anlise preliminar deve ser realizada em um perodo breve. Trs etapas importantes As etapas mais importantes na elaborao de uma proposta de auditoria so as seguintes:

31

Algumas EFSs utilizam o termo estudo prvio.

56

 definir o tema especfico que ser estudado e os objetivos da auditoria; definir o escopo e o projeto da auditoria; determinar a garantia de qualidade, o cronograma e os recursos. Na prtica, essas etapas nem sempre podem ser separadas estritamente entre si, e nem sempre ocorrem nessa mesma ordem. 1 Definir o tema especfico que ser estudado e os objetivos da auditoria O passo inicial uma definio mais precisa do tema ou dos problemas que vo ser auditados. Devem ser indicados os motivos e os objetivos do estudo. Trata-se de uma etapa difcil e importante, que implica, por exemplo, um exame profundo da matria em questo, mediante o estudo da bibliografia, dos documentos e das estatsticas pertinentes, a realizao de entrevistas com os principais stakeholders e especialistas, etc., e uma anlise dos indcios de problemas potenciais, a partir de diversos pontos de vista. importante que as definies sejam claras. Devem ser evitadas definies ambguas ou vagas.32 Mudanas secundrias no tema auditado ou no problema que vai ser estudado podem exercer um efeito importante sobre o alcance geral da auditoria. Em poucas palavras, essa etapa objetiva responder a estas duas perguntas: O qu? Qual o tema da auditoria ou o problema que vai ser examinado? Por qu? Quais so os objetivos da auditoria? O enunciado da questo bsica da auditoria constitui um aspecto de fundamental importncia dentro do processo de exame: trata-se de um fator decisivo para os resultados da auditoria. A questo bsica da auditoria pode ser considerada como a questo fundamental que vai ser investigada dentro de um programa da Administrao e qual os auditores se propem a responder. Portanto, importante que se baseie em consideraes racionais e objetivas. De maneira geral, a EFS deve aplicar auditoria operacional a perspectiva global mais conveniente para o interesse pblico e para a sua misso geral.

32

Para maior informao, ver, por exemplo, Handdbook in Performance Auditing, RRV, 1999.

57

Os objetivos da auditoria esto relacionados com os motivos que justificam a sua realizao e devem ser estabelecidos no princpio do processo de execuo, para ajudar a identificar as matrias que vo ser auditadas e sobre as quais vo ser relatadas. Ao determinar os objetivos, a equipe de auditoria deve considerar as funes e responsabilidades da EFS e o efeito real previsto da auditoria tal como definido no plano estratgico de auditoria. Os objetivos e o escopo da auditoria esto relacionados entre si e preciso lev-los em considerao de forma conjunta. uma prtica adequada de gesto debater o escopo da auditoria com as entidades fiscalizadas, na primeira oportunidade de que se disponha.33 Ao definir os objetivos da auditoria, um critrio poderia consistir em otimizar a contribuio por ela efetuada. Uma possvel ferramenta para determinar essa contribuio expor as concluses previstas. Quando se realiza uma auditoria por provocao, os objetivos podem estar mais ou menos determinados ou ser mais ou menos bvios (NA 3.1.3). O nvel de detalhe que deve ter o planejamento da auditoria outra das opes que se tem que efetuar. Sempre se estabelece a necessidade de uma auditoria elaborada com cuidado. Um adequado planejamento prvio impedir o surgimento de problemas na realizao da auditoria. Por outro lado, um planejamento excessivamente detalhado pode inibir, em algumas ocasies, o pensamento inovador e a ampliao que se faa necessria. As auditorias so realizadas em um mundo complexo e, por conseguinte, raramente possvel planejar um trabalho amplo que prognostique o progresso da auditoria operacional em todos os seus detalhes. 2 Definir o escopo e o projeto da auditoria O prximo passo a definio do escopo e do projeto da auditoria. Como na auditoria contbil, preciso estruturar o enfoque da auditoria operacional.34

33

Em alguns casos, tambm pode ser til explicitar o que no vai ser auditado no estudo real (aquilo que no se pretende auditar). Isto pode contribuir para reduzir as noes errneas ou as falsas expectativas entre os interessados. 34 Nessa etapa, s vezes til estudar as teorias e o trabalho cientfico referentes rea que vai ser auditada ou s perguntas que vo ser respondidas.

58

Definir o escopo e as questes ou hipteses especficas que vo ser examinadas O escopo define as fronteiras da auditoria. Trata de aspectos tais como as perguntas especficas que vo ser formuladas, o tipo de estudo que vai ser realizado e o carter da investigao.35 Ademais, envolve o trabalho de reunir informaes, assim como a anlise que vai ser executada (NA 3.1.3-4).36 O escopo de uma auditoria est determinado pela resposta s seguintes perguntas: O qu? Que questo ou hipteses especficas vo ser examinadas? Que tipo de anlise adequado?37 Quem? Quem so os stakeholders-chave e a(s) entidade(s) auditadas? Onde? H limitaes no nmero de centros de trabalho envolvidos? Quando? H limitaes no tempo envolvido? Depois de definir as razes e os objetivos da anlise, assim como a questo geral de auditoria ou os problemas que vo ser estudados, importante definir as perguntas especficas que vo ser respondidas ou as hipteses que vo ser examinadas (as possveis causas do problema). Na prtica, constituiro a base para a seleo de mtodos de coleta de dados. O auditor dever definir tambm o carter da anlise: que tipo de estudo se requer para destacar as perguntas? Deve-se afirmar, entretanto, que a realizao do trabalho de campo consiste em um processo de aprendizagem continuado, que no se limita a coletar dados. Ademais, as perguntas (ou hipteses) talvez tenham que ser modificadas medida que os auditores adquirem mais conhecimentos durante a auditoria. No obstante, ao longo da fase de planejamento, o objetivo dirigir a ateno de modo sistemtico aos fatos que os auditores necessitam conhecer, e onde e como podem obter tais informaes.

35

Ver a seo 4.2. Para maior informao, ver Performance Audit Manual, CAG, Bangladesh, 2000, e Government Auditing Standards, GAO (E.U.A.), 2002. 36 s vezes uma EFS pode limitar sua auditoria operacional a uma metaavaliao (uma avaliao das autoavaliaes). Deve ser entendido, entretanto, que esse enfoque somente factvel quando o auditor da EFS est completamente convencido de que os processos de avaliao interna oferecem avaliaes objetivas, pontuais e amplas acerca dos programas em questo. 37 O projeto do estudo (estudo sobre alcance de objetivos, estudo sobre gesto do tempo, etc.).

59

A possibilidade de se executar auditoria outro requisito importante do processo de planejamento operacional. Define-se se um tema adequado para a realizao de um estudo principal. Como os objetivos e o escopo variam de uma para outra auditoria, a equipe necessita avaliar se pode ser realizada uma auditoria. Uma questo deve ser, ao mesmo tempo, suscetvel de ser auditada e valer a pena ser auditada, para que seja includa no escopo da auditoria. Por exemplo, o auditor poderia levar em considerao se existem enfoques, metodologias e critrios, se provvel que disponha da informao ou das provas requeridas, e se estas podem ser obtidas de modo eficiente. Ademais, tem que haver informao confivel e objetiva, e oportunidades razoveis de obter essa informao. Outros aspectos que devem ser levados em conta so o cumprimento das normas de auditoria, os recursos, as competncias profissionais requeridas e os prazos. Deve-se dispor de pessoal com as competncias pertinentes e uma auditoria no deve ser desconsiderada por causa de outros estudos que estejam sendo realizados por outros organismos (NA 2.1.23, 2.2.39, 3.0.3 e 3.1.1-4). A compreenso do programa importante alcanar uma compreenso adequada do programa auditado ou da atividade da entidade auditada que sirva para alcanar os objetivos da auditoria, facilitar a identificao dos temas importantes do exame e cumprir as responsabilidades alocadas s auditorias. Esse conhecimento incluir, por exemplo, uma compreenso: do carter do programa governamental auditado (papel e funo, atividades e processos em geral, tendncias de desenvolvimento, etc.); da legislao e dos objetivos gerais dos programas e do desempenho; da estrutura organizacional e das relaes de accountability; do ambiente interno e externo da entidade auditada e dos interessados38; das limitaes externas que afetam a realizao do programa; das investigaes prvias no campo correspondente; dos processos e dos recursos de gesto.

38

Caso necessrio, algumas EFSs podem realizar anlise dos interessados durante essa etapa, para conseguir uma imagem clara da situao real, de diferentes perspectivas.

60

Obter os conhecimentos necessrios constitui um processo contnuo e cumulativo de coletar e avaliar informao e de relacionar o conhecimento resultante com as evidncias ao longo de todas as fases da auditoria. importante que os auditores considerem os custos da obteno de informao e o valor agregado da informao para a auditoria. Entre as fontes de informao se incluem as seguintes: a legislao vigente e os discursos parlamentares; as declaraes ministeriais, as manifestaes e decises da Administrao Pblica; os relatrios de auditoria, revises, avaliaes e investigaes recentes; os estudos cientficos e a investigao pertinente (inclusive em outros pases); os planos estratgicos e empresariais, as declaraes sobre a misso e os relatrios anuais; os expedientes sobre polticas e as atas das reunies dos comits de gesto e conselhos de administrao; os organogramas, as diretrizes internas e os manuais operacionais; a avaliao de programas e os planos e relatrios de auditoria interna; os relatrios e atas de conferncias; pontos de vista de especialistas no campo em questo; os debates com a direo da entidade auditada e os principais interessados; os sistemas de informao de gesto; e outros sistemas pertinentes de informao e as estatsticas oficiais. As auditorias anteriores constituem freqentemente uma fonte de informao til. Podem evitar um trabalho desnecessrio ao examinar reas que foram auditadas recentemente, e evidenciar as deficincias que ainda no tenham sido corrigidas. Tambm podem ser importantes os debates com a alta direo dos programas, para obter uma perspectiva global a esse respeito. Outras fontes relevantes de informao so as seguintes: estudos realizados por grupos industriais, profissionais ou de interesses especiais; investigaes ou revises anteriores realizadas pelo Poder Legislativo; informao em poder de organismos pblicos de coordenao ou comits da Administrao Pblica;
61

 trabalhos realizados por outras administraes pblicas; e cobertura jornalstica. Definir os critrios de auditoria Os critrios de auditoria se propem a servir de orientao avaliao (ajudando o auditor a responder a perguntas como, por exemplo: Sobre que fundamento pode-se avaliar o comportamento real? Que se requer ou se espera? Que resultados se vai alcanar, e de que forma? para o programa?). Em outros termos, eles so normas que se empregam para determinar se um programa cumpre ou supera as expectativas.39 Nas auditorias contbeis, as transaes examinadas costumam ser consideradas pelo auditor como corretas ou incorretas, legais ou ilegais, etc. Esses critrios costumam ser relativamente fechados e em geral so preestabelecidos, por exemplo, pela legislao relativa entidade auditada (para maior informao, ver o apndice 2). Nas auditorias operacionais, entretanto, a seleo dos critrios costuma ser relativamente aberta e efetuada pelo prprio auditor e, como foi destacado anteriormente, com freqncia, os critrios so menos importantes no enfoque orientado a problemas. Nesse tipo de enfoque mais importante formular hipteses comprovveis (verificveis) sobre as causas possveis do problema fiscalizado.40 Por conseguinte, em auditoria de gesto os conceitos gerais de economia, eficincia e eficcia tm que ser interpretados em relao matria em questo e os critrios resultantes variaro nas distintas auditorias. Ao definir os critrios, os auditores devem se assegurar de que sejam pertinentes, razoveis e alcanveis. Finalmente, cada indicador se configura em forma de perguntas. Estas possuem um carter prtico e se propem a descrever ou medir a situao especfica que vai ser auditada. Os critrios de auditoria podem ser extrados, por exemplo, das seguintes fontes:

39 40

Por exemplo, os critrios de auditoria tero que ser confiveis, objetivos, teis, completos e aceitos. Ver informao, por exemplo, sobre como definir os problemas de auditoria, e como formular e comprovar hipteses, em Handbook in Performance Auditing: theory and practice, Escritrio Nacional de Auditoria da Sucia, 1999.

62

 leis e regulamentaes que regem o funcionamento da entidade auditada; decises tomadas pelo Poder Legislativo ou pelo Poder Executivo; referncias a comparaes histricas e comparaes com a melhor prtica; normas, experincias e valores profissionais; indicadores-chave de desempenho estabelecidos pela entidade auditada ou pela Administrao; assessoramento e know-how de especialistas independentes; conhecimentos cientficos novos ou j consolidados, e outras informaes confiveis; critrios utilizados previamente em auditorias similares, ou empregados por outras EFSs; organizaes (dentro ou fora do pas) que realizem atividades semelhantes ou tenham programas similares; normas de desempenho ou investigaes anteriores efetuadas pelo Poder Legislativo; e bibliografia sobre direo geral e sobre a matria em questo. A base dos critrios de auditoria pode ser considerada a partir de ngulos distintos: dependendo do caso, as fontes mais autorizadas sero as normas oficiais (por exemplo, os objetivos estabelecidos nas leis e regulamentaes, decises e polticas aprovadas pelo Poder Legislativo ou Poder Executivo); ou tomando como base os fundamentos cientficos das normas, se outorgar uma maior nfase bibliografia cientfica especializada e a outras fontes, tais como as normas profissionais e as melhores prticas. s vezes, os critrios de auditoria so fceis de definir, por exemplo, quando os objetivos fixados pelo Poder Legislativo ou Poder Executivo so claros, precisos e relevantes. Freqentemente, entretanto, isso no ocorre. Os objetivos podem ser vagos, conflitivos ou inexistentes. Nessas condies, os auditores talvez tenham que reconstruir os critrios. Uma possibilidade consiste em aplicar um enfoque terico, permitindo que os especialistas na rea em questo respondam a perguntas como as seguintes: quais seriam os resultados ideais, em perfeitas condies, de acordo com o pensamento racional, ou a melhor prtica conhecida que
63

seja comparvel? De modo alternativo, para definir e obter apoio para critrios bem fundamentados e realistas, talvez ajude aplicar um enfoque emprico, que envolva debates com interessados e pessoas com capacidade de deciso.41 Planejamento metodolgico O planejamento metodolgico envolve grande quantidade de atividades diferentes. Por exemplo, importante distinguir entre o programa de auditoria (o tipo de exame necessrio para coletar os dados) e as tcnicas de coleta de dados. As auditorias operacionais podem se basear em ampla diversidade de tcnicas de coleta de dados empregadas habitualmente nas cincias sociais, por exemplo, pesquisas de opinio, entrevistas ou observaes, e no estudo de documentos escritos.42 O objetivo consiste em adotar as melhores prticas, porm pode haver razes factveis por exemplo, a disponibilidade de dados que restrinjam a escolha de mtodos, e muitas vezes os auditores talvez tenham que optar pela segunda melhor soluo. Como norma geral, aconselhvel mostrar-se flexvel e pragmtico na seleo de mtodos.43 As consideraes prticas tambm tero que influir no programa de auditoria. Os mtodos amostrais e as pesquisas de opinio poderiam servir para extrair concluses gerais, e os estudos de caso proporcionam a oportunidade de realizar estudos em profundidade.44 Ainda que a natureza das auditorias operacionais exija opes e combinaes cuidadosas a respeito das metodologias de exame de variveis, importante ter uma mentalidade aberta durante o processo de execuo. Nessa etapa, a seleo de fontes no tem que ser rgida (NA 3.0.3, 3.1.1-4, 3.5.2-4 e 4.0.4). Para maior informao, ver apndice 1.45
41

Ver, por exemplo, informao sobre como definir questes de auditoria, e como formular e provar hipteses, em Handbook in Performance Auditing : theory and practice, Escritrio Nacional de Auditoria da Sucia, 1999. Ver o apndice 2. 42 Isso implica em que os auditores operacionais devem estar ativamente interessados na melhoria continuada de suas competncias metodolgicas e dispor do tempo necessrio para isso e seguir os avanos metodolgicos em outras entidades de auditoria, etc. Isso pode ser feito, por exemplo, organizando seminrios internos com profissionais externos, e lendo artigos e bibliografia. Ao eleger mtodos de coleta de dados, os auditores devem estar guiados pelo objetivo da auditoria e pelas questes ou hipteses especficas que vo ser respondidas. Ver uma perspectiva global sobre o emprego de diferentes tcnicas para coletar dados de auditoria e para analisar a informao em Evidence-Gathering Techniques, OAG (Canad), 1994. Ver debate mais profundo sobre metodologia, tcnicas e conceitos em investigao social em The Research Methods Knowledge Base, Trochim, 2002. Ver tambm Avaliao, Rossi et al. 1999, e Case Study Research, Design and methods, Yin et al., 1994. 43 Os motivos para mostrar-se pragmtico na seleo de mtodos so expostos em Designing Evaluations, GAO (E.U.A.), 1991, captulo 2. 44 Ver Case Study Research, Disign and Methods, Yin et al., 1994. Podem ser empregadas formas de selecionar casos em Case Study Evaluation, GAO, (E.U.A.), 1990. Sobre as pesquisas ver Conducting Surveys, OAG (Canad), 1998, Using statistical sampling, GAO (E.U.A.), 1992, e The Research Methods Knowledge Base, Trochim, 2002. 45 Para planejar auditorias operacionais ver Handbook in Performance Auditing, RRV (Sucia) e Designing vfm studies, a guide, NAO (Reino Unido), 1997.

64

Para as auditorias operacionais, em particular, o auditor se preocupar com a validade e confiabilidade dos mtodos utilizados para coletar e analisar dados: validade: os mtodos tm que medir aquilo a que se propem a medir; confiabilidade: os resultados tm que ser coerentes, se forem efetuadas medies reiteradas no mesmo universo estatstico.46 3 Determinar a garantia de qualidade, o cronograma e os recursos A fase final consiste na determinao das medidas de garantia de qualidade que vo ser tomadas na auditoria, o cronograma e o oramento financeiro. Garantia de qualidade As Normas de Auditoria (NA 2.1.27) da INTOSAI afirmam que a EFS deve estabelecer sistemas e procedimentos de garantia de qualidade. Devem ser planejados procedimentos de controle de qualidade para garantir que todas as auditorias sejam realizadas de acordo com as normas e polticas pertinentes. Poder-se-ia distinguir entre procedimentos de garantia de qualidade exante, procedimentos durante o trabalho em curso, por exemplo, atravs de revises conjuntas, co-leitores, utilizao de painis de especialistas, comits especiais e especialistas ou peritos no campo em questo, e tcnicas como, por exemplo, anlise do tema, e procedimentos ex-post, tais como revises independentes de relatrios publicados, para identificar as lies aprendidas e a forma como os interessados-chave recebem os relatrios e os benefcios que eles extraem desses relatrios. Algumas EFSs tm contratado pesquisadores individuais ou instituies cientficas para realizar avaliaes ex-post. Devem-se planejar procedimentos ex-ante, intermedirios durante o trabalho em curso e ex-post. O gerente da auditoria o responsvel pela gesto diria da auditoria, includo seu planejamento detalhado, a execuo da auditoria, a superviso do pessoal, o relatrio para a direo da EFS e o controle da preparao do relatrio de auditoria. No caso de auditorias operacionais mais

46

Por exemplo, ver uma exposio mais ampla em The Research Method Knowledge Base, Trochim, 2002.

65

complexas, a EFS pode levar em considerao a designao de um comit diretivo que sirva de guia equipe de auditoria e controle o avano da fiscalizao (ver o apndice 4). Planejamento administrativo Deve-se escolher a equipe de auditoria e o seu lder, sendo necessrio elaborar um plano de atividades. importante determinar o cronograma e os recursos necessrios. Entre os fatores relevantes, encontram-se a forma em que est organizada a auditoria, os custos previstos (de pessoal, tomando como base os valores determinados previamente, e de equipamentos), e o tempo previsto de durao. preciso documentar o oramento e o cronograma. Dever ser controlado o avano em direo a esses objetivos. O gerente de auditoria e a direo da EFS so os responsveis por garantir que a auditoria operacional seja realizada dentro dos limites de oramento e de prazo (NA 2.1.26-28, 2.2.36 e 3.1.4). Cumprimento de leis e regulamentaes Quando as leis, as regulamentaes e outros requisitos de cumprimento relativos entidade auditada so significativos para os objetivos da auditoria, os auditores tm que planejar a auditoria de maneira que proporcione uma segurana razovel do cumprimento de tais requisitos. Nas auditorias operacionais, os auditores devem estar alerta ante situaes ou transaes que podem ser indicativas de atos ilegais ou de abusos. O auditor necessita tambm determinar o grau em que tais atos afetam os resultados da auditoria. Nos casos mais complexos, poderiam ser requisitados especialistas nessas questes (NA 3.4.1-7). O resultado da anlise preliminar a proposta de anlise principal A fase de esboo da auditoria d origem a uma proposta coerente de auditoria junto com um plano de trabalho (NA 3.0.1-3). Deve ser assegurada a qualidade do trabalho antes de se decidir pelo incio de uma anlise principal.
Antes de iniciar a anlise principal da auditoria operacional, importante definir os objetivos da auditoria, o escopo e a metodologia para alcanar os objetivos. Isso efetivado mediante a anlise preliminar. O objetivo da anlise preliminar consiste em estabelecer se existem as condies requeridas para uma anlise principal, e, caso existam, apresentar uma proposta

66

de auditoria junto com um plano de trabalho. Os passos mais importantes na elaborao de proposta de auditoria so: definir a questo especfica que ser estudada e os objetivos da auditoria; desenvolver o marco de referncia e o projeto da auditoria; e determinar os mecanismos de garantia de qualidade, a equipe de auditoria, o cronograma e os recursos. A(s) entidade(s) auditada(s) devem ser informadas acerca dos objetivos, do escopo e do cronograma da auditoria.

3.4 Resumo O ciclo da auditoria operacional envolve o planejamento estratgico, um trabalho de preparao, a anlise principal e atividades de acompanhamento. O planejamento estratgico a base da seleo de temas ou questes de auditoria a serem examinados. Tambm pode servir como instrumento para tomar decises estratgicas referentes orientao da auditoria. O planejamento pode ser realizado atravs das seguintes etapas: determinar as reas potenciais de auditoria, estabelecer os critrios de seleo e identificar as principais fontes de informao para as auditorias potenciais. Antes de iniciar a anlise principal da auditoria operacional, importante definir os objetivos do trabalho, o escopo e a metodologia para alcanar os objetivos. Isso se alcana mediante a anlise preliminar. O objetivo da anlise preliminar consiste em estabelecer se existem as condies requeridas para a anlise principal e, no caso de existirem, apresentar uma proposta de auditoria junto com um plano de trabalho. No planejamento das auditorias operacionais, os auditores devero cumprir o seguinte: Levar em considerao a importncia e as necessidades dos usurios potenciais do relatrio de auditoria e de outras partes interessadas. Compreender a entidade pblica que vai ser auditada e os problemas que vo ser investigados, includa uma compreenso do contexto das atividades em questo. Identificar os resultados significativos das auditorias anteriores e demais investigaes e relatrios que poderiam afetar os objetivos da auditoria (includos os estudos em curso). Levar em considerao os objetivos polticos, assim como os contextos legal e regulamentar. Definir os temas e os problemas que vo ser examinados, a entidade que vai ser auditada e os objetivos da auditoria, ou seja, o efeito previsto da auditoria.
67

 Definir as questes bsicas da auditoria assim como as questes mais especficas que vo ser respondidas ou a hiptese que ser testada. Estabelecer os critrios de auditoria. Os critrios de auditoria representam as normas obrigatrias em relao s quais se julga a evidncia de auditoria*. Os critrios variaro segundo o tema e os objetivos especficos da auditoria, a legislao que reja o programa ou a entidade auditada, os objetivos estabelecidos e as condies especficas que a EFS considere pertinentes e importantes nesse caso. Determinar a evidncia que responder questo da auditoria: dever ser avaliada a pertinncia, a confiabilidade e o carter suficiente dos dados disponveis nas entidades auditadas. Dever ser testada a possibilidade de coletar as evidncias (os dados) requeridas. Identificar as fontes potenciais de informao que devero ser utilizadas na auditoria para verificar hipteses, obter um maior conhecimento acerca do objeto de auditoria, ou alcanar respostas s questes da auditoria, isto , informao que possa ser empregada como evidncia. Levar em considerao, caso necessrio, a ajuda procedente de especialistas (consultores, outros auditores) e como garantir a qualidade da auditoria. importante avaliar o conhecimento e as competncias profissionais requeridos para a equipe de fiscalizao para realizar a auditoria. Alocar o pessoal e demais recursos suficientes para realizar a auditoria e elaborar um plano por escrito. Escolher uma equipe de auditoria adequada. Definir um oramento correspondente aos recursos necessrios para pr em prtica o exame e o cronograma. Levar em considerao os possveis impactos e concluses do exame. O resultado almejado pela auditoria operacional deve ser avaliado em termos de utilidade e viabilidade. O auditor deve levar em conta as opinies e os interesses dos stakeholders.

* (N. do T.) Fato constatado pelo auditor que pode estar em conformidade ou no com o critrio de auditoria.

68

Captulo 4
Normas e orientaes prticas: realizao da auditoria operacional 4.1 O que caracteriza o processo da anlise principal? O propsito da anlise principal* executar o programa de trabalho, realizar a auditoria e apresentar um relatrio de auditoria de alta qualidade.47 Uma auditoria de gesto no consiste em uma srie de medies, operaes ou subprocessos claramente definidos que se realizam separadamente e de forma consecutiva. Na prtica, os processos evoluem gradualmente atravs de sua interao recproca, e se concluem de modo simultneo, fazendo com que os mtodos sejam desenvolvidos em profundidade e adquiram complexidade cada vez maior (NA 2.2.39, 3.0.1 e 4.0.21). O trabalho de realizar uma auditoria pode ser considerado um processo analtico e, ao mesmo tempo, de comunicao. No processo analtico se coletam, interpretam e analisam dados. O processo de comunicao comea quando se apresenta a auditoria pela primeira vez ante a entidade auditada, e continua medida que avana a auditoria, ao avaliar os distintos resultados e temas, e prossegue at o momento em que se finaliza o relatrio.48 O ideal consiste em um dilogo aberto e construtivo, porm uma auditoria pode provocar reaes negativas. O auditor pode enfrentar situaes diversas, desde a abertura e a vontade de cooperar at uma atitude de evaso e omisso. Por conseguinte, importante que os auditores informem os objetivos e mtodos de auditoria a entidade sob exame. Isso no significa que o auditado dite as condies do processo de fiscalizao ou o controle de algum outro modo. Pelo contrrio, significa estabelecer um processo construtivo de interao. Como regra geral, a

* (N. do T.) oportuno relembrar que neste processo esto englobadas as fases de execuo e de relatrio.
47

O estudo principal ser realizado, cingindo-se s melhores prticas referentes s tcnicas e metodologias (NA 2.2.36-37, 1.0.14 e 1.0.46). 48 Para maiores informaes, ver, por exemplo, Performance Auditing at the Swedish National Audit Bureau, RRV (Sucia), 1994.

69

ajuda de pessoas que trabalhem no organismo auditado essencial para que a auditoria seja eficaz. Um dilogo ativo com a entidade auditada, com os especialistas e demais envolvidos durante a auditoria, faz com que seja mais fcil, por exemplo, a realizao de continuadas comprovaes dos resultados preliminares (NA 2.2.25-26). Tambm importante realizar a auditoria com honradez. Deve ser cumprido o plano de trabalho (recursos, tempo e qualidade) e a auditoria deve ser realizada em conformidade com as decises e as normas pertinentes (NA 2.2.39 e 3.0.2).
O propsito da anlise principal implementar o plano de trabalho, realizar a auditoria e apresentar um relatrio de auditoria. As auditorias operacionais devem ser realizadas com o emprego das melhores prticas. O trabalho de realizao de uma auditoria pode ser considerado como um processo analtico e comunicativo ao mesmo tempo. O ideal consiste em um dilogo aberto e construtivo, porm a honradez tambm importante. Deve cingir-se ao plano de trabalho e devem ser cumpridas as normas pertinentes.

4.2 O que deve ser levado em considerao no processo de coleta de dados? A qualidade da documentao na coleta de dados decisiva, porque a auditoria de gesto est sujeita a julgamento. As Normas de Auditoria (NA) declaram que Para fundamentar as opinies e as concluses do auditor relativas organizao, ao programa, atividade ou funo auditada, devem-se oferecer evidncias adequadas, relevantes e razoveis (NA 3.5.1). Embora nas auditorias contbeis a evidncia tenda a ser conclusiva (sim/no ou correto/equivocado), raramente ocorre o mesmo nas auditorias operacionais. O mais comum que a evidncia na auditoria de gesto tenha carter convincente (aponta para a concluso, segundo a qual ).49 Os auditores devem ser criativos, flexveis e cuidadosos na busca de evidncias. Ao trabalhar em campos onde a evidncia obtida seja convincente e no conclusiva, s vezes til debater previamente com a entidade auditada a natureza da evidncia que ser obtida e a forma como o

49

Para maiores informaes, ver Government Auditing Standards, GAO (E.U.A.), 2002.

70

auditor a analisar e interpretar. Esse enfoque reduz o risco de discordncia, e pode acelerar o processo. Tambm importante que os auditores busquem informao de diferentes fontes, j que as organizaes, as pessoas de uma organizao, os especialistas e as partes interessadas tm diferentes perspectivas e argumentos para defender (NA 2.2.39, 3.4.5 e 4.0.24). Os dados, a informao e os conhecimentos, em sentido amplo, so conceitos semelhantes que esto conectados entre si. Os dados constituem a ferramenta primria. Uma vez compilados, transformam-se em informao. Essa, ao ser analisada e compreendida, converte-se em conhecimento. Durante uma auditoria podem ser coletados dados tanto quantitativos como qualitativos com diferentes propsitos, como parte do processo de aprendizagem ou devido necessidade de descrever e analisar um produto ou um problema.50 Com base na experincia geral, importante distinguir entre os seguintes componentes dentro do processo de coleta de informao: questes formuladas a que o estudo dever responder; esboo da anlise, quer dizer, o tipo de estudo necessrio para responder s perguntas (gesto do tempo, custo-benefcio, estudos de alcance de objetivos, etc.); programas de auditorias, isto , o tipo de investigao necessria para a coleta de dados (por exemplo, amostragem, estudos de caso, anlises secundrias, investigaes, anlises antes e depois, avaliaes comparveis, etc.); tcnicas de coleta de dados necessrias para responder s perguntas estabelecidas (exame documental, reunies, questionrios, entrevistas, etc.); anlises quantitativas e qualitativas aplicadas aos dados coletados (para uma anlise mais profunda da informao coletada). A coleta de dados realizada de uma s vez ou atravs de medies continuadas (desenho de srie temporal, anlise longitudinal). A informao obtida tomando como base as evidncias fsicas, os documentos (includas as declaraes por escrito), os testemunhos orais (entrevistas), ou por qualquer outro meio, em funo dos objetivos da

50

Ver Handbook in Performance Auditing, RRV (Sucia), 1998.

71

auditoria. Com freqncia, ser necessrio coletar dados tanto quantitativos como qualitativos. Os tipos de dados que vo ser obtidos devem ser explicados e justificados no que se refere sua suficincia, validade, confiabilidade, pertinncia e razoabilidade. A auditoria operacional elabora dados primrios (seu prprio material original) com a ajuda de questionrios, surveys e observaes direta. Entretanto, tambm se emprega com freqncia um grande volume de dados secundrios (material produzido por outros). Deve-se coletar a melhor informao disponvel (dentro dos limites razoveis). Os auditores, no entanto, no devem se mostrar rgidos em seus requisitos de exatido. Poderia resultar dispendioso e desnecessrio e, em outras palavras, freqentemente suficiente e apropriada a segunda melhor soluo (NA 3.4.5 e 3.5.1-4).51 A adoo, por parte dos auditores, de um enfoque crtico e a manuteno de uma distncia objetiva sobre a informao oferecida possuem uma importncia decisiva no transcurso de uma auditoria. Ao mesmo tempo, os auditores tm que ser receptivos s opinies e aos argumentos. Eles devem ser capazes de ver as coisas a partir de perspectivas distintas, e manter uma atitude aberta e objetiva a respeito dos diferentes argumentos e opinies. Se no so receptivos, os auditores podem deixar escapar os melhores argumentos. Isso tambm reala a importncia de realizar avaliaes racionais, ou seja, o fato de que os auditores eliminem suas prprias preferncias pessoais e as dos demais. Portanto, importante que o envolvimento do auditor se expresse mediante um processo de reflexo e de anlise objetivo, e no no convencimento de que determinados pontos de vista so os corretos (NA 2.2.40, 3.5.1 e 4.0.24). Quando os dados processados em sistemas informatizados so importantes para os resultados da auditoria, conveniente tomar precaues adicionais com o propsito de obter evidncias suficientes, apropriadas e pertinentes de que os dados so vlidos e confiveis. Ademais, quando o objetivo primrio da auditoria a confiabilidade de um sistema de informao, os auditores tm que efetuar uma reviso dos controles gerais e aplicativos do sistema. De forma complementar, durante a anlise principal, os auditores podem obter informao confidencial (por exemplo, opinies sobre a gesto ou sobre poltica). Em conseqncia, devem garantir o anonimato e no divulgar as opinies das pessoas (NA 2.2.37, 2.2.46 e 3.3.4).

51

Como se costuma dizer, melhor ser vagamente correto que estar equivocado com exatido.

72

 necessrio documentar, arquivar e efetuar referncias cruzadas sobre os resultados do trabalho de campo e das anlises, junto com a documentao de planejamento da auditoria, para que os responsveis pela auditoria possam revisar o trabalho efetuado e validar as concluses alcanadas. preciso conservar um registro das atividades realizadas em papis de trabalho. Devem ser obtidas evidncias suficientes, apropriadas e relevantes como fundamentao dos resultados e concluses (NA 3.2.1 e 3.5.5-7).
A qualidade na coleta de dados e sua documentao so decisivas. Os auditores tm que ser criativos, flexveis e cuidadosos na busca de evidncias suficientes. importante manter uma distncia objetiva com relao informao oferecida, porm os auditores tambm tm que ser receptivos s opinies e aos argumentos e buscar informao procedente de diferentes fontes e interessados.

4.3 O que caracteriza a evidncia da auditoria e os resultados da auditoria? As evidncias podem ser fsicas, documentais, testemunhais ou analticas. Uma inspeo ou observao direta das pessoas, dos bens ou dos acontecimentos oferecem evidncias fsicas. A evidncia documental consiste em informao como, por exemplo, cartas, contratos, registros contbeis, faturas e informao da direo sobre os resultados. A evidncia testemunhal obtida mediante entrevistas ou questionrios. A evidncia analtica envolve os aspectos informacionais, as comparaes, a diviso da informao em seus componentes e os argumentos racionais. As evidncias tm que ser suficientes, consistentes e relevantes. A evidncia suficiente se est em condies de servir de suporte para os resultados da auditoria. A evidncia utilizada como suporte de um resultado pertinente se possui relao lgica e detectvel com esse resultado. A evidncia consistente se coerente com os fatos (NA 3.4.5 e 3.5.1). Os resultados da auditoria so as evidncias especficas coletadas pelo auditor para cumprir os objetivos do trabalho, quer dizer, para responder s questes de auditoria, verificar as hipteses formuladas, etc. As concluses so afirmaes que o auditor deduz de tais resultados e as recomendaes so tipos de ao sugeridos pelo auditor com relao aos objetivos da auditoria. Os resultados da auditoria contm os seguintes elementos: os critrios (o que deveria ser), a condio efetiva (o que ), e o efeito (quais so as conseqncias, considerada assim a
73

influncia futura lgica e razovel), mais a causa (por que se produz um desvio em relao s normas ou aos critrios), quando se encontram problemas.52 Entretanto, nem sempre obrigatrio que os quatro elementos estejam presentes em uma auditoria; por exemplo, o elemento critrios nem sempre intervm no enfoque orientado a problemas.53 O processo de analisar evidncias, desenvolver resultados e apresentar recomendaes para solucionar as deficincias nas reas examinadas resumido no seguinte diagrama das diretrizes da ASOSAI:
Critrios de auditoria (o que deveria ser) Evidncias de auditoria (o que ) Resultado da auditoria (o que , comparado com o que deveria ser) Determinar as causas e os efeitos do resultado Desenvolver as concluses e recomendaes da auditoria Estimar os provveis efeitos das recomendaes, sempre que seja possvel

Depois de haver identificado um resultado de auditoria, realizam-se duas formas complementares de avaliao: a avaliao da importncia dos resultados e a determinao de suas causas (do incremento de desempenho ou da falta de desempenho, quando este inferior ao previsto). Os auditores tambm podem avaliar as conseqncias do resultado. Em muitos casos, elas podem ser quantificadas. Por exemplo, possvel estimar o custo dos processos ou os inputs caros, ou as instalaes no produtivas. Ademais, os efeitos dos processos ineficientes, por exemplo, os recursos sem utilizao ou uma gesto deficiente, traduzem-se em atrasos ou no desperdcio de recursos materiais. Os efeitos qualitativos que se evidenciam na inexistncia de controles, nas decises errneas ou na falta de preocupao com o servio tambm podem ser importantes. A conseqncia deve demonstrar a necessidade de uma ao corretiva. Tal conseqncia tambm pode haver ocorrido no passado, estar ocorrendo agora ou ocorrer no futuro. Para que uma constatao auditorial tenha validade necessrio certificar-se de que se o efeito ocorreu no passado a situao j havia sido solucionada, com o objetivo de evitar que

52 53

Para maior informao, ver Government Auditing Standards, GAO (E.U.A.), 2002. Ver a seo 1.8.

74

reaparea. Se os efeitos no so identificveis com rapidez, possvel que o auditor de gesto necessite comprovar seus efeitos potenciais.54
As evidncias podem ser classificadas em fsicas, documentais, testemunhais ou analticas. Devem ser suficientes, consistentes e relevantes. Os resultados da auditoria oferecem resposta s questes da fiscalizao. As concluses so afirmaes deduzidas dos resultados. A comparao entre as observaes (condies) e os critrios serve para identificar os seus resultados. Uma vez identificado um resultado da auditoria, realizam-se duas formas complementares de avaliao: a avaliao da importncia dos resultados e a determinao de suas causas.

4.4 Como deve ser enfrentado um ambiente em mudana e em conflito? Uma auditoria operacional pode durar muito tempo e podem surgir modificaes nos conhecimentos e na realidade posteriormente ao ponto de partida originrio. Constantemente, em uma auditoria operacional difcil, por um lado, escolher entre as instrues que constam no plano de trabalho e na descrio da estrutura de auditoria e, por outro lado, o interesse por estudar questes que passam a ser prioridade em um momento posterior. Para no ficar preso em detalhes e em uma enorme quantidade de dados, antes da auditoria e durante a sua realizao, preciso efetuar avaliaes detalhadas da necessidade de informao acerca dos problemas que vo ser tratados. Basear-se na experincia facilita a eliminao de detalhes suprfluos e de enfoques irrelevantes e a classificao ou estruturao da informao coletada. Uma vez mais, entretanto, os auditores no devem ser rgidos e devem evitar toda coleta de dados no planejada. A NA 2.2.26 estipula: Ao contrrio da auditoria do setor privado, onde se estipula o trabalho do auditor em um contrato de prestao de servios, a entidade auditada no mantm uma relao de cliente para com a EFS. Essa ltima deve ser livre e imparcial no desempenho de sua competncia legal e levar em considerao as opinies da administrao ao formular seus pareceres, concluses e recomendaes de auditoria, sem assumir, todavia, qualquer responsabilidade perante a administrao da entidade auditada quanto ao escopo ou natureza de sua auditoria. No entanto,

54

Para maior informao, ver Performance Auditing Guidelines, ASOSAI, 2000.

75

os auditores devem criar boas relaes com a entidade auditada e com outras partes interessadas. Para evitar conflitos desnecessrios, os auditores devem escutar e aprender, e tratar de entender a natureza especfica da atividade submetida auditoria. Para isso, devero considerar uma atividade a partir de diferentes perspectivas e adotar atitude aberta e objetiva ante as opinies e restries expostas. Na maioria das vezes, as reunies e os debates peridicos com a entidade auditada constituem uma parte valiosa da auditoria. Se aparecer um conflito, o auditor deve se esforar para esclarecer as opinies discrepantes, com o propsito de configurar uma imagem definitiva to verdadeira e justa quanto seja possvel. Os auditores devem estabelecer uma atitude de cooperao e interaes abertas, assim como um clima de confiana com a entidade auditada. Todavia, a prpria natureza da auditoria e a importncia de sua independncia significam que necessrio fixar um limite claro para evitar que o auditor operacional se envolva no trabalho prtico de implantar mudanas na entidade auditada (NA 2.2.25, 2.2.29, 4.0.24). Existem limites para o grau que uma auditoria de gesto pode alcanar com o objetivo de corroborar declaraes e verificar resultados. Em geral, no possvel evitar crticas, nem mesmo quando so empregados os melhores mtodos cientficos. Por conseguinte, as vantagens de verificar uma questo devero ser consideradas em relao s limitaes temporais e ao consumo de recursos. Ao mesmo tempo, os dados bsicos tm que ser de boa qualidade (NA 3.1.1, 3.5.1, 4.0.23 e 2.1.26).
Um programa de trabalho bem projetado ajuda os auditores a no ficarem presos a detalhes ou a uma quantidade assustadora de dados. Para evitar conflitos desnecessrios, os auditores devem compreender a natureza especfica da atividade auditada. Quando existirem conflitos, o auditor deve se esforar para que sejam conhecidas as opinies discrepantes, com o propsito de configurar uma imagem definitiva to verdadeira e correta quanto seja possvel.

4.5 O que importante quando se analisam os dados e se formulam concluses? A maioria das auditorias envolve algum tipo de anlise para entender ou explicar o que foi observado. Como foi mencionado anteriormente, utiliza-se uma ampla gama de modelos ou mtodos de anlises (NA 4.0.21).
76

Isso pode assumir a forma de anlises estatsticas mais detalhadas, debates sobre os resultados dentro da equipe de auditoria, estudos da documentao e dos papis de trabalho, etc. s vezes as anlises podem exigir comparaes entre os resultados, como, por exemplo: entre questes, que funcionam bem e outras que no funcionam to bem; entre uma ou vrias questes, numa viso geral; e entre a rea a ser auditada e uma rea semelhante auditada em outro pas. A fase final da anlise dos dados consiste em combinar resultados de diferentes tipos de fonte. No existe um mtodo geral para realizar tal ao. Entretanto, de importncia bsica que o auditor trabalhe de maneira sistemtica e cuidadosa na interpretao dos dados e argumentos levantados. Essa fase implica comparar os argumentos e as afirmaes entre si, consultar especialistas e efetuar comparaes e anlises. medida que o trabalho prossegue, vai-se configurando gradualmente um projeto de relatrio.55 As notas e observaes so ordenadas de um modo estruturado. Ao avanar os debates internos e externos, so redigidos, avaliados e reescritos os textos; so comprovados os dados e so debatidas as concluses. necessrio fazer intercmbio de informaes, tomando como base os documentos debatidos para discutir os principais assuntos que surgiram no curso da auditoria. Essas reunies servem para confirmar fatos com as entidades auditadas e promover o desenvolvimento de resultados e recomendaes da auditoria. Se possvel, deve-se abarcar a totalidade dos principais argumentos que possam ser contemplados, com o objetivo de que, na fase final da auditoria, no se apresentem argumentos ou fatos completamente novos e at mesmo decisivos. Em uma auditoria de gesto executada adequadamente, os argumentos formulados so ponderados em relao aos melhores argumentos contrrios e as diversas opinies contrastantes
55

Se as anlises se baseiam em conhecimentos cientficos e em teorias consolidadas, provavelmente resultaro mais slidas e interessantes. Muitas vezes tambm mais fcil interpretar as observaes luz de uma teoria adequada. (No existe nada mais prtico que uma boa teoria.)

77

so comparadas entre si. Nesse processo podem ajudar colegas experientes, assessores externos contratados com essa finalidade, etc. As concluses devero ser baseadas nos objetivos, na racionalidade, nas normas e critrios especficos do trabalho (NA 2.2.36, 2.2.39-40, 3.2.4, 3.5.2, 3.5.7 e 4.0.24). As recomendaes tm que ser argumentadas de um modo lgico, racional e baseado em conhecimento. A causa de um resultado constitui a base da recomendao. A causa pode ser encontrada fora do controle da entidade auditada. Nesse caso, a recomendao deveria ser dirigida para o exterior da entidade auditada. As recomendaes requerem uma cuidadosa reviso para garantir que so viveis, valiosas e fazem referncia aos objetivos da auditoria. (NA 1.05 e 4.0.23-27). Antes de publicar um relatrio de auditoria operacional, deve ser concedida sempre (s) entidade(s) envolvida(s) a oportunidade de examinar o contedo ftico do relatrio. O projeto de relatrio d entidade auditada a primeira oportunidade de ver por escrito o contexto completo de resultados e concluses da auditoria. Quando as respostas oferecem novas informaes, o auditor dever avali-las e estar disposto a modificar o projeto de relatrio, sempre que forem cumpridas as normas habituais correspondentes s evidncias. Na medida do possvel, as respostas orais e escritas devero estar documentadas. preciso analisar todas as discordncias (NA 3.2.4 e 4.0.23-24).
A fase final da anlise dos dados consiste em combinar os resultados procedentes de distintos tipos de fontes. No existe um mtodo geral para realiz-la. Em uma auditoria operacional adequadamente realizada, os argumentos apresentados so comparados com os melhores argumentos em contrrio, e as diversas opinies so ponderadas entre si. As concluses devem ser baseadas nos objetivos, na racionalidade, e em normas e critrios especficos do projeto. Antes de publicar um relatrio de auditoria operacional, deve ser concedida (s) entidade(s) auditadas(s) a oportunidade de examinar seu contedo ftico. As recomendaes, em cada caso, tm que ser argumentadas de um modo lgico, racional e baseado em conhecimento. Devem tratar de solucionar as causas que esto na origem dos problemas.

4.6 Resumo Em poucas palavras, quando se realiza uma auditoria, deve-se levar em considerao o seguinte:
78

 Executar o plano de trabalho com honradez e com zelo, pontualmente, em conformidade com as normas internacionais e nacionais de auditoria de gesto. O planejamento deve continuar ao longo de toda a auditoria. As atividades devero ser revisadas e modificadas medida que avance o processo de auditoria. O projeto deve ser apresentado adequadamente entidade auditada. Deve ser mantido um dilogo ativo, aberto e construtivo com essa e com as outras partes interessadas durante a auditoria. A entidade auditada (ou os principais organismos do Poder Executivo que intervenham na entidade que vai ser examinada) dever(o) participar do processo. Executar com zelo o propsito da auditoria. A qualidade na coleta de dados, a anlise e a documentao so fatores decisivos. Coletar a melhor informao possvel (dentro do razovel) ou a mais adequada tanto fatos como opinies, argumentos e reflexes procedente de distintas fontes, e buscar as informaes e os conhecimentos tcnicos requeridos. preciso que o trabalho se caracterize pela objetividade, imparcialidade e confidencialidade. Avaliar de modo crtico a informao obtida e os argumentos oferecidos. Devem-se coletar todos os fatos e argumentos pertinentes. Proteger a integridade das pessoas que forneam informaes, garantir que os papis de trabalho no sejam divulgados de modo incorreto, bem como todos os demais fatos e cingir-se a normas ticas elevadas. Caso sejam efetuadas recomendaes, estas devem se propor a remediar as causas que esto na origem dos problemas. Devem-se documentar, arquivar e efetuar referncias cruzadas em relao aos resultados do trabalho de campo. As evidncias tm que ser suficientes, competentes e relevantes. Realizar anlises quantitativas e qualitativas adequadas. Discutir as anlises com os auditores de nvel hierrquico superior, os interessados e os especialistas na rea. Analisar e avaliar as observaes sobre a base das intenes polticas, as consideraes racionais e os critrios especficos da auditoria. Os resultados devem constituir a base das recomendaes. Garantir que a base ftica das descries, das anlises e recomendaes seja exata, esteja adequadamente fundamentada, seja equilibrada e comunicada corretamente entidade auditada. O auditor dever comprovar que as recomendaes, em cada caso, fazem referncia aos objetivos da auditoria.

79

Captulo 5
Normas para o relatrio e orientaes para as entidades auditadas: apresentao dos resultados da auditoria operacional 5.1 O que significa a necessidade de se concentrar no relatrio final? Em conformidade com as Normas de Auditoria, os auditores devem preparar relatrios de auditoria por escrito (NA 4.0.7). Os relatrios escritos devem comunicar os resultados das auditorias todos os nveis da Administrao, fazer com que os resultados suscitem poucas interpretaes errneas e estejam disponveis para o controle social, facilitando o acompanhamento que determine se so efetuadas as aes corretivas. O relatrio o produto sobre o qual a Administrao, o Poder Legislativo e os cidados julgam a funo da EFS de realizar a auditoria operacional. A maioria das EFSs com larga experincia em auditoria operacional publica relatrios individuais, quer dizer, cada auditoria operacional publicada separadamente. Outras EFSs que no esto obrigadas a executar esses projetos de auditoria ou que no esto autorizadas a publicar a totalidade dos resultados de suas auditorias operacionais, podem publicar suas observaes e concluses de forma resumida em seus relatrios anuais. As seguintes diretrizes aplicam-se principalmente s EFSs que carecem de restries em seus relatrios. Devido ao volume de informao requerida durante uma auditoria, o processo de gerar informao pode ser facilitado mediante o uso de uma forma continuada de redao de relatrios. Esse processo pode comear no princpio da auditoria, mediante um esquema que origine diversos documentos de debate, consolidados posteriormente no projeto de relatrio, dando lugar, mais adiante, ao relatrio de auditoria definitivo (NA 3.2.4).
Os auditores devem preparar relatrios de auditoria por escrito. Dado o volume de informao requerida durante uma auditoria, o processo de gerar informao pode ser facilitado pelo uso de uma forma continuada de redao de relatrios.

81

5.2 O que se requer para que o relatrio seja confivel? O relatrio de auditoria deve ser confivel. Nele devem figurar os objetivos e o escopo da auditoria, assim como a metodologia e as fontes utilizadas, os resultados da auditoria, as concluses e as recomendaes.56 Deve-se fazer constar quaisquer limitaes no escopo do trabalho e os seus motivos. O leitor dever compreender, com facilidade, os objetivos da auditoria e interpretar adequadamente seus resultados. O relatrio dever ser completo, exato, objetivo, convincente e to claro e conciso quanto a matria permita (NA 4.0.8 e 4.0.24). A integridade exige, por exemplo, que o relatrio contenha todos os argumentos e informaes necessrios para cumprir os objetivos da auditoria, promover compreenso adequada e correta das matrias e condies que so informadas e cumprir os requisitos de contedo do relatrio.57 fundamental que no relatrio final de auditoria constem os pontos de partida da fiscalizao e os mtodos empregados, assim como as fontes importantes de informao e as concluses. preciso que a relao entre os objetivos da auditoria, os critrios, os resultados e as concluses seja verificvel, completa e expressa com clareza. Se so efetuadas recomendaes, necessrio que exista um vnculo claro entre a anlise ou as concluses e as recomendaes. Os auditores, dentro dos objetivos da auditoria, devero comunicar todos os casos significativos de transgresso e de abusos de poder que tenham sido encontrados durante a auditoria ou em relao a ela (NA 4.0.87-88 e 4.0.22). A exatido requer que as evidncias apresentadas sejam verdadeiras e completas e que todos os resultados sejam expostos corretamente. A necessidade de exatido baseia-se na necessidade de garantir aos leitores que o que se informa tem credibilidade e confiabilidade. Uma nica impreciso no relatrio pode suscitar dvidas sobre a validade de todo o relatrio, e desviar a ateno em relao sua essncia. Ademais, os relatrios imprecisos comprometem a credibilidade da EFS. Em outras palavras, um nvel elevado de preciso exige um sistema eficaz de

56

O relatrio, por exemplo, poderia incluir comparaes com os critrios de auditoria e conter uma anlise das diferenas existentes entre o observado e os critrios de auditoria, e fazer constar as causas e as conseqncias das diferenas. 57 A legislao ou os regulamentos talvez probam a divulgao geral de determinadas informaes. Essas poderiam ser facilitadas, somente na medida em que algum esteja obrigado a conhec-las, unicamente aquelas pessoas autorizadas pela lei a receber essa comunicao. Talvez seja possvel incluir material confidencial ou reservado em relatrio parte, no-publicado (NA 4.0.8).

82

monitoramento de qualidade. As evidncias apresentadas devem demonstrar a correo e a justificativa dos assuntos constantes no relatrio. Uma imagem correta implica descrever, com exatido, o alcance e a metodologia da auditoria e expor os resultados e concluses de um modo coerente com o escopo do trabalho de auditoria (NA 4.0.23-24). A objetividade requer, como foi dito anteriormente, que a exposio de todo o relatrio tenha um contedo e uma intensidade equilibrados. A credibilidade de um relatrio incrementada significativamente quando expe as evidncias com imparcialidade. O relatrio tem que ser justo e no provocar confuses, e deve expor a perspectiva dos resultados da auditoria. Isso implica apresentar tais resultados com imparcialidade e evitar a tendncia a exagerar ou a enfatizar em excesso as deficincias de desempenho. As interpretaes devero basear-se na observao em profundidade e na compreenso dos fatos e das situaes. preciso evitar as exposies unilaterais. Ainda que a prpria natureza da auditoria se concentre nas deficincias, convm que nos relatrios de auditoria operacional se faam constar os resultados e avaliaes de carter positivo, e no somente os negativos (NA 4.0.7 e 4.0.23). Ser convincente exige, em sentido amplo, que os resultados alcanados respondam aos objetivos da auditoria, sejam apresentados de modo persuasivo e as concluses e recomendaes sejam deduzidas lgica ou analiticamente dos fatos e argumentos expostos. Os fatos devem ser apresentados separados das opinies. A linguagem empregada no deve ser tendenciosa nem sugestiva. A informao apresentada dever bastar para convencer os leitores da validade dos resultados, da justificativa das concluses e das vantagens de se colocar em prtica as recomendaes. Devem estar representados diferentes argumentos e opinies (NA 4.0.7 e 4.0.24). A clareza requer que o relatrio seja fcil de ler e de entender (to claro quanto o tema o permita). Deve definir, com clareza, os termos tcnicos e as abreviaturas. A organizao lgica do material e a exatido ao expor os fatos e extrair concluses so essenciais para a clareza e a compreenso. Embora os resultados sejam apresentados com clareza, os auditores devem ter presente que um dos objetivos mostrarem-se convincentes, e que o melhor mtodo para alcanar isso consiste em evitar uma linguagem que gere defesa e oposio (NA 4.0.7-8).

83

Ser conciso exige que o relatrio no seja mais extenso que o necessrio para transmitir e comprovar a mensagem. Ainda que possa ser dedicado um espao para um juzo amplo no contedo dos relatrios, provvel que os relatrios completos, porm concisos, obtenham melhores resultados. Deve-se registrar, todavia, que os estudos avanados exigem, na maioria das vezes, relatrios mais extensos. Tambm preciso ter presente que os relatrios de auditoria operacional no se redigem unicamente para quem possua conhecimentos especiais; so escritos tambm para aqueles que necessitam de mais informao para compreender os temas. Um relatrio mais amplo poderia proporcionar ao leitor uma compreenso mais completa do fundamento em que se baseiam as concluses extradas e, desse modo, agregar valor e credibilidade ao relatrio de auditoria (NA 4.0.4).
O relatrio de auditoria deve ser confivel. Deve informar e, em cada caso, estabelecer recomendaes lgicas e claras que estejam vinculadas aos objetivos e resultados da auditoria. preciso que os auditores informem sobre os objetivos e o escopo da auditoria, assim como sobre os seus resultados, concluses e recomendaes. Os objetivos da auditoria devem ser fceis de compreender e seus resultados devem ser interpretados com facilidade. O relatrio deve ser completo, exato, objetivo, convincente e to claro quanto seja possvel.

5.3 Quais so as caractersticas de um relatrio de auditoria operacional adequado e til? Os bons relatrios de auditoria operacional devem ser valiosos para os interessados em questo e cumprir os objetivos fixados. Devem oferecer informao to acessvel, concisa e atualizada, para que a Administrao, o Parlamento, a entidade auditada e outros interessados possam empregla para melhorar a economia, a eficincia e a eficcia do setor pblico, isto , o relatrio deve contribuir para o melhor conhecimento e para as melhorias apropriadas.58 Os relatrios adequados de auditoria operacional devem ser baseados nos interesses do leitor e estar bem estruturados e a linguagem no deve ser ambgua. Devem apresentar os resultados de modo objetivo e equilibrado (NA 4.0.7). Isso exige que:

58

A forma e o contedo de todos os relatrios de auditoria se fundamentam nos seguintes princpios gerais: um ttulo adequado, uma apresentao clara dos objetivos e do escopo, da inteireza, do destinatrio e da identificao do material em questo e assinatura do pessoal competente (NA 4.0.7-8).

84

 os resultados e concluses sejam apresentados separadamente; os fatos sejam expostos e interpretados de forma neutra; os pontos de vista e as perspectivas diferentes estejam representados; todos os resultados, argumentos e evidncias pertinentes estejam includos; e os relatrios sejam construtivos e sejam expostas concluses positivas.59 Em um sentido mais amplo e de modo resumido a qualidade de uma auditoria operacional pode ser avaliada mediante critrios especficos, entre os quais se encontram os seguintes: Importncia, pertinncia e objetividade Os temas tratados devem ser importantes. A informao dada dever ser pertinente para o tema, para a questo auditada ou para o problema analisado. A objetividade pode ser definida como imparcialidade, equilbrio e neutralidade. Ao tomar decises sobre o alcance, as evidncias da auditoria, a importncia das observaes e as concluses, o auditor dever adotar um ponto de vista imparcial e uma atitude objetiva. O esboo da auditoria deve garantir que a seleo de fatos que so analisados e que so apresentados no relatrio seja equilibrada e desprovida de prejulgamentos. Os resultados tm que estar determinados pelas evidncias obtidas e estruturados em conformidade com as normas de auditoria pertinentes. No devem ser suprimidos fatos e o auditor no deve exagerar as deficincias de carter secundrio. Sempre devem buscar explicaes sobretudo com a entidade auditada e avali-las criticamente (NA 1.0.9, 2.2.40, 3.5.4, 4.0.7 e 4.0.24-26). Confiabilidade, validade e coerncia Os usurios devem poder acreditar na confiabilidade e na validade dos resultados que so informados. Os mtodos de coleta de dados devem ser vlidos e confiveis. O esboo da auditoria deve fazer com que as concluses surjam dos resultados e das anlises e se baseiem nos fatos constatados e em outras informaes procedentes de fontes diversas.
59

Essa poderia ser uma possvel estrutura dos relatrios sobre o desempenho: (1) sumrio executivo, (2) introduo e esboo da auditoria (includo o histrico, as razes do estudo, seus objetivos, alcance e mtodos), (3) descrio do assunto auditado, (4) resultados e anlises, (5) concluses e avaliaes, e (6) recomendaes e apndices.

85

preciso que todos os documentos do processo estejam adequadamente equilibrados em sua contextualizao e avaliao (NA 2.2.36, 2.2.39, 3.2.3, 3.4.5, 3.5.2, 4.0.8 e 4.0.22-25). Transparncia, utilidade e pontualidade No se deve obrigar uma EFS a reter resultados. Dentro de sua competncia legal, ela dever dispor da liberdade necessria para decidir o que se publica e de que forma. O relatrio deve proporcionar informao acessvel, concisa e atualizada, que a Administrao, o Parlamento e outros organismos governamentais podem utilizar para melhorar seu funcionamento, isto , a informao proporcionada deve ser valiosa. Deve responder s perguntas formuladas na auditoria. preciso destacar com clareza aqueles pontos sobre os quais a EFS prev empreender aes e quem se encarregar disso. A pontualidade exige que o relatrio seja publicado a tempo para que sua informao esteja disposio da direo, da Administrao, dos membros do Poder Legislativo e de outras partes interessadas, no momento oportuno (NA 2.2.10-11, 3.1.1, 4.0.4-5, 4.0.7-8 e 4.0.21-22).
Os relatrios adequados de auditoria operacional so valiosos para os interessados e cumprem os objetivos fixados. Contribuem para um melhor conhecimento e para realizar as melhorias necessrias. Levam em considerao o leitor e so bem estruturados, e sua linguagem no ambgua. Os resultados so apresentados de forma objetiva e equilibrada. So expostos separadamente os resultados e as concluses, e os fatos so apresentados e interpretados de forma neutra. Esto representados pontos de vista e perspectivas diferentes, so includos todos os resultados, argumentos e provas pertinentes. Os relatrios so construtivos: so apresentadas concluses positivas.

5.4 Como deve ser distribudo um relatrio de auditoria operacional? Relatrios completos e com ampla distribuio so a chave para a credibilidade da funo de auditoria. De acordo com seu papel institucional, cada EFS deve decidir qual a forma de servir melhor aos interesses dos cidados e aos da prpria EFS na distribuio dos relatrios de auditoria, tanto de maneira geral, como para cada um dos relatrios. Sendo possvel, todos os resultados relacionados auditoria devero tornar-se pblicos (mediante relatrios individuais de desempenho, ou no relatrio anual da EFS). conveniente que os relatrios sejam submetidos crtica e ao debate pblicos (NA 2.2.11).
86

O relatrio, sempre que for possvel, dever ser entregue entidade auditada, Administrao, aos representantes legislativos, aos meios de comunicao e a outros interessados. Os funcionrios que devem ser includos na distribuio so, por exemplo, os designados pela lei ou regulamentao como destinatrios de tais relatrios, os responsveis pela implementao dos resultados e das recomendaes, os pertencentes a outros nveis da Administrao que tenham prestado assistncia entidade auditada, e os legisladores (NA 4.0.8). A publicao dos relatrios de auditoria pode provocar mal-entendidos. Os meios de comunicao podem interpretar erroneamente e exagerar os resultados e, como conseqncia, frustrar o propsito da auditoria. Por conseguinte, e baseando-se na experincia, recomenda-se que seja entregue aos meios de comunicao uma informao adequada e equilibrada, que esteja respaldada em evidncias fticas, que assuma a forma de pronunciamento imprensa, por exemplo.
Relatrios completos e com ampla distribuio so decisivos para a credibilidade da funo auditorial. Sempre que for possvel, cada auditoria operacional dever ser publicada em um relatrio separadamente.

5.5 Para que servem os processos de acompanhamento? Um processo de acompanhamento facilitar a execuo eficaz das recomendaes dos relatrios e oferecer comentrios EFS, ao Poder Legislativo e Administrao sobre a eficcia da auditoria operacional. No monitoramento do relatrio, o auditor dever manter a objetividade e a independncia e, portanto, concentrar-se em determinar se esto corrigidos os pontos fracos identificados, e no no fato de que tenham sido implementadas ou no as recomendaes especficas.60 A prioridade das tarefas de acompanhamento deve ser levada em considerao no contexto da estratgia global de auditoria, tal como estabelecido no processo de planejamento estratgico (NA 4.0.26). O acompanhamento das recomendaes da EFS serve para quatro objetivos principais:

60

Deve ser reconhecida a dificuldade de se isolar o impacto de um relatrio de auditoria no contexto de outras alteraes importantes. O fator-chave deve ser o que foi efetivado das recomendaes de auditoria e muitas vezes isso pode ser o nico indicador suscetvel de medio do impacto.

87

 aumentar a eficcia dos relatrios de auditoria a razo primordial para fazer um acompanhamento dos relatrios de auditoria aumentar a probabilidade de que sejam implementadas as recomendaes; ajudar Administrao Pblica e ao Poder Legislativo o acompanhamento deve ser til para orientar as medidas do Poder Legislativo; avaliar da gesto da EFS a atividade de acompanhamento proporciona uma base para medir e avaliar o desempenho da EFS; e criar incentivos para a aprendizagem e o desenvolvimento as atividades de monitoramento podem contribuir para um melhor conhecimento e uma melhor prtica. Quando concluda uma auditoria operacional, existem diversas oportunidades para obter informao sobre a forma como foi recebida, por exemplo, observando as reaes das entidades auditadas, do Parlamento e dos meios de comunicao. Podem ser organizadas conferncias internas e externas para resumir a experincia e promover a aprendizagem. Tambm, podem ser teis as revises e avaliaes internas da auditoria. Ademais, pode-se pedir a crticos externos cientistas, especialistas e outros que examinem os relatrios de auditoria operacional ou expressem suas opinies sobre a qualidade do trabalho (NA 2.1.26-30). preciso registrar os resultados do acompanhamento das recomendaes da auditoria. Caso seja necessrio, devero ser informadas Administrao ou ao Poder Legislativo as deficincias e melhorias identificadas no monitoramento das auditorias.
Um processo de acompanhamento facilitar a execuo eficaz das recomendaes do relatrio e oferecer comentrios EFS. Existem diferentes formas de se obter tal informao: revises e avaliaes internas, conferncias e seminrios, auditorias especiais de monitoramento, etc.

5.6 Resumo De forma resumida, esto aqui alguns princpios importantes acerca do relatrio: Os resultados da auditoria devem ser documentados e a informao deve ser tempestiva.

88

 preciso que o relatrio de auditoria seja comunicado de forma adequada entidade auditada e oferea informaes, mensuraes e anlises bem fundamentadas e equilibradas, que sejam valiosas para quem toma decises e para outros interessados. O relatrio dever ser objetivo, estar bem redigido e bem estruturado, ser completo, confivel e conter concluses pertinentes e teis. O relatrio deve ser publicado e objeto de monitoramento, de maneira objetiva.

89

Referncias e Bibliografia

Organizao Internacional de Entidades Fiscalizadoras Superiores (INTOSAI) Declarao de Lima sobre as Linhas Bsicas da Fiscalizao. 1977. Revista Internacional de Auditoria Governamental. Comit de Normas de Auditoria Cdigo de tica e Normas de Auditoria. 2001. Subcomit para a Independncia das Entidades Fiscalizadoras Superiores (EFSs) Projeto sobre a independncia das EFSs, INTOSAI. 2001. Organizao de Entidades Fiscalizadoras Superiores da sia, ASOSAI Diretrizes sobre Auditoria Operacional (ASOSAI). 2000. Grupo de Trabalho sobre Avaliao de Programas Projeto de Relatrio Resumido. 1995. Grupo de Trabalho sobre Auditoria Ambiental Auditoria Ambiental na Europa 2000 resultados dos questionrios da EUROSAI e da INTOSAI. 2000. Diretrizes sobre a realizao de auditorias e atividades com uma perspectiva ambiental. 2001. Auditoria ambiental e fiscalizao de regularidade. 2002. Grupo de Trabalho sobre Auditoria TI Apresentao da auditoria operacional sobre o uso da informtica. 1997. Fiscalizao da direo do servio de TI. Parte I-III. 2001. Competncias das Entidades Fiscalizadoras Superiores. 2003. IntoIT- Revista de TI da INTOSAI (1-17).

* (N. do T.) As referncias e bibliografia esto apresentadas conforme o original.

91

Grupo de Trabalho sobre Privatizao Normas para um melhor exerccio da auditoria das privatizaes. 1998. Diretrizes para a melhor prtica na auditoria da regulao econmica. 2001. Diretrizes para a melhor prtica na auditoria de financiamentos pblicos e privados e concesses. 2001. Entidades Fiscalizadoras Superiores (EFSs) Escritrio Nacional de Auditoria da Austrlia The Performance Audit Policy Manual. 2001. Escritrio do Controlador e Auditor Geral de Bangladesh Performance Audit Manual.2000. Value-for-Money Audit in Bangladesh. Efforts and Challenges. 2002. Escritrio do Auditor Geral do Canad Auditing the Management of People. An approach to the Identification and selection of Audit Issues. 1991. Evidence-Gathering Techniques. 1994. Auditing Efficiency. 1995. Conducting Surveys. 1998. VFM Audit Manual. 2000. Escritrio Nacional de Auditoria da Dinamarca Planning and choice of methods for performance audit. 2001. Measuring results of performance audit. 2002. Escritrio Estatal de Auditoria da Estnia Measuring Performance Audit Effectiveness: The Case of Estonia. 2002. Escritrio do Auditor Geral da Guiana Developing Training Programs for the Introduction of VFM Audit in OAG/Guyana. 2000. Escritrio Estatal do Controlador de Israel Studies in State Audit, State Comptrollers Ofce.1995.

92

Tribunal de Contas dos Pases Baixos Manual on Performance Audits. 1996. Audit of Policy Results Manual. 1997. Escritrio do Auditor Geral da Noruega Guidelines for Performance Auditing. Preface. 1998. Comisso de Auditoria das Filipinas Development of a Self-Study Guide for Philippine VFM Auditing. 2001. Escritrio Nacional de Auditoria da Sucia System-Oriented Effectiveness Audit. 1985. Performance Auditing at the Swedish National Audit Bureau. 1993. Handbook in Performance Auditing. Theory and practice. 1999. Quality Control Model for Performance Audit. 2003. Escritrio Estatal de Auditoria da Tailndia Strategy to Improve Planning for Performance Audits. 2000. Escritrio Nacional de Auditoria do Reino Unido (NAO) Collecting, Analysis and Presenting Data. 1996. Picking the winners. A guide to vfm selection. 1997. Designing vfm studies: A guide. 1997. Benchmarking: How benchmarking can help in vfm examinations. 1997. Focus groups: How to apply the techniques to vfm work. 1997. Value-for-money: Handbook. 1997. Performance measurement: What to look for in vfm studies. 1998. Presenting data in reports a guide: The Public Face of the NAO. 1998. Getting beneath the surface: A Handbook in using qualitative evidence in value-for-money examinations. 1999. Taking a Survey. 1999. State Audit in the European Union. 2001. National Audit Office Sampling Guide. 2001. Writing smart recommendations. Are we being served? A value-for-money guide. Escritrio do Auditor Geral dos Estados Unidos (GAO) Causal Analysis : A Method to Identify and Test Cause Effect Relationships in Program Evaluation. 1982.

93

Content Analysis: A Methodology for Structuring and Analysing Written Material. 1982. Case Study Evaluation. GAO/PEMD-91-10.1.9. 1990. Prospective Evaluation Methods: The Prospective Evaluation Syntesis. 1990. Designing Evaluations. GAO/PEMD-10.1.4.1991. Using Structured Interviews Techniques. GAO/PEMD-10.1.5.1991. How to Get Action on Audit Recommendations. 1991. Quantitative Data Analysis. GAO/PEMD-10.1.11.1992. Using Statistical Sampling. GAO/PEMD-10.1.6. 1992 The Evaluation Synthesis.1992 Developing and Using Questionnaires.GAO/PEMD-10.1.7.1993. Best Practices Methodology. 1995. Program Evaluation: Studies Helped Agencies Measure or Explain Program Performance. 2000. Total Quality Management for SAIs. 2002 Managing for results: Using Human Capital Management to Drive Transformational Change. 2002 Government Auditing Standard. 2002. Escritrio do Controlador e Auditor Geral de Zimbabwe Value for money audit manual and the quality assurance system for value-for-money audits. 2001. Tribunal de Contas Europeu
Implementing guidelines for the INTOSAI Auditing Standards. 1997.

Bibliografia
Richard Boyle e Donald Lemaire. Building effective evaluation capacity : Lessons from practice. New Brunswick, N.J., Londres, Transaction, 1999. Brown. Auditing Performance in Government: Concepts and Cases. New Brunswick. New Transaction Books, 1982. Campbell, D.T. & Stanley, J.C. Experimental and Quasi-Experimental Designs for Research. Chicago, Rand McNally, 1966.

94

Coelli, Tom, D.S. Prasala Rao, George Batteses. An introduction to Efcincy Analisis. Kluwer Academic Publishers, 1998. Franklin J.E.& Trascher, J.H. An introduction to Program Evaluation. Nova York, Wiley & Sons, Inc., 1976. Greenbaum, T.L. The Handbook of Focus Group Research. Ed. rev. e amp. Lexington Books, Nova York, NY, 1993. May, Claire, Effective Writing. A Handbook for Accountants. 3. ed. Englewood Cliffs, Nova Jersey, Prentice Hall, 1992. Mohr, L.B. Impact Analysis for Program Evaluation. Newbury Park, Sage Publications, Inc., 1992. Naess, Arne. Communication and argument: Elements of Applied Semantics. Universitetsfrlaget, Tangen-Trykk, Drammen, 1981. Pollit Christoffer e Hilkha Summa. Performance or Compliance? Performance Audit and Public Management in Five Countries. Oxford University Press, 1999. Roosi, Peter H., Freeman, Howard E. e Lipsey, Mark W. Evaluation: A Systematic Approach. 6. ed. Sage Publications Inc., Thousands Oaks, Califrnia,1999. Vedung, Evert. Public policy and program evaluation . New Brunswick, N.J., Transaction Publishers, 1997. Weiss, Carol H. Evaluation: methods for studying programs and policies. Upper Saddled River, N.J., Prentice Hall, 1998. Yin, Robert K. Case Study Research: Design and Methods. 2. ed. Applied Social Research Methods. vol. 5. Sage Publications. Thousands Oaks, Londres, Nova Deli, 1994.

95

Apndices

97

Apndice 1
Metodologia da auditoria operacional Introduo a auditoria operacional e o processo de coleta de dados Os auditores operacionais podem tratar de grande quantidade de temas e perspectivas que abrangem a totalidade do setor pblico. Tambm podem utilizar e combinar uma grande diversidade de mtodos para coletar e processar informao, e em uma auditoria os dados podem ser coletados com diferentes propsitos. Em geral, a informao e os dados so coletados para possibilitar a compreenso e descrio do objeto de fiscalizao, avaliar e medir o resultado, identificar as deficincias, descrever e analisar as relaes de causa-efeito, comprovar hipteses e explicar o desempenho, e comprovar argumentos e propostas. A coleta de dados pode constituir tambm uma parte importante do processo de aprendizagem, mediante o qual o auditor trata de compreender a rea estudada e seus problemas. impossvel descrever todos os enfoques, modelos e mtodos empregados pelos auditores operacionais. Os enfoques variam e existem poucas restries. Na seqncia, ser apresentada uma breve descrio dos enfoques e mtodos mais utilizados. Alguns deles se propem a obter conhecimentos e uma melhor compreenso, enquanto que outros so utilizados para verificar e extrair dados bsicos.61 As auditorias operacionais envolvem diversos passos durante o processo de coleta de dados, por exemplo:

61

Aqui se pretende facilitar uma descrio geral dos mtodos utilizados na auditoria operacional. Para uma execuo prtica se requer informao mais detalhada, que inclua a exposio das prticas de auditoria. O fato de que a INTOSAI deva proporcionar ou no tal orientao uma questo que dever ser debatida no futuro. Na Internet existe muita informao disponvel.

99

Planejamento (o processo de definir o assunto ou os problemas que vo ser analisados) Questes de auditoria (as questes que vo ser respondidas) Esboo do estudo (a informao necessria e o estudo que vai ser realizado) Programa de auditoria (o tipo das investigaes que vo ser realizadas) Coleta de dados (as tcnicas de coleta de dados que vo ser utilizadas) Anlises (as explicaes e as relaes que vo ser examinadas)

Ainda que essas etapas constituam a metodologia da auditoria operacional, deve-se destacar que uma fiscalizao dessa natureza tambm tem que estar sempre baseada na intuio, na experincia, na imaginao, na criatividade, etc. de cada auditor, quer dizer, em processos ou acontecimentos que no podem ser seguidos ou aplicados de forma mecnica. 1 Planejamento da auditoria A coleta de dados se inicia j na fase de planejamento, quando se verificam e selecionam possveis temas de auditoria. A busca se torna mais especfica durante a anlise de viabilidade, quando se prepara a anlise principal. As anlises de documentos e as entrevistas com diferentes interessados constituem provavelmente as tcnicas mais freqentes de coleta de dados nessa fase. As EFSs empregam diversos mtodos que colaboram no processo de planejamento, por exemplo: Anlises de riscos, Anlises SWOT, e Anlises de problemas.62

62

A anlise de riscos freqente em todas as formas de fiscalizao, sobretudo na auditoria contbil. Sempre tem sido uma ferramenta importante na auditoria interna. A anlise SWOT (anlise de pontos fortes, pontos fracos, oportunidades e ameaas) talvez seja menos freqente na auditoria do setor pblico, porm algumas EFSs a aplicam em seus processos de planejamento. A anlise de problemas basicamente uma ferramenta empregada por aquelas EFSs que adotam um enfoque mais orientado a problemas. Ver mais informao, por exemplo, em Auditing: a risk analysis approach., 5 ed., Konrath, Larry, F. Thomson, Learning. 2002; Dynamic SWOT Analysis the developers guide, Richard Dealtry, IPC, Reino Unido, 1994; e Handbook in Performance Auditing , RRV, 1998.

100

2 Formulao da questo de auditoria ou definio do problema de auditoria Uma vez decididos os objetivos e a matria da auditoria, preciso definir as questes que devero ser respondidas pelo estudo. Eis aqui alguns exemplos de questes gerais de auditoria, que so freqentes em auditoria operacional: Os meios escolhidos constituem um uso econmico dos recursos pblicos? Qual a causa dos rpidos incrementos de custos? Os servios prestados so de qualidade adequada e esto orientados ao cliente? Por que os servios no so prestados no momento oportuno? Os programas da Administrao so executados de modo eficiente? So cumpridas as metas e os objetivos dos programas da Administrao? Qual o motivo pelo qual o programa governamental exerce impacto to escasso? Ao formular a questo de auditoria, os auditores operacionais tm que confiar na informao coletada e nas suas prprias competncias e experincia. Nessa fase se empregam, s vezes, tcnicas do tipo do mind-mapping, do brainstorming, etc.63 O processo requer debates internos com a equipe de auditoria (e com os auditores mais experientes e os gerentes), e, ao mesmo tempo, reunies externas com especialistas e stakeholders. Depois de formular a questo geral de auditoria, os auditores tm que decompla em subquestes especficas e suscetveis de comprovao, que vo ser respondidas pelo estudo, isto , questes mais especficas referentes ao que ? ou por que ? Trata-se de um processo iterativo. No enfoque orientado a problemas, deve-se dar nfase na forma adequada de definir o problema. Em geral, a auditoria comea com indcios de algum tipo de problema (carncias no servio, reclamaes, custos crescentes, etc.). Na fase seguinte, os auditores tratam de relacionar e

63

Ver, por exemplo, Brainstorming: how to create successful ideas, Charles Clarke, Paperback, 1990; e Mapping the Mind , Rita Carter, Paperback, 2000.

101

vincular entre si os diferentes problemas e, finalmente, definiro, da maneira mais exata possvel, o problema que ser auditado. Tambm formularo hipteses comprovveis referentes s possveis causas do problema.64 3 Definio do esboo do estudo O passo seguinte consiste em decidir que tipo de informao necessria para responder s questes. H que se levar em considerao uma ampla gama de questes, para se poder eleger um enfoque que reflita a realidade e se ajuste s perguntas formuladas. A seguir, podem ser vistos determinados enfoques freqentes da auditoria operacional: 3.1 Estudos sobre o alcance de metas ou estudos baseados em resultados65 Pergunta bsica: Os programas esto alcanando seus objetivos globais? Esses estudos avaliam em que medida um programa alcana suas metas ou objetivos orientados a resultados e a clientes. Concentram-se em outputs e resultados (includos os efeitos colaterais e os efeitos involuntrios), com o objetivo de avaliar a eficcia do programa, porm tambm podem conceder uma ateno especial aos temas de qualidade e s perspectivas dos clientes. Estas so algumas das freqentes questes, por exemplo: De que forma so estabelecidas as metas do programa? Em que estado se encontra o avano do programa? As metas sero alcanadas nos prazos especificados? Entre os passos gerais dos estudos sobre o alcance de metas ou baseados em resultados se encontram os seguintes: definir os principais outputs e resultados que vo ser estudados, especificar as medidas observveis que indicam que esto sendo alcanados os resultados-chave para os clientes objeto do estudo, e identificar a informao necessria para divulg-los. Os estudos sobre o alcance de metas so freqentes na auditoria operacional. So empregados principalmente para examinar se esto

64

Ver informao prtica sobre o modo de definir problemas e formular hipteses, etc. em Handbook in Performance Auditing, theory and practice, RRV, 1999. 65 Para mais informaes, ver Weiss, C. H., Evaluation research: methods for assessing program effectiveness, Englewood Cliffs, N.J., Prentice Hall.,1972, e Rossi, Peter H. e Howard E. Freeman, Evaluation a systematic approach, Beverly Hills, Ca, SAGE, 1985.

102

sendo alcanados os objetivos fixados, e para estabelecer mediante uma avaliao geral se so encontradas deficincias no trabalho que est sendo realizado. Podem ser determinados os possveis desvios, relacionando os resultados e suas conseqncias com as metas e demandas estipuladas. O auditor operacional utiliza os estudos sobre alcance de metas principalmente quando estas so definidas com clareza e so empregadas como instrumento de gesto, quando se dispe somente de um conhecimento limitado acerca das conseqncias, e quando so necessrias avaliaes de carter mais geral. O exame dos resultados em comparao com os objetivos formulados, em termos gerais, pode dar uma idia da forma como so cumpridos tais objetivos. Entretanto, esse tipo de informao no costuma originar satisfatoriamente diretrizes para uma avaliao mais detalhada das entidades em questo, ou do que necessrio para melhorar o resultado. Em determinadas circunstncias, os estudos sobre o alcance de metas, entretanto, proporcionam uma base para se avaliar que mudanas se fazem necessrias. Como o caso, por exemplo, quando os objetivos so poucos, compatveis, concretos, e esto relacionados mais diretamente com uma nica atividade ou com um meio de controle especfico (uma regulamentao, uma campanha de informao, etc.). De vez em quando se utiliza a anlise de objetivos-meios, para ilustrar determinadas deficincias entre os recursos aplicados e os objetivos alcanados. Uma anlise de objetivos-meios tambm pode ser utilizada quando existem razes para se acreditar que uma entidade auditada no vem atuando de modo eficiente. Um modelo lgico do programa (ou uma teoria poltica/teoria da interveno) ajuda o auditor a realizar estudos sobre alcance de metas (assim como outros estudos). O modelo representa a estrutura ou a lgica do programa que se audita. Demonstra a hierarquia do programa, desde o ponto de vista dos objetivos e responsabilidades. Comeando pelos objetivos e efeitos desejados do nvel mximo dos programas, o modelo lgico do programa vai descendo a nveis menores, atravs de subprogramas e componentes de subprograma e atividades especficas, e cada elemento de nvel inferior est logicamente relacionado com um elemento de nvel superior. Um modelo lgico do programa ajuda o auditor a compreender as questes da auditoria operacional, haja vista que concentra a ateno na relao entre os objetivos e subobjetivos do programa, por um lado, e os outputs e resultados (efeitos e conseqncias)
103

derivados do programa, por outro. Ajuda o auditor a identificar e buscar respostas a perguntas como as seguintes: Os objetivos proporcionam uma compreenso clara da lgica fundamental do programa, dos produtos e servios que so gerados, e dos usurios desses bens e servios? Os objetivos per mitem a identificao de resultados mensurveis? So plausveis as relaes causais entre os nveis hierrquicos? Na fase de planejamento, os modelos lgicos do programa ajudam o auditor a compreender a entidade auditada e a identificar os resultadoschaves do programa e os sistemas e operaes que os produzem. Um modelo lgico do programa aplicvel sobretudo quando a realidade simples e racional. O inconveniente do modelo que a realidade raramente se ajusta a essas premissas. 3.2 Estudos baseados no processo66 Pergunta bsica: Como funciona o programa? Os estudos baseados no processo tm o propsito de permitir uma compreenso completa da forma como funciona um programa da Administrao Pblica, e de como produz seus resultados. As perguntas tpicas formuladas so do tipo: Quais so os passos e procedimentos do processo de trabalho? Os recursos so geridos e utilizados de modo econmico e eficiente? Qual o processo geral que os clientes percorrem ao longo do programa? Quais so as reclamaes mais freqentes? O que que os clientes e os servidores consideram como pontos fortes e fracos do programa? Sobre que base so demandados os servios? Esses tipos de estudo so freqentes, e so de especial utilidade quando os programas so de longa durao e modificados ao longo do tempo e quando so identificados sinais de deficincia. O enfoque baseado no processo envolve muitas formas de investigao (por exemplo, estudos sobre gesto do tempo, utilizao dos recursos, os interessados, etc.).

66

Ver, por exemplo, Weiss, C. H. Evaluation research: methods for assessing program effectiveness, Englewood Cliffs, N.J., Prentice Hall, 1972, e Rossi, Peter H., e Howard E. Freeman, Evaluation: a systematic approach, Beverly Hills, Ca, SAGE, 1985.

104

3.3 Estudos sobre o impacto67 Pergunta bsica: Quais so os efeitos reais do programa governamental? Os estudos sobre o impacto avaliam o efeito real de um programa, mediante a comparao dos seus resultados com uma estimativa do que haveria acontecido na ausncia dele. Esse tipo de estudo utilizado, por exemplo, quando se sabe que existem fatores externos que influenciam os resultados do programa, com o objetivo de determinar a contribuio do programa para o alcance de seus objetivos. 3.4 Estudos de custo-benefcio e estudos de custo-eficcia68 Perguntas bsicas: Os benefcios do programa so superiores a seus custos e os objetivos so alcanados com o mnimo de custos possvel? Os estudos de custo-benefcio so exames sobre a relao entre os custos e as vantagens dos projetos ou programas da Administrao, expressos em termos monetrios. Um estudo de custo-benefcio pode ser utilizado, por exemplo, para auditar a eficincia dos projetos de investimento (por exemplo, projetos de construo de estradas). O propsito desses estudos determinar se as vantagens de uma entidade, programa ou projeto superam seus custos. Os estudos de custo-benefcio podem ser utilizados para: assegurar-se de que uma anlise efetuada pela entidade auditada confivel; comparar custos e benefcios quando ambos so conhecidos ou podem ser calculados de modo razovel; comparar os custos das alternativas, mantendo constantes os benefcios. Realizado de forma apropriada, um estudo de custo-benefcio deveria considerar habitualmente no somente os custos e benefcios tangveis (e que podem ser medidos com uma relativa facilidade), como tambm os custos e benefcios intangveis (e difceis de calcular).

67

Para mais informao, ver, por exemplo, Impact Analysis for Program Evaluation, Lawrence. B. Mohr, Paperback, 1996, e Causal Analysis: a method to identify and test cause and effect relationships in program evaluation, GAO, 1982. 68 Ver Cost-benet and cost-effectiveness analysis em D.S. Codray, H.S. Bloom e J.R. Light (eds.), Evaluation practice in review, San Francisco, Ca. Jossey-Bass, 1987.

105

Os estudos de custo-eficcia so estudos sobre a relao entre os custos e os resultados de um projeto, expressa em custos por unidade de resultado alcanado. Um estudo de custo-benefcio permite que os auditores comparem a eficincia econmica das alternativas do programa, enquanto que um estudo de custo-eficcia est destinado a encontrar o meio mais barato de alcanar um objetivo definido ou valor mximo com relao a um determinado gasto. Diferentemente da verso dos economistas sobre os estudos de custo-benefcio, nos estudos de custo-eficcia os benefcios podem ser expressos em unidades fsicas e no em unidades monetrias: a eficcia de um programa para o alcance de determinadas metas importantes est relacionada com o valor monetrio dos recursos alocados ao programa ou atividade. 3.5 Estudos de avaliao comparativa (benchmarking)69 Pergunta bsica: As coisas esto sendo feitas em conformidade com as melhores prticas? A avaliao comparativa um processo de comparao dos mtodos, processos, procedimentos, produtos e servios de uma organizao (um programa) com os de organizaes (programas) que se destaquem de maneira sistemtica nas mesmas categorias. A avaliao comparativa (benchmarking) utilizada para: estimular uma reviso objetiva dos processos, prticas e sistemas; desenvolver critrios de funcionamento e identificar as melhores formas possveis de atuar; conceder mais credibilidade s recomendaes da auditoria. 3.6 Estudos de metaavaliao70 Pergunta bsica: aceitvel a qualidade da avaliao realizada? Os propsitos das metaavaliaes so julgar a qualidade das avaliaes, melhorar a qualidade das avaliaes e promover o uso efetivo da investigao sobre a avaliao no processo de gesto. O papel da EFS consis-

69 70

Ver Benchmarking. How benchmarking can help in vfm examination, NAO, 1997. Ver, por exemplo, Cook, T. D. & Gruder, C. L., Meta-evaluation research. Evaluation Quarterly, 2 (1), p. 5-51, 1978; e Scriven, M., An introduction to meta-evaluation, Educational Product Report. n. 2, 1999.

106

tir em examinar a qualidade real das avaliaes realizadas, a adequao e as condies de procedimento da avaliao. Os critrios das metaavaliaes se concentraro na qualidade da investigao avaliadora efetuada e na forma pela qual se tenha integrado a funo de avaliao no processo de gesto. Em sentido amplo, existem dois critrios possveis: A qualidade cientfica e epistemolgica do exame sobre a avaliao: os critrios tericos, metodolgicos e tcnicos mais avanados sobre a questo. Os requisitos tericos fazem referncia, entre outras coisas, formulao do problema, definio dos conceitos, s hipteses e coerncia da teoria em seu conjunto. Os requisitos metodolgicos impostos investigao da avaliao envolvem, entre outros, a validade e confiabilidade dos resultados da investigao. Os requisitos tcnicos se referem, entre outras coisas, operacionalizao dos critrios de avaliao, com base no que pode determinar se a situao no campo das polticas cumpre as normas de avaliao. Critrios de utilidade do exame para a poltica/a prtica de gesto: isso significa que um relatrio de avaliao deve proporcionar informao que seja importante para alcanar um enfoque eficaz, eficiente e legtimo ante determinados problemas polticos. Em termos prticos, o relatrio deve conter referncias explcitas sobre a informao necessria que deve ser oferecida pelo exame, a um problema de prtica poltica, aos objetivos de exame associados com a prtica poltica, etc. 3.7 Outros tipos freqentes de estudo Tanto os enfoques como as razes das medies devem ser adaptados multiplicidade de assuntos de que trata a auditoria operacional. Pode-se chegar a dizer que a natureza da auditoria operacional, em grande medida, tem ajudado a configurar e definir os temas de auditoria e a selecionar e esboar os modelos e mtodos que vo ser aplicados em cada auditoria. O auditor operacional deve manter uma extensa rede de contatos, que inclui contatos no campo das cincias sociais. A natureza especial de seu trabalho exige que os auditores operacionais controlem os novos resultados do exame e adquiram novos conhecimentos, por exemplo, para estarem atualizados sobre os avanos e familiarizarem-se com os enfoques inovadores. Estes so exemplos de outros enfoques freqentes:
107

 Estudos organizacionais: estudos sobre se as estruturas, os processos, os programas, etc. correspondem s melhores prticas. Estudos especficos sobre gesto de servios e da qualidade: estudos sobre a capacidade do servio e sobre os sistemas de garantia de qualidade. 4 Definio do programa de auditoria Na auditoria operacional, raras vezes se realizam exames sobre grandes populaes. Entretanto, so freqentes as pesquisas por amostragem e os estudos de caso. Quando em uma auditoria se incluem estudos de casos, o interesse no se concentra apenas nos casos individuais, como tambm nas possveis concluses que podem ser extradas deles. Estes so alguns dos esboos habituais de investigao: 4.1 Anlise comparativa71 A anlise comparativa se emprega sobretudo para examinar as tendncias de desenvolvimento e as situaes alternativas. Podem ser efetuadas comparaes ao longo do tempo, e entre diferentes produtos ou alternativas. possvel comparar sujeitos que trabalham bem com os que trabalham em condies piores, so comparadas uma ou vrias matrias com uma imagem geral, e realizadas comparaes entre reas similares de diferentes pases. 4.2 Exames antes e depois72 Em um exame antes e depois, compara-se a situao anterior ao incio do programa com a situao posterior sua execuo. Um simples estudo antes e depois aquele no qual se efetua um conjunto de medies em um grupo de sujeitos antes de sua participao no programa e um segundo conjunto de medies, sobre os mesmos sujeitos depois de uma participao suficientemente prolongada. O impacto se calcula, comparando os dois conjuntos de medida. O principal inconveniente desse esboo consiste em que as diferenas entre as medies antes e depois no podem ser, com toda a segurana, atribudas ao programa.

71

Para mais informao, ver Ragin, C.C., The Comparative Method: moving beyond qualitative and quantitative strategies, Berkeley, University of California Press, 1989. 72 Ver, por exemplo, Campbell, D.T. & Stanley, J.C., Experimental and Quasi-Experimental Designs for Research, Chicago, Rand McNally, 1966.

108

4.3 Pesquisa por amostragem73 Os resultados, concluses e recomendaes da auditoria devem ser baseados em evidncias. Como os auditores raras vezes tm a oportunidade de levar em considerao toda a informao existente sobre a entidade auditada, decisivo escolher, com cuidado, as tcnicas de coleta de dados e de amostragem. O auditor deve julgar se a amostragem constitui uma forma apropriada de obter uma parte das evidncias de auditoria requeridas. Entre os fatores que devem ser levados em considerao, encontram-se os seguintes: a quantidade e o tamanho relativo dos elementos pertencentes populao; a complexidade das perguntas que devero ser respondidas pela amostra; a adequao e confiabilidade das evidncias obtidas mediante exames e procedimentos alternativos, e os correspondentes custos e prazos que estes requeiram.

Quando o auditor trata de extrair concluses acerca de toda a populao, submetendo a teste uma amostra de elementos dela procedentes, essencial que a amostra seja representativa da populao da qual extrada. Uma amostra pode ser estatstica ou no-estatstica. Ambas requerem o emprego de um critrio profissional. A primeira fase do planejamento da amostra definir exatamente a populao. Nas amostras estatsticas, importante que a populao seja homognea. Tambm essencial que o auditor defina, com clareza, o objetivo especfico de auditoria que a verificao da amostra se prope a alcanar. Ademais, preciso determinar o tamanho da amostra. Ao longo de todo o processo de seleo, o auditor deve examinar, de forma peridica, se a amostra selecionada representa adequadamente a populao. Sempre que for possvel, a verificao deve ser ajustada a um questionrio prvio. Quando encontrados erros ou excees, necessrio levar em

73

Por exemplo, ver Using Statistical Sampling, GAO. 1992.

109

considerao sua causa e sua natureza. Os resultados devero ser avaliados e documentados. Nas auditorias de gesto, utilizada com freqncia a amostragem para obter evidncias. Embora os objetivos especficos de amostragem possam ser diferentes, os princpios subjacentes so os mesmos. Na auditoria operacional as tcnicas de amostragem so utilizadas sobretudo quando os fatos essenciais no podem ser obtidos de outra forma e quando se necessita de uma comparao estruturada ou se requerem generalizaes bem fundamentadas. Devido limitao de recursos, as amostras raramente so muito numerosas, e em geral necessrio delimitar o nmero de questes a serem respondidas. Com o objetivo de obter um conhecimento mais profundo, os mtodos de seleo podem ser complementados com outras tcnicas de coleta de informao, por exemplo, os estudos de casos. 4.4 Pesquisa de estudos de caso74 Os estudos de caso podem ser utilizados para demonstrar que existem os problemas presumidos, e que no se tratam de simples problemas secundrios. Os estudos de caso tambm podem ser de utilidade para realizar anlises e comparaes em profundidade. Entretanto, difcil efetuar afirmaes baseadas em estudos de caso com respeito freqncia e ao alcance dos problemas, ainda que os casos sejam selecionados para ilustrar problemas gerais e sejam representativos. No entanto, em combinao com outros mtodos, os estudos de casos permitem extrair determinadas concluses gerais. Como esses estudos so preferveis s grandes investigaes, so utilizados com freqncia nas auditorias operacionais. Entre outras coisas, os estudos de caso so empregados para: efetuar uma anlise ampla e em profundidade de problemas complexos; obter exemplos ilustrativos que possam ser debatidos e comprovados em comparao com outras informaes; combinar seus resultados com as estatsticas gerais, ilustrar e confirmar os resultados de estudos mais amplos.

74

Para mais informao, ver Case Study Evaluation, GAO, 1990., Yin, Robert K., Case Study Research Design and Methods, 2 ed., Applied Social Research Methods. v. 5, Sage Publications, Thousands Oaks, Londres, Nueva Delhi, 1994.

110

Ao escolher a quantidade de casos que vo ser estudados, deve ser estabelecido um equilbrio entre a amplitude e a profundidade do exame. A seleo de estudos de caso pode incluir casos com dificuldades e casos com xito, de modo que se realizem comparaes que identifiquem os fatores subjacentes. Outro tipo de estudo de caso o que realizado para complementar informaes mais gerais obtidas mediante o exame em profundidade de um caso individual. Depois de haver compilado diversos estudos de caso, os auditores podem comunicar os resultados s respectivas entidades auditadas, para que elas ofeream sua opinio sobre em que medida os estudos oferecem uma imagem geral dos problemas. Os resultados dos estudos de caso tambm podem ser debatidos com cientistas, peritos e especialistas em seminrios e em outros lugares. Combinando as estatsticas gerais com os estudos de caso em profundidade e verificando-os os auditores podem obter uma aceitao suficiente de sua validade como ilustrao que lhes sirva para estabelecer a base de determinadas generalizaes. 4.5 Pesquisa quase-experimental75 O trao essencial dos experimentos autnticos a designao ao acaso de indivduos componentes de grupos submetidos ou no a tratamento, que constituem respectivamente os grupos experimentais e os grupos de controle. Um grupo de controle um grupo de sujeitos no submetidos a interveno, que se compara com grupos experimentais, no que se refere a seus resultados. Um grupo experimental um grupo de sujeitos sobre os quais se pratica uma interveno e cujas medies de resultados se comparam com as dos grupos de controle. Um quase-experimento um desenho de pesquisa no qual os grupos experimental e de controle no so constitudos ao acaso. O uso do mtodo experimental em problemas prticos e polticos tem provocado um incremento dos mtodos quase-experimentais, que se propem a eliminar, na maior medida possvel, os efeitos externos que dificultam a avaliao do impacto, porm sem chegar ao mesmo rigor cientfico total que caracteriza um experimento realizado na forma adequada.

75

Ver Campbell, D. T. & Stanley, J.C., Experimental and Quasi-Experimental Designs for Research, Chicago, Rand McNally, 1966.

111

Os dois tipos mais freqentes de projetos quase-experimentais envolvem a configurao de grupos de controle ou comparativos com o propsito de se aproximar de uma designao ao acaso. Isso se consegue nivelando os sujeitos participantes com os no-participantes, ou mediante um ajuste estatstico de participantes e no-participantes, de modo que tenham a mxima equivalncia possvel de caractersticas relevantes. 5 Seleo de tcnicas de coleta de informao A coleta de dados pode ser efetuada de uma s vez ou atravs de medies continuadas (projeto de sries temporais, anlises longitudinais). Podese coletar informao que esteja baseada em evidncias materiais, em documentos (includas as declaraes por escrito), em testemunhos orais (entrevistas), ou que proceda de outros meios, segundo os objetivos que tenha a auditoria. Com freqncia, ser necessrio coletar dados tanto quantitativos como qualitativos. Os tipos de dados que vo ser obtidos tm que ser explicveis e justificveis no que diz respeito a sua suficincia, validade, confiabilidade, pertinncia e razoabilidade. A auditoria operacional elabora dados primrios (seu prprio material original) com a ajuda dos questionrios, dos surveys e da observao direta. Entretanto, tambm se emprega com freqncia um grande volume de dados secundrios (material produzido por outros). Isso inclui as estatsticas oficiais, que so extradas e processadas; tambm se empregam com freqncia as estatsticas prprias das entidades auditadas, quando consideradas pertinentes e confiveis. So utilizadas (e combinadas) informaes e dados tanto quantitativos como qualitativos. Os dados quantitativos referem-se a relaes mensurveis ou numricas e podem ser utilizados para ilustrar ou apoiar uma afirmao. As informaes e os dados qualitativos podem se referir, por exemplo, a opinies e atitudes ou observaes gerais, mas tambm a conhecimentos mais profundos. Normalmente so necessrias determinadas informaes qualitativas para elaborar uma anlise ampla e em profundidade acerca da auditoria operacional. Estes so alguns dos mtodos utilizados para a coleta de dados: 5.1 Exame documental Os documentos proporcionam um modo eficiente de coletar dados, e provvel que o exame de processos/documentos constitua a base de muitas auditorias operacionais. Os arquivos documentais contm uma
112

ampla gama de tipos de prova: por exemplo, decises de funcionrios, os registros de casos dos beneficirios de programas e os registros dos programas governamentais. importante determinar a natureza, localizao e disponibilidade dos documentos no incio de uma auditoria operacional, com o objetivo de poder examin-los de maneira produtiva. 5.2 Anlise secundria e pesquisa bibliogrfica A anlise secundria pode estar relacionada com o exame dos relatrios de investigao de carter geral, dos livros e artigos relacionados matria do programa ou a estudos mais especficos, e das estatsticas correspondentes a esse mbito, incluindo tanto os materiais anteriores como as publicaes atuais. importante estudar diferentes tipos de documentos pertinentes entidade auditada, ou a auditorias e avaliaes anteriores realizadas pela EFS ou por outros, j que assim se atualiza e amplia o conhecimento do auditor sobre um tema em particular. Os estudos sobre a documentao outorgam ao auditor de gesto o acesso a material til, porm importante avaliar a confiabilidade do contedo dos documentos, e saber se a informao que detm oferece uma imagem objetiva ou subjetiva, ou se oferece uma imagem multifacetada, etc. 5.3 Surveys ou questionrios Um survey uma coleta sistemtica de informao procedente de uma determinada populao, em geral mediante entrevistas ou questionrios aplicados a uma amostra de membros da populao. Os surveys so utilizados para coletar informao detalhada e especfica sobre um grupo de pessoas ou organizaes. So de particular utilidade quando se tem que quantificar informao procedente de grande quantidade de indivduos sobre uma questo ou um tema especficos. Os questionrios so utilizados principalmente para coletar fatos que no esto disponveis de nenhum outro modo, e que so importantes como referncia para documentar um ponto de vista. Portanto, so utilizados questionrios quando se necessita de um conhecimento amplo. Os estudos de caso e outros mtodos de maior profundidade so utilizados freqentemente como complemento do questionrio. Existe uma ampla gama de tcnicas de survey. As utilizadas com mais freqncia so os surveys por correio, pela Internet ou por telefone, e as
113

entrevistas pessoais. Os questionrios requerem muitas vezes que os dados obtidos sejam processados eletronicamente. Tambm supem um conhecimento adequado do escopo da questo. A tcnica do questionrio eficaz quando utilizada de forma apropriada, ainda que redigir as perguntas e processar as respostas possa ser difcil e exigir muito tempo. Por conseguinte, com freqncia necessita-se dispor de especialistas. 5.4 Entrevistas Uma entrevista , em essncia, uma sesso de perguntas e respostas para obter uma informao especfica. Grande parte do trabalho de auditoria operacional baseado em entrevistas, e nas distintas fases do processo de exame so realizados diferentes tipos de entrevistas. Utiliza-se toda a gama de possveis entrevistas, desde as conversaes e os debates para o ordenamento de fatos, passando pelas entrevistas no estruturadas (isto , com perguntas abertas) at as entrevistas estruturadas que se ajustam a uma lista de perguntas fechadas: entrevistas preparatrias e de levantamento, entrevistas para coletar material e informaes, entrevistas para descrever atitudes e argumentos, entrevistas para gerar e avaliar idias e sugestes.

As entrevistas podem ser utilizadas na fase de planejamento e tambm no prprio exame, para obter documentos, opinies e idias que se relacionem com os objetivos da auditoria, para confirmar fatos e corroborar dados procedentes de outras fontes, ou explorar possveis recomendaes. So utilizados diversos tipos de tcnicas de entrevista. Podem ser entrevistadas uma ou vrias pessoas ao mesmo tempo, e as entrevistas podem ser realizadas por telefone ou mediante visitas pessoais. s vezes se trata de entrevistas em profundidade, ou podem se limitar a comprovar informaes. Para obter uma viso mais ampla possvel da realidade, convm entrevistar pessoas que tenham diferentes cargos, perspectivas e opinies (por exemplo, pessoas que trabalhem em nveis centrais ou locais, ou que pertenam a diferentes partes de organismos interessados, stakeholdrs e peritos no campo em questo). As entrevistas so uma forma de coleta de fatos e informaes, e de obteno de apoio para uma diversidade de argumentos, porm no se
114

pode confiar exclusivamente nas entrevistas. Muitos dos dados e declaraes procedentes de uma entrevista tero que ser comprovados antes de serem utilizados, porm em muitos contextos as entrevistas continuam sendo uma forma til de levantamento de fatos. Posteriormente, os resultados das entrevistas devem ser compilados e documentados de um modo que facilite a anlise e o controle de qualidade, por exemplo agrupando em separado o material constitudo pelos fatos, os problemas, as causas e as conseqncias mencionados, e as propostas formuladas (condies, critrios, causas, conseqncias e recomendaes potenciais). 5.5 Seminrios e audincias Freqentemente so utilizados seminrios nas diferentes fases de uma auditoria operacional, sobretudo quando se tem que debater observaes e concluses preliminares. Por exemplo, os seminrios podem servir para: obter conhecimentos sobre uma rea especializada; debater problemas, observaes e possveis medidas; expressar argumentos a favor e contra diferentes critrios e perspectivas. Os seminrios tm a vantagem de reunir grande nmero de pessoas que representam uma ampla gama de conhecimentos e perspectivas. Isso permite conhecer melhor a rea em questo. Entretanto, a organizao e realizao de seminrios e de audincias pblicas, que so semelhantes aos seminrios, so tarefas exigentes. No entanto, o objetivo das audincias pblicas consiste, de um modo muito mais especfico, em convidar ou convocar as partes interessadas e especialistas para que exponham suas opinies sobre a rea que ser auditada. 5.6 Grupos especializados, grupos focais, grupos de referncia e especialistas Os grupos especializados so pessoas selecionadas que se renem para discutir questes e temas especficos. So utilizados primordialmente para coletar dados qualitativos, ou seja, informao que proporcione perspectivas sobre os valores e opinies dessas pessoas durante o processo ou atividade auditada. Os grupos focais so utilizados para se obter informao sobre a execuo dos programas governamentais e os efeitos exercidos por eles, tomando como base as perspectivas dos beneficirios e de outros envolvidos.

115

O padro de opinies pode ser expresso por um stakeholder exemplar. No planejamento da auditoria poderia ser utilizado um estudo sobre os envolvidos, com o objetivo de identificar os principais grupos de interesse stakeholders em uma determinada ao desenvolvida pela Administrao. Os grupos de referncia podem ser compostos por pessoas procedentes ou no da EFS, e costumam ser formados por peritos e especialistas. s vezes so utilizados para iniciar um projeto de auditoria, ou no curso do exame, como fonte de opinies distintas. Alguns especialistas e peritos so consultores ou empregados temporrios da organizao. Nos grupos de referncia podem haver especialistas empregados diretamente pela EFS, consultores contratados pela entidade auditada ou especialistas independentes (p. ex., pesquisadores acadmicos). O propsito de utilizar especialistas consiste, por exemplo, em colocar disposio da equipe de auditoria os conhecimentos tcnicos ou as competncias essenciais para o alcance dos objetivos da auditoria. Esse tipo de ajuda especializada tem a vantagem de permitir que seja adquirida com rapidez a informao relevante. Um inconveniente, entretanto, que pode ser difcil julgar a competncia dos especialistas e peritos, obter a competncia apropriada, comprovar seu trabalho e avaliar os resultados que eles ofeream. 5.7 Observaes diretas As observaes diretas no so habituais na auditoria operacional. Esse mtodo empregado principalmente para se obterem perspectivas acerca da forma como realizada uma operao, e para compreender tal forma de atuar; para obter opinies do pessoal sobre a rea, debater e comprovar idias, assim como adicionar outras informaes e comparlas entre si. No quadro seguinte esto apresentados alguns dos mtodos mencionados para a coleta de dados durante as auditorias/avaliaes.

116

Mtodo Questionrios, surveys, checklists

Propsito global Quando se necessita obter, com rapidez e/ou facilidade, grande quantidade de informao que possuem as pessoas, de um modo que no resulte ameaador

Vantagens Pode se respeitar o anonimato realizao barata fcil de comparar e analisar pode ser aplicado a muitas pessoas pode se obter grande quantidade de dados j existem muitos modelos de questionrios

Dificuldades

Entrevistas

Exame documental

Observao

Grupos focais

Poderia no ser obtida uma retroalimentao cuidadosa a redao pode direcionar as respostas dos clientes so impessoais nos surveys podem ser necessrios especialistas em amostragem no contam toda a histria Quando se quer Obter uma gama Pode demorar muito conhecer por completo completa de tempo as impresses ou a informaes, em pode ser de difcil experincia de algum, profundidade anlise e comparao ou entender melhor suas desenvolver a relao pode ser cara respostas aos com o cliente o entrevistador pode questionrios pode ser flexvel com o direcionar as respostas cliente do cliente Quando se deseja uma Oferece uma Com freqncia ocupa impresso acerca da informao ampla e ao muito tempo forma como atua o longo do tempo a informao pode ser programa, sem no interrompe o incompleta interromp-lo, a partir de programa nem o necessrio ter uma uma reviso de comportamento do idia muito clara sobre solicitaes, documentos cliente no programa o que se est buscando financeiros, a informao j existe meio no flexvel de memorandos, atas, etc. pouco direcionamento obteno de dados; os (vis) da informao dados se limitam ao j existente Para coletar informao Ver as atividades de um A conduta pode ser exata acerca da forma programa enquanto difcil de interpretar como atua realmente um esto ocorrendo categorizar as programa, sobretudo no realmente observaes pode ser que se refere a seus pode ser adaptada aos complicado processos acontecimentos pode influir na enquanto estes conduta dos acontecem participantes do programa pode ser cara Explorar uma questo em Obter com rapidez e As respostas podem ser profundidade mediante confiabilidade difceis de analisar o debate em grupo, p. ex. impresses freqentes necessrio um as reaes ante uma pode ser um modo facilitador adequado experincia ou uma eficiente de obter uma para que haja sugesto, compreender as informao ampla e segurana e para o queixas freqentes, etc.; profunda em pouco encerramento til na avaliao e no tempo difcil programar a marketing pode transmitir reunio de um informao-chave conjunto de 6 8 pessoas acerca dos programas

Fonte: Carter McNamara, 1998.

117

6 A anlise e a interpretao da informao A anlise dos dados quantitativos e qualitativos constitui um passo importante em todas as auditorias operacionais. Ao analisar os dados (procedam de questionrios, entrevistas, grupos focais, ou tenham qualquer outra origem), os auditores tm que comear por revisar os objetivos e a questo da auditoria. Isso ajudar os auditores a organizar seus dados e concentrar suas anlises. Quando da interpretao da informao, os auditores devem tratar de situ-la em relao sua expectativa, comparando os resultados com os critrios de auditoria ou com o que caberia esperar normalmente. importante estudar a informao em profundidade e com amplitude. Uma anlise da auditoria operacional deve estar baseada sempre em uma compreenso adequada da atividade auditada e das suas condies de trabalho. Entretanto, nenhuma anlise pode levar em considerao todas as coisas. Cada anlise deve ser elaborada com sentido comum e com uma viso realista do que se pode e se deve propor. Ao analisar a informao ou os dados procedentes das entrevistas, o primeiro problema que se formula classificar em diferentes categorias ou temas o que foi dito. O auditor busca em suas entrevistas linhas comuns de informao, coisas que se ajustem entre si, ou exemplos de um mesmo problema, questo ou conceito subjacente. Nesse sentido, pode ser utilizada a anlise qualitativa (no numrica) para avaliar e explicar o desempenho de uma entidade auditada. Ao ler os documentos, os auditores coletam informao descritiva, analisam sistematicamente o texto e buscam o que pertinente. A anlise da informao um processo intelectual, criativo e interativo, que inclui elementos tanto racionais como irracionais. Sempre envolve reflexes e discusses, brainstorming e, primordialmente, tcnicas no-quantitativas, tais como a anlise de contedo, a anlise comparativa, a anlise com a ajuda de equipes de especialistas e peritos, etc.76 Na seqncia, esto apresentados os exemplos de tcnicas quantitativas.77

76

A maioria desses mtodos descrita em livros como, p. ex., Weiss, Carol H., Evaluation: methods for studying programs and policies, Upper Saddled River, N.J., Prentice Hall, 1998; e Roosi, Peter H., Freeman Howard E. e Lipsey, Mark W., Evaluation: a systematic approach. 6 edio, Sage Publications Inc, Thousands Oaks, Califrnia, 1999. 77 Ver, por exemplo, Quantitative Data Analysis, GAO, 1992.

118

6.1 Estatsticas descritivas para a compreenso das distribuies de dados Muitas vezes uma distribuio de dados pode ser expressa mediante um grfico (um diagrama de barras ou uma curva), que mostra todos os valores de uma varivel. As estatsticas que descrevem as distribuies de dados so potentes ferramentas de anlise e de informaes acerca da auditoria. Em uma distribuio de dados existem trs dimenses bsicas, que so importantes para um auditor: a tendncia central da distribuio dos dados (moda, mediana, mdia, nvel de quatil, etc.); a amplitude (variabilidade ou disperso) dos dados (valores mnimos e mximos, extremos, etc.); a forma dos dados (desvio-padro, distribuio normal, distribuio uniforme, distribuio bimodal, etc.). As distribuies de dados podem ser utilizadas para: identificar o nvel, a amplitude ou a forma dos dados, quando isso for mais importante que um nico valor mdio; decidir se um desempenho varivel atende ou no a um critrio de auditoria; interpretar a probabilidade de uma determinada distribuio para avaliar o risco; e avaliar se os dados da amostra so representativos da populao. 6.2 Anlise de regresso A anlise de regresso uma tcnica para avaliar o grau em que esto associadas (correlacionadas) as variveis. A anlise de regresso pode ser utilizada para: demonstrar uma relao cuja existncia se supe; identificar relaes entre variveis causalmente relacionadas, que possam explicar os resultados; identificar casos no-habituais que se afastem dos valores previstos; e efetuar predies acerca dos futuros valores.
119

Apndice 2
Critrios da auditoria operacional Os critrios de auditoria so nveis razoveis e alcanveis de desempenho em comparao com os quais se pode avaliar a economia, a eficincia e a eficcia das atividades. Refletem um padro de referncia (isto , desejvel) em relao matria que objeto de reviso. Representam uma boa prtica, ou a melhor possvel: a expectativa de uma pessoa razovel e informada acerca de o que deveria ser. Quando os critrios so comparados com a condio realmente existente, surgem os resultados da auditoria. O cumprimento ou a superao dos critrios poderiam indicar a melhor prtica, porm o no-cumprimento dos critrios indicaria a possibilidade de introduzir melhorias. Estes so alguns dos atributos dos critrios adequados: Confiabilidade: os critrios confiveis permitem concluses coerentes quando so utilizados por outro auditor nas mesmas circunstncias. Objetividade: os critrios objetivos esto isentos de qualquer vis do auditor ou da gerncia. Utilidade: os critrios teis originam resultados e concluses que satisfazem as necessidades de informao dos usurios. Compreensibilidade: os critrios compreensveis so expressos com clareza e no do origem a interpretaes significativamente diferentes. Comparabilidade: os critrios comparveis so coerentes com os utilizados em auditorias operacionais de outros organismos ou atividades similares, e com os utilizados em auditorias de gesto anteriores na mesma entidade auditada. Integridade: a integridade faz referncia ao desenvolvimento de todos os critrios importantes que sejam adequados para avaliar o desempenho. Aceitabilidade: os critrios aceitveis so aqueles sobre os quais costumam concordar os especialistas e peritos (independentes na rea), as entidades
121

auditadas, o Poder Legislativo, os meios de comunicao e o pblico em geral. Os critrios desempenham uma srie de funes importantes para ajudar na realizao de uma auditoria operacional. Entre outros pontos: constituem uma base comum para a comunicao dentro da equipe de auditoria e com a direo da EFS no que se refere natureza da auditoria; constituem uma base para a comunicao com a direo da entidade auditada; constituem o fundamento da fase de coleta de dados da auditoria, e servem de base para construir procedimentos para a coleta de evidncias de auditoria; e proporcionam a base para os resultados da auditoria, ajudando a implantar uma forma e uma estrutura nas observaes. Seu nvel de detalhe e a forma que assumem determinaro com freqncia o grau de satisfao dos critrios para tais usos. No realista esperar que esses sistemas, atividades ou nveis de desempenho nas reas da economia, da eficincia e da eficcia cumpram sempre integralmente esses critrios. importante se dar conta de que a gesto satisfatria no significa um desempenho perfeito, e, sim, que est baseada no que uma pessoa razovel poderia prever, considerando as circunstncias da entidade auditada. Os critrios de auditoria devem ser fixados com objetividade. O processo requer uma considerao racional e um juzo correto. Os auditores devem, por exemplo: ter uma compreenso geral da rea que ser auditada, e estar familiarizados com os documentos jurdicos e de outro tipo que sejam relevantes, assim como com os recentes estudos e auditorias efetuados em tal rea; ter um conhecimento adequado das razes e do fundamento jurdico do programa ou da atividade da Administrao que vai ser auditada, e das metas e dos objetivos fixados pelo Poder Legislativo ou pela Administrao Pblica; ter uma compreenso razoavelmente adequada das expectativas dos principais envolvidos, e dispor de conhecimentos especializados bsicos; e
122

 ter um conhecimento geral das prticas e da experincia em outros programas ou atividades semelhantes da Administrao que sejam pertinentes. Com freqncia, til receber as observaes da direo da(s) entidade(s) auditada(s) para desenvolver os critrios. Alm disso, a discordncia acerca dos critrios pode ser identificada, debatida e, at mesmo, solucionada em uma fase mais inicial. Entretanto, os fatos e argumentos apresentados pela(s) entidade(s) auditada(s) devem ser comparados com outros fatos e argumentos pertinentes (procedentes de outras fontes, especialistas, peritos, etc.). As metas fixadas pelo Poder Legislativo ou pelo Poder Executivo s vezes so vagas ou contraditrias. Em tais condies, os auditores podem ter que interpretar as metas para se tornarem mais operacionais ou mensurveis. Uma possibilidade seria que os especialistas e os envolvidos no campo em questo respondessem a perguntas tais como: Qual seria a melhor forma de interpretar e medir as metas e os objetivos? Quais seriam os resultados previsveis dentro das condies existentes? Qual a prtica comparvel mais conhecida? Se as metas so contraditrias, uma opo seria se outras alternativas parecerem inadequadas dividir o projeto de auditoria em vrios estudos seqenciais, para que cada um envolva uma meta. No caso de metas vagas ou de longo prazo, talvez seja possvel estabelecer um escopo um pouco mais reduzido, buscar perspectivas a curto prazo e critrios objetivos (Tambm existem outras opes).

123

Apndice 3
As evidncias e a documentao 1 As evidncias de auditoria As evidncias de auditoria so informaes coletadas e utilizadas para apoiar os resultados de auditoria. As concluses e recomendaes que aparecem no relatrio de auditoria devem ser fundamentadas em tais evidncias.78 Por conseguinte, os auditores de gesto devem refletir cuidadosamente sobre a natureza e a quantidade das evidncias que coletam. Todo o trabalho de campo dever ser planejado com a perspectiva de adquirir evidncias que apiem os resultados que aparecem no relatrio final. As Normas de Auditoria da INTOSAI manifestam que Para fundamentar as opinies e as concluses do auditor relativas organizao, ao programa, atividade ou funo auditada, devem ser obtidas evidncias adequadas, relevantes e razoveis. (NA 3.5.1). 1.1 Consistncia das evidncias A evidncia consistente (vlida e confivel) se representa, de fato, o que se prope representar. A confiabilidade das evidncias pode ser avaliada levando-se em considerao os seguintes fatores: A corroborao fornecida pelas evidncias uma tcnica poderosa para aumentar a confiabilidade. Isso implica que o auditor busque diferentes tipos de evidncias que tenham diferentes origens. Freqentemente, com ou sem razo, as evidncias originadas no exterior da entidade auditada so consideradas mais confiveis aos efeitos da auditoria, que a informao gerada dentro da prpria entidade auditada. A evidncia documental costuma ser considerada mais confivel que a evidncia oral.

78

Cdigo de tica e Normas de Auditoria da INTOSAI, glossrio.

125

 A evidncia que tem sua origem na observao ou anlise direta do auditor mais confivel que a evidncia obtida de modo indireto. A confiabilidade da informao gerada pela entidade auditada possui uma certa relao com a confiabilidade da sua direo/ dos seus sistemas de controle interno. A evidncia oral corroborada por escrito mais confivel que a evidncia meramente oral. Os documentos originais so mais confiveis que as fotocpias. 1.2 Relevncia das evidncias A relevncia exige que a evidncia possua uma relao clara e lgica com os objetivos e os critrios da auditoria. Um enfoque do planejamento da coleta de dados consiste em enumerar, para cada tema e cada critrio, a natureza e a localizao da evidncia que se necessita, assim como o procedimento de auditoria que vai ser executado. Suficincia das evidncias Para extrair concluses razoveis que sirvam de base para o relatrio de auditoria, o auditor dever obter suficientes evidncias apropriadas de auditoria. A suficincia a medida da quantidade de evidncias de auditoria, e o carter apropriado a medida da qualidade das evidncias, sua pertinncia em relao a determinados critrios e sua confiabilidade. A evidncia suficiente quando existe uma prova relevante e confivel que permita convencer uma pessoa razovel de que os resultados, as concluses e as recomendaes da auditoria operacional esto fundamentados e garantidos. Ao estabelecer que a evidncia documental suficiente, o auditor deve levar em conta o tipo do documento. Em auditoria operacional, os fatores que indicam a fora das evidncias requeridas em apoio a uma observao so os seguintes: nvel de importncia ou significado da observao; grau de risco associado com a adoo de uma concluso errnea; experincia obtida em exames de auditoria anteriores ou em outras investigaes sobre o grau de confiabilidade dos registros e declaraes da entidade auditada;

126

 sensibilidade conhecida da entidade auditada a respeito de um tema; e custo de obteno das evidncias, em comparao com os benefcios alcanados a favor da observao. As evidncias coletadas durante uma auditoria operacional podem ter natureza predominantemente qualitativa e exigir uma ampla utilizao de critrio profissional. Por conseguinte, o auditor buscar geralmente evidncias corroborativas em fontes distintas, ou evidncias de natureza diferente ao efetuar avaliaes e elaborar concluses. Ao planejar a auditoria, o auditor identificar a natureza, as origens e a disponibilidade provveis das evidncias de auditoria requeridas. O auditor dever levar em considerao fatores tais como a disponibilidade de outros relatrios ou estudos de auditoria, e o custo de obteno das evidncias de auditoria. 2 Caractersticas das evidncias de auditoria operacional Os auditores devem estar conscientes dos problemas ou fragilidades potenciais das evidncias de auditoria operacional. Os problemas potenciais so os seguintes: evidncias baseadas em uma nica fonte (confiabilidade, validade, suficincia); evidncias orais carentes de documentao ou observaes de apoio (confiabilidade); evidncias no sensveis ao tempo, isto , muito velhas e que no refletem as mudanas (relevncia); evidncia muito custosa de se obter em comparao com os benefcios que oferece (relevncia e suficincia); a fonte da evidncia tem interesse no resultado do trabalho (confiabilidade); as amostras coletadas no so representativas (pertinncia, validade, suficincia); a evidncia somente pode ser relacionada com um fato isolado (validade, suficincia); a evidncia incompleta, isto , no demonstra uma causa ou um efeito (confiabilidade, suficincia); e a evidncia contraditria (confiabilidade).

127

As evidncias podem ser classificadas da seguinte forma: fsicas, orais, documentais ou analticas. 2.1 Evidncias fsicas A observao de pessoas e acontecimentos, ou exame de bens, so formas de obter evidncias fsicas. A evidncia pode consistir em fotografias, tabelas, mapas, grficos ou outras representaes mediante imagens. Uma imagem de uma situao insegura muito mais convincente que uma descrio escrita. Quando a observao de uma situao fsica decisiva para alcanar os objetivos da auditoria, ela dever ser confirmada. Isso pode ser alcanado fazendo com que dois ou mais auditores realizem a observao, acompanhados se isso for possvel por representantes da entidade auditada. 2.2 Evidncias orais As evidncias orais assumem a forma de declaraes que, em geral, procedem de pedidos de informaes ou entrevistas. Essas declaraes podem proporcionar importantes indcios de que nem sempre possvel obt-las atravs de outras formas de trabalho de auditoria. Podem ser obtidas de empregados da entidade auditada, beneficirios e clientes do programa auditado, de especialistas e consultores contratados para corroborar evidncias relacionadas a uma auditoria, e membros do pblico em geral. Requer-se a confirmao das evidncias orais, quando vo ser utilizadas como prova e no como simples informao histrica. A confirmao das evidncias orais pode ser efetuada: mediante confirmao por escrito do entrevistado; mediante a anlise de mltiplas fontes independentes que revelem os mesmos fatos; ou mediante comprovao posterior dos registros. Ao avaliar a confiabilidade e relevncia das evidncias orais, o auditor necessita levar em conta a credibilidade do entrevistado; isto , o cargo, os conhecimentos, a experincia e a franqueza da pessoa entrevistada.

128

2.3 Evidncias documentais A forma mais comum de evidncias de auditoria so as documentais de carter material ou eletrnico. Podem ser externas ou internas entidade auditada. As evidncias documentais externas abrangem cartas ou memorandos recebidos pela entidade auditada, faturas de fornecedores, leasings, contratos, auditorias externas e internas e outros relatrios, e confirmaes de terceiros. As evidncias documentais internas tm sua origem na entidade auditada. Incluem elementos como, por exemplo, registros contbeis, cpias da correspondncia emitida, classificao de cargos, planos, oramentos, relatrios e memorandos internos, estatsticas de resumo de desempenho, polticas e procedimentos internos. A confiabilidade e a relevncia das evidncias documentais tm que ser avaliadas em relao aos objetivos da auditoria. Por exemplo, a existncia de um manual de procedimentos no demonstra que o manual seja posto em prtica. Do mesmo modo, no caso das evidncias orais, deve-se avaliar o cargo, os conhecimentos e a experincia do autor ou do emissor do documento. Os documentos que se originem dos sistemas de controle da gesto (p. ex. o sistema contbil) tero que ser avaliados de acordo com os controles internos aplicados em tal sistema. Os auditores que desejem se basear em tais evidncias devero avaliar os controles internos do sistema. 2.4 Evidncias analticas As evidncias analticas surgem da anlise e verificao dos dados. A anlise pode ser realizada sobre clculos, proporo, tendncias e padres de dados procedentes da entidade auditada ou de outras fontes pertinentes. Tambm podem ser efetuadas comparaes com as normas obrigatrias ou com as avaliaes comparativas prprias do setor. A anlise costuma ser numrica e leva em considerao, por exemplo, a proporo entre produtos e recursos, ou o percentual do oramento que tenha sido gasto. Pode ter tambm um carter no-numrico; por exemplo, quando se observa uma tendncia consistente na natureza das reclamaes realizadas a respeito de uma entidade auditada.

129

3 O processo de obteno de evidncias A coleta de evidncias realizada durante as fases de anlise preliminar e de exame de uma auditoria. O trabalho realizado na fase de anlise preliminar tambm constitui parte da evidncia geral. Os auditores devero: examinar as caractersticas dos dados requeridos; coletar dados pertinentes para o alcance dos objetivos especficos da auditoria; coletar dados com base nos critrios de auditoria expostos no plano de trabalho da auditoria; coletar dados suficientes e convincentes que fundamentem logicamente a anlise, observaes, concluses e recomendaes; e aplicar a norma de evidncias para estabelecer, de forma satisfatria, um equilbrio de probabilidades. As fontes de evidncias esto apresentadas nos pargrafos seguintes. 3.1 Declaraes polticas e legislao Os auditores devem coletar documentos relacionados s poltica, diretrizes operacionais, manuais, diretrizes ministeriais, decises de delegaes, etc., e examinar o histrico que conduziu a sua promulgao. Os auditores tambm devem levar em considerao as modificaes na legislao e outros documentos que impem a necessidade de se efetuarem mudanas, tais como, documentos apresentados, recortes de imprensa, reclamaes, histricos de casos e discursos. 3.2 Dados publicados sobre o desempenho dos programas Os demonstrativos oramentrios publicados pela entidade auditada proporcionam dados sobre os objetivos e o desempenho dos organismos. Incluem uma viso geral da entidade auditada e proporcionam uma informao sobre suas finanas e seu desempenho. 3.3 Entrevistas As entrevistas podem ser teis, porm necessrio identificar a pessoa correta que facilite a obteno de informao, e confirmar a informao
130

oral. essencial uma slida preparao a esse respeito, sendo til uma lista de questes elaborada com antecedncia; em alguns casos, pode ser efetivo fornecer com antecedncia essa lista ao entrevistado. 3.4 Exame de arquivo A informao procedente de arquivos oferece evidncias fortes em apoio s recomendaes. No sistema de registro da entidade auditada dever ser obtida uma relao de arquivos. Ademais, a informao sobre arquivos que sejam relevantes para uma rea de trabalho especfica pode ser encontrada naquela rea de trabalho. As entrevistas de auditoria tambm podem oferecer indcios sobre quais arquivos preciso buscar e revisar. Os documentos teis para a reviso so os que fazem referncia a: planejamento estratgico e operacional; controle de gesto; atas das reunies de carter executivo; reclamaes e conflitos; e revises e auditorias.

As evidncias procedentes de arquivos podem proporcionar um slido apoio aos resultados. O exame de documentos exige tempo, e, em geral, no podem ser examinados na totalidade. H que se decidir pelo exame de uma seleo aleatria ou de uma seleo baseada no propsito da auditoria. Habitualmente se adota este ltimo tipo de seleo, porm, quando h tempo suficiente, deve ser examinada uma amostra aleatria de outros arquivos. 3.5 Relatrios e anlises de gesto Os organismos pblicos costumam gerar diversos relatrios ou anlises de carter interno que resumem para a alta direo os temas de interesse em cada momento, ou que propem alternativas de atuao. Os auditores devem localizar e examinar tais relatrios. As formas de identificar os relatrios incluem as entrevistas e o exame das atas das reunies da direo. 3.6 Bases de dados A maioria dos organismos pblicos possui algum sistema de informao para a direo, a qual coleta a informao necessria para a realizao das
131

operaes. Esses sistemas so importantes fontes de evidncias, sobretudo na quantificao de diferentes assuntos. 3.7 Fontes externas possvel que os organismos de maiores dimenses tenham grandes bibliotecas especializadas pertinentes para suas reas de responsabilidade. Pode ser especialmente til a busca de bibliografia sobre os temas pertinentes e os termos-chave. 3.8 Fontes da EFS O auditor no deve omitir ou passar por cima das evidncias que so coletadas nas auditorias anteriores ou atravs da coleta de informao que serve de apoio ao planejamento estratgico da entidade auditada. 3.9 Observao O valor da observao direta no deve ser subestimado. Uma observao do comportamento geral do pessoal fornece informao sobre a presso, a moral ou a falta de trabalho, sobre as quais se pode depois efetuar um monitoramento, quando considerado apropriado. Entretanto, preciso realizar uma cuidadosa considerao com o objetivo de selecionar as atividades ou instalaes que vo ser inspecionadas fisicamente. Essas devem ser representativas da rea que se examina. Os auditores tambm devem estar conscientes de que as pessoas atuam de forma diferente quando so submetidas a observao. Essas evidncias podem ser consideradas como frgeis, salvo se confirmadas. As fotografias e as gravaes de vdeo incrementam o valor da observao direta. Recomenda-se efetuar uma descrio detalhada por escrito dos resultados das observaes. 4 Documentao As Normas de Auditoria da INTOSAI estipulam que: Os auditores devem documentar adequadamente as evidncias de auditoria nos papis de trabalho, incluindo a fundamentao e o alcance do planejamento, do trabalho executado e das constataes da auditoria (NA 3.5.5). Tambm afirmado que: A documentao adequada importante por vrios motivos:
132

(a) confirma e fundamenta as opinies e relatrios do auditor; (b) aumenta a eficincia e a eficcia da auditoria; (c) serve como fonte de informaes para preparar relatrios ou para responder a consultas da entidade auditada ou de quaisquer outros interessados; (d) serve como prova da observncia s normas de auditoria por parte do auditor; (e) facilita o planejamento e a superviso; (f) contribui para o desenvolvimento profissional do auditor; (g) ajuda a garantir a execuo satisfatria das tarefas delegadas; e (h) proporciona provas do trabalho realizado para futuras referncias (NA 3.5.6). Papis de trabalho so todos aqueles documentos pertinentes que so coletados e gerados durante uma auditoria operacional. Devem incluir os documentos nos quais so registrados o planejamento, o cronograma e o alcance dos procedimentos de auditoria realizados, os resultados da auditoria e as concluses extradas das evidncias de auditoria obtidas. Os papis de trabalho, por conseguinte, devem conter trs sees, no mnimo: planejamento, execuo e relatrio. Os papis de trabalho servem como vnculo de conexo entre o trabalho de campo e o relatrio de auditoria, e tm que ser bastante completos e detalhados para permitir uma compreenso da auditoria. Portanto, tm que conter as evidncias recolhidas como suporte s opinies, s concluses e s anlises que apiam as recomendaes do relatrio. Os papis de trabalho organizam e facilitam o acesso documentao probatria, e, desse modo: ajudam no planejamento e na realizao da auditoria; facilitam a superviso eficaz de cada auditoria individualmente e da atividade de auditoria em seu conjunto; colaboram na superviso e reviso do trabalho de auditoria; e registram as evidncias resultantes do trabalho de fiscalizao realizado como suporte opinio de auditoria.

133

O auditor deve adotar os procedimentos apropriados para manter a confidencialidade e a custdia segura dos papis de trabalho, e deve conserv-los durante o perodo suficiente para cumprir os requisitos legais e profissionais de conservao de registros. 5 melhor ser vagamente correto que estar equivocado com exatido Raramente possvel que os auditores operacionais obtenham toda a informao de que necessitam. Os dados disponveis podem ser inexatos, incompletos ou contraditrios. Em conseqncia, os auditores devem ser criativos para encontrar dados que descrevam, com correo minimamente razovel, o que esto buscando. Talvez se possam obter estimativas bem-fundamentadas, ou possa haver outros meios de encontrar dados que sejam teis para a anlise prtica e a avaliao global. Dados menos precisos combinados com dedues lgicas e outras informaes s vezes poderiam bastar; por exemplo, se o que se deseja descrever tendncias. Outra possibilidade consiste em que as entidades auditadas e demais envolvidos confirmem que os dados menos precisos que so coletados proporcionam uma imagem razovel e correta da realidade, ou seja, a informao coletada pode ser utilizada como prova de um tipo ou outro, e como base de posteriores anlises e concluses gerais. A coleta de dados sempre um compromisso entre o ideal (a melhor soluo) e a realidade (a segunda ou terceira melhor soluo). De fato, ambies muito elevadas na busca de dados completos, precisos e exatos podem prejudicar a eficcia de uma auditoria operacional. Os esforos por alcanar exatido podem entrar em conflito facilmente com a ambio de realizar uma anlise inteligente. A necessidade de exatido, por conseguinte, sempre deve levar em considerao aquilo que razovel, econmico e pertinente aos efeitos da coleta de dados. Conseqentemente, em todos os casos, os auditores operacionais devem procurar ser prticos em seus esforos para coletar, interpretar e analisar dados. importante, entretanto, que o leitor do relatrio de auditoria esteja informado acerca da qualidade de todas as informaes que foram coletadas e da forma como foram reunidas. Isso inclusive mais decisivo no caso de se enfrentarem dados menos precisos. Os auditores devem extrair somente aquelas concluses que sejam permitidas pela qualidade dos dados.
134

Apndice 4
Comunicao e garantia de qualidade Relaes externas e relaes com as entidades auditadas O estabelecimento de boas e apropriadas relaes com a entidade auditada com freqncia constitui um fator-chave ao longo de auditorias eficazes e eficientes dos programas governamentais ou de um programa ou uma funo de uma entidade auditada. O desenvolvimento e o resultado da auditoria melhoraro, se a equipe de auditoria consegue um contato adequado e fomenta a confiana, mantendo um enfoque plenamente profissional ao longo da auditoria. O pessoal da EFS deve procurar manter boas relaes com todos os envolvidos, promover um fluxo livre e sincero de informao, e realizar debates em uma atmosfera de mtuo respeito e compreenso. A EFS deve utilizar, com prudncia, sua capacidade de acesso informao, e prestar a devida ateno s responsabilidades operacionais em curso. Ela dever notificar as entidades auditadas, com antecedncia razovel, sobre seu propsito de iniciar uma auditoria, e dever debater o alcance geral do trabalho com os respectivos gestores. Relaes com as entidades auditadas O gerente da auditoria a cargo do trabalho ou o lder do projeto quem, normalmente, estabelece o contato inicial com a(s) entidade(s) auditada(s) para lhe(s) comunicar questes como as seguintes: os objetivos, cronograma, durao e tipo da auditoria que ser efetuada; os escritrios ou regies que se tem a inteno de visitar; e os nomes, cargos, nmeros de telefone, etc. do pessoal de auditoria e de uma pessoa de contato oficial dentro da EFS em relao auditoria.

135

Os objetivos das reunies ou entrevistas no processo inicial so: estabelecer acordos adequados de colaborao com os gestores e outros nveis de atividades, que envolvam acordos para preparar relatrios de progressos sobre possveis resultados; garantir que a(s) entidade(s) auditada(s) compreenda(m) claramente os objetivos e processos da auditoria, que inclui uma descrio da capacidade de acesso e da proteo da confidencialidade; descrever as responsabilidades da(s) entidade(s) auditada(s) e esclarecer as consultas ou os mal-entendidos que possam ter a(s) entidade(s) auditada(s); e tomar decises administrativas referentes equipe de auditoria, tais como acesso aos edifcios, pessoal, documentos, arquivos, sistemas e dados. Ao final de cada auditoria, dever ser ajustada uma entrevista de encerramento com os gestores da(s) entidade(s) auditada(s), para, por exemplo: debater os resultados, concluses e recomendaes provisrias da auditoria com a direo da entidade auditada, e receber os comentrios da direo sobre tais informaes; dar entidade auditada a oportunidade de corrigir os malentendidos e de expressar seu julgamento sobre as concluses e os resultados da auditoria. Sistemas de garantia de qualidade e de controle de qualidade As Normas de Auditoria da INTOSAI estipulam que a EFS deve estabelecer sistemas que confirmem que os processos de garantia de qualidade integral tm funcionado de modo satisfatrio; que garantam a qualidade do relatrio de auditoria; assegurem as melhorias de qualidade e evitem a repetio dos pontos fracos. A EFS deve pr em prtica polticas e procedimentos de garantia/controle de qualidade tanto na EFS como em cada auditoria. A garantia de qualidade faz referncia a polticas, sistemas e procedimentos estabelecidos pela EFS para manter um nvel elevado na atividade de auditoria. Tambm se refere aos requisitos aplicveis direo das atribuies de auditoria, no dia-a-dia. O controle de qualidade, em compensao, faz referncia s revises efetuadas para avaliar o sistema de garantia de qualidade ou os projetos de auditoria executados.
136

Atividades de garantia de qualidade da EFS Como parte das obrigaes legais e profissionais da EFS, esta deve estabelecer e apoiar os sistemas adequados de garantia de qualidade. Os sistemas abarcam a estrutura, as polticas e os procedimentos projetados para proporcionar s EFSs a adequada garantia de que o trabalho por elas efetuado cumpre os requisitos e as normas profissionais. As atividades de garantia de qualidade incluem o seguinte: Garantir a qualidade do planejamento deve-se revisar o planejamento das tarefas selecionadas, com vistas a assegurar que dada a necessria ateno a todas as matrias consideradas como essenciais. Garantir a qualidade do trabalho em curso o trabalho em curso deve estar sujeito a uma reviso contnua. Essa reviso essencial para a manuteno da qualidade das tarefas de auditoria, e para promover a aprendizagem e a retroalimentao. Garantir a qualidade da auditoria finalizada todas as tarefas concludas devero ser revisadas antes da assinatura dos relatrios. Os procedimentos de garantia de qualidade devero ser projetados de um modo que garantam que todas as auditorias sejam realizadas em conformidade com as normas de auditoria pertinentes. Os objetivos dos procedimentos de garantia de qualidade devem incluir: a competncia e a honradez profissional; a superviso e a alocao de pessoal para as atividades; orientao e assistncia; avaliao dos clientes; e adjudicao de responsabilidades administrativas e tcnicas.

As polticas e os procedimentos gerais de garantia de qualidade da EFS devero ser de conhecimento do seu pessoal, de modo que permitam uma segurana razovel de que as polticas e os procedimentos so compreendidos e executados. Esto apresentados a seguir, alguns fatos e elementos do trabalho de auditoria que exigem uma ateno especial por parte dos gerentes da auditoria e dos dirigentes da EFS:

137

Planejamento e oramento da auditoria O gerente da auditoria deve levar em considerao fatores tais como a qualidade, os recursos e o cronograma, no planejamento da auditoria. Os oramentos consistem em alocaes de salrios, viagens, consultorias e outros custos diretos. Utilizao de consultores Se a EFS busca o assessoramento de especialistas externos, as normas para o exerccio do zelo e da confidencialidade devidos em relao informao sero aplicadas a esses casos. Superviso e execuo da auditoria Os gerentes devero garantir que as auditorias sejam realizadas tempestivamente e dentro dos limites oramentrios, ampliando o oramento, caso necessrio. O gerente de auditoria deve estar consciente dos riscos que representam ameaa para a concluso da fiscalizao no prazo fixado, e garantir que o trabalho de auditoria pertinente para os objetivos e o alcance dos resultados pretendidos. O desenvolvimento do processo de coleta de dados e do trabalho de anlise tem que ser submetido a controle. O gerente de auditoria deve garantir que as equipes de auditoria so capacitadas para manter relaes corretas e adequadas com a(s) entidade(s) auditada(s) e outros envolvidos. Informao sobre o avano e informao sobre a auditoria O gerente de auditoria dever informar direo da EFS sobre o avano da auditoria, fazendo constar as recomendaes acerca de aes corretivas, quando necessrias. O gerente tambm deve garantir que os relatrios de auditoria operacional cumpram as normas de informao. Programa de reviso da garantia de qualidade revises externas e internas Um programa de reviso da garantia de qualidade consiste em uma srie de revises externas e internas sobre as atividades efetuadas pela EFS: avalia a qualidade geral do trabalho realizado, e envolve diversos temas e perspectivas. Por conseguinte, o programa tem que ser flexvel. Seus resultados devero ser comunicados direo da EFS, no mnimo uma
138

vez ao ano (com um elevado volume de auditorias operacionais). Uma reviso de garantia de qualidade pode examinar a aderncia com que so operacionalizadas as polticas e os procedimentos, e identificar reas onde exista a oportunidade de efetuar melhorias nesses procedimentos e polticas, ou avaliar a qualidade do trabalho realizado para cumprir os objetivos especificados ou satisfazer s perspectivas dos interessados. As revises de garantia de qualidade trataro normalmente tanto a fidelidade aos processos especificados como a qualidade do trabalho realizado. O relatrio sobre o programa de reviso da garantia de qualidade dever resumir os resultados de todas as revises, incluindo as tarefas selecionadas (quantidade e tipo), os resultados e as possveis recomendaes. Garantia de qualidade e desenvolvimento da qualidade importante que todas as atividades de garantia/controle de qualidade tenham um alto grau de legitimao entre os auditores, e que os procedimentos e sistemas no sejam demasiado sofisticados. Alm das atividades de garantia e controle da qualidade, talvez a maneira mais eficaz de promover a qualidade no trabalho de auditoria consista em selecionar pessoal competente e criar condies de trabalho que: estimulem o desenvolvimento da qualidade; melhorem a abertura e a delegao dentro da organizao; e estimulem o senso de responsabilidade prprio dos auditores. Em uma atividade baseada na informao e de carter profissional como a auditoria operacional, costuma ser mais importante apoiar as equipes de auditoria em seu trabalho, em vez de supervision-las no sentido tradicional do termo.

139

Apndice 5
Auditoria operacional e tecnologia da informao Introduo79 A tecnologia da informao (TI) est sendo cada vez mais utilizada no planejamento, na execuo e no controle de programas no setor pblico. Compartilhar ou integrar informao entre organismos sugerem temas tais como o risco de violaes de segurana e o manuseio no autorizado de informao. Os auditores no devem somente conhecer os usos da TI, como tambm desenvolver estratgias e tcnicas que assegurem aos interessados a utilidade do uso da TI, a segurana dos sistemas, a existncia dos adequados controles do processo, e a integridade e exatido dos outputs. Anteriormente, era comum que a auditoria operacional se concentrasse em questes tais como o planejamento, o desenvolvimento e a manuteno de sistemas individuais de TI. Na atualidade, a perspectiva mais ampla. Os sistemas de TI, so considerados primordialmente como componentes importantes em todos os programas da administrao (governo eletrnico). A mudana de perspectivas tem conseqncias para a auditoria operacional na rea da tecnologia da informao. O valor dos bons sistemas de TI consiste na medida em que podem melhorar a economia, a eficincia e a eficcia dos programas existentes e contribuir para a melhoria dos servios pblicos. Os sistemas de TI podero se constituir um mecanismo eficiente e eficaz de realizao de programas. Dispem do potencial necessrio para prestar os servios atuais a um preo mais reduzido, e proporcionam uma gama de servios adicionais, entre os quais se inclui a informao sobre o desempenho dos programas, com eficincia, segurana e capacidade de controle maiores que as existentes nos sistemas manuais. Todavia, os sistemas de TI tambm podem provocar importantes erros sistmicos, com um efeito sobre o desempenho do organismo pblico muito maior do que ocorreria com os sistemas manuais.

79 Este apndice se baseia em documentos procedentes do Comit de TI da INTOSAI, e nas diretrizes de auditoria operacional propostas pela ASOSAI. Tambm foram considerada as experincias individuais das EFSs.

141

Este apndice pe em destaque diversas consideraes importantes para a auditoria operacional em um ambiente de TI, e no se prope a substituir as diretrizes detalhadas que as EFSs necessitem criar para avaliar o ambiente de TI das entidades auditadas. O enfoque da auditoria operacional em um ambiente de TI dever envolver os seguintes processos inter-relacionados: compreender os sistemas de TI das entidades auditadas e determinar sua importncia para o objetivo da auditoria operacional; identificar o grau de auditoria dos sistemas de TI requerido para alcanar o objetivo da auditoria operacional (p. ex. auditoria dos processos de investimento em TI e suas vinculaes com as estratgias empresariais, auditoria do desenvolvimento de sistemas; auditoria do ambiente e do controle de acessos) e empregar auditores especializados em sistemas de informao/ TI para realizar a tarefa; e desenvolver e utilizar, quando apropriado, tcnicas de auditoria apoiadas por computadores para facilit-la. Uma auditoria operacional em um ambiente de TI dever: avaliar se os sistemas de TI melhoram a economia, a eficincia e a eficcia dos objetivos do programa e de sua gesto, sobretudo em relao ao planejamento, execuo, controle e retroalimentao referentes aos programas; determinar se os produtos do sistema cumprem os parmetros estabelecidos de qualidade, servio e custo; identificar as deficincias nos sistemas de informao e nos controles de TI, e as conseqncias resultantes sobre a eficincia, economia e eficcia do desempenho; comparar as prticas de desenvolvimento e manuteno dos sistemas de TI da entidade auditada com as principais prticas e normas; comparar o planejamento estratgico de TI, a gesto de riscos e as prticas de gesto de projetos da entidade auditada com as principais prticas e normas, includas as prticas de estratgia institucional.

142

Um modelo de alto nvel para auditar a utilizao de TI Ao auditar a utilizao de TI em programas empresariais, o auditor necessita concentrar-se em determinados aspectos. Em sentido amplo, possvel identificar os seguintes componentes em um modelo de alto nvel para auditar questes de TI: os requisitos da Administrao e outras exigncias referentes utilizao de TI nos servios da Administrao Pblica; as estratgias da Administrao para o aperfeioamento de atividades e processos de deciso baseadas em TI e de projetos de investimento nesta mesma rea (implementao de TI); projetos de desenvolvimento da Administrao, execuo e manuteno de atividades/programas baseados em TI, sistemas de TI e infra-estrutura de TI, includos aspectos de segurana, integridade, controle, etc.; utilizao dos sistemas de TI por parte dos clientes, includos os aspectos de capacidade de uso e a interao entre usurios e sistemas de TI; a eficcia a longo prazo dos sistemas de TI e do suporte da TI aos programas empresariais (rentabilidade da utilizao de TI); o suporte de diferentes atores em questes relacionadas com a TI e entregues a rgos da Administrao Pblica, includos temas como, por exemplo, normas de TI, tecnologia empregada, etc.; os principais atores que influenciam sobre a Administrao e seus rgos em questes relacionadas com a TI, por exemplo tendncia da TI, conhecimento sobre TI, etc. Aspectos de desempenho da auditoria em um ambiente de TI Em muitos casos, o tema mais importante da auditoria consiste em determinar se o sistema de TI tem melhorado a eficincia com que a entidade auditada gerencia seus programas, e se o sistema de TI tem conseqncias benficas para os envolvidos no processo. Tambm se pode esperar que o auditor avalie se os sistemas de TI tm facilitado uma melhor gesto do programa. Estas so algumas das reas que devem ser levadas em considerao: a vinculao do processo de investimento em TI especialmente o sistema de inovao da entidade auditada para criar,
143

processar e decidir sobre as propostas de investimento em TI com os processos de estratgia empresarial, direo e planejamento; a TI deve apoiar os objetivos e a estratgia institucional da entidade auditada e, por conseguinte, parte integrante de suas operaes; as atividades de TI exigem pessoal de alta qualificao; a contribuio da TI para as atividades medida em termos de eficincia operacional; possvel que as vantagens da TI no sejam conseguidas sem a realizao das devidas mudanas; e possivelmente sejam mais difceis de utilizar as avaliaes habituais de rentabilidade.

Alm de avaliar se os sistemas de TI so rentveis, tambm se deve esperar que o auditor operacional avalie/mensure se o ambiente de TI tem contribudo para a transparncia, a accountability e para boa governana. A auditoria tambm pode abranger temas de TI mais especializados, p. ex., desenvolvimento de sistemas de TI e sua gesto operacional. Uma auditoria operacional que envolva o desenvolvimento de sistemas de TI Uma auditoria operacional que envolva o desenvolvimento de sistemas de TI dever determinar se a entidade auditada: possui a adequada aprovao executiva para o desenvolvimento do sistema de TI, ou seja, se a gesto da TI se ajusta estratgia institucional da entidade auditada; tem instalado os processos apropriados de gesto de projetos que sirvam para gerenciar o projeto; tem cumprido os objetivos requeridos de prazo, custo, funcionamento de sistemas e custo-benefcio; emprega uma metodologia apropriada de desenvolvimento de sistemas; e tem instalado processos, incluindo o envolvimento de auditores internos, que garantam que o novo sistema inclui todos os controles e trilhas de auditoria que sejam necessrios, e que possvel que se cumpram os requisitos da entidade auditada e os relacionados com ela.
144

A auditoria operacional com sistemas operacionais de TI Na lista a seguir, apresentam-se alguns dos aspectos mais importantes que se espera que sejam levados em considerao pelo auditor, e que devero ser modificados de acordo com as caractersticas especficas de cada entidade auditada: a gesto estratgica e operacional de TI, includa a segurana de que a TI foi considerada na estratgia institucional da entidade auditada; a gesto de projetos de TI, includo o histrico da entidade auditada no cumprimento dos prazos legislativos e de outros tipos; as prticas de gesto de riscos em relao com a TI; projeto, desenvolvimento e controles de manuteno dos sistemas de TI; cumprimento das normas, includas as normas externas; controles de aplicao; controles de processo, includas as trilhas de auditoria; acordos de continuidade empresarial; integridade dos dados, que inclui a amostragem de dados (possivelmente utilizando Tcnicas de Auditoria Apoiadas por Computador CAAT); controles de acesso e segurana fsica e lgica de redes e computadores, includos os acessos indevidos pela Internet; controles para proteger-se de software ilegal; direo e medidas do desempenho; e outros assuntos que surjam durante a auditoria. Ao efetuar a avaliao, o auditor poder: revisar arquivos e outros documentos pertinentes para o desenvolvimento e o funcionamento dos sistemas de TI; utilizar um conjunto de software adequado para testar os controles centrais e em rede do sistema informatizado;

145

 testar uma amostra de transaes (includo o uso de Tcnicas de Auditoria Apoiadas por Computador (CAAT)) para validar os sistemas e controles pertinentes; entrevistar o Auditor Geral* e as pessoas-chave. Planejamento Como ocorre em toda auditoria, necessrio planejar a auditoria operacional em um ambiente de TI. O processo de planejamento deve integrar os objetivos da auditoria com os objetivos da entidade auditada referentes adoo/introduo de sistemas de TI, e dever incluir aspectos da auditoria relacionados com a segurana, os controles e o custobenefcio. A fase de planejamento tambm deve identificar os sistemas de TI, suas funes nos programas, os sistemas informatizados e os conjuntos de software utilizados pela entidade auditada. Durante essa fase, os auditores tambm necessitam identificar os principais riscos potenciais dos sistemas de TI. A auditoria operacional em ambiente de TI requer competncias especializadas, e deve dedicar a essa tarefa pessoal qualificado especificamente em competncias de TI, sistemas de informao, auditoria e contabilidade. Podero ser necessrios os servios de consultores externos para as reas tcnicas mais especializadas. As EFSs tambm necessitam levar em considerao a aquisio das ferramentas apropriadas de hardware e software. O pessoal das EFSs necessitar de uma ampla formao para manter-se atualizado sobre os avanos tecnolgicos e as tcnicas de auditoria da TI. Tcnicas de Auditoria Apoiadas por Computador Os auditores esto utilizando cada vez mais as Tcnicas de Auditoria Apoiadas por Computador (CAAT). Estas tcnicas utilizam programas (softwares) adaptados especificamente para ajudar na execuo da auditoria. Podem ser utilizadas para a amostragem de dados de transaes do sistema e para testar o sistema em conjunto. As ferramentas de CAAT podem ser desenvolvidas para:

* (N. do T.) EFSs organizadas sob a forma de Tribunais de Contas, por exemplo, a entrevista pode ser realizada
com o membro responsvel pela superviso do trabalho.

146

 acessar e extrair informao das bases de dados da entidade auditada; totalizar, resumir, classificar, comparar e selecionar grandes volumes de dados em conformidade com critrios especficos; tabular, comprovar e realizar clculos sobre os dados; realizar amostragens, processos estatsticos e anlises; facilitar relatrios projetados para satisfazer a determinadas necessidades de auditoria; facilitar o planejamento e o controle da auditoria, p. ex., papis de trabalho de auditoria eletrnica que necessitem de indexao, reviso e informao eficazes; realizar pesquisas atravs de questionrios pela Internet; incrementar a anlise das evidncias e dos resultados da auditoria. As CAATs podem ser utilizadas para coletar dados, validar os processos do programa ou analisar os dados. Os auditores devero desenvolver essas tcnicas e treinar o pessoal da entidade auditada. Essas ferramentas automatizadas de fiscalizao devem ser desenvolvidas/modificadas, considerando a presena do ambiente de TI na entidade auditada e os objetivos da auditoria. As CAATs podem ser utilizadas nas auditorias operacionais, tanto em ambientes de TI como tambm fora deles. Relatrio O relatrio de auditoria operacional deve ser elaborado com o propsito de reduzir ao mnimo o uso de terminologia tcnica, para que a TI seja facilmente compreendida pela direo, pelos membros do Poder Legislativo e pelo pblico em geral. Quando for inevitvel o uso de termos tcnicos, estes devero ser explicados. Os relatrios de auditoria devero ser publicados nos sites da web das EFSs ou em CD, para que tenham uma ampla distribuio.

147

Apndice 6
Auditorias operacionais em atividades com uma perspectiva ambiental 1 Introduo Ao longo dos ltimos 20 anos, a conscincia geral sobre os temas ambientais tem crescido rapidamente, e se tem outorgado destaque especial a matrias como a diminuio da camada de oznio, a destruio das florestas tropicais e o aquecimento global. O conhecimento e a experincia cada vez maiores que se tm adquirido acerca dos assuntos do meio ambiente durante esse perodo tm levado a replanejar a funo e as responsabilidades das Administraes Pblicas (nacionais e locais, e seus organismos vinculados) e empresas. Estas so algumas das mudanas decisivas que tm sido produzidas: o incremento das regulamentaes ambientais por parte das autoridades estatais ou locais; o custo crescente da proteo ambiental, tanto no setor privado como no pblico, tm aumentado os recursos gastos por ambos os setores no controle da poluio, e as entidades empresariais e pblicas esto buscando as maneiras mais rentveis de enfrentar essas questes; a conscincia ambiental das entidades financeiras, nacionais e internacionais. A presso e os controles a que esto submetidas essas entidades impulsionam as Administraes e empresas a prestarem ateno mais profunda aos temas ambientais; depois da Conferncia das Naes Unidas sobre o Meio Ambiente, realizada no Rio de Janeiro, os governos e as empresas de todo o mundo tm mostrado maior preocupao com o desenvolvimento sustentvel. A crescente exigncia para que as organizaes que causam danos ao meio ambiente tenham que prestar contas de seus atos, tem exigido que sejam elaborados relatrios sobre as conseqncias desses atos. Por seu turno, tm crescido as expectativas de que as declaraes efetuadas nesses relatrios ambientais estejam obrigadas a ser submetidas a uma auditoria independente. Devido s implicaes que tais expectativas tm para as EFSs, a INTOSAI assumiu a responsabilidade por essa questo.
149

No XV INCOSAI, no Cairo (1995), foi decidido que, utilizando como base as Normas de Auditoria da INTOSAI, o Grupo de Trabalho sobre Auditoria Ambiental da INTOSAI criaria um guia que contivesse diretrizes e metodologias para a realizao de auditorias com perspetiva ambiental. O resultado do trabalho Orientao para a Execuo de Auditorias de Atividades com Perspetiva Ambiental foi aprovado no XVII INCOSAI, em Seul (2001).80 O objetivo do guia proporcionar s EFSs base de compreenso da natureza dessa auditoria, na forma como se tem desenvolvido at o momento no mbito da Administrao Pblica. Essa base tem como objetivo constituir um ponto de partida para criar um enfoque que permita o cumprimento satisfatrio das obrigaes de auditoria ambiental no contexto da jurisdio de cada EFS. O termo auditoria ambiental um rtulo conveniente que costuma ser utilizado(a) para descrever mltiplas atividades por exemplo, auditorias gerenciais, certificao de produtos, medidas de controle da Administrao e muitas outras que tm escassa ou nenhuma relao com uma auditoria externa. Freqentemente, as EFSs tambm realizam atividades que, por definio, no so auditorias, porm contribuem para melhorar a Administrao Pblica. Neste apndice, o termo auditoria ambiental empregado exclusivamente no contexto da auditoria externa independente. No XV INCOSAI (Cairo), se acordou que a auditoria ambiental, em princpio, no diferente do enfoque de auditoria tal como praticada nas EFSs, e pode envolver todos os tipos de auditoria. Nesse contexto, a auditoria pode dedicar-se, por exemplo, a estabelecer quais so os ativos e passivos ambientais, o cumprimento da legislao e dos acordos nacionais e internacionais e das medidas institudas pela entidade auditada para promover a economia, a eficincia e a eficcia. Por conseguinte, s vezes torna-se mais fcil referir-se auditoria operacional com uma perspectiva ambiental. 2 Aplicao do Cdigo de tica e das Normas de Auditoria da INTOSAI O Cdigo de tica e as Normas de Auditoria da INTOSAI refletem um consenso sobre as melhores prticas entre as EFSs. Portanto, evi-

80

Esta breve apresentao se baseia, em grande escala, no citado guia e em outros documentos e relatrios do Grupo de Trabalho sobre Auditoria Ambiental da INTOSAI. Tambm se considerou a experincia individual das EFSs.

150

dente que as normas codificam as prticas profissionais de aceitao geral, que se aplicam na realizao de auditorias externas independentes, o que tambm pode incluir a auditoria de atividades com uma perspectiva ambiental. Disso se deduz que uma EFS na medida mais adequada possvel deve levar em conta as Normas de Auditoria da INTOSAI ao planejar, realizar e elaborar relatrios sobre auditoria ambiental. 2.1 O postulado bsico pertinente e suas conseqncias para a auditoria operacional com uma perspectiva ambiental As EFSs devem levar em considerao o cumprimento do Cdigo de tica e das Normas de Auditoria da INTOSAI em todas as matrias que sejam definidas como importantes. Cada EFS deve implantar polticas que assegurem que as auditorias ambientais sejam de alta qualidade. As EFSs devem reconhecer a natureza global dos assuntos ambientais e promover auditorias operacionais com uma perspectiva ambiental. Os programas ou entidades da Administrao que exeram efeito sobre o meio ambiente podem ser classificados nos trs grupos seguintes: Programas e entidades cujas atividades afetam direta ou indiretamente o meio ambiente. Programas ou entidades cujas atividades possam afetar direta ou indiretamente a formulao de polticas e regulamentaes ambientais, no mbito internacional, nacional ou local. Programas ou entidades cujas atividades envolvem a capacidade de supervisionar e controlar as atividades ambientais de outras. A Administrao a responsvel por determinar que informaes so necessrias para comprovar que se est cumprindo seus objetivos ambientais. Ademais, as autoridades executivas (os rgos da Administrao) e seus gestores so diretamente responsveis pela correo e suficincia da informao acerca do impacto da entidade sobre o meio ambiente, seja relacionado com o rendimento financeiro, os ativos ou passivos, o cumprimento da legislao, seja relacionado com outras disposies relativas ao seu desempenho. Todavia, provvel que surjam na prtica situaes em que no exista legislao pertinente que determine a divulgao da informao ambiental pertinente, ou onde no se comunique tal informao por qualquer outro motivo. Nesse caso, as EFSs devero informar essa carncia e tam151

bm podem levar em considerao os possveis efeitos que tenham sobre seu relatrio de auditoria. O escopo completo da auditoria do setor pblico, de regularidade (contbil e de cumprimento) e da auditoria operacional aplica-se tambm auditoria ambiental. A auditoria operacional das atividades ambientais pode avaliar, por exemplo: se os programas ambientais esto adequadamente preparados; se as polticas e os programas ambientais so realizados de modo econmico, eficiente e eficaz; se os programas ambientais so controlados e avaliados de forma apropriada; se os programas ambientais so eficazes. A auditoria ambiental adiciona um desafio especial s funes em desenvolvimento pelos auditores e responsabilidade destes de melhorar e desenvolver novas tcnicas e metodologias para verificar se a entidade auditada est utilizando indicadores de desempenho razoveis e vlidos. 2.2 As normas gerais de auditoria pertinentes e suas conseqncias O auditor e a EFS devem ser, e devem considerar que so, independentes e objetivos na realizao de auditorias ambientais. O auditor e a EFS devem possuir tambm a competncia requerida. Quanto mais ampla a competncia da EFS e quanto mais discricional a sua natureza, mais complexa ser a tarefa de garantir a qualidade da gesto em toda a sua competncia. Isso se aplica diretamente auditoria ambiental e muitas vezes pode ser conseguido mediante o emprego de equipes capacitadas, ou obtendo-se a colaborao eventual de especialista nesse campo. Se a EFS utiliza especialistas externos em meio ambiente, deve tomar o cuidado oportuno para se assegurar da competncia deles. A EFS, seus auditores e outras pessoas que realizam auditorias ambientais devem demonstrar adequado conhecimento, tanto das questes ambientais como da auditoria operacional/avaliao de programas. 2.3 Normas de trabalho de campo e de informao O auditor deve planejar a auditoria de modo que garanta fiscalizao de alta qualidade, e coletar informao sobre o programa ou a entidade
152

auditada. Em todo caso, isso deve incluir tambm a informao ambiental pertinente, por exemplo: leis e regulamentaes pertinentes; metas e objetivos fixados pelo parlamento ou pelo governo; polticas, objetivos e prticas estabelecidos pelas entidades que vo ser auditadas; a existncia de ativos e passivos ambientais, e as mudanas que possam ter ocorrido com eles durante o perodo submetido reviso. O objetivo e o alcance da auditoria ambiental devem ser definidos com clareza. As necessidades especficas da auditoria ambiental podem exigir procedimentos adicionais para que possa ser realizada. Muitas vezes aconselhvel apelar a especialistas para revisar o planejamento e o trabalho de campo sob uma perspectiva ambiental. 3 Desenvolvimento de mtodos e prticas Uma EFS pode empreender auditorias ambientais em virtude de suas competncias de realizar auditorias de regularidade ou operacional. Nas auditorias operacionais existem, no mnimo, cinco tipos distintos de foco de ateno ambiental: auditorias do controle, por parte da Administrao, do cumprimento das leis ambientais; auditorias operacionais dos programas ambientais da Administrao; auditorias do impacto ambiental de outros programas da Administrao; auditorias dos sistemas de gesto do meio ambiente; e avaliaes dos projetos, de polticas e programas ambientais. Como a EFS no pode auditar todos os programas ou entidades envolvidos com esta questo, necessitar planejar cuidadosamente uma metodologia que lhe permita obter concluses fundamentadas sobre a forma como uma determinada funo ou atividade executada no pas. Algumas das ferramentas que podem ser empregadas so as inspees de campo, os questionrios e a amostragem estatstica.

153

3.1 Monitoramento da auditoria governamental Em muitos pases, existe um ministrio ou departamento do meio ambiente (ou outro rgo do Poder Executivo) que se encarrega de garantir que as entidades pblicas e/ou privadas cumpram corretamente as leis e os objetivos ambientais. Essas leis podem atribuir ao ministrio do meio ambiente as seguintes atividades: expedir licenas/autorizaes que limitem a quantidade ou a concentrao dos agentes poluentes; controlar o cumprimento dessas licenas/autorizaes; controlar a situao do meio ambiente com o objetivo de identificar outras possveis infraes da regulamentao; colaborar na interpretao da regulamentao, e proporcionar outras formas de auxlio s entidades reguladas para ajud-las no cumprimento de suas atividades; e exigir a aplicao das normas quando se produzam infraes. Em alguns casos, as Administraes federal (nacional), estadual ou de outros nveis pode delegar essas responsabilidades reguladoras do meio ambiente. Ademais, outros tipos de departamentos ou ministrios por exemplo, o ministrio dos transportes ou o da agricultura podem exercer tambm determinadas responsabilidades reguladoras do meio ambiente. Freqentemente a EFS encarregada de examinar em que medida esses outros ministrios exercem suas responsabilidades ambientais. Os dados necessrios para apoiar os resultados e as concluses provavelmente estejam em uma localizao central. Pode-se dispor deles com facilidade. O mais habitual, entretanto, que se tenha que coletar informao importante em diversos lugares e em numerosas entidades, tanto pblicas como no-governamentais. Uma EFS deve ter a conscincia de que, em muitos pases, se tem demonstrado que os dados de cumprimento das regulamentaes ambientais so particularmente susceptveis de erro. A inexistncia de dados ambientais confiveis pode ser convertida em informao central do relatrio da EFS. 3.2 Auditando o desempenho Uma Administrao pode ser facultada pela legislao ou outra autoridade para realizar (ou financiar outras entidades para que realizem) diver154

sos programas ou atividades com o objetivo de proteger ou melhorar o meio ambiente. Tal programa ou atividade: pode ser de responsabilidade de um ministrio, de um departamento ou de um ou vrios organismos da Administrao, com interesse particular no meio ambiente; ou pode ser de responsabilidade, por exemplo, de um departamento ou de um organismo da Administrao para a agricultura, atravs de um programa de assistncia aos agricultores, para que adotem prticas que reduzam ao mnimo a poluio. Para uma EFS, pode ser til identificar os acordos internacionais em matria ambiental que tenham sido aprovados pelo governo, e, a seguir, identificar que programas foram estabelecidos para p-los em prtica. Deve-se tomar cuidado na seleo e na configurao da auditoria de um programa ambiental da Administrao. Uma EFS tambm pode considerar a possibilidade de concentrar a ateno em um nico instrumento poltico principal, ou em muitos instrumentos polticos diferentes. Ao selecionar uma auditoria operacional, a EFS deve prestar especial ateno disponibilidade de dados suficientes, pertinentes e confiveis. Ao planejar a auditoria, a EFS dever levar em considerao os riscos e a importncia do programa ou atividade da Administrao, levando em conta os recursos envolvidos, a importncia da questo ambiental que vai ser tratada e a magnitude do efeito que se deseja. Os auditores devem estudar tambm se existem indcios de problemas de eficincia e eficcia na rea que vai ser estudada. Ao considerar o escopo e a metodologia de auditoria, deve-se referir disponibilidade de critrios de auditoria, sobretudo quando o programa no est sujeito a requisitos legais. A EFS pode identificar maneiras de comparar as atividades do programa com a melhor prtica de gesto, ou com as prticas utilizadas em programas ambientais similares no mesmo pas ou em outros lugares. A EFS tambm pode relatar sobre os resultados do programa ao longo do tempo, em comparao com as metas prprias do programa, ou as metas ou os padres de referncia estabelecidos por especialistas. O auditor deve considerar que os programas ambientais podem pretender efeitos que: sejam, cada um deles, de pequenas dimenses, porm, que, em conjunto, influenciam em grande escala;
155

 demorem muito tempo a manifestar efeitos apreciveis; e sejam afetados por fatores externos importantes (condies meteorolgicas, etc.). 3.3 Auditoria do impacto ambiental de outros programas da Administrao Alm dos programas cujo objetivo principal proteger ou melhorar o meio ambiente, todas as atividades afetam, de um modo ou de outro, o meio ambiente, atravs da utilizao de recursos ou das conseqncias de suas demais atividades. Alguns programas da Administrao produzem efeitos significativos, que podem ser positivos ou negativos, voluntrios ou involuntrios. Os impactos ambientais das atividades podem ser destacados como parte de uma auditoria operacional de amplo escopo sobre a economia, a eficincia e a eficcia de uma atividade da Administrao ou mediante um estudo de escopo reduzido, que se concentre exclusivamente nos impactos ambientais. A EFS pode revisar a adequao de: descrio do programa ou atividade, seu ambiente e as condies dos padres de referncia; integridade da gama de impactos relevantes que foram identificados; dados utilizados para avaliar a probabilidade dos impactos e sua intensidade prevista; e propostas de medidas para conter os impactos. A EFS provavelmente deseja comprovar por si mesma que impactos uma atividade da Administrao pode acarretar sobre o meio ambiente, sua intensidade provvel, e os valores que podem ser alocados a seus custos e benefcios. Os debates com especialistas e as consultas de bibliografia permitem identificar as metodologias de avaliao empregadas habitualmente. Pode ser til, tambm, identificar os interessados e deles solicitar opinies decisivas (p. ex., residentes na rea afetada pela atividade, grupos-chaves de interesses ambientais, e as organizaes no-governamentais existentes nesse mbito) e aos acadmicos especializados nas metodologias de avaliao pertinentes.
156

Desde o primeiro momento, a Administrao pode identificar medidas que detenham ou reduzam os impactos ambientais. A auditoria da EFS pode evidenciar se essas medidas: tm sido estabelecidas e se ajustam s melhores prticas ou melhor informao ou tecnologia disponvel, e no implicam em custo excessivo; e tm tido o efeito preventivo que se desejava, e, caso contrrio, quais aes foram adotadas pela Administrao. Em alguns casos, provavelmente seja necessrio que a providncia adotada seja adequada para impedir ou enfrentar fatos de pouco risco, porm, com impacto importante, por exemplo, a liberao involuntria de substncias radioativas. Porm necessrio que procedimentos para casos de acidente ou de incidentes, que provavelmente ocorram poucas vezes, estejam em operao em caso de necessidade. Quando tais procedimentos so importantes, uma auditoria pode revisar: os procedimentos; a formao do pessoal envolvido; a freqncia de teste dos procedimentos; e se esto atualizados os acordos necessrios com terceiros (fornecedores, servios de urgncia, etc.).

3.4 Auditoria dos sistemas de gesto ambiental As organizaes introduzem sistemas de gesto ambiental para garantir o estabelecimento sistemtico de polticas de melhoria continuada do desempenho ambiental, e do alcance eficaz dos objetivos polticos. Ao considerar a convenincia de realizar ou no uma auditoria dos sistemas de gesto ambiental, a EFS deve identificar a poltica da Administrao em relao ao estabelecimento de tais sistemas. Ela pode fiscalizar sistemas completos de gesto ambiental para ministrios especficos do governo. De forma alternativa, a auditoria pode concentrar-se em um ou vrios elementos pertencentes a diferentes ministrios, organismos ou outras organizaes dentro da jurisdio da EFS. Este ltimo enfoque til para enfrentar assuntos de pequena intensidade, em que exista, todavia, a possibilidade de efetuar melhorias significativas em toda a Administrao. Uma EFS pode levar em considerao a possibilidade de auditar e relatar sobre o cumprimento real dos objetivos fixados pela Administrao.
157

Nesse tipo de auditoria, a EFS poderia examinar satisfatoriamente a forma como atua a Administrao em comparao com as prticas empregadas em outros lugares, e com os compromissos e prticas que o governo tenha adotado mediante acordos internacionais. Uma EFS tambm pode analisar se o controle da Administrao sobre os sistemas de gesto dos ministrios do meio ambiente e se os relatrios de cumprimento das disposies ambientais lhe permitem prestar contas de modo suficiente perante o Poder Legislativo e o pblico em geral sobre o cumprimento dos objetivos-chave de sua atividade. A EFS poderia realizar uma auditoria que identifique o nvel de desempenho e os motivos que explicam a no-obteno dos objetivos. 3.5 Avaliao das polticas e dos programas propostos possvel que seja solicitado a algumas EFSs que apresentem anlises ou relatrios sobre propostas de polticas ou programas perante o Poder Legislativo de seus pases. Pode ocorrer tal situao, por exemplo, quando o Poder Legislativo nacional modifica o foco da pergunta O programa est atuando corretamente em conformidade com os requisitos oficiais? e passa para uma pergunta mais bsica Os requisitos oficiais bsicos necessitam ser modificados para que sejam mais eficazes ou para melhor-los em outros aspectos? Nessas circunstncias, o Poder Legislativo pode solicitar EFS que analise propostas alternativas submetidas considerao. Geralmente, esse trabalho pressupe desafios e riscos. Em particular, as anlises das propostas de polticas ou programas exigem s vezes competncias especiais (pessoal qualificado, consultores, equipes de especialistas, etc.). Mesmo com a adio dessas competncias, a natureza dessa anlise ocasiona riscos para a EFS, particularmente se for interpretado que se est tomando partido nos debates sobre matrias polticas. A EFS pode optar pelas seguintes alternativas para reduzir ao mnimo tais riscos: proporcionar informao sobre fatos, e no efetuar juzos imotivados; chegar a um consenso entre os especialistas; avaliar e comentar as anlises realizadas por outras organizaes; declinar da solicitao de interveno.

158

4 Estabelecimento de critrios de auditoria Uma preocupao das EFSs na realizao de auditorias ambientais consiste em determinar os critrios com base nos quais sero avaliadas as entidades ou os programas auditados. importante garantir que os critrios escolhidos se utilizados sejam considerados pertinentes, completos e compreensveis. Uma auditoria operacional provavelmente ter que se basear em critrios, em sentido formal, que podem ter duas origens: normativa (baseados em leis, polticas e metas documentadas, normas de aceitao geral, etc.) e no-normativa (bibliografia acadmica, especialistas, indicadores ou medidas utilizadas por entidades semelhantes ou outras entidades dedicadas a atividades similares, etc.). Ver apndice 2. O risco especial que uma EFS enfrenta ao realizar uma auditoria ambiental o de que os critrios utilizados sejam inaplicveis, inadequados ou direcionados. O maior risco para a EFS ocorrer com a utilizao de critrios com origens no-normativas. Por outro lado, essas fontes muitas vezes so necessrias e proveitosas quando se requer uma anlise mais profunda ou mais ampla. A prova definitiva dos critrios escolhidos que (como em todos os critrios de auditoria) sejam objetivos e no subjetivos. Os critrios tambm devem garantir a integridade dos indicadores de desempenho empregados (e os indicadores de gesto devem ser pertinentes, compreensveis e confiveis). No enfoque orientado a problemas, todavia, o uso de critrios de auditoria desempenhar um papel menos importante. Ao contrrio, adquire grande importncia a formulao de hipteses corretamente fundamentadas.81

81

Ver, por exemplo, Handbook in Performance Auditing: theory and pratice, 1999.

159

Apndice 7
Em direo a um enfoque sistmico da auditoria operacional: um marco terico 1 O enfoque sistmico da auditoria da eficcia82 Os servios pblicos so complexos, e a crescente complexidade dos programas governamentais incrementa o surgimento de metas contraditrias e efeitos colaterais involuntrios, que tm sua origem em funes que se sobrepem ou so coincidentes. Ademais, as decises mais essenciais sobre os programas pblicos devem ser tomadas sem se estar completamente seguro de que sero alcanados os objetivos estabelecidos, pelo menos na primeira tentativa. No tarefa fcil converter as metas polticas em programas de governo, nem planejar e executar medidas que obtenham os resultados desejados. Inclusive difcil se encontrar mtodos adequados para avaliar os resultados e a eficcia das intervenes da Administrao. Cada vez mais h uma crena de que muitas vezes existe uma grande distncia entre o que foi decidido politicamente, o que mais adiante ser executado e o resultado que se alcanar finalmente. Portanto, essencial desenvolver modelos que ajudem aos auditores operacionais em seus esforos para analisar e avaliar a execuo e a eficcia das intervenes da Administrao. Um enfoque comum na auditoria operacional o chamado modelo de objetivos e meios (propsitos e mtodos). Nesse modelo considera-se que a execuo um processo em que os objetivos gerais se subdividem em subobjetivos ou meios por parte dos ministrios ou autoridades executivas, que devero prestar contas sobre a forma como se gerenciam e produzem os servios. O enfoque sistmico na auditoria da eficcia, que ser exposto posteriormente, tem suas razes no modelo de objetivos e meios. Tambm se

82

Para mais informao, ver Towards a System-Oriented Approach in Performance Auditing: a theoretical framework. Escritrio Nacional de Auditoria da Sucia (RRV), 1985.

161

baseia em idias e conceitos procedentes da teoria de sistemas, na qual as atividades ou os programas da Administrao so considerados como sistemas de elementos que interagem e so funcionalmente interdependentes. As regulamentaes, os recursos, os rgos da Administrao, etc. so exemplos de elementos que constituem um sistema deste tipo de atividade governamental. Definir como sistema uma atividade governamental significa que os auditores operacionais devem aplicar uma perspectiva global. Ao auditar a eficcia de tais sistemas no se pode pr muita nfase na prestao de contas dos organismos individuais. O centro de ateno consiste na eficcia dos prprios sistemas. 2 O modelo sistmico e as atividades da Administrao A seguir, est apresentado o modelo sistmico, passo a passo. 2.1 A produo: primeiro componente do modelo A produo se encontra no centro do modelo sistmico. Em qualquer produo de servios, a produo e o consumo se realizam ao mesmo tempo. Por conseguinte, os clientes, o pessoal, os mtodos de trabalho e os recursos integram, da mesma maneira, o sistema de produo. A figura a seguir apresenta essa situao.
clientes PRODUO mtodos de trabalho recursos pessoal

O objetivo da produo prestar servios sociedade, de modo eficiente. Isso poderia exigir, por exemplo, pessoal motivado e competente; a utilizao racional dos recursos; boas prticas; clientes participativos e adequadamente informados, etc. 2.2 A administrao: segundo componente do modelo O funcionamento do sistema de produo acontece no mbito de uma administrao, e pode envolver vrios ministrios e numerosos departamentos e organismos, assim como escritrios regionais e autoridades locais.
162

COMPROMISSO PBLICO PRODUO alocao de recursos planejamento controle e monitoramento

ADMINISTRAO

A funo dos sistemas administrativos alocar recursos, planejar e executar atividades, controlar e avaliar o progresso, etc. consiste basicamente em facilitar a coordenao e o controle das atividades da Administrao. Os sistemas administrativos devem contribuir para a execuo eficaz das atividades. 2.3 O desenho estrutural: terceiro componente do modelo Outro mbito formado pelo desenho estrutural (em torno dos sistemas de produo e da administrao). O compromisso pblico e os correspondentes objetivos polticos no so as nicas questes sobre as quais devem decidir os parlamentos e os governos. So igualmente importantes a estrutura da organizao executiva, a estrutura oramentria e as regulamentaes que nortearo as operaes dos sistemas de produo. Isso pode ser visto na figura seguinte.

PRODUO ADMINISTRAO alocao de recursos regulamentaes organizao administrativa

DESENHO ESTRUTURAL

163

2.4 O ambiente e o modelo sistmico completo Finalmente, deve ser destacado que as foras do ambiente influem sobre a maneira como se executa uma atividade pblica. Portanto, o modelo sistmico completo o seguinte:

O PARLAMENTO E O GOVERNO

O modelo sistmico demonstra que as atuaes dos organismos ou autoridades da Administrao (ministrio ou rgos) constituem somente um entre os muitos elementos de uma cadeia mais longa de acontecimentos. Por conseguinte, um rgo da Administrao ter que ser avaliado luz de outros fatores de controle: as regras, os recursos, a organizao criada para realizar determinadas atividades, e o ambiente social no qual atuam a unidade ou a organizao individual. O modelo sistmico d origem a um conceito amplo da auditoria da eficcia, e a interrogaes do tipo: A atividade da Administrao est bem estruturada? As auditorias dessas questes podem envolver avaliaes sobre o enfoque de regulamentao, a distribuio de responsabilidades ou a concesso de fundos, etc.
164

3 A auditoria da eficcia: algumas concluses Na auditoria da eficcia, a EFS examina a eficcia da Administrao e das atividades financiadas por esta. Isso quer dizer que so examinados se os resultados so os que o parlamento e o governo aspiravam alcanar ao alocar recursos, ao criar organismos e ao aprovar leis para estabelecer um compromisso pblico. O modelo que aparece anteriormente ilustra que esse tipo de avaliao da eficcia requer enfoque sistmico. preciso levar em considerao todos os fatores que tm efeito tangvel sobre o grau em que so alcanadas as metas. Caso contrrio, existe um risco considervel de que na avaliao, por exemplo, se superavalie a importncia de um nico organismo. Os instrumentos disposio dos organismos podem ser de fato bastante frgeis em comparao com as diversas foras que atuam na sociedade. Uma parte importante da auditoria da eficcia, em sua totalidade, a avaliao das atuaes e da tomada de decises. Portanto, no suficiente uma mera exposio dos possveis motivos da no-consecuo dos objetivos estabelecidos. Tambm preciso identificar os fatores que podem ter influenciado. O modelo sistmico demonstra que existem dois tipos de fatores sobre os quais possvel influenciar: as atuaes do organismo pblico: os organismos desempenham suas tarefas do modo mais apropriado, em relao atividade que devem colocar em prtica? o desenho estrutural: o conjunto de regras, a alocao de recursos e a organizao prpria dos organismos so apropriados para seu propsito em relao atividade que se colocar em prtica? O enfoque sistmico da auditoria da eficcia se baseia em duplo aspecto da fiscalizao. Levam-se em considerao tanto as atividades da entidade auditada como seu desenho estrutural, com o objetivo de avaliar se o funcionamento ou no eficaz. Na auditoria da eficcia sempre est includo um certo risco de se contemplar cegamente o funcionamento interno do rgo auditado. Nem sempre se adverte que o necessrio cumprimento rigoroso das tarefas habituais e dos procedimentos de planejamento podem ter pouca im165

portncia em relao ao impacto sobre a eficcia real. s vezes so feitas fortes crticas, sem se dar conta de que as atividades do organismo so limitadas por uma grande escassez de recursos ou por uma frgil posio na Administrao Pblica. Situando o organismo auditado em um contexto mais amplo, o enfoque sistmico da auditoria compensa o risco de adotar uma perspectiva demasiadamente estreita. O propsito do modelo que foi exposto tornar claros os fins de uma auditoria sistmica. A pergunta seguinte como alcanar esse nvel de aspiraes. Baseando-se na experincia do rgo no enfoque sistmico, obtida atravs de projetos especficos, cabe distinguir trs requisitos com respeito aos mtodos: 1. As auditorias sistmicas consideram como ponto de partida as operaes dentro de determinada rea da sociedade. Isso colocado em evidncia, permitindo que uma atividade especfica sirva de base ao estudo e avaliao final. 2. Na auditoria sistmica, o escopo das anlises definido como sistema constitudo pela prpria atividade e pelas foras/ atores que influenciam a realizao dessa atividade. 3. No enfoque sistmico da auditoria operacional, os dados sobre o resultado so sempre inseridos com base nas anlises e nas avaliaes. O propsito deste modelo apresentar um marco terico para a auditoria da eficcia, que tome como ponto de partida a atividade da Administrao Pblica, quer dizer, os efeitos ltimos que o programa/ou rgo da Administrao se prope obter.

166

Cpias desta traduo podem ser adquiridas, sem custo, no Tribunal de Contas do Estado da Bahia, Centro Administrativo da Bahia, Plataforma 5. Salvador, Bahia, Brasil (www.tce.ba.gov.br).

A presente traduo foi impressa pela EGBA, em novembro de 2005, em Salvador, Bahia, Brasil.

167

I SBN 8 5 8 5 5 2 4 2 5 - 1

9 788585 524258