Professional Documents
Culture Documents
PARA O GERENCIAMENTO DOS INDICADORES DE EFICINCIA, EFICCIA E DE RESULTADOS DO PROGRAMA NACIONAL DE GESTO PBLICA E DESBUROCRATIZAO
PRODUTO 4 : GUIA REFERENCIAL PARA MEDIO DE DESEMPENHO E MANUAL PARA CONSTRUO DE INDICADORES
Braslia,Dezembrode2009
SUMRIO
APRESENTAO.........................................................................................................3
1.
CONCEITOS:DAGOVERNANAPARARESULTADOSMENSURAODO
VALOREASSEISDIMENSESDODESEMPENHO(6ES).............................................14 2.1. 2.2. 2.3. 2.4. 2.5. 3. ELEMENTOSDACADEIADEVALOREDIMENSESDODESEMPENHO................................17 SUBDIMENSESDOS6ESDODESEMPENHO..............................................................20 APLICAODOMODELODOS6ESDODESEMPENHO..................................................23 DESEMPENHOTIMOEESTRUTURADEPONDERAO................................................33 FORMULAODEINDICADORES..............................................................................39 CONSTRUINDOINDICADORESDEDESEMPENHO..........................................40
3.1. PASSO1IDENTIFICAODONVEL,DIMENSO,SUBDIMENSOEOBJETOSDE MENSURAO................................................................................................................. 43 3.2. PASSO2ESTABELECIMENTODEINDICADORES..........................................................46 3.3. PASSO3VALIDAOPRELIMINARDOSINDICADORESCOMASPARTESINTERESSADAS......49 3.4. PASSO4CONSTRUODEFRMULAS,ESTABELECIMENTODEMETASENOTAS..............49 3.4.1.Construodefrmulas.................................................................................49 3.4.2.Estabelecimentodemetas.............................................................................52 3.4.3.Definiodenotas .......................................................................................... 56 3.5. PASSO5DEFINIODERESPONSVEIS ...................................................................58 3.6. PASSO6GERAODESISTEMADECOLETADEDADOS..............................................60 3.7. PASSO7PONDERAOEVALIDAOFINALDOSINDICADORESCOMASPARTES INTERESSADAS.................................................................................................................. 60
LISTADEVERIFICAODACONSISTNCIADOMODELODEMEDIODE
DESEMPENHO..........................................................................................................81
5.
CONSIDERAESFINAIS...............................................................................84
BIBLIOGRAFIA.................................................................................................................. 85 ANEXO1.DIMENSESEINDICADORESDEDESEMPENHO........................................88
ANEXO3.MODELOSDEPLANILHASPARAAMODELAGEMDEINDICADORES......... 107
Apresentao
O propsito de um guia orientar a realizao ou alcance de algo, oferecendo um caminho a ser seguido. No se trata de um manual cuja estrita e acrtica obedincia levar ao melhor resultado possvel. Tratase da proposio de uma metodologia conceitualmente embasada que para render os melhores resultados possveis requer apropriao: deve fazer sentido para quem a aplica e, no obstante basearse em princpios firmes, ser flexvel o bastante para ser aplicadaemvastavariedadedecasos. com este esprito que a Secretaria de Gesto do Ministrio do Planejamento, Oramento e Gesto lana a primeira edio deste Guia Referencial para Medio de Desempenho na Administrao Pblica. Tratase de um referencial metodolgico que permitir a governos (Federal, estaduais e municipais), reas ou domnios de polticaspblicas,conjuntosdeorganizaes,organizaespblicase suas unidades definirem e mensurarem seu desempenho assumindose que este um primeiro e decisivo passo para a gesto do desempenho, possibilitando, em bases metodologicamente anlogas, sua pactuao, avaliao, divulgao em momentos posteriores. Dentro do espectro das iniciativas de polticas de gesto atualmente deslanchadas pela SEGES, acreditase que esta contribuio metodolgica possa no apenas complementar o GESPPLICA proporcionando uma reflexo e direcionamento mais finalstico ao MEGP, mas alinhase com outras iniciativas tais como avaliao institucional, contratualizao de resultados, avaliao de estruturas etc. Nessesentido,esteGuiasealinhaecomplementaoutrasconcepes demensuraodedesempenhoqueseaplicamaoutrosobjetos,tais como programas ou governos em geral (includos os trs poderes), em desenvolvimento pela SPI e IPEA, respectivamente. Acima de tudo,acreditasequeapresentemetodologiapossacontribuirparaa construo de um acordo sobre o conceito de desempenho no setor pblico dentro do Ministrio do Planejamento, de tal sorte sua atuaopossasercadavezmaisintegrada.
A construo da metodologia baseouse no estado da arte da literatura gerencial sobre gesto do desempenho e buscou encontrar um difcil equilbrio entre complexidade e simplicidade. A complexidade est, primeiramente, no tema, suscitando controvrsias sobre o conceito de desempenho e sua mensurao, questes estas que tem merecido na literatura tcnica no apenas tratamento variado, mas sujeito a razovel confuso semntica e conceitual. Mas a complexidade tambm est nos objetos de aplicao, de distintos portes, naturezas de atividades, pblicos e contextos de atuao. A sada foi a concepo de um metamodelo, um modelo que oriente a construo de modelos especficos de definio e mensurao do desempenho caso a caso, respeitandose conceitos e princpios bsicos. Dessa forma, buscouse ao mesmo tempo reconhecer a complexidade e perseguir a simplicidade, renunciandose busca de solues exaustivas ou universalmente vlidas. Ademais, esta iniciativa constitui a primeira edio do Guia, que, alem das virtudes e limitaes inerentes a qualquer modelo, necessitadeaplicaesparaseucontnuoaperfeioamento. Buscouseconstruirumtextomaissucintopossvel,comexemplosde aplicao e ilustraes que possam facilitar a compreenso. O texto estdivididoem5partes.Aprimeiraparteconceitualecontextual, buscando elaborar uma aproximao ao tema, situando a mensurao do desempenho na gesto para resultados e esta na governana contempornea. A segunda parte apresenta o metamodelo, o conceito de desempenho elaborado e os princpios, elementosgeraiseescopodametodologiademensurao.Aterceira parte est focada da mensurao propriamente dita, concentrando se na construo de indicadores. A quarta parte apresenta sucintamente um conjunto de questes que permitem uma rpida avaliao da aplicao da metodologia. A quinta e ltima parte elabora algumas consideraes finais a respeito da aplicao da metodologiaeosresultadosesperados.
A orientao para resultados uma fixao deste novo paradigma, ou seja, o que est em foco so as novas formas de gerao de resultados em um contexto contemporneo complexo e diversificado. Nesse contexto, uma boa gesto aquela que alcana resultados, independentemente de meritrios esforos e intenes. E, alcanar resultados,nosetorpblico,atendersdemandas,aosinteressese s expectativas dos beneficirios, sejam cidados ou organizaes, criandovalorpblico. No entanto, os resultados no acontecem por acaso, pois governos, organizaes pblicas, polticas, programas e projetos no so auto orientados para resultados. Assim como, tambm no basta apenas definir bem os resultados, pois no so autoexecutveis. Portanto, a implementaopassaaseravarivelcrtica. Diferentes pesos so atribudos a diversos fatores promotores de resultados, tais como conscincia estratgia (formulao compartilhada e comunicao da estratgia), liderana (capacidade de influenciar e mobilizar pessoas), estrutura (definio clara de competncias, reas e nveis de responsabilidade), processos (definio detalhada de procedimentos), projetos (desdobramento deresultadosemaesqueperpassamestruturaseprocessosquese submetemaregimesintensivosdemonitoramento),contratualizao (pactuaoderesultadosmediantemecanismosdemonitoramentoe avaliao, e incentivos), pessoas (dimensionamento de equipes, capacitao, comprometimento, alinhamento de valores), tecnologias de informao e comunicaes (inovao e integrao tecnolgicas, automao), recursos financeiros (disponibilidade, previsoeregularidadedefluxo). Assim, a principal questo concentrase em como fazer os resultados serem obtidos e, para isso, fazse necessrio harmonizar todos esses fatores sob o abrigo de um modelo robusto de gesto para resultados. Por sua vez, o conceito de Gesto para resultados no se restringe apenas em formular resultados que satisfaam s expectativas dos legtimos beneficirios da ao governamental de forma realista, desafiadora e sustentvel. Requer, tambm, alinhar os arranjos de implementao (que envolvem intrincados conjuntos de polticas, programas, projetos e organizaes) para alcanlos, alm de
envolveraconstruodemecanismosdemonitoramentoeavaliao quepromovamaprendizado,transparnciaeresponsabilizao. Arevisodeliteratura1realizadasobrediversosconceitosetipologias degestopararesultados,ressalta,apartirdaanlisedeabordagens metodolgicas2, casos referenciais3 e seus contextos de atuao, um conjuntodeatributosessenciaisqueumbommodelodegestopara resultados deve possuir, tais como: ser dinmico, abrangente e multidimensional. Ser dinmico significa no se limitar apenas em definir e mensurar resultados, mas sim, em definir resultados (a partir de um planejamento abrangente), alcanlos (mediante processos claros deimplementao),monitorloseavalilos(apartirdecontroles, acompanhamentos e ajustes decorrentes). Em sntese, tratase de uma viso de gerao e incorporao das informaes sobre desempenho nos processos decisrios tanto internos quantos externos da organizao, criando demandas para estas informaes (situaodeinstitucionalizao). Alm disso, ser abrangente basearse num conceito amplo de desempenho que englobe tanto os esforos quanto os resultados propostos, presumindo que no h resultados sem alinhamento de esforos, assim como, esforos desalinhados s promovem desempenho por conta do acaso. Portanto, gerir o desempenho no significa somente monitorar resultados, mas tambm promover o alinhamentodosesforosparaosresultadosesperados.
DocumentodenominadodeMapeamentoBibliogrficoedoEstadodaArte sobre Indicadores de Gesto, disponvel no stio eletrnico do GesPblica. Endereo de acesso: https://www.gespublica.gov.br/folder_publicacoes/pasta.200904 23.1308768764/produto_1_indicadores_versao_final_110809.pdf. 2 Dentre as quais destacamse: Balanced Scorecard (BSC) (Kaplan & Norton, 2004); Bain & Company (Gottfredson & Schaubert, 2008); Prisma de Performance (nfase em stakeholders) (Neely & Adams, 2002); Hoshin Kanri (Akao, 1991); Rummler & Brache (variveis de desempenho em objetivos, projeto e gesto) (Rummler & Brache, 1995); Quantum (medidas de tempo, qualidade e custo) (Hronec, 1993); Cadeia de Valor de Porter (Porter, 1985); Total Quality Management TQM (Creech, 1995); PMBOK (reas do conhecimento e ciclo de vida do projeto) (PMI, 2004); e Suply Chain Management,(Lambert&Knemeyer,2005). 3 Experincias em gesto do desempenho: Reino Unido, Austrlia, Nova Zelndia, EUA, Canad, Frana, Chile, Colmbia, Argentina, Minas Gerais e Curitiba.
1
Por ltimo, mas no menos importante, um modelo ideal de gesto para resultados deve ser multidimensional, isto , considerar as mltiplas dimenses de esforo (processos, recursos, estruturas, sistemas informacionais e pessoas) para alinhlos aos resultados. Para isso, devese evitar definies reducionistas e unidimensionais, em que aspectos significativos do esforo e do resultado sejam deixados de fora, ou aspectos pouco significativos permaneam dentrodomodelodegestopararesultados. Em suma, a concepo e a implementao de modelos de gesto para resultados dinmicos, abrangentes e multidimensionais so um desafio. Os fatores e elementos detalhados representam variveis basilares de modelos de desempenho. Segundo a linha de evoluo demonstrada por Boukaert&Halligan (2008), os modelos ilustrados no quadro 1 a seguir, que vo desde um modelo prperformance, caracterizado pela ausncia de agenda estratgica, estruturas autocentradas e sem foco de atuao, e ausncia de mecanismos de monitoramentoeavaliaoderesultados,evoluindoparaummodelo de Governana para o Desempenho, o mais completo, caracterizado pela integrao das agendas, alinhamento das estruturas implementadoras a partir de redes de governana e integrao sistmica interna e externa, e mecanismos claros de monitoramento e avaliao, que fortalecem o uso social e a conscinciaestratgica. Quadro1.LinhadeevoluodosmodelosdeGestodoDesempenho
Fonte:AdaptadodeBouckaert&Halligan,2008
1.2.
Desempenho um termo sujeito a inmeras variaes semnticas e conceituais, embora existam alguns consensos majoritrios em torno de uma definio. Segundo uma abordagem abrangente, o desempenho pode ser compreendido como esforos empreendidos na direo de resultados a seremalcanados. A equao simplificada : desempenho = esforos + resultados; ou desempenho = esforos resultados. Assim, a definio sinttica e ao mesmo tempo ampla para o desempenho estabelecida pela atuao de um objeto (uma organizao, projeto, processo, tarefa etc.) para se alcanar um resultado. Logo, desempenho um conceito peculiar, um construto especfico,paracadaobjeto. Entretanto, a construo de definies peculiares de desempenho, a partir das quais modelos de mensurao do desempenho possam ser concebidos caso a caso, devem respeitar algumas regras e consideraes metodolgicas, tais como: i) evitar definies reducionistas e unidimensionais; ii) incluir os aspectos e dimenses significantes no modelo; e; iii) deixar os aspectos e dimenses pouco significativasforadomodelo. Para isso, tornase necessria a concepo de um metamodelo de definio e mensurao do desempenho que seja robusto o suficiente para ser capaz de unir as mais diversas abordagens, bem comoorientaraconstruodemodelosespecficosparaadefinioe mensurao do desempenho. Por meio de um metamodelo podese indicarmdulosapartirdosquaisosmodelosespecficospossamser configurados. Umavezdefinidodesempenho,oconceitodegestododesempenho precisa ser qualificado. A gesto do desempenho constitui um conjunto sistemtico de aes que buscam definir o conjunto de resultados a serem alcanados e os esforos e capacidades necessriosparaseualcance,incluindoseadefiniodemecanismos de alinhamento de estruturas implementadoras e de sistemtica de monitoramentoeavaliao. A mensurao parte essencial de um modelo de gesto do desempenho. Mas, no apenas a ao que apura, em sentido
estrito, por meio de indicadores, valores ou medidas dos esforos e resultados. Um sistema de mensurao deve ir alm da gerao de indicadores (que, em princpio, nunca trivial) e permitir: a) a gerao de indicadores em distintas dimenses de esforos e resultados, com diferentes pesos entre estes (uma vez que representam medidas de distintas importncias); e b) a gerao de uma nota para cada indicador (o que requerer no apenas apurar o valordoindicadornoatodamedio,mascompararovalorapurado com um valormeta, seja correspondente a uma meta propriamente dita, seja correspondente a um benchmark), que expresse uma medida relativa (medida atual em relao a uma medida ideal). Tratase, assim de uma mensurao agregada e ponderada que permitir a gerao de uma medida sntese do desempenho, uma nota global, que, de certa forma, carrega consigo um componente avaliativo(dorealapuradoemrelaoaumideal). Valedestacarqueconceitoscomocapacidadetangenciamoconceito de desempenho. Os termos capacidade, capacidade institucional e outrosderivados,tambmsesujeitamamuitasvariaessemnticas e conceituais podendo oscilar do domnio de recursos, competncias, habilidades e atitudes at a prontido para efetiva atuao (realizao de esforos orientados para resultados) em funo de outros atributos tais como poder, legitimidade e urgncia. Em todo caso, este Guia no inclui o conceito de capacidade como partedoconceitodedesempenho;trataocomopressupostodobom desempenho, embora algumas das dimenses do desempenho, tal comoaexcelncia,possamtratardeatributoscomunsrelacionados capacidade,comoserdemonstradomaisadiante. Em sntese, o escopo deste Guia a medio/mensurao do desempenho, parte essencial da gesto do desempenho. Buscando clarificar bem este propsito e as expectativas em torno dele, o quadro 2 apresenta alguns dos principais mitos, posturas e imposturasacercadamensuraododesempenho.
10
Quadro2.Principaismitos,posturaseimposturasdamensuraododesempenho
1. O mito da medio absoluta: preciso medir tudo. Quem pretende medir tudo acaba no medindo nada! Por detrs deste mito, est o fetiche do panopticon, que gera a impostura, movida por uma necessidadeobsessiva,demonitorarecontrolartudoetodosaomesmotempoenamesmahora.Gerir o desempenho uma forma de controle, mas que deve ser extremamente seletivo. A postura correta altaseletividade.Medirapenasoqueimportante,oquesignificativo,oquevaleapena.Medircusta tempo e dinheiro! E algumas medidas so perecveis s fazem sentido se puderem gerar decises tempestivas. 2. Para medir o que importa, preciso gerar todas as informaes, coletar dados de forma exaustiva e precisa.Quemsepreocupaemgerartodasasinformaesprovavelmentemorrerafogadonummarde informaes, cheio de informaes inviveis e inteis. Por um lado, a gerao de indicadores (medidas) relevantes requerer dados e informaes especficos cuja obteno e tratamento demandaro mais ou menos tempo e representaro custos. A postura correta , sempre que possvel, trabalhar com aproximaes, buscando construir indicadores a partir de dados j existentes e tratados dentro de padresaceitveisdequalidadeapostandoseque,namaioriadoscasos,adisponibilidadededadose informaesnooproblemafundamental. 3. Primeiro vamos medir, depois vamos ver o que fazemos com as medidas. Inicialmente, medidas no podem ser vistas como modismos ou obrigao. Medese para controlar/melhorar o desempenho. Medidas tm que ser teis, fazer sentido para orientar a gesto no dia a dia. A medio tem que ser orientada para a melhoria do desempenho e a melhoria do desempenho tem que ser orientada pela medio. 4. Preciso, sobretudo, do sistema informtico perfeito para isto. Voc precisa, acima de tudo, de um bommodelodemensurao,quepermitaumaboadefinioespecficadoqueoseudesempenhoe,a partir da, como mensurlo. Primeiro a sistemtica, depois o sistema. Sistemas informacionais so instrumentos que devem estar a servio de uma lgica no o contrario, sua lgica de definio e mensurao no pode estar a servio de um sistema. H muitas solues de sistemas (de prateleira, baratos, amigveis e acessveis) para sistemticas de mensurao. Lembrese do mandamento: no adorarsferramentasinformticas4!
1.3.
Modelos e Indicadores
Um modelo um recurso analtico com o propsito de representar a realidade a partir da definio de um conjunto de variveis (ou aspectos da realidade que se pretende representar, aspectos estes que podem ser vistos/definidos/medidos de forma quantitativa ou
4
Toledo,David.Decalogodelossistemasdeinformacin.Clad,2004.
11
qualitativa, por meio de indicadores). Assumese que a realidade um todo complexo e os modelos, ao inclurem apenas algumas variveis para representla (buscando descrever, explicar ou prever algo), sero sempre recursos limitados, revelando e escondendo, deixando de fora muitas variveis potencialmente importantes e contendo limitaes para estabelecer os padres de comportamento entreasvariveis.Emsuma,todomodelolimitado,masalimitao deve ser sempre minorada por meio da escolha das variveis mais relevantes:incluiroquemaisimportaeexcluiroquenoimporta. A construo de modelos, a partir da escolha das variveis e seus padres(hipteses)derelacionamento(causao),podeseguirvrias lgicas: relaes causais verificadas empiricamente ou lgica dedutiva. O desafio deste Guia proporcionar a construo de modelos especficos de mensurao do desempenho. Logo, inicialmente isto implica a definio de variveis (aspectos ou dimenses) do desempenho que devem ser consideradas (includas no modelo). Tratase, portando, de um modelo lgicodedutivo, que inclui variveis sugeridas pela literatura e estabelece uma ordem de causalidadeentreelas:desempenho=aspectosrelativosaosesforos + aspectos relativos aos resultados;ou seja, umconjunto de esforos que(presumivelmente)causamumconjuntoderesultados. Modelos so, portanto, um conjunto de indicadores relacionados. Indicadores so mtricas que proporcionam informaes sobre o desempenho de um objeto (seja governo, poltica, programa, organizao, projeto etc.), com vistas ao controle, comunicao e melhoria. Os indicadores so instrumentos de gesto essenciais nas atividades de monitoramento e avaliao das organizaes, assim como seus projetos,programasepolticas,poispermitemacompanharoalcance das metas, identificar avanos, melhorias de qualidade, correo de problemas,necessidadesdemudanaetc. Assim sendo, podese dizer que os indicadores possuem, minimamente,duasfunesbsicas:aprimeiradescreverpormeio dageraodeinformaesoestadorealdosacontecimentoseoseu comportamento; a segunda de carter valorativo que consiste em analisar as informaes presentes com base nas anteriores de forma arealizarproposiesvalorativas.
12
De forma geral, os indicadores no so simplesmente nmeros, ou seja, so atribuies de valor a objetivos, acontecimentos ou situaes, de acordo com regras, que possam ser aplicados critrios deavaliao,como,porexemplo,eficcia,efetividadeeeficincia. Dessaformaosindicadoresservempara: mensurarosresultadosegerirodesempenho; embasar a anlise crtica dos resultados obtidos e do processodetomadadeciso; contribuir para a melhoria contnua dos processos organizacionais; facilitaroplanejamentoeocontroledodesempenho;e viabilizar a anlise comparativa do desempenho da organizao e do desempenho de diversas organizaes atuantesemreasouambientessemelhantes.
Em suma, conforme apresentado ao longo do captulo, o conceito de desempenho especfico para cada organizao, e justamente por ser peculiar requer das organizaes a utilizao de um metamodelo dinmico, abrangente e multidimensional que permita a construo casoacasodeseuprprioconceitodedesempenho. Nesse sentido, o prximo captulo tem como objeto a proposio de ummetamodelocapazdeunirosmaisdiversosaspectos,dimenses, eabordagens,orientandoaelaboraodemodelosespecficosparaa definioemensuraododesempenhodasorganizaes.
13
2. Um (Meta) Modelo para Mensurao do Desempenho: a Cadeia de Valor e as seis dimenses do Desempenho (6Es)
Conforme apresentado no captulo anterior, existem mltiplos aspectos nas dimenses de esforo e do resultado que devem ser consideradosemummodeloparaamediodedesempenho. Nesse sentido, foi utilizado como metamodelo uma concepo de cadeia de valor5 que identifica seis dimenses do desempenho, permitindoqueseidentifiqueemcadadimensodistintosobjetosde mensurao, oriente a modelagem de indicadores (sem prejuzo de se identificarem, em alguns casos, indicadores j consagrados) e permita a construo de painis de acompanhamento da gesto. O metamodelo preconiza assim regras bsicas para construo de modelosespecficosdemensuraodedesempenho. O metamodelo, portanto, permite s instituies (re) pensarem os seus conceitos de desempenho com base na metodologia da cadeia de valor, com alguns aprimoramentos. A cadeia de valor possui algumas limitaes que foram atenuadas: i) a linearidade, pois a cadeia de valor no considera outros fatores que influenciam os efeitos, por exemplo, fatores que produzem impactos e fatores que concorrem com produtos que a organizao gera, esta restrio foi minimizada ao introduzir no modelo a abordagem de redes de organizaes e na definio de indicadores com base na teoria do programa; ii) a unidimensionalidade, pois o bloco das "aes/atividades" representa apenas processos e estrutura (o lado mais visvel das organizaes), esta restrio foi minimizada ao contemplarasdimensesquepossuempapisimprescindveisparaa promoo de resultados, tais como a cultura organizacional, relaes
5
A cadeia de valor definida como o levantamento de toda a ao ou processo necessrio para gerar ou entregar produtos ou servios a um beneficirio. uma representao das atividades de uma organizao e permite melhor visualizao do valor ou do benefcio agregado no processo, sendo utilizada amplamente na definio dos resultados e impactos de organizaes.(Bennett,1976;Wholey,1979).
14
de poder, questes ticas entre outras dimenses que podem vir a serconsideradas. O modelo da Cadeia de Valor e os 6Es do Desempenho permite a construo das definies especificas de desempenho para cada organizao de modo a explicitar as dimenses dos resultados (mais a montante da cadeia de valor) e dos esforos (mais a jusante da cadeia de valor), alm de sugerir o necessrio alinhamento entre ambas as perspectivas. Em sntese, o modelo mensura o que se deve realizarparaseproduzirumresultadosignificativonofuturo. O modelo da Cadeia de Valor e dos 6Es do Desempenho constituise das dimenses de esforo e de resultado desdobradas em outras dimenses do desempenho. As dimenses de esforo so economicidade, execuo e excelncia; e as dimenses de resultado soeficincia,eficciaeefetividade. Vale ressaltar que o metamodelo pode ser aplicvel em vrios nveis da administrao pblica, tais como, nvel macro (Governo), nvel meso (poltica pblica ou setor de governo), nvel mesomicro (redes deorganizaes),nvelmicro(organizaes)envelnano(unidadede organizao). A figura 1 a seguir ilustra o metamodelo denominado Cadeia de valoreos6EsdoDesempenho.
15
Figura1.Cadeiadevaloreos6EsdoDesempenho
Dimenses do Resultado
Eficincia
Eficcia
Efetividade
Insumos (inputs)
Produtos (outputs)
Impactos (outcomes)
Organizaes
Economicidade
Excelncia
Execuo
Dimenses de Esforo
Fonte:Martins&Marini.GuiadeGovernanaparaResultados.
16
2.1.
O presente modelo prope uma tipologia de seis categorias de indicadores, conforme apresentado anteriormente, que esto relacionadossdimensesdeesforoeresultado. As seis categorias de indicadores esto relacionados a algum dos elementos da cadeia de valor, que representa a atuao da ao pblica desde a obteno dos recursos at a gerao dos impactos provenientesdosprodutos/servios.Oselementosdacadeiadevalor so: Insumos(inputs); Processos/Projetos(aes); Produtos/servios(outputs) Impactos(outcomes).
Mensurar o desempenho da organizao (ou outros objetos) com base nesses elementos da cadeia de valor permite que as organizaes analisem suas principais variveis associadas ao cumprimento dos seus objetivos: quantos e quais insumos so requeridos, quais aes (processos, projetos etc.) so executadas, quantos e quais produtos/servios so entregues e quais so os impactosfinaisalcanados. A figura 2 a seguir mostra a relao entre os elementos que compem a cadeia de valor e sua contribuio para os resultados finais, tambm relaciona a pergunta que os indicadores associados procuramresponder:
17
Figura2.ElementosdaCadeiadeValoresuascontribuies
Quaismudanasos produtos/serviostrazemparaos beneficirioseasociedade?
Impactos(outcomes)
Produtos(outputs)
Organizaes
Insumos(inputs)
A figura 3 a seguir mostra as duas categorias de dimenses que compem os 6Es do Desempenho, assim como os tipos de indicadoresqueascompem:
18
Uma combinao dos ele ementos da cadeia de valor com as dimensesdodes sempenhopermiteide entificarseis scategorias sbsicas deindicadoresde edesempen nho: Efetividade so os impactos gerados pelos produtos s/servios, processos p ou o projetos. . A efetivida ade est vinculada a ao grau de satisfao o ou ainda ao valor ag gregado. Por exem mplo, se a mesma campanha de vacina ao do exemplo acima realmente imu unizou e dim minuiu a in ncidncia de deter rminada do oena entre e as criana as, a campa anha foi efetiva. Indicadores s de efetivid dade podem ser enco ontrados nadimen nsoestrat gicadoPlanoPlurianu ual(PPA); Eficcia a quantid dade e qualidade de p produtos e servios entregue es ao usurio (beneficirio diret to dos pro odutos e servios da organizao). Por exemplo, s se a meta de uma campanh ha de vacinao imu unizar 100.0 000 criana as e este nmero foi alcanado ou supe erado, a ca ampanha fo oi eficaz. Indicador res de efic cia podem m ser encontrados na Carta C de serviosdo d rgo; Eficincia a a rela o entre os o produto os/servios gerados (outputs) ) com os in nsumos em mpregados, usualment te sob a forma de custos ou produt tividade. Por exempl lo: uma campanh ha de vacin nao ser mais eficie ente quanto o menor for o cust to, ou seja, quanto me enor for o c custo da cam mpanha, mantend dose os objetivos propostos. Indicado ores de eficincia a podem se er encontrados na Car rta de servios com
19
seus elementos de custos e em informaes de sistemas estruturantesdoGoverno,comooSIAFI; Execuo referese realizao dos processos, projetos e planos de ao conforme estabelecidos. Indicadores de execuo podem ser encontrados no monitoramento das aesdoPPA; Excelncia a conformidade a critrios e padres de qualidade/excelncia para a realizao dos processos, atividades e projetos na busca da melhor execuo e economicidade; sendo um elemento transversal. Indicadores e padres de excelncia podem ser encontrados no Modelo deExcelnciaemGestoPblica(MEGP);e Economicidade est alinhada ao conceito de obteno e uso de recursos com o menor nus possvel, dentro dos requisitos e da quantidade exigidas pelo input, gerindo adequadamenteosrecursosfinanceirosefsicos.Indicadores de economicidade podem ser encontrados nas unidades de suprimentos.
2.2.
Os 6Es do desempenho podem ser desdobrados em subdimenses que qualificam e auxiliam na caracterizao de tipologias de indicadores a serem utilizados. O quadro 3 apresenta as principais subdimensesidentificadasesuasrespectivasdescries. Quadro3.Dimensesesubdimensesdos6EsdoDesempenho Dimenso Subdimenses 1.1.ImpactoFinal:oresultadogeradopelosprodutoseservios deumdeterminadosistema(organizao,programa,poltica pblica,redeetc.)nobeneficiriofinal,ouseja,nasociedade. Exemplos:ndicedeDesenvolvimentoHumano(IDH);PIBpercapita; CoeficientedeGini. 1.2.ImpactoIntermedirio:oresultadointermediriogerado pelosprodutoseserviosdeumdeterminadosistema(organizao, programa,polticapblica,setorredeetc.emseubeneficirio direto.Exemplos:Coeficientedemortalidadeinfantil;Expectativa mdiadevidadapopulaoHabitantes/domiclio;Taxade Homicdios.
E1Efetividade
20
Dimenso
E2Eficcia
E3Eficincia
Subdimenses 2.1Quantidade/Volume:onveldeofertaedisponibilidadede umbensouserviosgeradoporumdeterminadosistema (organizao,programa,polticapblica,redeetc.).Exemplo: Nmerodejovenseadultosalfabetizados;Quantidadede habitaesconstrudas;ExtensodaMalharodoviriapavimentada. 2.2Qualidadedoproduto/servio:representaaadequaoentre ascaractersticasdosprodutoseserviosentregues,eosrequisitos enecessidadesdosbeneficirios.Exemplos:Qualidadepercebida (Percepo/Expectativa),durabilidade,esttica,Confiabilidade, Tempestividade,Inovaoetc. 2.3AcessibilidadeeEquidade:acapacidadededisponibilizarbens eserviosequitativamenteeforneclosdeformaequnime, atendendoigualmenteasnecessidadesdosbeneficiriosea sociedade. 2.4Cobertura:corresponderelaoentreapopulaoatendida sobreaquedeveriaseratendidacombensouserviospblicos geradosporumdeterminadosistema(organizao,programa, polticapblica,redeetc.). 2.5Risco:avaliaaprobabilidadequeumdeterminadosistema asseguraraentregadebenseserviosparadeterminados beneficirioseapopulao. 3.1Custoefetividade:relaoentreosinsumosparaaprestaode umdeterminadoservioouelaboraodeumprodutoea efetividade,ouseja,entendesepelograudecontribuiodeum programaouaonaconsecuodemetaseobjetivosdeimpacto fixadosparareduzirasdimensesdeumproblemaoumelhorar umadadasituao. 3.2Produtividade:relaoentreonveldeproduo(serviose produtos)eosrecursosutilizados,sejaocapitalhumano, imobilizado,investimentoseotempo. 3.3Tempo:tempodecorridoentreoinicioeofimdeum determinadoprograma,projetoouprocesso.Exemplos:Tempode ciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovos benseservios,Desperdcioetc. 3.4Custounitrio:conjuntodecustos(fixos,variveis,reais, atribudos,especficosenoespecficos)aserimputadosauma atividadeporcadaunidadedeprodutoouserviogerado.
21
Dimenso
E4Execuo
E5Excelncia
Subdimenses 3.5Custobenefcio(qualidadedogasto):relaoentreos dispndiosrealizadosporumdeterminadosistemaeosretornos obtidosporcontadessesdispndios,apresentaarelaoentreos insumoseosprodutosgerados. 4.1Execuofinanceira:relaoentreovolumederecursos disponibilizadospelooramentoeonveldeutilizaodesses recursosvisandoatenderrealizaodeetapase/ouatividadesde umprograma,projetoouprocesso(finalsticosoudesuporte). Exemplo:taxadeexecuofinanceira. 4.2Execuofsica:relaoentreovolumedeprodutosprevistos paraserementreguespelooramentoeonveldeentregadesses produtos,visandoatenderrealizaodosprojetose/ouatividades. Exemplo:taxadeexecuofsica. 5.1Conformidadeemrelaoapadresdeexcelnciagerencial.O MEGPumexcelenteproxyparaamediodaexcelnciade organizaespblicas.umindicadorcompostoqualitativoe quantitativoqueabrangecritrioscomo:Liderana,Estratgiae Planos,Cidados,Sociedade,InformaoeConhecimento,Pessoas, Processos. 5.2Conformidade:representaaadequaodosprojetos,aese processosaospadreserequisitosdefinidos.Exemplos:retrabalhos, erros,responsabilidadeambiental,infraestrutura(confortoetc.), medidaseespecificaes,segurana(acidentesporhoras trabalhadas),transparncia,confidencialidade,acessibilidade, confiabilidade,inovao,prazoetc. 5.3Riscos:avaliaaprobabilidadedeocorrnciadefalhasoua entregadeprodutosforadasespecificaesestabelecidasnos processosounosprogramas,demodoqueissopossaprovocara insatisfaodaspartesenvolvidas. 5.4Causalidade:aavaliaodefatoresprecedentesqueimpactam ouinfluenciamocomportamentoouresultadosubseqente,sendo, destemodo,indicadoresqueavaliamaadequaopadres, normaseespecificaes.Exemplo:ndicedereajustesdevidoa falhasnoprocesso.Nestecaso,asfalhasnoprocessogeram impactosnegativosnaexecuodeprocessoseentregadeservios.
22
Subdimenses 5.5Comunicao:aavaliaodafluxosdeinformaoeseus canais,averiguandoaexistnciaounodefalhasnoprocessode comunicao.Exemplo:percentualdepessoascomacesso informaescrticasdaorganizao. 6.1Quantidadederecursos:onveldeofertaedisponibilidadede umprodutoouserviogeradoporumdeterminadofornecedorou sistema(organizao,programa,polticapblica,setorredeetc.). 6.2Qualidadedosrecursos:representaaadequaoentreas caractersticasdosprodutoseserviosadquiridos,eosrequisitose necessidadesdaorganizao(ouGoverno).Exemplos:durabilidade tcnica,esttica,Qualidadepercebida(Percepo/Expectativa), Confiabilidade,Tempestividade,Inovaoetc. 6.3Acessibilidade:acapacidadedecaptarbenseservios E6Economicidade equitativamenteeforneclosdeformaequnime,atendendo igualmenteasnecessidadesdosbeneficirioseasociedade. 6.4Cobertura:aavaliaodonveldeabrangnciadeum determinadoinsumocrticoparaaexecuodeprogramas, projetos,processos,sendodestaformauminsumoquerequeralta disponibilidade.Exemplo:quantidadedefornecedoresdeum determinadoinsumo. 6.5Risco:Avaliaapossibilidadedeocorrnciadefalhasno fornecimentoderecursosparaproverprogramas,projetose processos.Exemplo:graudepropensodenorecebimentode insumoscrticos.
Dimenso
2.3.
Cada dimenso e subdimenso do desempenho foi desdobrada em nveis com o intuito de direcionar a construo de indicadores de desempenhodedistintosobjetos,sejamgovernos,polticas,conjunto deorganizaes,organizaesouunidadesorganizacionais.Oquadro 4, a seguir, apresenta a relao entre os 6Es do Desempenho e os nveis macro (Governo), meso (poltica pblica ou setor de governo), mesomicro (redes de organizaes), micro (organizaes) e nano
23
(unidade de organizao), no qual em cada clula (interseco da linha e coluna) so detalhadas as subdimenses e ilustrados por alguns indicadores representativos segundo as caractersticas do nvel de Governo estabelecido. Os nveis so concebidos pela necessidade de tratar das especificidades concernentes a cada contexto de aplicao, criando aproximaes a fim de evitar um tratamentoigualpararealidadesdistintas. Os anexos 1 e 2 deste Guia contemplam alguns exemplos de indicadores levantados em oficinas com rgos centrais do Governo Federa e em pesquisas documentais representados segundo as mltiplasdimensesdodesempenho.
24
Micro Organizao
Subdimenso: 1.2ImpactoIntermedirio Resultadosintermedirios dedesenvolvimento, polticaspblicasoutemas depolticaspblicas, Satisfaodosstakeholders, MelhoriadaGestoetc. ExemplosdeIndicadores: todosdosnveisanteriores.
Nano Unidade
1.2Subdimenso: Impactoinicial, Resultadosda organizao. Exemplosde Indicadores: todosdosnveis anteriores.
Subdimenso: 1.1ImpactoFinal Nvelgeraldebem estar, desenvolvimento (social,econmicoe scioambiental), igualdadesocialetc. Exemplosde Indicadores: ndicede Desenvolvimento Humano(IDH) E1Efetividade PIBpercapita CoeficientedeGini
25
Micro Organizao
Subdimenses: Servios,bensevalores entreguespelaorganizao. Acartadeserviosdispe dosserviosprestadospela organizao. 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco ExemplosdeIndicadores: ndicedeSatisfaodos usurioscomosserviosda organizao Nmerodepontosde culturainstalados Quantidadedenovas escolasconstrudas
Nano Unidade
Subdimenses: Servios,bensevalores entreguespelaunidade finalstica.Acartade serviosdispeosservios prestadospelaunidade finalstica 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco ExemplosdeIndicadores: Quantidadedeaesde fiscalizaorealizadas
Subdimenses: Consolidaoda quantidade,coberturae qualidadedosServios entreguespeloGoverno 2.1Quantidade/ Volume 2.2Qualidadedo servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. E2Eficcia Exemplosde Indicadores: ndicedeQualidadede VidaUrbana Percepodapopulao quantoconfiananas instituiespblicas Qualidadeglobaldos serviosprestados Quantidadedeservios pblicosofertadosao cidado
Subdimenses: Servios,bensevalores entreguesrelacionadosa umtemadepoltica pblica 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura ExemplosdeIndicadores: Nmerodeescolade Educaobsicacom conexodeBandaLarga Quantidadede Telecentrosinstalados Percentualdoterritrio comcoberturavegetal nativa CoberturadoSadeda Famlia Coberturadeservios bsicosdesade
26
Micro Organizao
Subdimenses: 3.2Produtividadeda organizao 3.3Tempo Tempodeciclo,Freqncia deentrega,Tempode desenvolvimentodenovos benseservios,Desperdcio etc. 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue 3.5Custobenefcio (qualidadedogasto) ExemplosdeIndicadores: Custosunitriosdeservios estratgicos Tempomdiode atendimentoao cidado Tempomdioparaabrirum negcio EficinciaOramentria
Nano Unidade
Subdimenses: 3.2Produtividadedaunidade finalstica CargadeTrabalho,Consumo, Desperdcioetc. 3.3Tempo Tempodeciclo,Freqnciade entrega,Tempode desenvolvimentodenovos benseservios,Desperdcio etc. 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue 3.5Custobenefcio (Eficinciadosgastos) ExemplosdeIndicadores: Custoporaodefiscalizao Tempomdiodeatendimento sdemandas(emdias) Custocom combustvel/peas/servios porperodo Custoporunidadedoservio prestado(custounitriopor cirurgia,porhoraaula,por kmpavimentado)
Subdimenses: 3.1Custo efetividade Relaocusto efetividadeda atuao governamental 3.4Utilizaode recursos Exemplosde Indicadores: Custoefetividade (outcomes/custo) Volumedogasto E3Eficincia pblico(despesa oramentria)em relaoaoPIB RelaoPIB/capitae IDH Relaogastos pblicoseIDH
27
Micro Organizao
Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira 4.2Processosfinalsticos ExecuofsicaeExecuo financeira 4.3ProcessosdeSuporte ExecuofsicaeExecuo financeira 4.4EficciadosProcessosde Suporte Quantidadeequalidadedos servios,bensevalores entreguesaosprocessos finalsticos 4.4.1Quantidade/Volume 4.4.2Qualidadedo produto/servio Durabilidadetcnica,esttica, Qualidadepercebida (Percepo/Expectativa), Confiabilidade,Tempestividade, Inovaoetc. 4.4.3AcessibilidadeeEquidade 4.4.4Cobertura 4.4.5Risco
Nano Unidade
Subdimenses: 4.1Programase Projetos Execuofsicae Execuofinanceira 4.2Processos finalsticos Execuofsicae Execuofinanceira 4.3Processosde Suporte Execuofsicae Execuofinanceira Exemplosde Indicadores: %deexecuofsica doProjetodecriao donovoPortalda organizao %deprojetoscom licenaambiental (unidaderesponsvel porobterlicenas ambientaisparaos projetosda organizao)
Subdimenses: 4.1Programase Projetos Execuofsicae Execuofinanceira agregadas Exemplosde Indicadores: Graudeimplementao dosProgramasda AgendadeGoverno PercentualdeProgramas comataxadeexecuo E4Execuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsico financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Taxadeexecuodos processosde contratao
28
Micro Organizao
ExemplosdeIndicadores: Implantaodasaesdo PlanejamentoEstratgico Graudeconfiabilidadedas informaesoramentrias, financeirasecontbeis ndicedequalidadedaproposta oramentria ndicedequalidadeda informao Graudeacessopblicoas informaesdecompras (editais,solicitaesde propostas,outorgasde contrato) Percentualdecontratocom nveldeserviocontratualizado Graudeadequaoaomarco legaleregulatriodecompras pblicas(conformidades detectadas) Percentualdeavaliaes prviasderiscos
Nano Unidade
29
Micro Organizao
Subdimenses: OMEGPumexcelenteproxy paraamediodaexcelncia deorganizaespblicas.um indicadorcompostoqualitativo equantitativo 5.1CritriosdoMEGP Liderana,EstratgiaePlanos, Cidados,Sociedade, InformaoeConhecimento, Pessoas,Processos 5.2Conformidade Retrabalho,Erros, ResponsabilidadeAmbiental, Infraestrutura(confortoetc.), Medidaseespecificaes, Segurana(acidentesporhoras trabalhadas),Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao,Prazo etc. 5.3Riscos 5.4Causalidade 5.5Comunicao 5.6Integrao ExemplosdeIndicadores:
Nano Unidade
Subdimenses: OMEGPumexcelente proxyparaamedioda excelnciadeunidades organizacionais.um indicadorcomposto qualitativoequantitativo 5.1CritriosdoMEGP Liderana,Estratgiae Planos,Cidados, Sociedade,Informaoe Conhecimento,Pessoas, Processos 5.2Conformidade Retrabalho,Erros, Responsabilidade Ambiental,Infraestrutura (confortoetc.),Medidase especificaes,Segurana (acidentesporhoras trabalhadas), Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao, Prazoetc. 5.3Riscos 5.4Causalidade 5.5Comunicao 5.6Integrao ExemplosdeIndicadores:
Exemplosde Indicadores: Percentualde organizaes pblicasda administraodireta eindiretacandidatas noPrmioNacional daGestoPblica PQGF Porcentagem organizaes pblicasda administraodireta e E5Excelncia indiretacom sistemadegestoda qualidade implantado
30
Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede Micro Organizao
Nano Unidade
Pontuaonoscritriosde excelnciaemgesto (MEGP) Nmerodeatividadesque seguemestritamenteos padresorganizacionais Nmerodeatividades certificadaspor instituiesreconhecidas
Pontuaonoscritriosde excelnciaemgesto(MEGP) ndicedeInovaoemGesto (prmiosereconhecimentos recebidos) Taxaderegistrodeocorrncias emauditorias Percentualdecontratoscom AcordosdeNveldeServios (ANS)pactuados
31
Micro Organizao
Subdimenso: 6.1Quantidadederecursos 6.2Qualidadedosrecursos Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. ExemplosdeIndicadores: Economiacomatividade meio Custodasatividadesde suporte/Custototal ndicedequalidadedos produtoseservios adquiridos ndicedeeconomiadas aquisies
Nano Unidade
Subdimenso: 6.1Quantidadede recursos 6.2Qualidadedos recursos Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco Exemplosde Indicadores: Ndeadmisses conformeoperfil Requeridorealizadas duranteoperodo
32
2.4.
Segundo este modelo, a otimizao do desempenho requer atuao ao longo de toda a Cadeia de Valor. Existe o risco de modelos construdos focarem em alguns Es do desempenho (eficincia ou na economicidade, por exemplo) em detrimento dos demais Es. A nfase puramente no E da eficincia (desconsiderandose os Es daeficciaedaefetividade)tendeatornarprecriooatendimentoe a qualidade dos servios prestados ao cidado. Para tanto, importanteressaltaroquantonegativoprivilegiaraeconomicidade, a execuo, a excelncia e a eficincia, e no contemplar a eficcia e aafetividadeemmodelosdemensurao. Nesse sentido, necessrio pensarse no balanceamento dos 6Es do Desempenho. O desempenho timo aquele que efetivo, eficaz, eficiente, excelente, econmico e cuja execuo de aes e atividades ocorre em conformidade com requisitos e prazos definidos. Embora haja precedncia da dimenso efetividade (e sucessivamente, eficcia e eficincia, excelncia, execuo e economicidade, da direita para a esquerda da cadeia de valor), problemas em qualquer uma das dimenses impe padres sub timosdedesempenho. Portanto,omodelodedesempenhotimorepresentadopor:
33
Ouseja, Desempenhotimo=E1+E2+E3+E4+E5+E6=6; Desempenho Subtimo = E1+E2+E3+E4+E5+E6 < 6, isto , h ausnciadeumoumaisE. Alm de necessidade de possuir todos os Es no modelo, h uma ponderao entre eles para a gerao de uma medida final do desempenho (uma nota global) e sua disposio em um Painel de Controle(Scorecard).HaprecednciadepesosentreosEs: Prioridades:[E1>E2>E3]>[E4E5E6]. A estrutura de ponderao proposta prioriza o resultado sobre o esforo.Paraisso,duasalternativassopropostas: Alternativa1Ponderaocomgraudeflexibilidade: Resultado=[E1+E2+E3]60%/70%;sendoque,PE1>PE2>PE3; Esforo=[E4+E5+E6]40%/30%,sendoque,PE4PE5PE6. Alternativas2Ponderaofixa: DimensodoDesempenho Efetividade(E1) Eficcia(E2) Eficincia(E3) Execuo(E4) Excelncia(E5) Economicidade(E6) Totaldospesos Peso 2,5 2 1,5 1,5 1,5 1 10 Proporo 60% resultado 40%Esforo 100%
A lgica desta ponderao inicial relativamente simples e intuitiva: resultados valem mais que esforos. Entre situaes limite hipotticas, organizaes que se esforam menos, mas alcanam melhores resultados devem ser melhor pontuadas que organizaes que se esforam mais, mas falham em obter resultados satisfatrios. Logo, a regra de ouro poderia ser pontuar os resultados acima dos 50% da nota. O quo acima? A proporo 60/40 apenas um patamarpossvel. Assimcomoexisteponderaesparaasdimenses,tambmdeveser aplicada a lgica de pesos para os indicadores dentro de cada dimenso. Propese que a ponderao do indicador seja realizada com base na Matriz de Avaliao Quantitativa de Indicadores para
34
estabelecer pesos (entre 1 a 5) segundo critrios de seleo de indicadores, propiciando obter maior sensibilidade no processo de priorizao. A frmula de clculo para a formao do peso do indicador ser aprofundada no item 3.7. Passo 7 Ponderao e ValidaofinaldosindicadorescomaspartesenvolvidasdesteGuia. O quadro 5 ilustra a sntese do modelo de ponderaes. O modelo envolve algumas instncias de agregao de valores que requer formulas de clculo especficas, apresentadas segundo as referncias aseguir: (A) Nota ponderada do indicadorx= Peso do indicadorx* Nota do indicadorx; (B) Nota da Dimenso = (Nota ponderada do indicador1 + Nota ponderada do indicador2 +...+ Nota ponderada do indicadorn) / (Peso doindicador1+Pesodoindicador2+...+Pesodoindicadorn); (C) Nota ponderada da Dimenso: Peso da Dimensox * Nota da Dimensox;;e (D) Nota do Desempenho Agregado: das Notas ponderadas das Dimenses.
35
Quadro5.Exemplodeponderaesenotasaplicadasaosindicadoresesuanotaconsolidadafinal
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) 1.1.Impactofinal ndicedeDesenvolvimentoHumano(IDH) 1.1.ImpactoIntermedirio TaxadeAnalfabetismode15anosoumais ndicededistoroIdade/Srie TaxadeconclusodoensinomdionaRededeEnsino 2.1.Quantidade Nmerodejovenseadultosalfabetizados Quantidadedenovasescolasconstrudas NmerodeescoladeEducaobsicacomconexodeBandaLarga 3.1.Custoefetividade Custoefetividade(outcomes/custo)daspolticasdeeducao 3.4.Utilizaoderecursos Volume do gasto pblico em educao (despesa oramentria) em relao aoPIB Customdioporhoraaula 4.1.Execuofsicaeexecuofinanceira GraudeimplantaodasaesdoPlanejamentoEstratgico Taxadeempenho Taxadeliquidao Taxadeexecuooramentria 5.1CritriosdoMEGP Pontuaonoscritriosdeexcelnciaemgesto(MEGP) ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 6.1.Quantidadederecursos GastospblicospercapitacomaEducao GastototaldecomprasdoGovernocomosetorialdeEducao Gastoscommerendaescolar Pesodo indicador 5 5 4 3 5 4 2 5 4 3 5 3 3 3 5 3 3 3 3 Notado indicador 9 7 8 9 7 9 8 6 9 8 9 7 7 7 8 9 9 7 7 Nota ponderada (A) 45 35 32 27 35 36 16 30 36 24 45 21 21 21 40 27 27 21 21 Notada Dimenso (B) Nota ponderada daDimenso (C)
E1Efetividade
2,5
8,18
20,44
E2Eficcia
7,91
15,82
E3Eficincia
1,5
7,50
11,25
E4Execuo
1,5
7,71
11,57
E5Excelncia
1,5
8,38
12,56
E6 Economicidade
7,67
7,67
NotadoDesempenhoAgregado(D)
79,31
36
Acerca do modelo de desempenho e ponderaes, duas principais condies ideais so ressaltadas: a) que seja possvel a modelagem de indicadores significativos e representativos nas seis dimenses; b) que seja possvel gerar uma nota para cada indicador. Em condies reais, algumas vezes, possvel que nem todas as seis dimenses do Desempenho possam ser contempladas (tendo em conta problemas na disponibilidade de dados que inviabilizem a gerao de indicadores) como tambm possvel que no se consiga gerar uma notaparacadaindicador. O mais importante diante das inevitveis dificuldades do mundo real a postura: preciso esforo, imaginao e honestidade intelectual para resolver ou atenuar as limitaes. A seguir, so comentadas algumaspossveiscomunslimitaeseoquefazeremrelaoaelas: Indicadoresdeefetividade: i) O problema: a questo menos gerlos (h muitos indicadores consagrados de polticas pblicas) e mais assumilos como integrantes do conceito de desempenho problema este maior nos nveis organizao e unidade organizacional. O que est em questo o grau de atribuio de responsabilidade (diretamente relacionado governabilidade) em relao a indicadores de efetividade inerentemente sujeitos a fatoresrivaisetemporalidade; ii) A soluo: tentar decomplos em impactos intermedirios e identificar aqueles impactos onde haja uma relao de atribuio de responsabilidade maior de
37
acordo com a teoria do programa6 em questo; Geraodenotaparacadaindicador: i) O problema: bastante provvel que muitas medidas possam ser feitas, mas sem um correspondente parmetro de comparao, tal como uma meta ou um benchmark em relao ao qual se possa medir a distncia relativa e se estabelecer umanota(dealcance); ii) A soluo: o estabelecimento de metas incrementais (aumentar 20% no perodo seguinte) pelo tempo necessrio para que se compreenda a curva de desempenho do indicador em questo, permitindo uma fixaorealistaedesafiadorademetas; Indicadoresdasdemaisdimenses: i) O problema: ainda que haja dificuldades na identificao e na coleta de dados para gerao de indicadores em geral (principalmentenadimensoeficincia), ii) A soluo: a postura correta utilizar aproximaes e, sobretudo, comear a medir para incorporar ao modelo no momentoseguinte. Em suma, prefervel que haja aproximaes a lacunas. Mas o fundamental aprimorar o modelo de mensurao ao longo do tempo, tendose em conta que se trata de um processo que
Os pressupostos sobre os recursos e aes e como esses levam aos resultados esperados so freqentemente referidos como a teoria do programa. As hipteses so de que os recursos adequados sero transformados em aes necessrias para beneficirios do pblicoalvo, e isso, em um contexto favorvel, ir levar para os resultados que o programa pretende alcanar. Tornar explcitas as hipteses sobre como o programa supostamente deve funcionar, em variados contextos, cria a referncia principal em que se baseia a gesto e o seu instrumento imprescindvel de avaliao. Vejase Disoc/IPEA, Teoria do Programa e Modelo Lgico, IPEA, mimeo.
6
38
2.5.
Formulao de Indicadores
A formulao de indicadores pode ser realizada por um conjunto de passos necessrios para assegurar que os princpios da qualidade e do sistema de medio do desempenho estejam em conformidade comodesejadopelaorganizao.Ospassosso: Identificao do nvel, dimenso, subdimenso e objetos de mensurao; Estabelecimentodosindicadoresdedesempenho; Validao preliminar dos indicadores com as partes interessadas; Construodefrmulas,estabelecimentodemetasenotas; Definioderesponsveis; Geraodesistemasdecoletadedados; Ponderao e validao final dos indicadores com as partes interessadas; Mensuraodosresultados; Anliseeinterpretaodosindicadores;e Comunicaododesempenhoegerirmudana.
O objeto do prximo captulo a apresentao dos passos principais para a concepo e implantao dos indicadores a partir da metodologiadaCadeiadeValoreos6EsdoDesempenho.
39
40
Figura4.Etapasdemedioeos10passosparaaconstruodeindicadores
Passo10 Comunicaodos resultados Passo1 Identificaodo nvel,dimenso, subdimensoeobjetos demensurao
Como mensurar?
Mensurao
Coleta de informaes
Passo5 Definiode responsveis Passo6 Geraodesistemade coletadedados Passo8 Mensuraodos resultados Passo7 Ponderaoe Validaofinaldosindicadores comaspartesenvolvidas
41
Figura5.Os10passosparaaconstruodeindicadores
O que Mensurar?
Como mensurar?
2. Estabelecimento de indicadores
Coleta de informaes
5. Definio de responsveis
Mensurao
8. Mensurao do desempenho
Sim
Indicadores OK?
No
Anlise
Comunicao
42
43
interessados no desempenho da unidade sob anlise. A figura 6 abaixorepresentaesteinstrumento. Figura 6. Diagrama da Cadeia de Valor: instrumento de elucidao dos objetos de mensurao
Conforme ressalta o captulo anterior, recomendase buscar abarcar todas as dimenses dos 6Es do Desempenho, devendose questionar quaissoasmedidasdesejveisparacadadimensodometamodelo. O desenho da cadeia de valor do objeto auxilia a identificar os elementosdemensuraesparaasseisdimenses. Este passo conduzido com a contribuio da cadeia de valor e com base na Matriz sntese do modelo de Medio do desempenho (vide quadro4anterior). O quadro 6 a seguir ilustra o extrato da Dimenso Efetividade e o quadro 7 posterior registra seu desdobramento, apresentando exemplosparaosnveismacroemeso.
44
Quadro6.Extratodoquadro2DimensoEfetividade
Meso Dimenso Macro Setorialde Governo polticapblica Subdimenso: Subdimenso: 1.1Impacto 1.2Impacto Final Intermedirio Nvelgeralde Resultadosde bemestar, PolticaPblica, desenvolviment impactos o(social, intermedirios E1 econmicoe de Efetividade scio desenvolviment ambiental), oetc. igualdadesocial etc. Nveis Mesomicro Organizaes Micro emrede Organizao Subdimenso Subdimenso: : 1.2Impacto 1.2Impacto Intermedirio Intermedirio Resultados Resultados intermedirios emtemasde de desenvolviment Polticas o,polticas Pblicas, pblicasou impactos intermedirio temasde sdepolticas polticas pblicasetc. pblicas, Satisfaodos stakeholders, Melhoriada Gestoetc.
MacroGoverno E1Efetividade
E2
Intermedirio
1.2 Impacto
Meso SetorialE1Efetividade
depoltica pblica
Vale destacar que o critrio recomendado para direcionar a identificao e seleo das subdimenses e dos objetos de mensurao so os objetivos e prioridades estratgicas do Governo, da poltica, da organizao ou da unidade. O entendimento dos
45
objetivos estratgicos so direcionadores para a criao de indicadores coerentes que reflitam de maneira clara e vlida o quanto da estratgia foi alcanado no nvel definido (Governo, polticaetc.).AsorganizaesouGovernosquepossuemumaagenda estratgica detalhada e legtima dispem de informaes importantes para subsidiar a escolha das subdimenses e objetos de mensuraoparacadaumdos6Esdodesempenho.
Na identificao e seleo de um indicador importante considerar um conjunto de critrios bsicos, para garantir a sua posterior operacionalizao.Oscritrioscentraisparaumindicadorso: Seletividade ou importncia: fornece informaes sobre as principais variveis estratgicas e prioridades definidas de aes,produtosouimpactosesperados; Simplicidade, clareza, inteligibilidade e comunicabilidade: os indicadores devem ser simples e compreensveis, capazes de levar a mensagem e o significado. Os nomes e expresses
46
devem ser facilmente compreendidos e conhecidos por todosospblicosinteressados; Representatividade, confiabilidade e sensibilidade: capacidade de demonstrar a mais importante e crtica etapa de um processo, projeto etc. Os dados devem ser precisos, capazes de responder aos objetivos e coletados na fonte de dados correta e devem possibilitar a pronta avaliao dos efeitosdedeterminadainterveno; Investigativos: os dados devem ser fceis de analisar, sejam estes para registro ou para reter informaes e permitir juzosdevalor; Comparabilidade: os indicadores devem ser facilmente comparveis com as referncias internas ou externas, bem comosrieshistricasdeacontecimentos; Estabilidade: procedimentos gerados de forma sistemtica e constante, sem muitas alteraes e complexidades, uma vez que relevante mantero padro epermitir a sriehistrica; e Custoefetividade: projetado para ser factvel e economicamentevivel.Osbenefciosemrelaoaoscustos devem satisfazer todos os outros demais nveis. Nem todas as informaes devem ser mensuradas, preciso avaliar os benefciosgeradosemdetrimentodonusdespendido.
Alm disso, necessrio identificar se a escolha do indicador atende s expectativas de seus pblicos de interesse, como os rgos setoriais, rgos centrais, rgos de controle e outros possveis interessados, de modo a assegurar a relevncia do indicador proposto. O quadro 8, abaixo, apresenta o desdobramento da dimenso dos 6Es em indicadores, perpassando pela definio da categoria da subdimenso.
47
Quadro8.Desdobramentodadimensodos6Esemindicadores
Nvel MacroGoverno Dimenso E1Efetividade Subdimenso 1.1 ImpactoFinal Objetodemensurao Desenvolvimentoeconmico, esperanadevidaeeducao E2Eficcia E3Eficincia E4Execuo E5Excelncia E6Economicidade 1.2 Impacto Intermedirio Indicador ndice de Desenvolvimento Humano (IDH)
48
3.4.1.Construodefrmulas
A frmula descreve como deve ser calculado o indicador, possibilitandoclarezacomasdimensesaseremavaliadas.Afrmula permite que o indicador seja: inteligvel; interpretado uniformemente;compatibilizado com o processo de coletade dados; especfico quanto interpretao dos resultados e apto em fornecer subsdiosparaoprocessodetomadadedeciso. Nesse sentido, recomendase evitar frmulas de alta complexidade ou que no respondam as questes necessrias. A frmula do indicador deve, sobretudo, ser de fcil compreenso e no envolver dificuldades de clculo ou de uso, proporcionando a obteno de um resultado, numrico ou simblico, facilmente comparvel com valores predeterminados, posteriores ou anteriores, para apoiar o processodecisrio.
49
Cada frmula possui uma unidade de medida que confere um significado ao resultado. As unidades de medida podem ser diversas, contudo, sua composio deve seguir uma linha de raciocnio, possibilitandoaanlisedoresultadoobtidoeacomparaocomuma seriehistrica. Asunidadesdemedidamaiscomunsso: Indicadores Simples: Representam um valor numrico (uma unidadedemedida)atribuvelaumavarivel.Normalmente, so utilizados para medir eficcia, ou seja, a quantidade de determinado produto ou servios entregue ao beneficirio. Noexpressaarelaoentreduasoumaisvariveis. Exemplos: Nmerosdealunosmatriculadosnoensinomdio; Nmerodealunosaprovadosnoensinofundamental; Nmerodenovospostosdetrabalhoscriados. Indicadores Compostos: Os indicadores compostos expressamarelaoentreduasoumaisvariveis.Deacordo com as relaes entre as variveis que os constituem e a forma como so calculadas, so denominados de maneiras especficas. Assim tmse quatro tipos de indicadores compostos: i) Proporo ou Coeficiente: o quociente entre o nmero de casos pertencentes a uma categoria e o total de casos considerados. Esse quociente tambm chamado de coeficiente,representandoarazoentreo nmero de ocorrncias e o nmero total (nmerodeocorrnciasmaisonmerode noocorrncias). Exemplos: Coeficiente de natalidade = nmero de nascidos/populaototal; Coeficiente de mortalidade = nmero de bitos/populaototal;
50
Coeficiente de evaso escolar = nmero de alunos evadidos / nmero inicial de matrculas realizadas. ii) Porcentagem: Obtida a partir do clculo das propores,simplesmentemultiplicandoo quociente obtido por 100. As porcentagens e propores tm por objetivo principal criar comparaes relativas destacando a participao de determinadapartenotodo. Exemplo: Porcentagem de alunos matriculados na 1 srie do ensino mdio = (n de alunos matriculados na primeira srie do ensino mdio / n total de alunos matriculados no ensinomdio)x100. iii) Razo ou ndice: A razo de um nmero A em relao a outro nmero B se define como A dividido por B. As propores representam um tipo particular de razo. Entretanto, o termo razo usado normalmente quando A e B representam categorias separadas e distintas. Este quociente tambm chamado de ndice, indicando tratarse de razo entre duas grandezastaisqueumanoincluiaoutra. Exemplos: Densidade demogrfica = Populao / superfcie;e Rendapercapta=Renda/populao. iv) Taxa: So coeficientes multiplicados por uma potncia de 10 e seus mltiplos para melhoraracompreensodoindicador. Exemplos: Taxa de mortalidade = Coeficiente de mortalidadex1.000;
51
Taxa de natalidade = Coeficiente de natalidadex1.000;e Taxa de evaso escolar = Coeficiente de evasoescolarx100. A frmula de clculo e a unidade demedida fornecem subsdios para identificar o comportamento esperado do indicador, ou seja, se o indicador maiormelhor, menormelhor ou igualmelhor. Dessa forma,ainterpretaodoindicadorinformaseobomdesempenho alcanado quando o resultado do indicador est aumentando, diminuindooupermanecendoomesmo.Tratasedeumainformao integrante que orienta a anlise crtica do desempenho do indicador. Por exemplo, o IDH representa um bom desempenho quanto mais prximo de 1, aferindo uma melhor qualidade de vida da populao daregio. Concomitantemente construo da frmula do indicador, necessriodefiniraorigemdeondeosdadossoextrados,ouseja,a fonte de dados, podendo ser de um setorial, organizao, unidade organizacional,sistemainformatizadoououtrafontecomorelatrios ou pesquisas de origem externa. Exemplos de algumas fontes so as bases estatsticas de indicadores sociais, econmicos, entre outros: IPEA, INEP, Banco Mundial, PNUD, OCDE. Vale destacar que a identificao da fonte dos dados um importe direcionador para a definiodemetas.
3.4.2.Estabelecimentodemetas
Uma vez estabelecidas as frmulas e as fontes dos dados, seguese o estabelecimento de metas. A meta uma expresso numrica que representaoestadofuturodedesempenhodesejado. Todos os indicadores de desempenho devem ter metas, podendo ser definida mais de uma meta por indicador. As metas tm como objetivo serem suficientes para assegurar a efetiva implementao da estratgia, por exemplo, de Governo (nvel macro), de poltica (nvelmeso)oudeorganizao(nvelmicro). As metas contm uma finalidade, um valor e um prazo. A finalidade de cada meta enunciada no detalhamento do indicador e expressa um propsito da organizao. Um estado de futuro esperado em um determinado perodo. Para isso, as metas devem ser: alcanveis; desafiadoras; diretas; negociveis; fundamentadas em sries histricas,tendnciasebenchmark.
52
Recomendase buscar referenciais comparativos (benchmarks) pertinentes quando tratar de indicadores consagrados e de ampla utilizao.Osobjetivosdousodeinformaescomparativasso: Fornecer o entendimento da posio relativa da unidade de anliseemrelaoexperinciasreferenciaisexistentes; Melhoraroentendimentodeseusdesempenhos;e Fornecersubsdiosparaoprecisoestabelecimentodemetas, eparadirecionarmelhoriasemudanassignificativas.
As informaes de benchmarks podem ser obtidas internamente ou externamente unidade de anlise a partir de referenciais como outra organizao, processo, servios, produtos ou resultado considerados de notrio destaque; envolve o levantamento de mdias setoriais, organizaes similares na mesma regio geogrfica ou que fornecem tipos semelhantes de servios e produtos em distintas regies. Em sntese, o benchmark visa sugerir valores referenciais para comparao do desempenho da organizao (ou Governo)emrelaoacadaindicadorestabelecido. No caso de indicadores especficos, como o caso de indicadores concernentes a um contexto singular, em geral, devem ser construdas as metas com base, principalmente, em sries histricas de desempenho, e que estejam alinhados com os objetivos estratgicospretendidos. Algunscuidadosdevemsertomadosaoestabelecermetas,asaber: considerarosdesempenhosanteriores; descreverocenrioemqueseinsereoobjetodoindicador; possuir uma compreenso clara do estgio de referncia inicial, ou seja, da linha de base (Vo). Exemplo: ltimo ano, valordaltimaaferiofeita,mdiadatendnciaetc.; definir metas factveis, levandose em considerao a disponibilidadedosrecursosrequeridos; considerar os fatores: o volume de recursos disponveis para o projeto, as condicionantes do ambiente (polticas, econmicas,capacidadeorganizacional)etc.; tratandose de um indicador novo (nunca utilizado anteriormente), ser cauteloso para no estabelecer metas
53
audaciosas. Neste caso, recomendase utilizar uma srie de metasestabelecidasconformecenriosprevistos. O quadro 9 a seguir apresenta a sntese das etapas da construo do indicadoratestaetapa.
54
Quadro9.Modelosntesedeconstruodoindicador
Nvel Macro Governo E1Efetividade Dimenso Subdimenso Objetode mensurao Indicador Frmula Interpretao/ Unid. sentido Maiormelhor Desenvolvimento ndicede econmico, Impacto esperanadevida Desenvolvimento Humano(IDH) Final eeducao (Longevidade+ Educao+ decimal Renda)/3 PNUD 0,794 0,816 Canad=0,966 Chile=0,878 0,823 0,843 Srie Vo histrica Fonte 2005 2007 Benchmark Metas 2010 2011
E2Eficcia E3Eficincia E4Execuo E5Excelncia E6 Economicidade Meso Setorial de poltica E Efetividade 1 pblica Totalde analfabetosna Resultadode Taxade Impacto PolticaPblicade Analfabetismode15faixaetria/total dapopulaocom Interme educao anosoumais amesmafaixa dirio etria Menormelhor %
IBGE
10,9
9,2
E2Eficcia E3Eficincia
55
3.4.3.Definiodenotas
A nota deve refletir o esforo no alcance da meta acordada, por indicador em particular, o que implicar na determinao de valores de 0 (zero) a 10 (dez) para cada um, conforme a relao entre o resultado observado e a meta acordada. Sugerese o uso de uma escalapadroouescalasespecificasparacadaindicador. Vale destacar que escalas especficas para cada indicador devem ser fixadas em funo dos valores correspondentes grandeza da medida, de maneira que o instrumento de medio tenha preciso adequada a sua utilizao, primando por captar a variao do estmulo correspondente. Por exemplo, um indicador anual de disponibilidade de energia eltrica deve possuir escala delineada entre90%e100%.Por outrolado, umindicadordetaxadeexecuo fsica de programa deve apresentar escala com variao entre 0% e 100%, e sua respectiva interpolao de notas. A adequao da sensibilidade da escala ao indicador fundamental para evitar interpretaes enviesadas na anlise de valores aferidos pela mensurao. Oquadro10ilustraumexemplodeescaladenotas. Quadro10.Escaladenotas Resultadoobservadono alcancedameta 96%oumais 91%a95% 81%a90% 71%a80% 61%a70% 51%a60% 41%a50% 40%oumenos Notaatribuda 10 9 8 7 6 5 4 Zero
56
Quadro11.Definiodaescaladenotasporindicador
Indicador Frmula Unid. Srie Vo Interpretao/ Fonte histrica sentido 2005 2007 Maiormelhor Benchmark Metas 2010 2011 10 9
Taxadealcance/nota
8 7 6 5 4
decimal
PNUD
0,794
0,816
99,86% 99,75% 99,60% 99,46% 99,3% 99,16% 99,99% 99,85% 99,74% 99,59% 99,45% 99,29%
Menormelhor
IBGE
10,9
9,2
99% 100%
57
58
Quadro12.Estabelecimentoderesponsveiseperiodicidadeporindicador
Indicador Frmula Unid. Interpretao/ Sentido/ Periodicidade Maiormelhor Srie Vo histrica Responsvel 2005 2007 Fonte/ Benchmark Metas 2010 2011 10 9
Taxadealcance/nota
8 7 6 5 4
PNUD
0,794
0,816
Anual
99,86% 99,75% 99,60% 99,46% 99,3% 99,16% 99,99% 99,85% 99,74% 99,59% 99,45% 99,29%
Anual
9,2
59
Aps definidos os mtodos de coleta das informaes necessrio seguir para o prximo passo, de validao dos indicadores pelas partesinteressadas.
3.7. Passo 7 - Ponderao e Validao Final dos Indicadores com as Partes Interessadas
A ponderao e validao final dos indicadores com as partes interessadas so fundamentais para a obteno de uma cesta de indicadores relevante e legtima que assegure a viso global da organizao e, assim, possa representar o desempenho da mesma. O processo de validao conduzido visvis uma sistemtica de ponderaes em que so definidos pesos para as dimenses do
7
JAD um mtodo originrio em 1977 destinado a extrair informaes de alta qualidade dos usurios em curto espao de tempo, atravs de reunies estruturadasquebuscamdecisesporconsenso(AUGUST,1993).
60
desempenho e para cada critrio de seleo do indicador, avaliando o grau de relevncia de dimenses e de indicadores para a mensuraododesempenhodaorganizao(ouGoverno). A ponderao da dimenso do desempenho realizada segundo recomendaes apresentadas no item 2.3. Desempenho timo e EstruturadePonderao. Umavezdefinidosospesosdasdimenses,necessrioponderaros critriosdeseleodoindicadorparaseobterumconjuntoseletode indicadores por dimenso. Recomendase que a definio do conjunto final de indicadores validada no possua mais que quatro oucincoindicadorespordimensodos6EsdoDesempenho. AseleodosindicadoresfeitacombasenametodologiadaMatriz de Avaliao Quantitativa8, elaborada pela SPI e adaptada ao contextodoGuia. Os critrios de seleo so fundamentados nos atributos dos indicadores (item 3.2) e servem para estabelecer um ranqueamento das medidas propostas, permitindo uma seleo coerente e segura. Oscritriosdeseleosoapresentadosnoquadro13aseguir.
Metodologia desenvolvida pela Secretaria de Planejamento e Investimentos Estratgicos (SPI) do Ministrio do Planejamento, Oramento e Gesto. Guia MetodolgicoparaaConstruodeIndicadores,verso2.1,2009.
61
Quadro13.Critriosdeseleodoindicador No Critrios 1 Representatividade(proximidadecomoobjetivodaunidadede anlise) 2 Atendimentosnecessidadesdeinformaodaspartesinteressadas 3 Confiabilidademetodolgica 4 Confiabilidadedafonte 5 Simplicidade 6 Objetividade,ClarezaeComunicabilidade 7 Exequibilidadedemensurao 8 Economicidadedeobteno 9 Estabilidadeaolongodotempo 10 Investigativos(rastreabilidadeaolongodotempo) 11 Tempestividade 12 Comparabilidade 13 Sensibilidade
Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.
Definidos os critrios de seleo do indicador, necessrio o estabelecimento de pesos (variando entre 1 e 5 para obteno de uma maior sensibilidade) para cada indicador sugerido, segundo seu grau de importncia no contexto. A anlise dos indicadores realizada a partir da Matriz de Avaliao Quantitativa, ilustrada no quadro 14. O indicador atendendo a um determinado critrio recebe o nmero 1 em sua respectiva clula e, caso contrrio, recebe o nmero 0. O quadro 14 representa um exemplo da Matriz em que a coluna Peso ponderado total resulta da soma ponderada dos pesosassinaladosparacadaindicador. Afrmuladeclculoparaopesoponderadototaldosindicadores: Peso ponderado total = [(Critrio1 * Peso1) + (Critrio2 * Peso2) + + (Critrion*Peson)]/10; Considerando que os pesos devem ser atribudos entre 1 e 5 e o somatriodospesossejaiguala50. Essa tcnica permite estabelecer um ranqueamento dos indicadores, utilizando ou no o recorte por dimenso e classificandoos segundo umaordemdeprioridade.
62
Vale ressaltar que a matriz de avaliao no a nica determinante da seleo de indicadores, mas tambm outros critrios, sendo eles objetivos ou subjetivos, como experincia, opinies de especialistas etc.podemserutilizados. A definio de pesos se faz til tambm quando h um conjunto extenso de indicadores para um determinado objetivo ou dimenso dos 6Es do desempenho, requerendo ouso de um mtodo adequado depriorizao.
63
Quadro14.MatrizdeAvaliaoQuantitativadeIndicadores
CritriosePonderaes Indicador IDH Dimenso 1
Peso
Peso
Peso
Peso
Peso
Peso
Peso
Peso
Peso
10 1 1 1
Peso
11 1 1 1
Peso
12 1 1 1
Peso
13 1 1 0
Peso
Efetividade 1
5 1 5 1 5 0
4 1 4 1 4 1
4 1 4 1 4 1
4 1 4 1 4 1
4 1 4 1 4 0
5 1 5 1 5 1 5 1 5 1 5 1
3 1 3 1 3 1
3 3 3
3 3 3
3 3 3
3 3 3
4 4 4
Critrios Representatividade(proximidadecomoobjetivodaunidadedeanlise) Atendimentosnecessidadesdeinformaodaspartesinteressadas Confiabilidademetodolgica Confiabilidadedafonte Simplicidade Objetividade,ClarezaeComunicabilidade Exequibilidadedemensurao Economicidadedeobteno Estabilidadeaolongodotempo Investigativos(rastreabilidadeaolongodotempo) Tempestividade Comparabilidade Sensibilidade
Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.
64
Aps a ponderao das dimenses e dos indicadores, sugerese utilizar conceitos da teoria do programa para exprimir as interrelaes entre os indicadores.Tratase de uma avaliao qualitativa de probabilidade e impacto de condicionantes mapeadas.Para isso, devese identificar os principais padres causais existentesentreosindicadores. Assim, possvel verificar os indicadores contribuidores para o alcance dos resultados desejados a partir de uma abordagem metodolgica baseada em hiptese. As hipteses apiam as relaes deinflunciaentreasvariveisquerelacionamosindicadores. No obstante, alguns cuidados devem ser tomados quando se trata de modelos causais lgicos, visto que, na maioria dos casos, o indicadorpossuiapenasumapartenainflunciasobreoresultadode seu indicador subsequente. Ou seja, existe uma variedade de fatores externos desconhecidos e que so desconsiderados da anlise. O principal objetivo compreender a dinmica da abordagem das conexes causais. Por exemplo, por um lado, o IDH diretamente influenciadopelosindicadoresdeExpectativadevidaaonascer,Taxa de alfabetizao, Taxa de matrcula e PIB per capita. Por outro lado, por tratarse de um indicador de impacto final, no influencia outros indicadoressubjacentesaele. A definio de relaes qualitativas parece ser a mais apropriada, no entanto, h tambm mtodos quantitativos. As relaes causais identificadas por metodologias quantitativas (estatsticas) so experimentos ou quaseexperimentos projetados que frequentementesodispendiosose/ouinexequveis. Por fim, vale ressaltar que modelos lgicos de causalidade so somente modelos e no a realidade; todavia, mesmo modelos simples so teis, pois ajudam a qualificar relaes esperadas, direcionar ou testar princpios, proposies, e gerar ao e aprendizado. O quadro 15 apresenta o modelo de resultados consolidados das ponderaes de dimenses e indicadores e relaes de causalidade correspondentes.
65
Quadro15.PonderaodeDimenseseIndicadoreserelaesdecausalidade
Nvel Macro Governo E1Efetividade Dimenso Pesoda Subdimenso Dimenso Objetode mensurao Indicador Frmula Unid. Srie Vo histrica
Peso Indicadores Indicadores ponderado Benchmark pelosquais que do 2010 2011 influenciado influencia 2005 2007 Indicador Metas Expect.de vidaao nascer; Taxade 0,823 0,843 alfabetizao; Taxade matrcula; PIBpercapita
2,5
Desenvolvimento Canad ndicede (Longevidade econmico, =0,966 Desenvolvimento +Educao+ decimal 0,794 0,816 ImpactoFinal esperanade Chile Humano(IDH) Renda)/3 vidaeeducao =0,878
E2Eficcia E3Eficincia E4Execuo E5Excelncia E6 Economicidade Meso Setorial de poltica pblica E1Efetividade
2,5
10,9
9,2
IDH
E2Eficcia
66
Uma vez selecionados e validados os indicadores prioritrios, os atributos descritivos de cada indicador devem ser corretamente formalizados,deformaaassegurarauniformizaodoentendimento pela organizao, bem como sua estabilidade e confiabilidade ao longo do tempo. O quadro 16 exemplifica um modelo de detalhamentodoindicador.
67
Quadro16.Detalhamentodoindicador9
E1Efetividade/ ImpactoFinal ndicedeDesenvolvimentoHumano(IDH) Desenvolvimentoeconmico,sadeeeducao Mdiaaritmticadeindicadoresnormalizadosdezeroaumdeeducao(alfabetizaoetaxadematrcula), Frmuladeclculo longevidade(expectativadevidaaonascer)erenda(PIBpercapta) Unidadedemedida Valordecimalentre0e1 Periodicidade Anual Fonte/Formadecoletadedados ProgramadasNaesUnidasparaoDesenvolvimento(PNUD) Comomdiadevaloresentre0e1,ovalordeescaladoIDHtambmvariade0a1.Quantomaisprximode Interpretaodo indicador/Recomendaes 1,melhoraqualidadedevidadapopulaodaregio. Responsvelpelaapuraodo Responsvelpelodesempenho Governo PNUD indicador Peso 5 Benchmark Canad=0,966;Chile=0,878. Indicadorespelosquaisinfluenciado Expectativadevidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita. Indicadoresqueinfluencia OIDHumindicadordenaturezaestrutural,porissopoucosujeitoaalteraesnocurtoprazo.Nessa Observao perspectiva,importaanalisarastendnciasdosIDHinternacionais,querevelamoprocessodereduodas desigualdadesnograudedesenvolvimentohumanoentreospases. SrieHistrica/Metas 2005 2006 2007 2008 2009 2010 2011 Previsto 0,794 0,805 0,8015 0,821 0,829 0,837 0,843 Realizado 0,794 0,803 0,816 0,823 Dimensodoindicador/ Subdimenso Indicador Objetodemensurao
9 A ficha de detalhamentodo indicador apresenta partedos dados extrados do Relatrio de Avaliao Plano Plurianual 20092011 e outra partedosdadosdisponibilizadoscomcartermeramenteilustrativo.
68
69
Quadro17.Exemplodeponderaesenotasaplicadasaosindicadoresesuaconsolidao
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) 1.1.Impactofinal ndicedeDesenvolvimentoHumano(IDH) 1.1.ImpactoIntermedirio TaxadeAnalfabetismode15anosoumais ndicededistoroIdade/Srie TaxadeconclusodoensinomdionaRededeEnsino 2.1.Quantidade Nmerodejovenseadultosalfabetizados Quantidadedenovasescolasconstrudas NmerodeescoladeEducaobsicacomconexodeBandaLarga 3.1.Custoefetividade Custoefetividade(outcomes/custo)daspolticasdeeducao 3.4.Utilizaoderecursos Volume do gasto pblico em educao (despesa oramentria) em relao aoPIB Customdioporhoraaula 4.1.Execuofsicaeexecuofinanceira GraudeimplantaodasaesdoPlanejamentoEstratgico Taxadeempenho Taxadeliquidao Taxadeexecuooramentria 5.1CritriosdoMEGP Pontuaonoscritriosdeexcelnciaemgesto(MEGP) ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 6.1.Quantidadederecursos GastospblicospercapitacomaEducao GastototaldecomprasdoGovernocomosetorialdeEducao Gastoscommerendaescolar Pesodo indicador 5 5 4 3 5 4 2 5 4 3 5 3 3 3 5 3 3 3 3 Notado indicador 9 7 8 9 7 9 8 6 9 8 9 7 7 7 8 9 9 7 7 Nota ponderada 45 35 32 27 35 36 16 30 36 24 45 21 21 21 40 27 27 21 21 Notada Dimenso Nota ponderada daDimenso
E1Efetividade
2,5
8,18
20,44
E2Eficcia
7,91
15,82
E3Eficincia
1,5
7,50
11,25
E4Execuo
1,5
7,71
11,57
E5Excelncia
1,5
8,38
12,56
E6 Economicidade
7,67
7,67
NotadeDesempenhoAgregado
79,31
70
71
Banners com faixas de desempenho (vermelho, amarelo, verdeeazul); Reuniesdeavaliaodedesempenho; Relatriosanuais(fsicosevirtuais);e Avaliaoexterna(prmiosdeexcelncia).
72
Osquadros18a22mostram,respectivamente,aestruturadepainis por nveis: macro (Governo), meso (poltica pblica ou setor de governo), mesomicro (redes de organizaes), micro (organizaes) e nano (unidade de organizao). Em sequncia, a figura 7 ilustra um modelo de Painel de controle com a apresentao de grficos e sinalizadoresparaasseisdimensesdodesempenho.
73
Quadro18.EstruturadoPaineldeIndicadoresNvelMacroGoverno
E1Efetividade Painel1 E2Eficcia E3Eficincia
ndicedeQualidadedeVidaUrbana Percepodapopulaoquanto ndicedeDesenvolvimentoHumano confiananasinstituiespblicas (IDH) Qualidadeglobaldosservios PIBpercapita prestados CoeficientedeGini Quantidadedeserviospblicos ofertadosaocidado E4Execuo Graudeimplementaodos ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa deexecuofsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuooramentria Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao E5Excelncia Percentualdeorganizaespblicas daadministraodiretaeindireta candidatasnoPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaespblicas daadministraodiretaeindireta comsistemadegestodaqualidade implantado
74
Quadro19.EstruturadoPaineldeIndicadoresNvelMesoPolticaPblicaouSetordeGoverno
Painel2 E1Efetividade E2Eficcia Nmerodejovenseadultos TaxadeAnalfabetismode15anosou alfabetizados mais Quantidadedehabitaes Coeficientedemortalidadeinfantil construdas Expectativamdiadevidada ExtensodaMalharodoviria populaoHabitantes/domiclio pavimentada TaxadeHomicdios Redehidroviriaadequada Percentualdapopulaoinfectada Domicliosatendidosporgua pelovrusHIV tratada ndicededistoroIdade/Srie Nmerodedepsitodepatentesde Taxadeconclusodoensinomdio residentes naRededeEnsino Percentualdedomicliosdazona ruralatendidosemenergiaeltrica E4Execuo E5Excelncia Percentualdeorganizaespblicas Graudeimplementaodos daadministraodiretaeindireta ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa candidatasnoPrmioNacionalda GestoPblicaPQGF deexecuofsicaadequada Porcentagemorganizaespblicas Taxadeempenho daadministraodiretaeindireta Taxadeliquidao comsistemadegestodaqualidade Taxadeexecuooramentria implantado Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao E3Eficincia
75
Quadro20.EstruturadoPaineldeIndicadoresNvelMesomicroRededeOrganizaes
E1Efetividade Painel3 E2Eficcia NmerodeescoladeEducao bsicacomconexodeBandaLarga QuantidadedeTelecentros instalados Percentualdoterritrio comcoberturavegetalnativa CoberturadoSadedaFamlia Coberturadeserviosbsicosde sade E3Eficincia
E4Execuo Graudeimplementaodos ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa deexecuofsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuooramentria Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao
E5Excelncia E6Economicidade Percentualdeorganizaespblicas Custodemedicamentoscom validadevencida daadministraodiretaeindireta candidatasnoPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaespblicas daadministraodiretaeindireta comsistemadegestodaqualidade implantado
76
Quadro21.EstruturadoPaineldeIndicadoresNvelMicroOrganizao
E1Efetividade Painel4 E2Eficcia
E3Eficincia
Todosdosnveisanteriores
E4Execuo Implantaodasaesdo PlanejamentoEstratgico Graudeconfiabilidadedasinformaes oramentrias,financeirasecontbeis ndicedequalidadedaproposta oramentria ndicedequalidadedainformao Graudeacessopblicoasinformaes decompras(editais,solicitaesde propostas,outorgasdecontrato) Percentualdecontratocomnvelde serviocontratualizado Graudeadequaoaomarcolegale regulatriodecompraspblicas (conformidadesdetectadas) Percentualdeavaliaesprviasde riscos
E5Excelncia Pontuaonoscritriosdeexcelncia emgesto(MEGP) ndicedeInovaoemGesto (prmiosereconhecimentos recebidos) Taxaderegistrodeocorrnciasem auditorias PercentualdecontratoscomAcordos deNveldeServios(ANS)pactuados
77
Quadro22.EstruturadoPaineldeIndicadoresNvelNanoUnidadeOrganizacional
E1Efetividade Painel5 E2Eficcia
E3Eficincia
Todosdosnveisanteriores
Custoporaodefiscalizao Tempomdiodeatendimentos demandas(emdias) Custocom Quantidadedeaesdefiscalizao combustvel/peas/serviospor realizadas perodo Custoporunidadedoservio prestado(custounitrioporcirurgia, porhoraaula,porkmpavimentado)
78
79
Execuo
Graude implantao das aes do PlanejamentoEstratgico
Excelncia
Pontuao nos critriosde excelncia emGesto(MEGP)
Liderana Processos Estratgiae Planos Cidados Sociedade
Economicidade
Gastomdioanualporaluno
1000 800 600 400 200 0 EnsinoInfantil Ensino EnsinoMdio Fundamental Brasil Nordeste
1. 1. 1. 0. 0. 0.
OrganizaoA
OrganizaoB
R$ 2.155,00
R$ 11.246,00
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
Empenhado
Pago
Nota:77
Nota:84
Nota:76
Notaponderada final: 79
2008
80
81
Houve envolvimento do corpo diretivo e gerencial na concepoevalidaodeindicadores? H a definio com preciso dos prazos dos de entrega dos produtos intermedirios pelos profissionais que esto conduzindoaimplantaodomodelo? Est especificado o valor da ponderao de cada critrio e subcritrio (categorias de subdimenses) da mensurao de desempenho? Os indicadores validados so claros e comunicam com preciso sua finalidade, evitando ambigidades de interpretaes? A cesta de indicadores validada possui metas alcanveis; desafiadoras; diretas; negociveis; fundamentadas em sries histricas,tendnciaebenchmarks? O sistema de mensurao contm medidas objetivas e subjetivas? A organizao possui governana e controle sobre o alcance de metas definidas em suas metas para indicadores e progressodeaes? visvelaexistnciadepontosalinhadosobservadosentreo sistema de medio do desempenho e a estratgia organizacional? O corpo gerencial e os funcionrios em geral e suas respectivas unidades so responsabilizados pela preciso de dadoscoletadosedasinformaesdisponibilizadas? A sistemtica de coleta de dados e informaes da cesta de indicadores definidos e validados eficiente em relao aos custosebenefcios? Os dados e informaes so apresentados graficamente, para facilitar a identificao de tendncias e anlises importantes? H o acompanhamento do desempenho de resultados (indicadoresdeeficincia,eficciaeefetividade)? H o acompanhamento do desempenho de esforos (indicadoresdeexecuo,excelnciaeeconomicidade)?
82
H uma sistemtica de incentivos vinculada aos resultados mensurados pelo sistema, no qual o mau desempenho gera perdas, punies, desprestgio etc. e o bom desempenho geraganhos,reconhecimento,prestgioetc.? Verificaodosbenefcios
As informaes obtidas sobre o desempenho da organizao so/sero importantes para o processo decisrio e a realizao de ajustes na estratgia, o que promover aprendizadoeamelhoriadosresultadosaolongodotempo? Todos os atores usurios do sistema compreendem as mtricasutilizadasparaavaliarodesempenho? O sistema de medio do desempenho propicia, aos atores envolvidos, condies de facilmente obter uma viso de todas as reas de resultadoschave relacionadas de forma crtica? Aorganizaointeressadanosistemaeemseusresultados disponibilizados? Avaliao de Concluso dos passos da metodologia de MediodoDesempenho
O ciclo de concepo, implementao, mensurao e comunicao,segundoos10passosdoguia,foiconcludo? H continuidade (estabilidade) da cesta de indicadores definidaevalidada? Os resultados coletados ao longo dos ciclos de mensurao doindicadordemonstrammudanadainstituioemfuno dosesforosdemensurao?
A resposta ideal de todas as perguntas deve ser sim. Se algumas respostas so negativas, o modelo dever ser reavaliado at possuir condiesmnimasnosaspectosquereflitamasrespostasnegativas.
83
5. Consideraes Finais
A medio de desempenho na gesto pblica est entre os principais instrumentos para subsidiar os gestores e os dirigentes em suas decises e escolhas. Atualmente, h a exigncia cada vez maior em aperfeioar os nveis de esforos e resultados das organizaes, bem como gerar e fortalecer os mecanismos de transparncia e responsabilizaoparaoscidadosepartesinteressadas,sendoestes os fundamentos bsicos para impulsionar o desenvolvimento e implementao de indicadores de desempenho nas instituies pblicas. No mbito geral, os indicadores de desempenho fornecem informaes sobre temas fundamentais da gesto pblica, tais como nvel de efetividade, eficcia, eficincia, qualidade, economia de recursos e produtividade dos produtos/servios, alm de apontar o graudemelhoriadagesto. Nesse contexto, o propsito principal deste documento a apresentao de um guia referencial no exaustivo, mas representativoosuficienteparapossibilitaradiversasorganizaesa definio do seu desempenho, subsidiar com conceitos e metodologias para a construo de seus indicadores de desempenho e a elaborao de painis de controle para o acompanhamento da gesto. O Guia contemplou a definio dos conceitos de desempenho e de medio do desempenho, a metodologia da Cadeia de Valor e dos 6Es do Desempenho, as etapas do modelo de definio e implementao de indicadores (aderente a metodologia dos 6Es do Desempenho), e consideraes sobre o desenho de painis de indicadoresparaacomunicaododesempenhodasorganizaes. Por fim, o documento se props a desenvolver de maneira didtica aspectos conceituais e metodolgicos envolvidos da formulao e implementao de indicadores de desempenho no mbito da gesto pblica para implementar a objetiva e efetiva mensurao dos resultadosnasorganizaespblicas.
84
Bibliografia
AKAO, Y. Kanri: policydeployment for sucessfulsuccessful TQM. Productivity.Press,Cambridge.1991. AUGUST, Judy H. JAD Joint Application Design.Makron Books, SP, 1993. AustralianPublicServiceCommissioner 2006/07.2007. (APSC). Annual Report
BENNETT, C. Analyzing impacts of extension programs, ESC575. Washington, D.C.: Extension ServiceU.S. Department of Agriculture, 1976. BOUCKAERT, Geert e HALACHMI, Arie. Organizational Performance andMeasurementinthePublicSector.Quorum.1996. BOUCKAERT, Geert e HALLIGAN, John. Managing Performance: InternationalComparisons.Routledge.2008. BOYNE, George et al. Public Service Performance: Perspectives on MeasurementandManagement.CambridgeUniversityPress.2006. CREECH, Bill. The five pillars Five Pillars of TQM: How to Make Total QualityManagementWorkworkforYou.Plume.1995. Departament of States United States. Department of State Annual PerformanceReportFiscalYear2008. FERLIE,Ewan,MCLAUGHLIN,Kate,OSBORNE,StephenP..Newpublic management:currenttrendsandfutureprospects.Routledge,2002. GIOPP, Alejandro Medina. Fortalecimiento de los sistemas de monitoreo y evaluacin (M&E) em Amrica Latina. Banco Mundial, CLAD,2009. Ferreira, H.; Cassiolato, M.; Gonzalez, R. Como Elaborar Modelo LgicodeProgramas:umroteirobsico.NotaTcnica,IPEA,2007. Ferreira, H.; Cassiolato, M.; Gonzalez, R. Uma experincia de desenvolvimento metodolgico para avaliao de programas: o modelolgicodoprogramasegundotempo.IPEA,2009. GOTTFREDSON, Mark; SCHAUBERT, Steve. Administrao de Alto Impacto: como os melhores gestores alcanam resultados extraordinrios.CampusElsevier.2008. GovernmentofAustralian.ReportonGovernmentService.2008.
85
Government of Canada. Canadas Performance 200708, the GovernmentofCanadasContribution.2008. GovernmentofUnitedKingdom.PublicServiceAgreement.2007. HALACHMI, Arie e BOUCKAERT, Geert. Organizational Performance andMeasurementinthePublicSector.Quorum.1996. KAPLAN, Robert; NORTON, David. Mapas Estratgicos: convertendo ativosintangveisemresultadostangveis.CampusElsevier.2004. LAMBERT, Douglas. Supply Chain Management: Processes, Partnerships, Performance, processes, partnerships, performance. SupplyChainManagementInstitute.2005. MARTINS, Humberto; MARINI, Caio. Guia de Governana para Resultados.Ed.Publix,2010. MARINI, Caio; MARTINS, Humberto. Um Governo Matricial: estruturas em rede para a gerao de resultados de desenvolvimento. In: Congreso Internacional del Clad sobre la ReformadelEstadoydelaAdministracinPblica,9.Madrid.2004. MARINI, Caio e Guimares, MARTINS, Humberto Falco, VILHENA, Renata, T. B. O Choque de Gesto em Minas Gerais: polticas da gesto pblica para o desenvolvimento. Belo Horizonte: Editora UFMG.2006. Ministre de lconomie, ds Financeset de lIndustrie. La Dmarche dePerformance:Stratgie,Objectifs,Indicateurs.2004. Ministerio de Hacienda, Direccin de Presupuestos. Sistema de Control de Gestin y Presupuesto por Resultados La Experiencia Chilena.GobiernodeChile,2003. Ministrio do Planejamento, Secretaria de Gesto. Instrumento para AvaliaodaGestoPblicaCiclo2008/2009. 2008. Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e Investimentos Estratgicos (SPI). Guia Metodolgico paraaConstruodeIndicadores.Verso2.1,2009. MOYNIHAN, Donald P. The dynamics of performance management: constructinginformationandreform.2008. NEELY, Andy. Business Performance Measurement: unifying theory andintegratingpractice.2ed.CambridgeUniversityPress,2007.
86
NEELY, Andy; ADAMS, Chris. The performance prism. Performance Prism.FinancialTimesPrenticeHall.2002. PMBOK.ProjectManagementInstitute.Four.Campus.2004. POLITANO,AntthonyL..ChiefPerformanceOfficer.2003. PORTER, Michael. Competitive Advantage: creating and sustaining performance.FreePress.1985. Relatrio de avaliao Plano Plurianual 20082011 : avaliao da dimenso estratgica : exerccio 2009 ano base 2008 / Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento eInvestimentosEstratgicos.Braslia:MP,2009. RUMMLER, Gary; BRACHE, Alan. Melhores Desempenhos das Empresas: uma abordagem prtica para transformar as organizaesatravsdaReengenharia.MakronBooks.1994. The Prime Minister Cabinet Office of United Kingdom. Cabinet Office AnnualReporteAcounts200809.2008. United States General Services Administration. Annual Performance andAccountabilityReport.2008. WALTON, Mary. The Deming Management Method. New York: PerigreeBooks,1988. WHOLEY, J. Evaluation: promise and performance. Washington, DC, UrbanInstitute.1979.
87
88
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Micro Organizao
Nano Unidade
2.1Quantidade/Volume E2Eficcia
TaxadeAnalfabetismo de15anosoumais Coeficientede mortalidadeinfantil Expectativamdiade vidadapopulao Habitantes/domiclio TaxadeHomicdios Percentualdapopulao infectadapelovrusHIV ndicededistoro Idade/Srie Taxadeconclusodo ensinomdionaRede deEnsino Nmerodejovense adultosalfabetizados Quantidadede habitaesconstrudas ExtensodaMalha rodoviriapavimentada Nmerodedepsitode patentesderesidentes
todosdosnveis anteriores.
todosdosnveisanteriores.
Quantidadedeaesde fiscalizaorealizadas
89
Meso Setorialdepoltica pblica Redehidroviria adequada Nveis Meso Organizaesem rede
Dimenso
Subdimenso
2.3Acessibilidadee Equidade
Micro Organizao ndicedeSatisfaodos usurioscomosservios daorganizao %debeneficiriosmuito satisfeitos Graudeconformidade dosservioseprodutos entregues Pontualidade (tempestividade)dos produtosentregues Percentualde atendimentosrealizados noprazo ndicedecumprimento dosnveisdeservio acordados(ANS) Nmerode servios/produtos oferecidosemparceria (PPPetc.) Percentualde entrevistadosque declararamterimagem positivasobrea responsabilidadepblica daorganizao
Nano Unidade
2.4Cobertura
90
Meso Setorialdepoltica pblica Custoefetividade (outcomes/custo) Relaogastospblicos eIDH Volumedogastopblico (despesaoramentria) emrelaoaoPIB Nveis Meso Organizaesem rede Custoefetividade (outcomes/custo) Relaogastos pblicoseIDH Volumedogasto pblico(despesa oramentria)em relaoaoPIB
Dimenso
Macro Governo Custoefetividade (outcomes/custo) Relaogastospblicose IDH Volumedogastopblico (despesaoramentria)em relaoaoPIB RelaoPIB/capitaeIDH
Micro Organizao
Nano Unidade
Custosunitriosde serviosestratgicos
3.2Produtividade
Custoporaode fiscalizao Custoporunidadedo servioprestado(custo unitrioporcirurgia,por horaaula,porkm pavimentado) Tempomdiode atendimentosdemandas (emdias)
E3Eficincia
3.4Utilizaoderecursos
3.5Custobenefcio (Eficinciadosgastos)
EficinciaOramentria
91
Meso Setorialdepoltica pblica Graudeimplementao dosProgramasda AgendadeGoverno Percentualde Programascomataxa deexecuofsica adequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuo fsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Nveis Meso Organizaesem rede Graude implementaodos Programasda AgendadeGoverno Percentualde Programascoma taxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuo fsicafinanceira(taxa deexecuo fsica/financeira) Percentualde projetos completadosdentro doprazoe oramento Taxadeexecuo dosprocessosde contratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuo fsicafinanceira(taxa deexecuo fsica/financeira)
Dimenso
Subdimenso
Macro Governo Graudeimplementao dosProgramasdaAgenda deGoverno PercentualdeProgramas comataxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento
Nano Unidade %deexecuofsicado Projetodecriaodonovo Portaldaorganizao %deprojetoscomlicena ambiental(unidade responsvelporobter licenasambientaisparaos projetosdaorganizao) Temporealdeprogramase projetossobreotempo previsto Custorealdeprogramase projetossobreocusto previsto
E4Execuo Taxadeexecuodos processosdecontratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsica financeira(taxade execuofsica/financeira) Taxadeexecuodos processosde contratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsica financeira(taxade execuo fsica/financeira)
4.3ProcessosdeSuporte
92
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
Micro Organizao Percentualdedespesas executadasnoexerccio comdoaes Percentualdedespesas executadasnoexerccio comOperaesde Crdito Percentualdedespesas executadasnoexerccio comPrprios Percentualdedespesas executadasnoexerccio comVinculados Percentualdedespesas executadasnoexerccio comRecursosLivres Dimensionamentoda foradetrabalhoda unidade ndicederecuperao dainformaopoltica deredundnciae backup Tempomdiodociclo decompras(oude contratao) Tempomdiodo processolicitatrio Divulgaodas propostasepublicao dasoutorgas Tempodepreparao daspropostas Tempoparaavaliao daspropostas Nmerodeprotestosa propostasapresentadas Mdiadostempos decorridosentrea
Nano Unidade Percentualdedespesas executadasnoexerccio comdoaes Percentualdedespesas executadasnoexerccio comOperaesdeCrdito Percentualdedespesas executadasnoexerccio comPrprios Percentualdedespesas executadasnoexerccio comVinculados Percentualdedespesas executadasnoexerccio comRecursosLivres Dimensionamentodafora detrabalhodaunidade ndicederecuperaoda informaopolticade redundnciaebackup Tempomdiodociclode compras(oude contratao) Tempomdiodoprocesso licitatrio Divulgaodaspropostase publicaodasoutorgas Tempodepreparaodas propostas Tempoparaavaliaodas propostas Nmerodeprotestosa propostasapresentadas Mdiadostempos decorridosentrea assinaturadocontratoea atuaodoprocessode contratao Tempomdiopara
93
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
Micro Organizao assinaturadocontratoe aatuaodoprocesso decontratao Tempomdiopara respostasaosprotestos Despesaexecutadacom pessoal Percentualdereunies defeedbacksde desempenhorealizadas (sobreoplaneado) Tempomdiode soluodereclamaes Percentualde cumprimentodoplano detreinamento ndicedecarnciada receita Montantede pagamentosde despesasemmora ndicedecusto benefciodageraode bens/servios(produtos) estratgicos ndicedeformaode comunidadesde conhecimento Proporode Modalidadede Aplicao ndicedeevoluodo oramento Proporodedespesas obrigatriassobre discricionrias Proporodedespesas compessoalsobreo
Nano Unidade respostasaosprotestos Despesaexecutadacom pessoal Percentualdereuniesde feedbacksdedesempenho realizadas(sobreo planeado) Tempomdiodesoluo dereclamaes Percentualde cumprimentodoplanode treinamento
ndicedecarnciada receita Montantedepagamentos dedespesasemmora ndicedecustobenefcio dageraode bens/servios(produtos) estratgicos ndicedeformaode comunidadesde conhecimento ProporodeModalidade deAplicao ndicedeevoluodo oramento Proporodedespesas obrigatriassobre discricionrias Proporodedespesas compessoalsobreo oramentototal ProporodeDespesas
94
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
Micro Organizao oramentototal ProporodeDespesas Correntessobre DespesasdeCapital ndicedeEconomiadas aquisies Percentualdereduo dovalorpor renegociaode contratos Nmeromdiode concorrentes participandodocertame Nmerodeprocessosde licitaocancelados Nmerodereclamaes procedentessobreo totaldecontratos efetuados Nmerodereclamaes recorrentesegraves Percentualde indicadoresque melhoraramos resultadosdentreototal deindicadores existentes Percentualde indicadoresque atingiramovalor planejadodentreototal deindicadores existentes Percentualde atendimentosrealizados noprazo ndicedecargos comissionados Custodoscargos
Nano Unidade CorrentessobreDespesas deCapital ndicedeEconomiadas aquisies Percentualdereduodo valorporrenegociaode contratos Nmeromdiode concorrentesparticipando docertame Nmerodeprocessosde licitaocancelados Nmerodereclamaes procedentessobreototal decontratosefetuados Nmerodereclamaes recorrentesegraves Percentualdeindicadores quemelhoraramos resultadosdentreototal deindicadoresexistentes Percentualdeindicadores queatingiramovalor planejadodentreototalde indicadoresexistentes Percentualde atendimentosrealizadosno prazo ndicedecargos comissionados Custodoscargos comissionadosefunes gratificadas ndicedeevoluodos cargoscomissionados Quantitativodecargospor carreirasnaorganizao Quantidade cargos/empregosportipo
95
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
Micro Nano Organizao Unidade comissionadosefunes devnculo gratificadas ndicedeevoluodos cargoscomissionados Quantitativodecargos porcarreirasna organizao Quantidade cargos/empregospor tipodevnculo
96
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso 4.4.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc.
Macro Governo
Micro Organizao Graudecumprimento dasnormas oramentrio financeiras Quantidadede conformidadess normasoramentrio financeirasdetectadas ndicedevariaodo custounitrioplanejado eorealizado ndicedeprontidodo CapitaldaInformao ndicedaqualidadeda propostaoramentria ndicededesvioda despesarealeadespesa previstanooramento ndicedevariaoda composiodas despesas Graudeconfiabilidade dasinformaes oramentrias, financeirasecontbeis ndicededespesas extraordinriasno reportadas ndicedequalidadedo gasto ndicedequalidadeda informao Graudeadequaodo perfildosfuncionrios comasatividades desempenhadas Graudeadequaoas normasdetecnologiada informao
Nano Unidade Graudecumprimentodas normasoramentrio financeiras Quantidadede conformidadessnormas oramentriofinanceiras detectadas ndicedevariaodocusto unitrioplanejadoeo realizado ndicedeprontidodo CapitaldaInformao ndicedaqualidadeda propostaoramentria ndicededesvioda despesarealeadespesa previstanooramento ndicedevariaoda composiodasdespesas Graudeconfiabilidadedas informaes oramentrias,financeiras econtbeis ndicededespesas extraordinriasno reportadas ndicedequalidadedo gasto ndicedequalidadeda informao Graudeadequaodo perfildosfuncionrioscom asatividades desempenhadas Graudeadequaoas normasdetecnologiada informao ndicedeintegraode sistemasdeinformtica
97
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
Micro Organizao ndicedeintegraode sistemasdeinformtica Taxadetreinamentos desenvolvidoscombase emuminventriode lacunasdehabilidades paraatenderas necessidadesda organizao Quantidadedefalhas identificadasem sistemascentrais Graudeadequaodo planejamentode compras Graudecartelizaodo mercado Graudeadequaoao marcolegale regulatriodecompras pblicas ndicedealinhamento entreoplanejamentode compraseoprocessode formulaodo oramentoem contribuiocomo PlanoPlurianual ndicedequalidadedos produtos/servios adquiridos Pontualidadenaentrega Conformidadeda entrega ndicedeadequaodo planejamentode contrataodeservios Percentualdecontratos comANSassinados
Nano Unidade Taxadetreinamentos desenvolvidoscombase emuminventriode lacunasdehabilidadespara atenderasnecessidadesda organizao Quantidadedefalhas identificadasemsistemas centrais Graudeadequaodo planejamentodecompras Graudecartelizaodo mercado Graudeadequaoao marcolegaleregulatrio decompraspblicas ndicedealinhamento entreoplanejamentode compraseoprocessode formulaodooramento emcontribuiocomo PlanoPlurianual ndicedequalidadedos produtos/servios adquiridos Pontualidadenaentrega Conformidadedaentrega ndicedeadequaodo planejamentode contrataodeservios Percentualdecontratos comANSassinados ndicedecumprimento pelosfornecedoresdos nveisdeservioacordados (ANS) Graudeadequaodos ANSasrequisitos contratuais
98
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
Micro Organizao ndicedecumprimento pelosfornecedoresdos nveisdeservio acordados(ANS) Graudeadequaodos ANSasrequisitos contratuais Avaliaode conformidadeentreo editaleoANS Contratosrealizados conformeesperado ndicedesatisfaodos beneficiriosinternos ndicedeconscincia estratgica (porcentagemde servidorescapazesde identificarasprioridades estratgicasdaunidade, programaou organizao) Nmerodehorasde treinamentopor servidor
Nano Unidade Avaliaodeconformidade entreoeditaleoANS Contratosrealizados conformeesperado ndicedesatisfaodos beneficiriosinternos ndicedeconscincia estratgica(porcentagem deservidorescapazesde identificarasprioridades estratgicasdaunidade, programaouorganizao) Nmerodehorasde treinamentoporservidor
99
Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede
Dimenso
Subdimenso
Macro Governo
4.4.3Acessibilidadee Equidade
Micro Organizao ndicedeacessibilidade esatisfaodosusurios comosstioseletrnicos Graudeacessos informaes oramentrias, financeirasecontbeis Graudeacessopblico asinformaesde compras(inclusive editais,solicitaesde propostas,outorgasde contrato) Percentualdeavaliaes prviasderiscos Pontuaoobtidanos critriosdeexcelncia emgesto(MEGP) Lacunadeliderana (porcentagemde atributosdomodelode competnciaavaliados abaixodolimite)
Nano Unidade ndicedeacessibilidadee satisfaodosusurios comosstioseletrnicos Graudeacessos informaes oramentrias,financeiras econtbeis Graudeacessopblicoas informaesdecompras (inclusiveeditais, solicitaesdepropostas, outorgasdecontrato) Percentualdeavaliaes prviasderiscos Pontuaoobtidanos critriosdeexcelnciaem gesto(MEGP) deocorrnciasem auditorias
E5Excelncia
100
Meso Setorialdepoltica pblica Porcentagem organizaespblicasda administraodiretae indiretacomsistemade gestodaqualidade implantado Nveis Meso Organizaesem rede Porcentagem organizaes pblicasda administraodireta eindiretacom sistemadegestoda qualidade implantado
Dimenso
Subdimenso 5.2Conformidade Retrabalho,Erros, Responsabilidade Ambiental,Infraestrutura (confortoetc.),Medidase especificaes,Segurana (acidentesporhoras trabalhadas), Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao, Prazoetc.
Micro Organizao ndicedeInovaoem Gesto(prmiose reconhecimentos recebidos) Taxaderegistrode ocorrnciasem auditorias AcordosdeNvelde Servios(ANS) pactuados ndicedeprontidodo CapitaldaInformao
Nano Unidade ndicedeInovaoem Gesto(prmiose reconhecimentos recebidos) Taxaderegistro Nmerodeatividadesque seguemestritamenteos padresorganizacionais Nmerodeatividades certificadasporinstituies reconhecidas
Gastototaldecomprasdo Governo Gastosdecusteioeoutros 6.1Quantidadederecursos gastosadministrativos Custodaatividade finalsticadeGoverno/custo total 6.2Qualidadedosrecursos Qualidadepercebida E6Economicidade (Percepo/Expectativa), Durabilidadetcnica, esttica,Confiabilidade, Tempestividade,Inovao etc. 6.3Acessibilidade 6.4Cobertura 6.5Risco
101
Subdimenso
Percentual
Montantedepagamentosde despesasemmora ndicedeevoluodooramento Proporodedespesasobrigatrias readeGesto sobrediscricionrias deSuporte: Proporodedespesascompessoal Oramentoe sobreooramentototal Finanas Graudecumprimentodasnormas oramentriofinanceiras ndicedaqualidadedaproposta oramentria
maiormelhor
maiormelhor
102
Subdimenso Indicador ndicedequalidadedogasto Frmula Unid. AvaliaodoConsumo(quantidadesconsumidasvolume); ndice doPreo(valoresfinanceiroscontratadospelosservios);e daSituao(desempenhodadespesa) dias Interpretao/ maiormelhor
menormelhor
Semestral
ndicedeformaodecomunidades Quantidadedecomunidadesdeconhecimentoestabelecidas Nmero deconhecimento absoluto readeGesto ndicedequalidadedainformao deSuporte: Informaoe Conhecimento Graudeacessosinformaes oramentrias,financeirase contbeis Avaliaodecaractersticasderelevncia,cobertura, abrangncia,integridade,confiabilidade,disponibilidade, tempestividadededadoseinformaes
maiormelhor
maiormelhor
maiormelhor
Pesquisa
Anual
anos
Maiormelhor
Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Pesquisa Anual
Percentual Maiormelhor
ndicedeabsentesmo
Menormelhor
103
Subdimenso Indicador Climaorganizacional Amplitudedecomando Frmula Avaliaasatisfaodofuncionriocomaorganizao,com superioresecomseuspares Unid. ndice Interpretao/ maiormelhor
Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual deTI Sistemas de gestoAnual deTI Sistemas de gestoAnual deTI Pesquisa deAnual satisfao Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos
Percentual maiormelhor
readeGesto ndicederecuperaodainformao Sistemascommecanismosderecuperaoimplantados deSuporte: polticaderedundnciaebackup sobreototaldesistemas Tecnologiada Quantidadedefalhasidentificadas Quantidadedefalhasidentificadasemsistemascentrais Informao emsistemascentrais ndicedeacessibilidadeesatisfao Graudesatisfaodosusurioscomosstioseletrnicos dosusurioscomosstioseletrnicos Nmeromdiodeconcorrentes participandodocertame
Percentualdeprocessosdelicitao Percentualdeprocessosdelicitaodeclaradosnulosantes Percentual menormelhor cancelados daassinaturadocontrato Tempomdiodoprocessolicitatrio Mdiadostemposdecorridosentreaaberturadoeditalea dias adjudicaodocontrato menormelhor
Tempodepreparaodaspropostas Nmerosdediasentreoeditaleaaberturadaspropostas
dias
menormelhor
104
Subdimenso Indicador ndicedeprotestosapropostas apresentadas Frmula Proporoentreonmerodeprotestoseonmerode propostasapresentadas Interpretao/ Unid. Percentual menormelhor
Fonte/ Periodicidade Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Pesquisa Anual
Tempomdiodociclodecomprasou Mdiadostemposdecorridosentreaassinaturadocontrato dias decontratao eaatuaodoprocessodecontratao Tempomdiopararespostasaos protestos Graudecartelizaodomercado Nmerodediasentreasubmissoearespostafinaldos protestos Avaliaodeempresascommesmoendereo,scioscom sobrenomesiguais,entreoutros dias
menormelhor
menormelhor
menormelhor
Graudeadequaodoplanejamento quantidadedeitensplanejadoecomprados/totaldeitens Percentual maiormelhor decompras comprados Graudeadequaoaomarcolegale Avaliaodoatendimentoaospadresacordadosecumpre regulatriodecompraspblicas comasobrigaesaplicveis.Quantidadedeconformidades detectadas Percentualdecontratoscomacordos NdeANSpactuadassobretotaldecontrataes denveldeservioassinados(ANS) GraudeadequaodosANSas requisitoscontratuais readeGesto deSuporte: ndicedeconscinciaestratgica Estratgia Quantitativodecargosefetivospor carreirasnaorganizao readeGesto ndicedeevoluodoscargos deSuporte: comissionados Estrutura Organizacional Custodoscargoscomissionadose funesgratificadas AvaliaodeconformidadeentreoeditaleoANS maiormelhor
Avaliaaporcentagemdeservidorescapazesdeidentificaras prioridadesestratgicasdaunidade,programaou organizao Nmeros,porexemplo,analistasdeplanejamentoe oramento,engenheiros,tcnicosemplanejamentoetc. Cargoscomissionadosdoperodoatual/Cargos comissionadosdoperodoanterior Nmero absoluto Nmero absoluto
deTrimestral
deTrimestral
deTrimestral
105
Subdimenso Indicador ndicedecargoscomissionados Interpretao/ Frmula Unid. Quantidadedecargoscomissionadosefunesgratificadas/ Percentual menormelhor TotaldefuncionriosdaOrganizao Nmerosdecargosporvnculo,porexemplo,ativo Nmero permanente,cedido,celetista,contratotemporrio,locao absoluto provisria,requisiodeoutrosrgos,requisitadoetc.
Periodicidade deSemestral
Quantidadecargos/empregospor tipodevnculo
deTrimestral
106
Processos
Produtos
Impactos
107
2.Estabelecimentodeindicadores
Nvel Dimenso Subdimenso Objetodemensurao No
Indicador
E1Efetividade
1.1.ImpactoFinal 1.2.ImpactoIntermedirio 2.1Quantidade/Volume 2.2Qualidadedoproduto/ servio 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco 3.1Custoefetividade 3.2Produtividade 3.3Tempo 3.4Custounitrio 3.5Custobenefcio 4.1Execuofsica 4.2Execuofinanceira 5.1Conformidadeem relaoapadresde excelnciagerencial(MEGP) 5.2Conformidade 5.3Riscos 5.4Causalidade 5.5Comunicao 6.1Quantidadederecursos 6.2Qualidadedosrecursos 6.3Acessibilidade 6.4Cobertura 6.5Risco
E2Eficcia
E3Eficincia
E4Execuo
E5Excelncia
E6Economicidade
108
3.Construodefrmula,metaseescalasdenotas
No Indicador Frmula Un Interpretao/sentido/ periodicidade Fonte/ Responsvel Srie histrica t3 t2 t1 Vo Benchmark
Metas t1 t2 t3 10
Taxade alcance/nota 9 8 7 6
109
4.MatrizdeAvaliaoQuantitativadeIndicadores
Dimenso E1Efetividade E2Eficcia E3Eficincia E4Execuo E5Excelncia
1 2 3 4 5 6 7 8 9 10 11 12 13
CritriosePonderaes
Indicador
1 Peso 2 Peso 3 Peso 4 Peso 5 Peso 6 Peso 7 Peso 8 Peso 9 Peso 10 Peso 11 Peso 12 Peso 13
Peso
E6Economicidade
4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 Critrios Representatividade(proximidadecomoobjetivodaunidadedeanlise) Atendimentosnecessidadesdeinformaodaspartesinteressadas Confiabilidademetodolgica Confiabilidadedafonte Simplicidade Objetividade,ClarezaeComunicabilidade Exequibilidadedemensurao Economicidadedeobteno Estabilidadeaolongodotempo Investigativos(rastreabilidadeaolongodotempo) Tempestividade Comparabilidade Sensibilidade
5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4
5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
Peso ponderado total 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0
110
5.Ponderaeserelaesdecausalidade
Dimenso Pesoda Dimenso E1Efetividade E2Eficcia E3Eficincia E4Execuo E5Excelncia Indicador Frmula
Indicadores Peso Indicadores Unid. Interpretao/sentido Fonte/Responsvel Periodicidade pelosquais ponderadodo queinfluencia influenciado Indicador
111
6.ConsolidaodosIndicadoreseaplicaodenotas
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) Pesodo indicador Notado indicador
Nota ponderada 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Notada Dimenso
E1Efetividade
E2Eficcia
E3Eficincia
E4Execuo
E5Excelncia
E6 Economicidade
NotadeDesempenhoAgregado
112