19/10/2011

16 ENCONTRO DA ANIPES
SUPERINTENDNCIA DA ZONA FRANCA DE MANAUS / AM 26 A 28 DE OUTUBRO DE 2011 Curso: Indicadores de Programas: A Experincia da SPI/MP
Carlos Tadeu A. de Pinho
Outubro - 2011

Agenda
O Ciclo Virtuoso da Informao Marco Conceitual para Indicadores de Programa O Sistema Estatstico Nacional Indicadores no Plano Plurianual Mtodo de 8 Passos para Construo de Indicadores de Programa Simulao de Uso do Mtodo de 8 Passos Dinmica de Construo de Indicadores por meio de Oficina

19/10/2011

Poltica Pblica
Campo do conhecimento que busca colocar o governo em ao , analisar essa ao e, quando necessrio, propor mudanas no rumo ou curso dessas aes. A formulao de polticas pblicas constitui-se no estgio em que os governos democrticos traduzem seus propsitos e plataformas eleitorais em programas e aes que produziro resultados ou mudanas no mundo real.
Fonte: Souza, 2006

O Ciclo Virtuoso da Informao

19/10/2011

Apresentao

No se pode administrar o que no se pode medir!

Morris A. Cohen

Apresentao
Falar em desempenho governamental imediatamente remete ao tema indicadores, pois considerando que a atuao governamental, direta ou indireta, realiza muitas e diferentes intervenes na realidade social, necessrio dispor de instrumentos que representem as diversas realidades e permitam diagnosticar, monitorar e avaliar os resultados decorrentes dessas intervenes.

19/10/2011

Indicadores servem para:

Mensurar resultados e gerir desempenho. Atestar o alcance de objetivos. Embasar o processo de tomada deciso. Contribuir para a melhoria contnua de planos, programas, processos e projetos. Facilitar o planejamento e o controle do desempenho. Viabilizar a anlise comparativa do desempenho em reas ou ambientes semelhantes. Gerenciar um Programa ou Projeto sem indicadores e como pilotar um avio sem instrumentos.

Por que o interesse pelos Indicadores

Retomada do planejamento como funo essencial ao Estado. Uso intensivo da tecnologia da informao (bases de dados, mapas, geoinformao) e de comunicao. Orientao menos ao processo e mais a resultados. Controle governamental: busca por maior eficincia, eficcia e efetividade do gasto pblico. Controle social: mdia, organizaes da sociedade civil, redes sociais.

19/10/2011

Indicadores expressam realidades

Definio
Do latim Indicare, que significa apontar. Em Portugus - que indica, expressa, revela, sugere, expe, menciona, torna patente. Indicadores so instrumentos que permitem identificar e medir aspectos relacionados a um determinado conceito, fenmeno, problema ou resultado de uma interveno na realidade. A principal finalidade traduzir, de forma mensurvel, aspectos de uma realidade dada (situao social) ou construda (ao de governo), a fim de tornar operacional a sua observao e avaliao.

19/10/2011

Definio
Segundo Ferreira, Cassiolato e Gonzales: O indicador uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informaes relevantes dos elementos que compem o objeto da observao. um recurso metodolgico que informa empiricamente sobre a evoluo do aspecto observado.
Escala Richter

5,5

Exemplo

19/10/2011

Exemplo

Fonte: ANIPES

Exemplo
Pirmide Etria
1980 2010

2030

2050

19/10/2011

Mitos
Medir tudo.
Quem quer medir tudo acaba no medindo nada; deve-se medir o que relevante, significativo, til; medir custa tempo e dinheiro.

Medio absoluta
Raramente existe uma medida exata, vlida, confivel, simples, sensvel, disponvel e econmica. Uma boa prtica trabalhar com aproximaes a partir de dados j existentes.

Medir por medir

As medidas devem fazer sentido, no devem ser uma obrigao mas sim ferramentas teis melhoria de desempenho.

Dependncia da tecnologia
Primeiro conceba a sistemtica e depois o sistema; um sistema no precisa ser perfeito.
Fonte: Guia Referencial para Medio de Desempenho e Manual para Construo de Indicadores MP/SEGES

Condicionantes
Precede uma boa escolha de indicadores um bom desenho do programa. O objetivo, por exemplo, deve ser bem definido. Uma forma de verificar utilizar a tcnica SMART, que significa: eSpecfico: um objetivo no deve ser amplo ou genrico que leve a interpretaes duvidosas, perda de foco ou impossibilidade de alcance; Mensurvel: deve-se estabelecer uma escala de aferio; Atingvel: deve ser realista, vivel, possvel de atingir face aos recursos disponveis e s restries conhecidas; Relevante: deve estar relacionado em um tema relevante para a agenda governamental; Tempo: deve ser programvel no tempo, deve possuir uma data limite para que seja atingido. Os demais elementos da interveno tambm devem ser verificados. Modelos de causa/efeito e tcnicas de pertinncia/suficincia so instrumentos teis.

19/10/2011

Propriedades
Validade: capacidade de representar, com a maior proximidade possvel, a realidade que se deseja medir. Um indicador deve ser significante ao que est sendo medido e manter essa significncia ao longo do tempo. Confiabilidade: indicadores devem ter origem em fontes confiveis, que utilizem metodologias reconhecidas e transparentes de coleta, processamento e divulgao. Mensurabilidade: a capacidade de alcance (periodicidade) e mensurao (mensurabilidade) quando necessrio, na sua verso mais atual, com maior preciso possvel e sem ambiguidade.

Propriedades
Sensibilidade: a capacidade que um indicador possui de refletir tempestivamente as mudanas decorrentes das intervenes realizadas. Desagregabilidade: capacidade de decomposio ou representao em fragmentos menores, permitindo vises espaciais, por grupos sociodemogrficos etc. Economicidade: capacidade de ser obtido a custos mdicos; a relao entre os custos de obteno e os benefcios advindos deve ser bastante favorvel.

19/10/2011

Propriedades
Estabilidade: capacidade de estabelecimento de sries histricas, que permitam monitoramentos e comparaes (comparabilidade). Simplicidade: indicadores devem ser de fcil obteno, construo, manuteno, comunicao, e entendimento pelo pblico em geral, interno ou externo. Auditabilidade: ou transparncia, qualquer pessoa deve sentir-se apta a verificar a boa aplicao das regras de uso dos indicadores (obteno, tratamento, formatao, difuso, interpretao).

Propriedades
Na prtica, raramente um indicador apresenta todas as caractersticas descritas, por isso a seleo deve basear-se numa avaliao crtica das propriedades (particularmente Validade, Confiabilidade e Mensurabilidade ). (JANNUZZI, 2005).

10

19/10/2011

Taxonomias
Natureza
Econmicos: primeiros a serem produzidos, possuem uma teoria geral mais consolidada e refletem o comportamento da economia. No setor governamental so utilizados na gesto das polticas fiscal, monetria, cambial, comrcio exterior, desenvolvimento etc. No setor privado subsidiam decises de planejamento estratgico, investimentos, contrataes, concorrncia, entrada/sada de mercados. Sociais: so aqueles que apontam o nvel de bem-estar geral e de qualidade de vida da populao, principalmente em relao sade, educao, trabalho, renda, segurana, habitao, transporte, aspectos demogrficos e outros. Ambientais: demonstram o progresso alcanado na direo do desenvolvimento sustentvel, que compreende, segundo as Naes Unidas, quatro dimenses: ambiental, social, econmica e institucional.

Taxonomias
rea Temtica: sade, educao, mercado de trabalho,
demogrficos, renda, habitacionais, infraestrutura, pobreza etc. segurana pblica,

Complexidade: indicadores simples podem ser combinados

de forma a obter uma viso ponderada e multidimensional da realidade. Podem ser: Analticos: retratam dimenses sociais especficas como as taxas de promoo, repetncia e evaso escolar; Sintticos: ou ndices, sintetizam diferentes conceitos da realidade emprica, derivam de operaes realizadas com indicadores analticos e retratam o comportamento mdio das dimenses consideradas. Exemplos: IDH ndice de Desenvolvimento Humano (multidimensional); IDEB ndice de Desenvolvimento da Educao Bsica (Unidimensional); IPRS ndice Paulista de Responsabilidade Social.

11

19/10/2011

Pirmide da Informao

Indicadores Analticos

12

19/10/2011

Indicadores Analticos
Simples: so valores numricos que representam a quantidade de produtos ou servios entregue sociedade. Exemplos: nmero de crianas vacinadas e nmero de alunos matriculados no ensino fundamental. Compostos: expressam a relao entre duas ou mais variveis e podem ser: Razo: o resultado da diviso de uma varivel A por outra varivel B, diferente e distinta de A. Exemplo: Densidade demogrfica (populao/superfcie); Proporo (ou coeficiente): um tipo especial de Razo em que A e B pertencem mesma categoria. Exprime a relao entre o nmero de ocorrncias e o total dessas ocorrncias. Exemplo: coeficiente de mortalidade (nmero de bitos/total da populao); Taxa: so coeficientes multiplicados por uma potncia de 10 para melhorar a compreenso do indicador. Exemplo: taxa de mortalidade infantil (bitos/1000 habitantes); Porcentagem: tipo especial de taxa em que o coeficiente multiplicado por 100.

Indicadores Sintticos

Fonte: PNUD

13

19/10/2011

Indicadores Sintticos

Questes crticas
Que dimenses utilizar? Como combinar? Que pesos atribuir?

Indicadores Sintticos
Vantagens:
Simplicidade de entendimento Sumarizam questes complexas facilitando a mobilizao e priorizao de recursos. Permitam estabelecimento de ranking entre regies, estados, pases etc. Facilitam a comparao de performance.

Desvantagens:
Mitificao do ndice em detrimento do conceito original. Requer constructos conceitual e empiricamente consistentes (dimenses em geral tm dinmicas e tratamentos prprios). Subjetividade na definio dos critrios de seleo e ponderao das dimenses envolvidas, pode ter a sua validade questionada. A simplificao pode induzir a decises erradas. nfase demasiada no ranking.

14

19/10/2011

Taxonomias
Objetividade: denota o carter quantitativo ou qualitativo de um indicador
Objetivos: referem-se a eventos concretos da realidade social, so indicadores em geral quantitativos, construdos a partir de estatsticas pblicas ou registros administrativos; Subjetivos: so indicadores qualitativos utilizados para captar percepes, sensaes ou opinies, utilizam tcnicas do tipo pesquisas de opinio, grupos focais ou grupos de discusso.

Indicadores de Eficincia, Eficcia e Efetividade

15

19/10/2011

Disponvel em http://hekate-hkt.blogspot.com/2008/09/ndice-da-corrupo-2008.html

Gesto do Fluxo de Implementao

Insumo: so indicadores ex-ante facto que tm relao com a disponibilidade dos recursos humanos, materiais, financeiros e outros a serem alocados. Exemplos: mdicos/mil habitantes e gasto per capita com educao. Processo: so medidas in curso que traduzem o esforo empreendido na obteno dos resultados, ou seja, medem o nvel de utilizao dos insumos alocados, por exemplo o percentual de recursos financeiros liberados no ms. Produto: so medidas ex-post facto que expressam o quanto foi entregue de produtos ou servios. So exemplos quilmetros de estrada entregues, armazns construdos ou crianas vacinadas. Resultado: so medidas expressam os efeitos ou benefcios do Programa no pblico-alvo. Exemplos: a taxa de reprovao escolar e a taxa de homicdios. Impacto: possuem natureza multidimensional, tm relao com a sociedade e expressam os efeitos das estratgias governamentais de mdio e longo prazos. Exemplos: ndice Gini (distribuio de renda) e o PIB per capita.

16

19/10/2011

Gesto do Fluxo de Implementao

Objetivo: diminuir a incidncia de doenas sexualmente transmissveis.

Avaliao de Desempenho
Economicidade: medem os gastos envolvidos na obteno dos insumos necessrios s atividades que produziro dos resultados planejados. Visa minimizar custos sem comprometer os padres de qualidade e requer referenciais de comparao e negociao. Eficincia: possui estreita relao com produtividade ou o quanto se consegue produzir com os meios disponibilizados. A partir de um padro ou referencial, a eficincia de um processo ser tanto maior quanto mais produtos forem entregues com a mesma quantidade de insumos. Eficcia: aponta o grau em que uma interveno atinge os objetivos planejados. A partir de um referencial (linha de base) de metas, utiliza-se indicadores para avaliar se estas foram atingidas ou superadas. Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a interveno. Aponta se houve mudanas socioeconmicas, ambientais, institucionais etc. decorrentes dos impactos oriundos da poltica pblica.

17

19/10/2011

Avaliao de Desempenho

Limitaes
Indicadores so representaes imperfeitas:
Indicadores so abstraes, simplificaes de uma dada realidade, portanto so suscetveis aos vieses de quem produziu, coletou e/ou interpretou. No se deve confiar eternamente nas medidas, deve-se periodicamente realizar uma avaliao crtica acerca da adequabilidade dos indicadores selecionados, considerando que, a todo tempo, surgem modelos mais aperfeioados. Deve-se confiar nas escolhas realizadas enquanto no surgirem alternativas melhores, mais vlidas e aprimoradas, desenvolvidas a partir de pesquisas e trabalhos metodologicamente confiveis.

18

19/10/2011

Limitaes
O indicador e a dimenso de interesse no se confundem:
Indicadores apenas apontam, indicam como o prprio nome revela. comum que o foco das aes seja deslocado da realidade para o indicador escolhido para represent-la. H casos at em que primeiro se escolhe o indicador para depois associ-lo a um problema ou demanda. Em algumas situaes existe forte identificao entre o conceito e o indicador como mortalidade ou morbidade por causas diversas. Porm essa no a regra, principalmente para conceitos multidimensionais como qualidade de vida e desenvolvimento humano.

Limitaes
Indicador sinttico versus Sistema de Indicadores:
Quando os conceitos so complexos no devemos reduzir a gesto de uma poltica ou programa simples apreciao de um indicador sinttico. O IDH, por exemplo, resultado da ponderao de trs temas distintos (economia, sade e educao), busca representar o nvel de desenvolvimento socioeconmico de um pas; porm a sua composio mistura um conceito mais sensvel (conjuntural) e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensveis e de prazo mais longo de evoluo (sade e educao). Assim, uma variao anual positiva do IDH decorrente do aumento do PIB per capita pode camuflar uma estagnao ou at um retrocesso nas outras dimenses estruturais do ndice (sade e educao). Deve-se ter cautela na adoo de ndices pois, se por um lado muito bem identificam reas de ao prioritria, por outro no expressam problemas ou dimenses especficas .

19

19/10/2011

Sistema Estatstico Nacional

O conceito de Sistema Estatstico Nacional est relacionado a duas dimenses distintas:
Ao conjunto de informaes estatsticas estruturadas de acordo com regulamentos e procedimentos especficos que expressam as realidades social, ambiental e econmica de um pas; atuao coordenada e eficiente das instituies nacionais e subnacionais que produzem e disseminam estatsticas pblicas.

Sistema Estatstico Nacional

Princpios fundamentais que norteiam a produo de estatsticas oficiais, estabelecidos pelas Naes Unidades em 1994

20

19/10/2011

Sistema Estatstico Nacional

De acordo com o artigo 1o da lei 6.183, de 11/12/1974, o Sistema Estatstico Nacional tem como objetivo possibilitar o conhecimento da realidade fsica, econmica e social do Pas, visando especialmente ao planejamento econmico e social e segurana nacional. Abrange as atividades nas reas de:
estatsticas primrias (contnuas e censitrias); estatsticas derivadas (indicadores econmicos e sociais, sistemas de contabilidade social e outros sistemas de estatsticas derivadas); sistematizao de dados sobre meio ambiente e recursos naturais com referncia a sua ocorrncia, distribuio e frequncia.

Sistema Estatstico Nacional

De acordo com o artigo 2o da lei 6.183:

Integram o Sistema Estatstico Nacional todos os rgos e entidades da Administrao Pblica direta e indireta, de mbito federal, estadual ou municipal, e entidades de natureza privada, que exeram atividades estatsticas com o objetivo referido no artigo 1 e para isso recebam subveno ou auxlio dos cofres pblicos. .
Neste contexto o Instituto Brasileiro de Geografia e Estatstica - IBGE assume um duplo papel: de coordenao do sistema, por meio da integrao dos subsistemas e da padronizao de procedimentos, conceitos e classificaes; de principal provedor de dados e informaes para os mais diferentes segmentos da sociedade.

21

19/10/2011

Sistema Estatstico Nacional

PRINCIPAIS PESQUISAS CENSO DEMOGRFICO: Trata-se de um extenso diagnstico da realidade social realizado a cada 10 anos. Fornece informaes de amplo escopo temtico, alta desagregabilidade populacional e territorial, cobertura nacional e comparabilidade interregional. Exemplos de uso das informaes coletadas:
Dotao para FPE e FPM. Pagamento de benefcios da Previdncia Social. Representao poltica: nmeros de vereadores, deputados federais e estaduais. Planejamento de polticas governamentais. Servios de gua, esgoto e coleta de lixo. Locais para instalao de equipamentos pblicos (postos de sade, escolas, creches etc.) e privados (fbricas, comrcio etc.).

Sistema Estatstico Nacional

PNAD:
Pesquisa Nacional por Amostra de Domiclios realizada anualmente, cobriu em 2009 cerca de 400 mil pessoas em mais de 150 mil domiclios, em todas as unidades da federao. Investiga temas como fecundidade, anticoncepo, migrao, mobilidade social, educao, sade, associativismo, participao poltica, bens de consumo, consumo de energia, trabalho, trabalho infantil, previdncia, segurana alimentar, merenda escolar e acesso a programas de transferncia de renda.

Sntese dos Indicadores e Volume Brasil

BRASIL EM SNTESE:
Sintetiza as principais informaes divulgadas pelo IBGE, apresentadas em forma de grficos, tabelas e mapas.

22

19/10/2011

Sistema Estatstico Nacional

PME:
a Pesquisa Mensal de Empregos permite avaliar as flutuaes e a tendncia, a mdio e a longo prazos, do mercado de trabalho e abrange informaes referentes condio de atividade e de ocupao, rendimento mdio nominal e real, posse de carteira de trabalho assinada e outras, tendo como unidade de coleta os domiclios. Abrange as regies metropolitanas de Recife, Salvador, Belo Horizonte, Rio de Janeiro, So Paulo e Porto Alegre.

POF:
a Pesquisa de Oramentos Familiares busca mensurar as estruturas de consumo das famlias e possibilita traar um perfil das condies de vida da populao a partir da anlise de seus oramentos domsticos. Para reas urbanas, os resultados so produzidos nos nveis Nacional, Grandes Regies, Unidades da Federao, Regies Metropolitanas e todas as capitais.

Sistema Estatstico Nacional

A partir do ano de 2011 o IBGE implantar o Sistema Integrado de Pesquisas Domiciliares (SIPD), fruto de um amplo processo de reformulao dos levantamentos domiciliares. O ncleo temtico deste sistema ser formado pela PNAD Contnua, pesquisa que integrar a PNAD e a PME, e o esquema de POFs Contnuas, composto pela POF completa (realizada a cada 5 anos) e a POF Simplificada (que ser contnua). Estas pesquisas, por serem contnuas e de mltiplos propsitos, sero veculos naturais para as investigaes suplementares. Uma das grandes novidades do SIPD ser a produo de indicadores de curto prazo (trimestrais) sobre trabalho e rendimentos com abrangncia nacional e com detalhamento por Unidade da Federao.

23

19/10/2011

Sistema Estatstico Nacional

MUNIC:
A Pesquisa de Informaes Bsicas Municipais investiga, na esfera municipal, temas como estrutura administrativa, formas de controle social, planejamento municipal, justia, segurana, cultura e lazer.

AMS:
A Pesquisa Nacional de Assistncia Mdico-Sanitria realiza um censo dos estabelecimentos de sade no pas; volume e qualificao de pessoal; e equipamentos e recursos disponveis para o atendimento mdicosanitrio da populao.

PNSB:
A Pesquisa Nacional de Saneamento Bsico prov informaes em nvel municipal sobre abastecimento de gua, esgotamento sanitrio, limpeza e drenagem.

Sistema Estatstico Nacional

BANCOS DE DADOS: Sidra Cidades Estados Pases ESTATSTICAS DO REGISTRO CIVIL
Apresenta informaes sobre os eventos importantes acontecidos, reunindo os registros de nascidos vivos, bitos e bitos fetais, casamentos, separaes judiciais e divrcios declarados pelos Cartrios de registro Civil, Varas de Famlia, Foros ou Varas Cveis etc.

24

19/10/2011

Sistema Estatstico Nacional

RAIS:
A Relao Anual de Informaes Sociais prov um amplo conjunto de dados para elaborao de estatsticas do trabalho, disponibiliza informaes do mercado de trabalho formal s entidades governamentais e subsidia o controle da atividade trabalhista no Pas.

CAGED:
O Cadastro Geral de Empregados e Desempregados demonstra a evoluo mensal do emprego formal do pas, prov informaes para o sistema pblico de emprego e serve como base para a elaborao de estudos, pesquisas, projetos e programas ligados ao mercado de trabalho.

CENSO ESCOLAR:
levantamento de dados estatstico-educacionais de mbito nacional realizado anualmente pelo Inep/MEC. Abarca todas as escolas pblicas e privadas do pas e fornece informaes da educao bsica. Fornece dados de estabelecimentos, matrculas, funes docentes, movimento e rendimento escolar.

Sistema Estatstico Nacional

25

19/10/2011

Sistema Estatstico Nacional

Sistema Estatstico Nacional

26

19/10/2011

Sistema Estatstico Nacional

Sistema Estatstico Nacional

27

19/10/2011

Sistema Estatstico Nacional

Planejando Medidas de Desempenho

28

19/10/2011

Indicadores do PPA
Um programa uma forma de implementao de uma poltica pblica. No PPA os programas do tipo finalstico devem possuir pelo menos um indicador. Os indicadores de programas so instrumentos de gesto que buscam demonstrar os resultados do modelo de interveno no pblico alvo. Caracterizam-se como atributos gerenciais e so utilizados como:
ndices de referncia ou linha de base; ndices parciais: peridico; para acompanhamento gerencial

ndices esperados ao final do Plano: retratam as mudanas esperadas nos beneficirios.

Indicadores do PPA
Qualidade: uma forma de garantir a qualidade de um indicador utilizar mtodos e critrios de escolha que sejam vlidos e pertinentes. O que se pretende no produzir nmeros, mas aferir resultados. Quantidade: depende da complexidade do Programa, das dimenses abrangidas pelo objetivo e tambm do contexto. Em razo da diversidade dessas variveis, no existe uma regra definida a no ser restringir o nmero de indicadores ao mnimo aceitvel, desde que no comprometa a deteco dos dados relevantes (AUDIT COMMISSION, 2000). Dimenso Territorial: o conhecimento e o tratamento da dimenso territorial por meio de indicadores socioespaciais permite tratar os problemas ou carncias e aproveitar potencialidades locais. A classificao de unidades territoriais segundo indicadores, que apontem dficits ou oportunidades, nortear melhor a definio de objetivos e prioridades.

29

19/10/2011

Indicadores do PPA
Transversalidade: uma forma de atuao horizontal, no hierrquica, que busca construir polticas pblicas integradas por meio de aes articuladas. Algumas temticas como gnero, raa, direitos humanos, informao, conhecimento e sustentabilidade estruturam as dimenses da vida humana. Um tema transversal transcende a unidade de gesto Programa. O problema e/ou demanda constitui-se transversal quando se consideram suas causas e efeitos nos diversos campos de atuao da poltica pblica. Os temas transversais no se constituem Programas isolados, pois perpassam vrias polticas pblicas. Pactuar indicadores para medir e acompanhar temas transversais um enorme desafio devido tendncia de pensar de maneira setorizada.

Mtodo de 8 Passos para Construo de Indicadores

30

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

Mtodo de 8 Passos para Construo de Indicadores

31

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

3. Definir tipos de indicadores Indicador de resultado: tambm chamado indicador-chave, mede o resultado final no seu aspecto mais relevante e deve sempre existir em todos os Programas finalsticos. Indicador complementar: s vezes um objetivo de Programa possui tal grau de abrangncia que demanda outros indicadores, alm do indicador-chave. Indicador especfico: expressa as necessidades prprias de determinados interessados no Programa.

Mtodo de 8 Passos para Construo de Indicadores

4. Definir critrios de seleo Eliminatrios: so os critrios que devem ser obrigatoriamente atendidos pelo indicador candidato, do contrrio dever ser descartado. Classificatrios: so critrios que servem para estabelecer um ranking dos indicadores candidatos, possibilitando uma anlise quantitativa ponderada. Para operacionalizar a aplicao dos critrios classificatrios necessrio definir: (1) o grau de atendimento ao critrio; (2) o grau de importncia dos critrios por meio da atribuio de pesos.

32

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

Mtodo de 8 Passos para Construo de Indicadores

Tcnicas teis para seleo de critrios:
Brainstorming - tcnica de gerao coletiva de novas ideias atravs da livre participao e expresso de diferentes indivduos. A tcnica prope que um grupo - de duas a dez pessoas - utilize as diferenas de pensamentos para chegar a um denominador comum, gerando ideias inovadoras que conduzam um empreendimento adiante. Grupos de discusso (newsgroups) - permitem colocar questes ou analisar respostas j dadas a questes de interesse j formuladas. Os participantes podem ser presenciais ou virtuais. Opinio especializada forma de transmisso de conhecimento obtida a partir de profissionais ou pesquisadores reconhecidos em suas respectivas reas de atuao. Situaes anlogas busca ideias, referncias ou parmetros de comparao a partir de situaes ou experincias j conhecidas e bem sucedidas.

33

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

5. Mapear indicadores candidatos Primeiramente deve-se pesquisar no Sistema Estatstico Nacional, de acordo com o tema, medidas que expressem os conceitos inseridos nos resultados esperados. O portal do IBGE, por exemplo, disponibiliza uma poderosa ferramenta de manipulao e anlise de dados (SIDRA). Pode-se utilizar as mesmas tcnicas descritas na seleo de critrios de seleo de indicadores. Deve-se selecionar o maior nmero de indicadores candidatos possvel.

Mtodo de 8 Passos para Construo de Indicadores

Importante: deve-se atentar que muitos Programas possuem objetivos ou atendem a pblicos-alvo muito especficos, por isso dificilmente existiro indicadores disponveis no SEN que sejam vlidos, confiveis e especficos para expressar as mudanas esperadas na realidade trabalhada. Nesses casos, o gestor deve ter em mente que, desde o incio, quando do desenho do programa, devero ser mapeadas as demandas de informaes necessrias ao monitoramento e avaliao de resultados, a fim de que sejam planejados os processos de captao, tratamento, armazenamento e recuperao dos registros administrativos a serem utilizados na construo dos indicadores.

34

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

6. Realizar anlise de trade-off* Por meio da anlise quantitativa possvel fazer um ranking dos indicadores candidatos em ordem decrescente de pontos obtidos, conforme o atendimento aos critrios estabelecidos. Uma ferramenta til essa anlise a matriz de priorizao de indicadores. Em seguida o gestor deve aplicar tcnicas qualitativas como experincia adquirida, opinio especializada ou analogia com outros Programas afins para decidir.
* Expresso que denota uma situao em que h conflito de escolha. Caracteriza-se quando uma ao para resoluo de um problema acarreta outro problema, obrigando a uma escolha. Ocorre quando se abre mo de algum bem ou servio distinto para se obter outro bem ou servio distinto.

Mtodo de 8 Passos para Construo de Indicadores

PASSO 5 PASSO 2 PASSO 3 0 no atende 1 atende parcialmente 2 atende

PASSO 4

Peso do critrio 3 baixo 5 mdio 7 alto 9 muito alto

35

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

Anlise quantitativa:
facilita a seleo de indicadores segundo o atendimento aos critrios ponderados estabelecidos; explicita por que indicadores candidatos aparentemente ideais para o Programa no foram selecionados.

Anlise qualitativa:
permite verificar quais indicadores candidatos seriam ideais, mas foram contra-indicados ou eliminados pela anlise quantitativa; analisa por que essas medidas foram reprovadas (quais critrios no foram atendidos); possibilita definir um plano com aes a serem empreendidas no sentido de eliminar as restries de uso desses indicadores; permite estabelecer um compromisso de reviso dos indicadores do Programa to logo os indicadores ideais no selecionados possam ser operacionalizados.

Mtodo de 8 Passos para Construo de Indicadores

7. Validar indicadores Considerando os indicadores selecionados pela etapa anterior, nesse passo feita uma verificao final de conformidade e pertinncia, por meio do atendimento aos requisitos propostos no check list a seguir. A lista de perguntas pode ser aplicada total ou parcialmente. Dependendo das respostas encontradas, deve-se avaliar a pertinncia de se manter ou substituir o indicador escolhido, ou ainda de revisar a teoria do Programa. Tambm pode ser aplicado na avaliao dos indicadores existentes, para verificar a necessidade de se proceder a uma reviso das medidas por meio, por exemplo, de oficina.

36

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

1. Os indicadores escolhidos so vlidos para expressar resultados? 2. Tm relao direta com os objetivos do Programa? 3. So oriundos de fontes confiveis? 4. So mensurveis? 5. So em quantidade suficiente para expressar as dimenses envolvidas? 6. Consideram a dimenso territorial, quando necessria? 7. Expressam questes transversais, quando existirem? 8. As limitaes inerentes aos indicadores foram consideradas? 9. Atendem ao critrio de completude dos atributos exigidos para o seu cadastramento?

Mtodo de 8 Passos para Construo de Indicadores

8. Cadastrar indicadores Como ltima etapa, os atributos descritivos dos indicadores escolhidos para o Programa em tela devero ser definidos e cadastrados no sistema de informaes indicado, geralmente disponvel para acesso por meio da Internet.

37

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

Unidade de Medida:
Padro escolhido para mensurao da relao adotada como indicador. Exemplos: Indicador - Taxa de analfabetismo Unidade de Medida: Percentagem Indicador: Taxa de variao do valor do frete Unidade de Medida: R$/t (reais por tonelada) Indicador: Taxa de mortalidade infantil Unidade de Medida: 1/1000 (1 bito para cada 1000 nascimentos)

Mtodo de 8 Passos para Construo de Indicadores

ndice de Referncia: Expressa a situao mais recente do problema e sua respectiva data de apurao ndices Esperados ao Longo do PPA: Situao que se deseja atingir com a execuo do programa, expresso pelo indicador, ao longo de cada ano do perodo de vigncia do PPA ndice ao Final do Programa Resultado que se deseja atingir com a concluso da execuo do Programa, expresso pelo Indicador

38

19/10/2011

Mtodo de 8 Passos para Construo de Indicadores

Fonte: rgo responsvel pelo registro ou produo das informaes necessrias para a apurao do indicador e divulgao peridica dos ndices Periodicidade: Freqncia com a qual o indicador apurado Exemplos: Mensal, Trimestral, Semestral, Anual

Mtodo de 8 Passos para Construo de Indicadores

Base Geogrfica:
Menor nvel de agregao geogrfica da apurao do ndice, podendo ser municipal, estadual, regional ou nacional.

Frmula de Clculo:
Demonstra, de forma sucinta e por meio de expresses matemticas, o algoritmo que permite calcular o valor do indicador. Exemplo: Indicador - Espao Areo Monitorado Frmula de Clculo - Relao percentual entre o espao areo monitorado e o espao areo sob jurisdio do Brasil

39

19/10/2011

Simulao de Uso
Programa de Segurana Pblica nas Rodovias Federais Problema: Elevado nmero de crimes e infraes nas rodovias federais. Pblico-alvo: usurios das estradas e rodovias federais e de suas reas adjacentes. O Departamento Nacional de Trnsito estima que estavam em trnsito no Brasil, em janeiro de 2009, cerca de 32 milhes de veculos conduzidos por 40 milhes de motoristas. Evidncias do problema: a primeira causa de morte de indivduos entre 11 a 40 anos; a segunda causa de morte em geral no Brasil; resulta em grande nmero de pessoas incapacitadas, na maioria jovens. So mais de 20 bilhes de reais por ano que deixam de ser aplicados no desenvolvimento para custear danos que poderiam ser evitados (Fonte: DENIT).

Simulao de Uso
Objetivo: aumentar os nveis de segurana pblica nas rodovias federais, mediante a preveno e represso de aes delituosas e reduzir os acidentes de trnsito. A partir desse enunciado possvel perceber que o conceito segurana pblica nas rodovias federais envolve duas dimenses: criminalidade (preveno e represso a delitos); infraes (acidentes, transitar acima da velocidade permitida etc.).

40

19/10/2011

Simulao de Uso
Aplicando-se a tcnica SMART percebe-se que o objetivo do programa :
eSpecfico: no se trata de um objetivo genrico, est bem caracterizado, restrito, focado na segurana de estradas e possvel de alcance no contexto de um Programa. Mensurvel: passvel de aferio a partir de medidas que expressem, por exemplo, ndices de criminalidade e mortalidade. Atingvel: o objetivo realista e vivel caso a estratgia de implementao seja adequada e suficiente. Relevante: est, de fato, relacionado a um problema identificado que traz fortes impactos negativos para a sociedade. Tambm est alinhado ao Objetivo de Governo Promover um ambiente social pacfico e garantir a integridade dos cidados. Tempo: o objetivo passvel de programao, pode-se estimar um tempo para que seja alcanado.

Simulao de Uso
Alm de tratar de um tema especfico, o Programa abrange temas considerados transversais s polticas pblicas, envolvendo outras reas como meio ambiente e criana/adolescente. Principais interessados:
Equipe Gerencial do Programa: responsvel pelo desenho, implementao, monitoramento e avaliao do desempenho. MMA: o Ministrio do Meio Ambiente possui interesse em acompanhar a diminuio da incidncia de transporte irregular de madeiras e contrabando de animais silvestres. SEDH: a Secretaria Especial dos Direitos Humanos possui interesse no monitoramento das ocorrncias de explorao de crianas e adolescentes s margens das estradas. MT: o Ministrio do Transportes tem interesse no acompanhamento das condies de uso das estradas.

41

19/10/2011

Simulao de Uso
Conforme passo 1, o conceito segurana nas estrada federais envolve duas dimenses; portanto, alm de um indicador-chave do Programa, pelo menos mais um indicador complementar de resultado ser necessrio. O Programa envolve questes que interessam a outros rgos, como tambm um tema considerado transversal ao planejamento governamental (criana e adolescente); portanto, recomenda-se que sejam definidos indicadores especficos para esses temas.

Simulao de Uso
Para a avaliao dos indicadores candidatos sero utilizados dois tipos de critrios: (1) os eliminatrios, que excluem um indicador candidato quando no forem atendidos; (2) os classificatrios, que permitem estabelecer um ranking segundo os pesos atribudos. Critrios eliminatrios: Representatividade e Mensurabilidade Critrios classificatrios: Representatividade (Peso 9); Aderncia escala espacial desejada (Peso 7); Confiabilidade da fonte (Peso 9); Disponibilidade quando necessrio (Peso 3); Economicidade de obteno (Peso 7); Sensibilidade (Peso 5).

42

19/10/2011

Simulao de Uso

Simulao de Uso
A anlise de trade-off se inicia com a elaborao da matriz de priorizao, que permite consolidar as informaes definidas nos passos anteriores, ou seja, os indicadores candidatos, os interessados nessas medidas, os tipos de indicadores necessrios, os critrios de seleo eliminatrios e classificatrios e, para estes ltimos, os pesos de cada um. Para a construo da matriz inevitvel uma certa subjetividade por parte do formulador do Programa, particularmente no julgamento do atendimento ou no, pelos indicadores candidatos, aos critrios estabelecidos

43

19/10/2011

Simulao de Uso

Simulao de Uso
Check List de verificao:
Os indicadores escolhidos expressar resultados? so vlidos para

Tm relao direta com os objetivos do Programa? So oriundos de fontes confiveis? So mensurveis? So em quantidade suficiente para expressar as dimenses envolvidas? Consideram necessria? Expressam existirem? a dimenso territorial quando quando

questes

transversais,

As limitaes inerentes aos indicadores foram consideradas? Atendem ao critrio de completude dos atributos exigidos para o seu cadastramento?

44

19/10/2011

Simulao de Uso
Trata-se da definio dos atributos e cadastramento no sistema, conforme exemplo abaixo:

Oficina de Indicadores
Trata-se de uma forma de aplicao do mtodo de oito passos para programas de maior complexidade. A dinmica composta de 5 etapas, conforme diagrama abaixo:

45

19/10/2011

Oficina de Indicadores

A seleo de um programa para oficina pode ser feita por iniciativa interna ou externa. No caso de iniciativa interna, o check list apresentado no passo 7 do mtodo de oito passos apresenta-se muito til para sinalizar quais Programas seriam candidatos s oficinas de indicadores. No caso de iniciativa externa, o gerente do programa dever se manifestar quanto disponibilidade da equipe gerencial.

Oficina de Indicadores

Nessa etapa estuda-se legislao e documentos para entendimento da realidade que demandou a interveno: problema, causas, consequncias, evidncias que o problema existe e possui relevncia na agenda de governo. Tambm feito um estudo das referncias bsicas: objetivo, pblico-alvo, beneficirios, indicadores e capacidade de interveno, esta materializada por meio das aes definidas, produtos/servios a serem entregues sociedade e resultados esperados.

46

19/10/2011

Oficina de Indicadores

Por meio de entrevistas semi-estruturadas com atores indicados possvel:

validar entendimento da documentao analisada; esclarecer aspectos e dvidas decorrentes dessa anlise; conhecer recursos, registros e informaes que possam ser utilizados como fontes para novos indicadores; aprofundar outros temas de interesse construo de indicadores; indicar outras pessoas a serem entrevistadas; e obter novos pontos de vistas, ideias, crticas e sugestes.

Oficina de Indicadores

Inicia com a preparao de uma agenda de entrevistas, a comear pela equipe gerencial, bem como a elaborao do roteiro*. Recomenda-se que o roteiro seja previamente enviado s pessoas a serem entrevistadas para que possam levantar documentos e organizar os argumentos de resposta. Deve ser escolhida uma pessoa responsvel por conduzir as entrevistas, que dever seguir o roteiro pr-estabelecido. Tambm deve ser escolhida uma pessoa para realizar os registros das informaes obtidas. As entrevistas podem ser presenciais ou utilizarem recursos de comunicao distncia como teleconferncia, vdeoconferncia e e-mail.
* Veja sugesto de roteiro de entrevistas no anexo V do guia metodolgico para construo de indicadores de programa,

47

19/10/2011

Oficina de Indicadores

A pr-montagem inicia-se com a consolidao das informaes levantadas. A equipe tcnica se rene para rever os dados, identificar convergncias e inconsistncias, nivelar conhecimento, resolver pendncias e dirimir eventuais dvidas. A pr-montagem continua com a elaborao do contedo da oficina: uma proposta de resultados para cada um dos oito passos do mtodo descrito, a serem apresentados, discutidos, validados ou modificados no contexto do encontro. Todas essas informaes iro convergir para a primeira verso da matriz de priorizao de indicadores.

Oficina de Indicadores

Tambm deve ser concebida a dinmica do evento, destacando-se: a elaborao do cronograma de atividades; o planejamento da logstica (local, coffee break, equipamentos de informtica, recursos de projeo, flip chart etc.); a definio da lista de participantes; o responsvel pela execuo do planejamento. Por fim, as informaes de pr-montagem (planejamento e contedo da oficina) iro compor um relatrio especfico, a ser enviado equipe gerencial para conhecimento prvio.

48

19/10/2011

Oficina de Indicadores

Oficina de Indicadores

Questes importantes: Alm da equipe gerencial do Programa, todas as pessoas que participaro da oficina devem ter conhecimento prvio do relatrio de pr-montagem para que possam elencar propostas, crticas e sugestes ao evento; Os convites para a oficina e o material de pr-montagem devem ser enviados com a antecedncia necessria ao bloqueio de agendas e estudo detalhado dos documentos; Recomenda-se que sejam elaboradas atas para todas as reunies da equipe tcnica da oficina, particularmente as de pr-montagem, para consultas futuras.

49

19/10/2011

Oficina de Indicadores

Sugesto de Dinmica: 1. Abertura oficial: sugere-se que a mais alta gerncia presente ou o patrocinador realize a abertura oficial da oficina. Em seguida, o moderador iniciar os trabalhos conforme o planejamento concebido; 2. Apresentao dos participantes: cada participante dever se apresentar e expor as suas expectativas em relao ao evento; 3. Apresentao do planejamento: o moderador apresentar os objetivos do encontro, resultados esperados, cronograma de atividades e orientaes gerais. Nesse momento recomenda-se tambm estabelecer um acordo de convivncia.

Oficina de Indicadores

Sugesto de Dinmica: 4. Nivelamento metodolgico: palestra que apresente a base terica necessria, bem como descreva cada um dos passos do mtodo e os resultados que iro produzir; e quais tcnicas ou ferramentas sero teis. 5. Aplicao do mtodo: o moderador apresenta os resultados elaborados pela equipe de prmontagem para discusso, modificao ou validao. No caso de impasses o gerente do Programa dever decidir dentre as alternativas possveis.

50

19/10/2011

Oficina de Indicadores

Sugesto de Dinmica: 6. Avaliao da oficina: ao final os presentes sero convidados a expressar-se de forma escrita (pontos fortes, pontos fracos, sugestes e livre redao) e oral. Os resultados serviro de insumos para a melhoria do processo. 7. Encerramento: o moderador dever proceder ao encerramento da oficina ou, se achar conveniente, convidar um dos presentes para realiz-lo.

Oficina de Indicadores

51

19/10/2011

Oficina de Indicadores
muito importante que a equipe gerencial seja entrevistada em primeiro lugar, pois eles podero indicar outros atores relevantes a serem contatados. Caso uma rodada de entrevistas no seja suficiente, uma nova agenda com as pessoas-chave deve ser providenciada. A lista de indicadores candidatos no deve se restringir apenas aos possveis de serem operacionalizados, mas tambm aos indicadores considerados ideais. Mesmo que depois no sejam aprovados quando da aplicao dos critrios de seleo, as fragilidades expostas podero subsidiar aes para a sua utilizao futura. Os indicadores candidatos construdos na prmontagem, quando no no aprovados na anlise de trade-off (passo 6), na medida do possvel devem ser utilizados como indicadores de gesto do Programa, principalmente nos processos de execuo e monitoramento.

Oficina de Indicadores
As entrevistas podem no ser presenciais, pois j existem tecnologias de baixo custo que permitem reunies virtuais. At mesmo o correio eletrnico (e-mail) pode ser utilizado para envio de formulrio ou roteiro de entrevista e recebimento das respostas. Recomenda-se que o nmero de participantes da oficina e a quantidade de critrios a ser aplicada aos indicadores candidatos na anlise de trade-off no sejam muito grandes, pois dificultam a execuo das atividades previstas no prazo estimado de 1 dia para a oficina. Indica-se at 15 participantes e at 9 critrios, dentre eliminatrios e classificatrios. Recomenda-se realizar a oficina em local apropriado e fora do ambiente de trabalho dos participantes, a fim de possibilitar a dedicao exclusiva e evitar interrupes indesejadas.

52

19/10/2011

Oficina de Indicadores
Recomenda-se que os participantes recebam previamente o material da pr-montagem, sejam incentivados a ler o guia metodolgico (ou pelo menos o guia de referncia) e recebam o nivelamento metodolgico previsto no incio da oficina. Recomenda-se que o sistematizador e o moderador (podem ser a mesma pessoa) sejam pessoas externas, pois tal prtica garante imparcialidade e profissionalismo. Por fim, recomenda-se que, dentre os convidados esteja presente um especialista em indicadores, que pode ser encontrado nas instituies especializadas no assunto como o IBGE, o IPEA e as instituies subnacionais.

Obrigado!

carlos.pinho@planejamento.gov.br (61) 2020-5120

53