UNIVERSIDADE FEDERAL DO RIO DE JANEIRO

CENTRO DE CIÊNCIAS JURÍDICAS E ECONÔMICAS

FACULDADE DE ADMINISTRAÇÃO E CIÊNCIAS CONTÁBEIS
PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIAS CONTÁBEIS

FRANCIANE DE OLIVEIRA ALVARENGA

EFICIÊNCIA DOS RECURSOS PÚBLICOS NAS UNIVERSIDADES FEDERAIS:

ANÁLISE DO DESEMPENHO DAS ATIVIDADES DE ENSINO, PESQUISA E
EXTENSÃO DE 2013 A 2017.

Projeto de tese apresentado à turma de

Doutorado em Ciências Contábeis 2016.1
como requisito parcial da disciplina de
Seminário de Tese sob a orientação do prof.
Dr. Pierre Ohayon.

RIO DE JANEIRO - RJ
2017

0
 SUMÁRIO (sugestão)

1 INTRODUÇÃO
1.1 Problematização e relevância
1.2 Objetivos
1.3 Delimitação do estudo
1.4 Estrutura do Trabalho
2 REFERENCIAL TEÓRICO
2.1 Modernização do Estado e das Instituições Federais de Ensino Superior
2.1.1 O modelo gerencial
2.1.2 Reformas nas instituições federais de ensino superior
2.1.3 Autonomia universitária
2.1.4 A missão das universidades
2.1.4.1 Ensino
2.1.4.2 Pesquisa
2.1.4.3 Extensão
2.2 Processo de gestão de recursos públicos
2.2.1 Orçamento público
2.2.2 Despesas públicas
2.2.3 Financiamento Público da Educação Superior no Brasil (Orçamento das IFES)
2.2.4 Prestação de contas das Universidades Federais
2.3. Desempenho das Universidades Federais
2.3.1 Avaliação universitária
2.3.2 Sistema Nacional de Avaliação do Ensino Superior
2.3.3 Indicadores de Desempenho do TCU
2.3.4 Rankings das Universidades Federais
2.3.5 O Tribunal de Contas da União e a avaliação das Universidades Federais
2.4 Eficiência como resultado
2.4.1 Eficiência na gestão pública
2.4.2 Conceitos de eficiência aplicados às instituições de ensino superior
3 METODOLOGIA
3.1 Tipo de pesquisa
3.2 Objeto de estudo e amostragem
3.3 Procedimentos e técnicas de coleta de dados
3.4 Análise Envoltória de Dados - DEA (Data Envelopment Analysis)
3.4.1 Índice de Malmquist
3.4.2 Estudos de aplicação da DEA em Universidades Federais
3.5 Seleção das variáveis
3.6 Indicadores determinantes e ou influenciadores do nível de eficiência relativas as UFs
4 RESULTADOS E DISCUSSÕES
5 CONSIDERAÇÕES FINAIS
REFERENCIAS

1
1 INTRODUÇÃO

Esta seção tem o objetivo de contextualizar e apresentar a problematização do tema e

sua relevância social e científica referente ao objeto de estudo selecionado, bem como a os
objetivos, delimitações do estudo e a estrutura do trabalho.

1.1 Problematização e relevância

A gestão pública busca garantir que todas as organizações, inclusive organizações

privadas, atuem conforme os interesses públicos para a realização do bem comum. Isso
porque, ao produzirem produtos ou serviços, gerenciam recursos arrecadados via cobrança de
tributos, visando atender o interesse da coletividade ( FALTOU REFER).
No contexto nacional, desde a década de 90, a gestão pública vem passando por
grandes mudanças na busca por maior eficiência, eficácia e transparência na aplicação de tais
recursos. Eles dizem respeito a recursos humanos, financeiros e físicos, alocados nas
diferentes instâncias da administração. Referem-se, respectivamente, às pessoas, ao dinheiro
arrecadado e aplicado no cumprimento dos compromissos financeiros e a todos os bens
patrimoniais e à infraestrutura que dão suporte ao funcionamento da máquina pública
(SLOMSKI, 2009).
Além disso, Silva (2009) menciona que a transparência no setor público vem cada vez
mais sendo empregada em países que defendem o processo democrático de acesso às
informações sobre a ação dos gestores públicos. Assim, dentre as mudanças propostas pela
reforma da administração pública (QUAL REFORMA ? A DO BRESSER?), tem-se a de
melhorar a accountability. A accountability promove a transparência e a ênfase em produtos e
resultados, possibilitando a definição de responsabilidades e fraquezas políticas e gerenciais
(POLLITT; BOUCKAERT, 2004).
A fim de conseguir um melhor gerenciamento desses recursos, a gestão pública faz uso
do seu orçamento público, que por meio deste, estima a receita que será arrecadada e fixa a
despesa que será executada no exercício financeiro seguinte a fim de atender as necessidades
da sociedade, possibilitando o planejamento de ações e políticas públicas. Dessa forma, Di
Giacomo (2005) afirma que monitorar, controlar e avaliar passaram a ter um foco maior e
uma das finalidades principais desta mudança foi combater os problemas sociais e viabilizar
um melhor acompanhamento da utilização dos recursos públicos por parte da sociedade como
um todo.

2
 Com esse papel, ações e políticas públicas específicas são definidas, implantadas e
implementadas pelas Instituições Federais de Ensino Superior (IFES), dentre elas as
Universidades Federais (UFs). Essas entidades públicas são fundamentais para a sociedade
uma vez que elas contribuem para o desenvolvimento social e econômico do país, ao trazerem
benefícios de natureza social, cultural, econômica, educativa, tecnológica e moral, por meio
da produção e transmissão do conhecimento.
As IFES são consideradas pessoas (TROCAR PARA ORGANIZAÇÕES) jurídicas de
direito público, em forma de autarquia de regime especial, vinculadas ao Ministério da
Educação, com autonomia didático-científica, administrativa, disciplinar, de gestão financeira
e patrimonial, na forma da lei (FALTOU CITAR A Lei de Diretrizes e Bases da Educação) .
Regem-se pela legislação federal vigente, por seu Estatuto, pelo Regimento Geral e pelas
resoluções e normas internas. Os recursos aplicados nas IFES têm como fonte, a maior parte,
originária do tesouro, além do complemento que se faz com arrecadação própria. Pode-se
perceber que com a arrecadação de recursos de órgãos externos às mesmas, aponta que as
IFES continuam dependentes do governo central em relação à elaboração e execução do seu
processo orçamentário.
Os recursos aplicados nas IFES visam proporcionar à sociedade um ensino de
qualidade, realização de pesquisas, aperfeiçoamento e geração de novos conhecimentos, além
de inserção na sociedade por meio de atividades de extensão, com o objetivo de contribuir
para o seu desenvolvimento.
De 1998 a 2012 as IFES contaram com novos investimentos advindos do Programa de
Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni),
possibilitando que as Universidades Federais se expandissem, segundo o Ministério da
Educação – MEC (2018) a expectativa de investimentos do Reuni foi de R$ 3,5 bilhões até
2012 (FALTOU CITAR A FONTE DO DADO). Considerando que o programa resultou no
aumento dos gastos públicos, uma gestão mais eficiente foi exigida para o melhor
aproveitamento dos recursos recebidos a fim de atender os objetivos propostos pelo programa.
Entretanto, a partir de 2014, com a crise econômica e política as UFES passaram a
sofrer cortes orçamentários, inibindo assim sua expansão e até mesmo a manutenção de
algumas atividades. Os investimentos aplicados caíram R$ 3,38 bilhões em três anos, saindo
de R$ 10,72 bilhões em 2014 para R$ 7,34 bilhões em 2017. Houve ainda diminuição de mais
da metade dos recursos em investimentos (de R$ 3,7 bilhões para R$ 1,4 bilhão) e de 16% no
custeio (de R$ 7,02 bilhões para R$ 5,89 bilhões) FALTOU CITAR A FONTE DO DADO.

3
 Os dados foram corrigidos pela inflação pelo índice IPCA-IBGE e tabulados
pelo Estado com base em informações enviadas pelo Ministério da Educação (MEC). Foram
considerados recursos de fontes próprias, convênios, doações e emendas parlamentares.
Segundo os gestores das UFES, essa redução não acompanhou o crescimento das unidades,
que dobraram o número de seus alunos, de 589 mil, em 2006, para 1,1 milhão, em 2015,
conforme os dados do Censo da Educação Superior. SERIA MUITO MELHOR FAZER UM
QUADRO COMPARATIVO COM DADOS ANTES DE 2013 E DO PERIODO DE
ANALISE ENTRE 2013 A 2017.
Para o presidente da Associação Nacional dos Dirigentes das Instituições Federais de Ensino
Superior (Andifes), Emmanuel Zagury, essa redução pode prejudicar o desenvolvimento do País.

O ano de 2014 foi o último em que houve correção do custeio pela inflação do ano
anterior e pela taxa de expansão do sistema... Não teríamos o sucesso que temos na
produção de alimentos, na exploração de petróleo em regiões profundas e em outras
áreas, por exemplo, sem a pesquisa na universidade federal. (ESTADÃO, 2017)

Diante dessa realidade vivenciada, percebe-se a importância dos gestores das UFES
conciliar os recursos recebidos com a missão da universidade, diluída em ações de ensino,
pesquisa e extensão perfazendo seu papel social. Tentando fazer com que essa redução de
investimentos não impacte, ou minimize, os resultados das suas instituições, bem como a
diminuição na qualidade dos serviços.
As ações de ensino, pesquisa e extensão praticadas por estas instituições atendem à
missão atribuída às mesmas, obedecendo assim ao princípio da indissociabilidade, instituído
na Carta Magna de 1988, em seu artigo 207, e configurando como pilares de sustentação, ou
os valores essenciais para que a universidade, como agente de transformação e transmutação,
seja preservada (FAZER CITAÇÃO DA CONSTITUIÇÃO).
Com base na missão das instituições educacionais, pode-se entender o ensino,
pesquisa e extensão como funções pelas quais a missão se realiza, quais sejam, “formar ou
ensinar, investigar ou pesquisar e servir ou exercer a atividade de extensão" (OSPINA, 1990,
p.138).
Ensino é a transmissão sistemática de conhecimentos teóricos e/ou práticos
indispensáveis ao progresso da educação e da sociedade como um todo (HAWANY, 2012).
Pimenta e Almeida (2012, p.24) menciona que o ensino é a “convergência e articulação
equilibrada entre as dimensões científica, investigativa e pedagógica”.
Em relação à pesquisa universitária, ela integra o desempenho científico e técnico. É
uma prática sistematizada de aquisição, construção e desenvolvimento do conhecimento

4
humano que se dá por meio de práticas de investigação dos fenômenos observando a origem,
as causas, os efeitos e as consequências (HAWANY, 2012). Para Collins (2001) a produção
acadêmica é o seu produto supremo e está vinculado aos conhecimentos tácito e explicito.
A extensão, por sua vez, significa a articulação da universidade com a sociedade com
o objetivo de que o conhecimento novo que ela produz pela pesquisa e difunde pelo ensino
não fique restrito aos seus muros (SAVIANI, 1987). É um processo de fomento educativo,
cultural e científico que viabiliza a inter-relação entre a universidade e a sociedade com o
propósito de disseminar e assegurar a transmissão e aquisição de novos conhecimentos; a
extensão é acima de tudo, a democratização dos saberes acadêmicos, é o veículo pelo qual se
dá a dialética entre a teoria e a prática de forma “inter”, “multi” e transdisciplinar (HAWANY,
2012).
Esse tripé de ações – ensino, pesquisa e extensão – reflete o perfil peculiar que a
execução do seu orçamento apresenta, contribuindo para a formação dos cidadãos e,
consequentemente, incrementando o capital humano e favorecendo a redução das assimetrias
da qualidade de vida verificadas no país. Todavia o resultado de tais ações dificilmente é
perceptível de forma imediatista, os recursos orçamentários que financiam as mesmas
necessitam acompanhar a magnitude da velocidade com que as transformações vivenciadas
pela sociedade estão ocorrendo.
Neste contexto, percebe-se a importância de conhecer como estão sendo aplicados os
recursos públicos nas IFES, avaliando se essa aplicação se dá em consonância com o papel
social que lhe é atribuído.
Os resultados das IFES são apresentados no seu Relatório de Gestão elaborados pelas
mesmas, permitindo que o Tribunal de Contas da União - TCU avalie o desempenho (TEM
QUE FAZER REF, POIS NO MEU ENENEDER O TCU NÃO AVALIA O DESEMPENHO
EM SI MAS SE O GASTO ESTÁ CONFORME A LEI). O Relatório de Gestão acaba por ser
um dos artefatos para a prestação de contas, pois possuem informações e indicadores que
evidenciam o montante de recursos recebidos, como e onde foram aplicados e os resultados
quantitativos e qualitativos gerados. Porém, não basta conhecer os resultados e seus
indicadores, é necessário analisá-los no sentido de verificar se a aplicação dos recursos está
sendo eficiente, bem como comparar estes resultados com outras instituições.
Para Lapa e Neiva (1996), o desempenho organizacional está ligado aos critérios de:
I. Produtividade: razão entre o que uma instituição de ensino gera como produtos
e resultados e o que ela consome na forma de recursos, não importando a
tecnologia de processo utilizada, nem como é utilizada.

5
 II. Eficiência: está relacionada à comparação entre os resultados alcançados com
os recursos disponíveis e os insumos utilizados, e o elenco de resultados
ótimos (fronteira de desempenho) que poderiam ser obtidos com aqueles
recursos.
III. Eficácia: está associada à comparação entre os produtos e resultados gerados
com produtos e resultados planejados, tendo como referencial a elaboração de
um plano de operações, isto é, com que os recursos e os resultados
correspondem aos planos e metas idealizados;
IV. Efetividade: é um conceito ligado à capacidade da instituição em corresponder
ao que dela se espera, ou seja, se os resultados gerados correspondem às
expectativas da sociedade, medidas comparando o planejamento e operações
com a realidade dentre da qual a instituição opera.
Uma vez que as UFs são organizações gratuitas, consideradas atípicas no sentido
financeiro por não operarem com recursos e resultados pois não existem preços de mercado e
por não terem como objetivo a lucratividade, essa situação faz com que avaliações baseadas
em preços, custos e investimentos sejam substituídas por outros enfoques que considerem
múltiplos recursos e múltiplos resultados que não podem ser reduzidos a uma unidade comum
de medida (Ahn, 1987). Assim, a análise do desempenho institucional será representada
apenas pelo critério da eficiência, dada a complexidade envolvida na análise da eficácia e da
efetividade em IFES.
Cabe ressaltar que a escassez de recursos públicos vivenciados pelas organizações,
principalmente aplicados às IFES, exigindo que essas instituições sejam mais flexíveis e
adaptáveis, conseguindo ainda que assim, produzir bens e serviços de alta qualidade,
considerando os recursos investidos. Arretche (1999, p.35) corrobora que a eficiência é a mais
urgente e necessária no âmbito da administração pública porque "a escassez de recursos
públicos exige maior racionalização do gasto".
Nuintin (2014) propõe um modelo conceitual sobre os recursos públicos aplicados nas
UFs, que geram atividades de ensino, pesquisa e extensão, e que os gestores, por sua vez,
devem informar e prestar contas dos resultados da aplicação destes recursos, sendo o
Relatório de Gestão um meio para isso e estes resultados são avaliados com a mensuração do
nível de eficiência relativa das UFs.

Figura 1: Modelo conceitual de avaliação da aplicação de recursos nas UFs

6
 Fonte: Nuintin (2014).

Esses relatórios de prestação de contas e de gestão das UFs, são exigidos pelo Tribunal
de Contas da União – TCU e que determina que deva conter informações financeiras,
patrimoniais, indicadores de desempenho, dentre outras, os quais são aprovados por conselhos
internos e enviados aos TCU e à Controladoria Geral da União – CGU. Além disso, esses
relatórios ficam disponibilizados para o acesso da sociedade nos sites das respectivas
universidades.
Diante dos vários problemas elencados, percebe-se que os gestores precisam trabalhar
de modo eficiente, fazendo com que a falta de recursos não cause desmotivação e nem traga
implicações nos resultados das instituições. Assim, a questão norteadora dessa pesquisa
centra-se em: ESSAS PERGUNTAS ESTÃO LIGADAS AO OBJETIVO
Como está a eficiência dos recursos públicos nas Universidades Federais
brasileiras frente às funções de ensino, pesquisa e extensão?
Quais os impactos nos resultados das Universidades Federais Brasileiras,
voltados para a eficiência de recursos públicos nas funções de ensino, pesquisa e
extensão, após os investimentos do Reuni e frente aos cortes orçamentários?
Após os investimentos do Reuni e frente aos cortes orçamentários, como está a
eficiência dos recursos públicos das Universidades Federais Brasileiras perante sua
missão?
Após os investimentos do Reuni e com os cortes orçamentários, como estão os
resultados das Universidades Federais Brasileiras voltados para a eficiência dos recursos
públicos frente às funções de ensino, pesquisa e extensão?
Uma forma de se conseguir analisar o desempenho das IFES é por meio da
mensuração do nível de eficiência, conseguida com a metodologia Data Envelopment
Analysis – DEA, a qual relaciona a quantidade ou volume de recursos recebidos, inputs, com
os resultados alcançados, outputs. Neste contexto, percebe-se a importância de conhecer como
esses recursos estão sendo aplicados e quais resultados estão sendo gerados para a sociedade.

7
 Trata-se de uma investigação relevante, dada a carência de pesquisas empíricas
relacionadas ao objetivo desse estudo, de modo especial, por se propor aplicar a metodologia
da DEA. Costa et. al (2012, p. 03) afirmam que:
Alguns estudos, além de análise qualitativa, se utilizam de metodologias
quantitativas para mensurar os indicadores de desempenho das IFES. Indicadores
como, por exemplo, “a proporção de alunos por professor e o custo por estudante”
são formas de avaliação do desempenho das universidades. Entretanto, as pesquisas
científicas sobre o desempenho das IFES vão mais além do que a simples criação de
indicadores. Com o propósito de compará-las e projetar metas para melhorarem seus
desempenhos, esses estudos estão se concentrando na estimação das funções
fronteiras (de produção ou de custo) na educação, notadamente as fronteiras não
paramétricas, que são estimadas por programação matemática, também conhecida
como Análise Envoltória de Dados (DEA).

Dessa forma, tendo em vista a importância de se estudar a eficiência dos recursos

públicos frente à missão das universidades, este trabalho justifica-se por pretender contribuir
de forma teórica e prática, de modo geral, para a compreensão da gestão pública das UFs. Em
especial, voltar-se para a análise e discussão da relação entre eficiência dos recursos públicos
com o desempenho de suas funções, expressas no tripé ensino, pesquisa e extensão.
Além disso, espera-se essa pesquisa contribua no processo de tomada de decisões por
parte dos gestores públicos, visto que os indicadores traduzem informações que permitam
análises e avalições das políticas públicas desenvolvidas, possibilitando a concentração de
esforços que proporcionem melhorias no desempenho das universidades federais, revertendo
em mais benefícios para a sociedade. Além disso, a prática em gerar informações e
disponibilizá-las à sociedade, atende aos de princípios da transparência e accountability
exigidos à gestão pública, contribuindo para o acompanhamento da execução das atividades
públicas. Que conforme citado por Nuintin (2014) transparência refere-se à disseminação e
acessibilidade da informação, ao passo que accountability refere-se à prestação de contas - ou
seja, à demonstração de como estão sendo aplicados os recursos públicos e seus resultados.
Vale ressaltar ainda, que a originalidade do trabalho consiste em associar o
desempenho das UFs à sua missão referente as ações de ensino, pesquisa e extensão, uma vez
que, o conjunto de indicadores exigidos pelo TCU, não há indicadores que explicitamente
indicadores que contemplem atividades de extensão. Para isso, o MEC (2004) propõe que seja
criado, pelas próprias universidades, indicadores adicionais que sejam passíveis de apuração e
verificação, sejam comparáveis e reflitam com confiabilidade aspectos da realidade
acadêmica. Porém, esses indicadores não são obrigatórios e nem padronizados,
impossibilitando a comparação entre os conjuntos de universidades brasileiras. Dessa forma,
considerando o princípio da indissociabilidade, torna-se relevante incrementar ao processo de

8
análise do desempenho das mesmas, indicadores voltados para extensão padronizados,
possibilitando assim verificar a eficiência das UFs em sua missão e sua comparabilidade.
A INTRODUÇÃO ESTÁ MUITO GRANDE. CONTÉM VÁRIOS ASPECTOS
CONCEITUAIS. ACHO QUE NÃO FICOU CLARO NA PROBLEMÁTICA - COMO A
QUEDA DOS RECURSOS ESTÃO IMPACTANDO DIRETAMENTE A EFICIÊNCIA DOS
RESULTADOS? FOI POR ISSO QUE SUGERI UM QUADRO ..... TB NÃO MENCIONA A
DEMANDA DA SOCIEDADE POR MAIS VAGAS, DAS EMPRESAS POR
RESOLUÇÕES DE PROBLEMAS, a questão de atender as cotas, ETC....
1.2 Objetivos

O objetivo geral da pesquisa consiste em analisar a eficiência de recursos públicos no

desempenho de atividades de ensino, pesquisa e extensão nas Universidades Federais
brasileiras EM QUAL O PERÍODO?.
Para atingir o objetivo geral são estabelecidos os seguintes objetivos específicos:
 Identificar e descrever os recursos públicos aplicados nas Universidades Federais por
meio do Orçamento de Custeio e Capital (OCC).
 Mensurar e descrever os indicadores, divulgados nos Relatórios de Gestão, relativos às
atividades de ensino e pesquisa das Universidades Federais.
 Extrair informações divulgadas nos Relatórios de Gestão das Universidades Federais
que sirvam para formar indicadores de extensão.
 Identificar o nível de eficiência relativa da aplicação dos recursos públicos por meio
da Análise Envoltória de Dados (DEA), referente ao desempenho de atividades de
ensino, pesquisa e extensão das Universidades Federais.
 Verificar a evolução do desempenho de atividades de ensino, pesquisa e extensão das
Universidades Federais, por meio do índice de Malmquist;
 Identificar os indicadores determinantes e ou influenciadores do nível de eficiência
relativas à aplicação dos recursos públicos nas Universidades Federais.

1.3 Delimitação do estudo

Em 2001 o Ministério da Educação elegeu como prioridade uma reforma universitária,

por meio do Plano Nacional de Educação (PNE) fixou metas que exigiam um aumento
considerável nos gastos públicos para a ampliação das oportunidades de acesso à educação

9
superior, na tentativa de fazer cumprir o importante papel das universidades na diminuição
das desigualdades sociais (MEC, 2012).
A expansão da educação superior contou com o Programa de Apoio a Planos de
Reestruturação e Expansão das Universidades Federais (Reuni), possibilitando que as
universidades federais promovessem a expansão física, acadêmica e pedagógica da rede
federal de educação superior.
Esse projeto foi instituído pelo Decreto 6.096/2007, com o objetivo maior de criar
condições para a ampliação do acesso e permanência na educação superior pelo melhor
aproveitamento da estrutura física e de recursos humanos existentes nas universidades
federais. Assim, percebe-se que como objetivo indireto ou meio para consecução do objetivo
principal está a busca da eficiência pelo melhor aproveitamento dos recursos (MEC,2012).
Logo um programa nesta dimensão resultaria na elevação dos gastos públicos, nas
suas várias formas, tais como: despesas de custeio e despesas de capital, uma vez que a
eficiência dos recursos empregados estaria diretamente ligada a boas práticas de gestão para o
uso dos mesmos.
De 1998 a 2008, primeira etapa do Programa Reuni, o número de matrículas em
instituições públicas federais de ensino superior cresceu aproximadamente 60%. Destaca-se
que, percentualmente, igual crescimento foi atingido entre os anos de 2008 e 2010, número
alcançado em função da adesão das IFES aos programas de expansão do governo federal.
Esse novo contexto de estímulo do Governo Federal à expansão do ensino superior por meio
da interiorização levou à criação de 126 novos campi universitários, o que resultou na
presença das universidades federais em 272 municípios brasileiros, segundo dados
apresentados no relatório de análise sobre a expansão das universidades federais de 2003 a
2012 (BRASIL, 2012).
O Reuni foi concluído em 2012 e trouxe mudanças de ordens diversas para as
instituições integrantes, tais como de infraestrutura, financeira e cultural. Assim, no intuito de
não enviesar os resultados e objetivos perseguidos, a delimitação temporal dessa pesquisa
abordará os resultados referente anos de 2013 a 2017. NÃO CONCORDO COM ESSE
ARGUMENTO, DEVERIA SER FEITA UMA AVALIAÇÃO ANTES DO REUNI,
DURANTE A APLICALÇÃO DO REUNI E POSTERIOR.....TEM QUE EXPLICAR
MELHOR OS MOTIVOS QUE LEVAM O ESTUDO SÓ SER APÓS O REUNI?
Diante do exposto, será considerado como delimitação espacial o Brasil e a população
analisada será composta por todas as Universidades, totalizando 63 UFs.

10
1.4 Estrutura do Trabalho
FALTOU RELATAR QUAL A ESTRUTURA.....
2 REFERENCIAL TEÓRICO

Nesse tópico, busca-se caracterizar e discutir a gestão pública e aplicação dos seus
recursos em prol da sociedade por meio das funções básicas das universidades federais
brasileira. Além de discutir o desempenho das mesmas e seus os indicadores aplicados as
IFES para sua avaliação. Em seguida, é realizado um estudo, em termos de estado da arte,
envolvendo a metodologia DEA em IFES.

2.1 Modernização do Estado e das Instituições Federais de Ensino Superior

2.1.1 O modelo gerencial

A crise do Estado e a globalização redefiniram as funções e o papel do Estado nos

anos 90. No Brasil, esse movimento tomou forma, em 1995, com o estabelecimento do Plano
Diretor da Reforma do Aparelho do Estado, documento que orientava a ação reformadora do
governo, ao definir as instituições e as diretrizes para a implantação de uma administração
pública gerencial no país.
De acordo com Di Giácomo (2005), a Nova Gestão Pública, que é a Administração
Pública Gerencial, tem como característica central agilizar as funções de planejar, organizar,
liderar, controlar e coordenar. Caracteriza-se ainda, por utilizar de forma intensa, das práticas
gerenciais com ênfase na eficácia, sem perder de vista a função eminentemente pública do
aparelho estatal.
Como consequência do processo de adaptação a esse ambiente de reformas, surge a
Lei Complementar nº 101/2000, conhecida como Lei de Responsabilidade Fiscal – LRF, que
criou condições para a implantação de uma nova cultura gerencial na gestão dos recursos
públicos, e incentivou o exercício da cidadania por meio da participação do cidadão no
processo de acompanhamento da aplicação dos recursos e avaliação dos resultados. A LRF
estabeleceu normas de finanças públicas voltadas para a responsabilidade na gestão fiscal,
mediante ações de prevenção a riscos e correção de desvios que possam afetar o equilíbrio das
contas públicas, com destaque para o planejamento, controle, transparência e
responsabilização. ( COLOCAR CITAÇÃO)

2.1.2 Reformas nas instituições federais de ensino superior

11
2.1.3 Autonomia universitária

2.1.4 A missão das universidades

O ensino universitário engloba não só a transmissão do conhecimento em sala de aula,

mas a pesquisa, que pode ser pura ou aplicada, e a objetivação desta, através da extensão.
Assim, estes três eixos configuram os pilares de sustentação, ou os valores essenciais para que
a universidade, como agente de transformação e transmutação, seja preservada.
Nos termos da legislação vigente, o tripé formado pelo ensino, pela pesquisa e pela
extensão constitui o eixo fundamental da universidade brasileira e não pode ser
compartimentado. O artigo 207 da Constituição Brasileira de 1988 dispõe que “as
universidades [...] obedecerão ao princípio da indissociabilidade entre ensino, pesquisa e
extensão”.
Neste sentido, Castro (2004) corrobora que a história da indissociabilidade ensino-
pesquisa-extensão tem como pano de fundo a história mesma das relações entre conhecimento
científico e demandas sociais.
Ensino, pesquisa e extensão aparecem, então, ao final do século XX, unidos pelo
princípio constitucional da indissociabilidade. A pesquisa e a extensão, em interação com o
ensino, com a universidade e com a sociedade, possibilitam operacionalizar a relação entre
teoria e prática, a democratização do saber acadêmico e o retorno desse saber à universidade,
testado e reelaborado.

2.1.4.1 Ensino

2.1.4.2 Pesquisa

2.1.4.3 Extensão

2.2 Processo de gestão de recursos públicos

2.2.1 Orçamento público

2.2.2 Despesas públicas

2.2.3 Financiamento Público da Educação Superior no Brasil (Orçamento das IFES)

2.2.4 Prestação de contas das Universidades Federais

2.3. Desempenho das Universidades Federais

2.3.1 Avaliação universitária

12
2.3.2 Sistema Nacional de Avaliação do Ensino Superior

2.3.3 Indicadores de Desempenho

Ao analisar o desempenho da organização é possível controlar suas atividades de

maneira estruturada, fazendo com que esse controle ela possa atingir com mais eficácia e
eficiência seus planejamentos estratégicos. Dessa forma, torna-se essencial avaliar o
desempenho da organização, a fim de verificar a efetiva atuação do controle gerencial no
negócio.
Diante disso, Rummler e Brache (1994, p. 169-170) afirmam que:
Sem que haja uma mensuração e avaliação de desempenho adequadas, os
administradores podem encontrar dificuldades para comunicar as expectativas desse
desempenho aos subordinados; saber o que de fato se passa na organização;
identificar as falhas, analisá-las e eliminá-las; fornecer feedbacks, identificar o
desempenho que deve ser recompensado e ter um processo decisório baseado em
informações efetivas.

O desempenho corresponde à identificação de resultados mensuráveis que foram

alcançados em um dado período por uma entidade, uma unidade de negócios, um
departamento ou indivíduo. Assim, o desempenho pode ser medido periodicamente e
proporcionar algum tipo de ação no gerenciamento das instituições.
Para Daft e Marcic (2004, p. 10), o desempenho seria “a capacidade da organização de
atingir seus objetivos usando recursos de um modo eficiente e eficaz”. A avaliação do
desempenho da organização é considerada um elemento fundamental ao administrador para
correção de desvios (caso haja) e consecução da estratégia adotada, permitindo a estes
tomadas de decisões eficientes e eficazes. Harrington (1993) ainda corrobora que as medições
são o ponto de partida para o aperfeiçoamento da própria empresa, porque permitem ao
administrador saber quais são as metas da organização.
Gil (1992) corrobora afirmando que as organizações precisam de um sistema que
permita avaliar o desempenho, que permita uma avaliação contínua possibilitando o
conhecimento da eficiência e eficácia de suas ações, além do comportamento das pessoas, dos
processos e de seus programas.
Os indicadores precisão ser verificáveis e controláveis, caso contrário não é possível
analisar o desempenho, dessa forma, para responder como medir, é preciso definir quais são
os atributos e características importantes da medição para que haja relação a um objetivo
definido. Para medir, é necessário definir o conjunto de indicadores, ou seja, definir as
medidas que serão usadas no sistema de diagnóstico da situação atual.

13
 Indicadores são mecanismos que podem ser utilizados para avaliar a gestão da
aplicação de recursos públicos, permitem evidenciar os resultados desta aplicação, a situação
atual de uma entidade, em função da gestão dos recursos, bem como auxiliar o gestor no
processo de tomada de decisão.
Mafra (1999, p. 2) define indicador de desempenho como:
Relação matemática, resultando numa medida quantitativa, identifica-se o estado do
processo ou o resultado deste através de metas numéricas pré-estabelecidas.
Indicadores de desempenho significa medir, mensurar o resultado de ações
programadas. É essencial saber se o processo está apresentando progresso,
comparando-o consigo mesmo num momento anterior ao tempo, ou a partir de um
referencial estabelecido.

MacArthur (1996) define indicador de desempenho como um método de quantificação

de como as ações estão sendo realizadas no intuito de comparar com as metas estipuladas.
Corroborando, Neely et al. (1996) conceituam indicador de desempenho como meio que
permite quantificar a eficiência e/ou a eficácia das tomadas de decisões da organização,
permitindo saber o que estão fazendo e quais os resultados de suas ações. Zilber e Fischmann
(2002) ainda mencionam que os indicadores de desempenho possibilitam verificar as tomadas
de decisões, de modo a corrigir e readequar o processo decisório possibilitando a evolução
efetiva dos resultados das atividades.
Mafra (1999, p. 3-4) corrobora afirmando que os indicadores de desempenho podem
ser utilizados para:
a. controle: as medições ajudam a reduzir as variações, como por exemplo, controle
dos lotes de matéria prima; b. a autoavaliação: as medidas podem ser usadas para
avaliar quão bem está se comportando o processo e determinar as melhorias a serem
implementadas; c. melhoria contínua: as medidas podem ser utilizadas para
identificar fontes de defeitos, tendências de processos e prevenção de defeitos,
determinar a eficiência e efetividade dos processos, bem como as oportunidades para
sua melhoria; d. avaliação administrativa: sem medir não há certeza de que se está
agregando valor, e se está sendo efetivo e eficiente.

Nesta perspectiva, o indicador de desempenho consiste num sensor, método ou

instrumento que transforma os dados em informações, a fim de executar a avaliação e
fornecer um resultado em números, uma unidade de medida, representando determinado
fenômeno, que auxilia na medição do desempenho organizacional.

2.3.4 O Tribunal de Contas da União e a avaliação das Universidades Federais

ABAIXO NÃO EM NADA HAVER INDICADORES DA UNESCO COM O TCU?

RETIRAR O TEXTO.

14
 Especificamente para o ensino superior, importantes organismos internacionais têm
utilizado sistemas de indicadores, para avaliar a educação superior dos países, destacando-se
os indicadores da United Nations Education, Scientific and Cultural Organitazion – UNESCO
e da Organization for Economic Co-operation and Development – OCDE (BERTOLIN,
2011).
O Quadro 1 apresenta os indicadores da UNESCO.

Políticas de prestação de contas e tomada de decisão nacional e internacional

Políticas claras para o pessoal acadêmico da educação superior
Promoção e desenvolvimento de pesquisa
Condições de liberdade e autonomia institucional, acadêmica e estudantil
Financiamento realizado na educação superior
Incremento de colaboração com outros países em relação à educação e pesquisa
Uso de novas tecnologias
Expansão de acesso
Equidade no acesso
Provisão de auxilio ao estudante
Ligações entre educação, indústria e emprego de graduados
Promoção da mobilidade internacional
Efeitos catalisadores dos sistemas globais e locais para o desenvolvimento
Quadro 1: Indicadores da UNESCO
Fonte: Adaptado de Bertolin (2011)

Os indicadores evidenciados são o resultado da compilação de várias ações

consideradas prioritárias pela UNESCO para o desenvolvimento da educação superior. O
Quadro 2 traz os indicadores elaborados pela OCDE.

A O Contexto Geral
1 População total
2 Taxas de crescimento populacional
3 População da terceira idade
4 Conexões de internet com banda larga
5 PIB per capita
6 Produtividade laboral
B Acesso, Participação e Progressão
7 Atendimento educacional
8 Número de graduados em ciências
9 Taxas de permanência nas IES universitárias
10 Estudantes despreparados na educação superior
11 Gastos em P&D na educação superior por área do conhecimento
12 Pesquisadores na educação superior
13 Pesquisadoras do sexo feminino

15
C Gastos com Educação Superior
14 Gasto por aluno
15 Mudanças nos gastos por aluno
16 Acumulação de gastos por aluno
17 Gastos com instituições educacionais como porcentagem do PIB
18 Subsídio público na educação superior
19 Pesquisa e desenvolvimento na educação superior
20 Financiamento da indústria na P&D da educação superior
D Retornos da Educação Superior
21 Educação e ganhos
22 Diferença de ganhos entre mulheres e homens
23 Taxa interna privada de retorno da educação superior
24 Educação e nível funcional
25 Situação da população jovem com baixo nível educacional
26 Participação na educação e capacitação continuada
E Internacionalização da Educação Superior
27 Estudantes estrangeiros na educação superior
28 Estudantes estrangeiros na educação superior por países de destino
29 Migração da educação
30 Bolsistas nos Estados Unidos
Quadro 2: Indicadores da OCDE
Fonte: Adaptado de Bertolin (2011)

No Brasil, baseado na Decisão nº 408/2002-Plenário (TCU, 2006), com o objetivo de

verificar o desempenho operacional, todas as UFs deverão incluir em seu Relatório de Gestão,
apresentado anualmente, os seguintes indicadores de desempenho, conforme Quadro 3.

1- Custo Corrente com HU / Aluno Equivalente

2- Custo Corrente sem HU / Aluno Equivalente
3- Aluno Tempo Integral / Professor Equivalente
4- Aluno Tempo Integral / Funcionário Equivalente com HU
5- Aluno Tempo Integral / Funcionário Equivalente sem HU
6- Funcionário Equivalente com HU / Professor Equivalente
7- Funcionário Equivalente sem HU / Professor Equivalente
8- Grau de Participação Estudantil (GPE)
9- Grau de Envolvimento Discente com Pós-Graduação (CEPG)
10- Conceito CAPES/MEC para a Pós-Graduação
11- Índice de Qualificação do Corpo Docente (IQCD)
12- Taxa de Sucesso na Graduação (TSG)
Quadro 3: Indicadores – Decisão TCU 408/2002 - Plenário
Fonte: TCU (2006)

16
 Percebe-se, com a apresentação dos indicadores elaborados pela UNESCO, pela
OCDE e pelo TCU uma preocupação em acompanhar e avaliar a educação superior, sob
diversas perspectivas, com vistas a sua melhoria e contribuição para o desenvolvimento dos
países. ISSO PARECE UMA CONCLUSAO

2.4 Eficiência como resultado

2.4.1 Eficiência na gestão pública

O estabelecimento de padrões no planejamento e a mensuração dos resultados,

conforme Mauss e Souza (2008), viabiliza, em um estágio seguinte, a avaliação de
desempenho dos gestores e da entidade governamental, com o objetivo de demonstrar sua
eficiência econômica, por meio do resultado econômico e o cumprimento da Lei.
O princípio da eficiência foi introduzido expressamente no caput do art. 37 da
Constituição Federal de 1988, por meio da Emenda Constitucional nº. 19/1998, que dispôs
sobre os princípios e as normas de administração pública, com vistas a impor o controle das
finanças e direcionar a busca da eficiência gerencial de uma gestão pública eficaz.
Anteriormente ao advento da Emenda Constitucional n°19/1998, o princípio da eficiência, de
acordo com Santos (2003), achava-se implicitamente incluído entre os deveres do gestor
público, significando que este deveria atuar com presteza, perfeição e rendimento funcional.
Medauar (2000) reforça que a eficiência é o principio que norteia toda a atuação da
Administração Pública. Esse princípio determina que a gestão deva ser rápida e precisa, para
produzir resultados que satisfaçam as necessidades da população. Di Pietro (2002) argumenta
que a eficiência pode ser considerada, em relação ao modo de atuação do agente público, do
qual se espera o melhor desempenho possível de suas atribuições. E pode ser considerado em
relação ao modo de organizar, estruturar, disciplinar a Administração Pública.
Conforme Zybersztajn e Sztajn (2005), eficiência significa a aptidão para obter o
máximo ou o melhor resultado ou rendimento, com a menor perda ou menor dispêndio de
esforços, relacionado aos aspectos de rendimento, de produtividade, de adequação à função.
O princípio da eficiência exige que os gestores atuem com presteza, perfeição e
rendimento funcional. Esse é o mais moderno princípio da função administrativa, pois a
mesma não contenta ser desempenhada apenas com legalidade e, sim, atender às necessidades
da sociedade (MEIRELLES, 2000).
A análise da eficiência compreende os seguintes aspectos: (i) comparação do serviço
prestado ou bem adquirido ou vendido, em relação com seu custo; (ii) comparação do

17
rendimento com uma referência ou padrão previamente estabelecido; (iii) recomendações para
melhorar os rendimentos apurados e a crítica dos resultados obtidos (BARACHO, 2000).
Sob o aspecto econômico, Peña (2008) conceitua eficiência como a combinação ótima
dos insumos e métodos necessários, (inputs) no processo produtivo de modo que gerem o
máximo de produto (output). Ou seja, eficiência é a capacidade de fazer certas as coisas, de
minimizar a relação insumos – produtos, com isso assegura a otimização da utilização dos
recursos e, portanto, relaciona-se com os meios e não com os fins.
A eficiência em uma IFES busca o desempenho em atividades de ensino, pesquisa e
extensão na transmissão de conhecimento como veremos a seguir.

2.4.2 Conceitos de eficiência aplicados às instituições de ensino superior

2.4.3 Análise Envoltória de Dados - DEA (Data Envelopment Analysis)

2.4.4 Índice de Malmquist

O índice de Malmquist é calculado para medir a mudança do nível de eficiência quando é

analisado mais de um período temporal. Conforme Ferreria e Gomes (2009), o índice foi
proposto por Malmquist (1953), o qual tinha como objetivo analisar questões relacionadas ao
comportamento do consumidor, comparando a quantidade de insumos com a mesma
quantidade de produto em dois períodos de tempo.

2.4.5 Estudos de aplicação da DEA em Universidades Federais

A literatura internacional fornece alguns estudos sobre a eficiência das universidades

públicas em diversos países. Esses estudos utilizam, em sua maioria, a metodologia DEA. Os
primeiros estudos começaram em 1986, porém apresentar-se-á os estudos mais recentes.
Abbot e Doucouliagos (2003) estudaram a escala técnica de eficiência de cada uma
das universidades australianas por meio da metodologia DEA. Os resultados demonstraram
homogeneidade no desempenho em todo o sistema universitário, o que sugere que as
universidades australianas operam em um nível bastante elevado de eficiência.
Joumady e Ris (2005) mensuraram por meio da metodologia DEA as diferenças de
eficiência para um conjunto de 210 instituições de ensino superior entre oito países da Europa
por meio de amostra de estudantes com mais de três anos de formados. Foram estimados três
modelos: o primeiro centrou-se nas competências dos serviços educacionais; o segundo
(modelo de ajustamento) estimou a eficiência da aprendizagem após o término do curso de
graduação; e o terceiro (modelo global) foi projetado para explorar o sucesso da universidade

18
em atrair o desempenho geral. Seus resultados foram bastante diferenciados para os três
modelos, ou seja, a eficiência variou conforme o modelo utilizado.
Wolszczak-Derlacz e Parteka (2011) com o objetivo de analisar a eficiência e seus
determinantes em um conjunto de 259 instituições de ensino superior de sete países europeus,
no período de 2001 a 2005. Utilizou como variáveis o número de graduações, número de
publicações científicas, número de pessoal acadêmico, número de alunos e receitas totais para
seu estudo. O modelo utilizado foi o CRS e os resultados indicaram uma considerável
variabilidade de escores de eficiência dentre e entre os países.
Foltz et al. (2012) investigaram as determinantes da eficiência e processo tecnológico
em universidades de pesquisa americanas. Para tanto, as variáveis selecionadas foram: alunos
de graduação e pós-graduação formados, publicações, número de professores, estudantes de
doutorado e pós-doutorado. Os resultados mostraram como as mudanças nas fontes de
financiamentos para as universidades afetam o desempenho das pesquisas.
Sav (2012) utilizou as variáveis como o total de custos operacionais, horas de crédito
de graduação, número de matrículas e bolsa de estudos para determinar em que medida
existem ineficiência de custos operacionais no ensino superior público americano. Pelas
estimativas empíricas observou-se que a ineficiência dos custos universitários é afetada por
condições ambientais relacionadas às características de matrículas de alunos e de emprego dos
professores e que a ineficiência pode ser reduzida com ações gerenciais.
Vasquez (2012) estudou por meio da DEA as eficiências e as produtividades das
instituições portuguesas do ensino superior público: universidades e institutos politécnicos.
Na análise considerou oito períodos acadêmicos: 2000-2001 a 2007-2008. Nas considerações,
concluiu que as universidades e os institutos politécnicos melhoraram as suas eficiências
relativas e produtividades, além de verificar a assimetria regional como impacto na eficiência.
No Brasil, os primeiros estudos começaram em 1997 com a pesquisa de Ramos e
Souza, mas pode-se notar que as pesquisas voltadas para as universidades federais de ensino
superior vêm se intensificando na última década, principalmente devido à pressão de órgãos
ligados ao ensino superior junto ao Ministério da Educação para avaliar a magnitude dessa
eficiência e de seus resultados para a sociedade como um todo.
Corbucci (2000) avaliou os gastos do MEC com as instituições federais de ensino
superior, estabelecendo indicadores de eficiência e produtividade no período de 1995-1998.
Seus resultados constataram, apesar da redução nos gastos operacionais das instituições
analisadas, um aumento do acesso do número de formandos tanto na graduação quanto na

19
pós-graduação stricto sensu, bem como um incremento da produção científica, o que
significou ganhos de eficiência e de produtividade nessas instituições.
Oliveira e Turrioni (2005) avaliaram a eficiência relativa IFES. Os inputs e os outputs
foram construídos com a utilização dos indicadores do Tribunal de Contas da União (TCU).
Foram avaliadas 19 instituições federais de ensino superior, das quais cinco foram
consideradas tecnicamente ineficientes.
Costa, Ramos e Souza (2010) buscaram, por meio da metodologia DEA, estimar a
fronteira de eficiência do setor educacional público federal a fim de obter o grau de eficiência
produtiva de cada instituição federal de ensino superior (Ifes) e, posteriormente, compor um
ranking, partindo da instituição mais eficiente para a menos eficiente. Os resultados mostram
que apesar das fronteiras apresentarem baixos escores de ineficiência, houve um
deslocamento da fronteira técnica de eficiência para um nível inferior, indicando que pode
estar havendo deterioração do produto educacional ao longo do tempo.
Nuintim (2014) utilizou a DEA para avaliar a eficiência da aplicação de recursos
públicos em 52 Universidades Federais nos períodos de 2008 a 2011. Os dados foram
coletados nos Através dos indicadores divulgados no Relatório de Gestão e os resultados dos
rankings universitários foi possível mensurar o nível de eficiência da aplicação de recursos
públicos, contribuindo para a melhoria da transparência e para a accountability reduzindo a
assimetria informacional entre a sociedade e as UFs.
Por fim, Curi (2015) com o objetivo de avaliar o nível de eficiência da utilização dos
recursos renováveis nas Universidades Federais, utilizou a DEA para verificar o nível de
sustentabilidade em 59 UFs. Os resultados possibilitaram uma visão geral do nível de
eficiência da utilização dos recursos renováveis contribuindo para um melhor aproveitamento
dos recursos naturais, para a melhoria da transparência na área pública, além da possível
utilização da pesquisa na tomada de decisões.

NÃO ENTENDI SE JÁ FORAM FEITOS DIVERSOS TRABALHOS NAS

UNIVERSIDADES FEDERAIS USANDO A FERRAMENTA DEA EM QUE SEU
ESTUDO SERÁ DIFERENTE?
FALTOU FALAR SOBRE O MODELO DE AVALIAÇÃO A SER USADO NO ESTUDO
3 METODOLOGIA

Esse tópico tem por objetivo apresentar e discutir os métodos que serão usados para
atender aos objetivos propostos. Identificando o tipo de pesquisa, objeto e amostragem do

20
estudo, além de apresentar a Análise Envoltória de Dados, metodologia a ser utilizada para
analisar a eficiência das UFs.

3.1 Tipo de pesquisa

Quanto aos fins essa pesquisa, trata-se de uma pesquisa exploratória e descritiva.
Exploratória no que tange à produção de informações que subsidiem a resolução do problema
proposto. Gil (2010, p. 27) afirma que este tipo de pesquisa “tem como propósito
proporcionar maior familiaridade com o problema, com vistas a torná-lo mais explícito”.
Raupp e Beuren (2006) corroboram afirmando que a pesquisa exploratória busca conhecer
com maior profundidade o assunto, tornando-o mais claro ou construindo questões
importantes para a condução da pesquisa.
Já em relação às características descritivas será aplicada no intuito de conhecer e
interpretar a realidade das IFES, identificando suas características específicas e indicadores,
de forma que possam ser classificados e interpretados os fenômenos ocorridos na mesma.
Nesse sentindo Cervo e Bervian (1996, p. 49) afirmam que “a pesquisa descritiva
procura descobrir, com a precisão possível, a frequência com um fenômeno ocorre, sua
relação e conexão, com os outros, sua natureza e características, correlacionando fatos ou
fenômenos sem manipulá-lo”.
Em relação a forma de abordagem do problema utilizar-se-á o método quantitativo
devido ao fato de utilizar metodologias e técnicas estatísticas como a DEA e as técnicas
estatísticas descritivas, para avaliar como está a eficiência das Universidades Federais diante
do desempenho das atividades de ensino, pesquisa e extensão.
Conforme Richardson (1999, p. 70) a abordagem quantitativa caracteriza-se “[...] pelo
emprego da quantificação tanto nas modalidades de coleta de informações, quanto no
tratamento delas por meio de técnicas estatísticas, desde as mais simples como percentual,
média, desvio-padrão, às mais complexas, como coeficientes de correlação, análise de
regressão, etc”.
A pesquisa quantitativa, para Michel (2009, p. 33) “[...] se realiza na busca de
resultados precisos, exatos, comprovados através de medidas de variáveis preestabelecidas, na
qual se procura verificar e explicar sua influência sobre outras variáveis, através da análise da
frequência de incidências e correlações estatísticas”.
Considera-se, ainda, que a pesquisa tem uma dimensão empírica, pelo fato de se
propor observar organizações públicas reais e levantar dados a ela referentes.

21
3.2 Objeto de estudo e amostragem

Neste estudo, a população é composta pelas Universidades Federais do Brasil, como

unidades de análise da pesquisa, num total de 63 UFs.
A amostra, para Vera (1983), representa um conjunto de elementos selecionados e
extraídos de uma população com o objetivo de descobrir alguma característica dessa
população. A amostra deste estudo se caracteriza como censitária, uma vez que participou da
investigação, a população total. O censo, segundo Martins (2002) consiste em um
levantamento de informações de todos os integrantes do universo pesquisado.

3.3 Procedimentos e técnicas de coleta de dados

Para o desenvolvimento da pesquisa será realizada pesquisa bibliográfica e pesquisa

documental. Serão pesquisados temas sobre eficiência na gestão pública, correlacionando com
as IFES, avaliação de desempenho nas IFES, bem como seus indicadores. Em relação à
pesquisa documental, Marconi e Lakatos (2007) afirmam que a principal característica é que a
fonte de coleta de dados está restrita a documentos escritos ou não.
Os dados de natureza secundária serão provenientes do Relatório de Gestão das
Instituições Federais de Ensino Superior, disponíveis para livre consulta no portal do Tribunal
de Contas da União - TCU na internet, que contém a prestação de contas anual da Unidade a
qual está obrigada nos termos do artigo 70 da Constituição Federal de 1988. O relatório é
elaborado de acordo com as disposições da Instrução Normativa do Tribunal de Contas da
União - TCU n° 63/2010 e das orientações do órgão de controle interno.
O relatório de gestão é apreciado e aprovado internamente pelos órgãos competentes
que compõem as IFES. Os dados selecionados para esse estudo, serão buscados no Relatório
de Gestão, identificando indicadores de desempenho informados ao TCU, separado em
atividades de ensino, pesquisa e extensão, podendo contribuir no sentido da manutenção ou
melhoraria das práticas de gestão das UFs, visando obter melhores resultados no tripé
educacional.
O período de análise refere-se aos anos de 2013 a 2017, o que o caracteriza com um
estudo longitudinal. De posse dos dados serão feitos levantamentos sobre a eficiência dos
recursos públicos aplicados às Universidades Federais no que diz respeito avaliação de
desempenho das atividades de ensino, pesquisa e extensão, utilizando a metodologia da DEA.

22
3.4 Análise Envoltória de Dados

Por meio do uso da Data Envelopment Analysis – DEA, o estudo buscará apresentar
uma abordagem alternativa para mensurar o nível de a eficiência dos recursos públicos
aplicados às Universidades Federais no que diz respeito avaliação de desempenho das
atividades de ensino, pesquisa e extensão.
Farrel (1957) conforme o seu estudo The Measurement of Productive Efficiency
argumenta que para obter um planejamento econômico é importante saber o quanto pode ser
esperado de um determinado setor aumentar sua produção simplesmente aumentando a sua
eficiência, sem absorver mais recursos. Com seu estudo Farrel (1957) desenvolve um método
permitindo avaliar a eficiência de uma firma combinando múltiplos insumos e obter um
indicador de eficiência relativa.
Em 1978, com base no trabalho de Farrel (1957), Charnes, Cooper e Rhodes (1978)
desenvolvem a metodologia DEA, caracterizando-se como uma técnica não paramétrica
baseada na programação linear, a forma não paramétrica não se baseia em uma função
especificada a priori.
Essa metodologia objetiva mensurar a eficiência de unidades tomadoras de decisão,
também chamadas de Decision Marking Units (DMU), tais como empresas privadas,
instituições públicas, financeiras, sem fins lucrativos, departamentos ou setores internos,
dentre outros. Devido a sua flexibilidade no processo de avaliação, o DEA tem uma vasta base
de utilização prática em diferentes segmentos. Revilla et al (2003) e Hsu e Hsueh (2009)
destacam sua utilização em programas governamentais.
O objetivo da DEA consiste em comparar certo número de DMUs, que realizam
tarefas similares e se diferenciam nas quantidades de inputs que consomem e de outputs que
produzem. Determinada a eficiência do conjunto, as DMUs mais eficientes podem balizar as
ineficientes, sendo utilizadas como referência, no estabelecimento de metas com a função de
melhorar o desempenho (KOZYREFF FILHO; MILIONI, 2004).
Assim, a análise DEA mede a eficiência relativa de cada unidade com respeito aos
melhores desempenhos observados. Estes melhores desempenhos determinam fronteiras de
produção constituindo limites aos resultados alcançáveis com um dado conjunto de recursos.
Os índices de eficiência de uma unidade são medidos a partir das posições relativas por ela
ocupados em relação àquelas fronteiras. Com isso, interpreta-se cada resultado como
descritivo das habilidades e das restrições objetivas que o determinam, admitindo-se que,

23
contornadas as restrições e ampliadas as habilidades, os resultados possam ser incrementados
(LAPA, BELLONI, NEIVA, 1997).
DESCREVER MELHOR A DEA que é uma técnica não paramétrica de avaliação da
eficiência relativa de um conjunto de Unidades Tomadoras de Decisão. ESTÁ MAL
EXPLICADO O USO DA FERRAMENTA.....NÃO MENCIONOU COMO SÃO
SELECIONADOS OS INPUTS E OUTPUTS E SUAS CORRELAÇOES... O número de
variáveis (inputs + outputs) e de DMU utilizados na análise como será calculado ,,,,,,
3.4.1 Seleção das variáveis
ESSAS VARIÁVEIS NÃO FORAM MENCIONADAS NA PARTE REFERENCIAL?
COMO FORAM/SERÃO ESCOLHIDAS?
Com os dados do período de 2013 a 2017, referentes a 63 UFs, os cálculos serão
efetuados com o uso do software livre EMS, o que permitirá avaliar a eficiência relativa de
cada DMU, no caso as UFs, considerando-se o Orçamento de Custeio e Capital (OCC) que
dispõe (input) e os indicadores de desempenho (outputs) separados por atividades de ensino,
pesquisa e extensão. Será realizada uma análise com uma variável de input e nove variáveis
de outputs, conforme Quadro 4.

Item Variável selecionada Descrição/Resultado Atividade relacionada

Input 1 Orçamento de Custeio e Recursos públicos aplicados à -
Capital IFES
Output 1 Custo Corrente/Aluno Indicador TCU - refere-se ao Ensino
Equivalente total de alunos, ponderado pela
duração do curso, fator de
retenção e peso do grupo do
curso.
Output 2 Taxa de sucesso na Indicador TCU - informa a Ensino
graduação relação número de diplomados
por número total de alunos
ingressantes.
Output 3 Índice Geral dos cursos Média dos conceitos – MEC Ensino
Output 4 Qualificação do Corpo Indicador TCU – qualificação Ensino
Docente do docente de acordo com pesos
entre 5 e 1.
Output 5 Bolsas de iniciação científica Gasto total com bolsas de Pesquisa
pesquisas
Output 6 Pesquisas Universitárias e Total de pesquisas publicadas Pesquisa
Difusão dos Resultados
Output 7 Projetos de pesquisa Total de projetos de pesquisa Pesquisa
desenvolvidos por fundações aprovados por Agência de
de apoio Fomento
Output 8 Inovação Quantidade de patentes pedidas Pesquisa
no INPI pelas universidades.
Output 9 Serviços à Comunidade por Total de pessoas beneficiadas - Extensão
meio da Extensão refere-se às atividades voltadas
Universitária à coletividade, viabilizando a
prestação de serviços sociais e

24
 integração entre a UF e a
comunidade.
Output 10 Projetos de extensão Total de projetos de extensão Extensão
executados executados e aprovados.
Output 11 Bolsas de extensão Gasto total com bolsas de Extensão
extensão
Quadro 4: Nível de eficiência - variáveis de medidas de desempenho e atividades
Fonte: Dados da pesquisa (2017)

Há dois modelos clássicos de operacionalizar a DEA: (1) o modelo CRS ou CCR

(Charnes et. al, 1978), que considera retornos de escala constante e o modelo VRS ou BCC
(Banker et al., 1984), que considera retornos variáveis de escala e não assume
proporcionalidade entre inputs e outputs.
Conforme Haynes e Dinc (2005), a metodologia DEA pode ser orientada para input e
output. O modelo orientado a input busca maximizar a redução proporcional nas variáveis de
input, enquanto mantém o nível de output constante. E o modelo orientado a output, maximiza
o aumento proporcional das variáveis de output mantendo o mesmo nível de inputs, sendo
este o modelo a ser utilizado nessa pesquisa.
Com relação ao setor público, os gestores trabalham com orçamentos fixados e, com
os recursos disponíveis buscam aumentar a produção de serviços para atender mais pessoas
(VARELA, 2011; CORRAR, 2011).

3.5 Indicadores determinantes e ou influenciadores do nível de eficiência relativas as

UFs

Para identificar e descrever os indicadores determinantes e ou influenciadores do nível

de eficiência relativas à aplicação de recursos públicos nas UFs será utilizado o modelo de
regressão Tobit.

5 RESULTADOS ESPERADOS
VEJA SE VAI RESPONDER AS SUAS INDAGAÇÕES?
Os recursos aplicados nas UFs, para gerar atividades de ensino, pesquisa e extensão,
têm como fontes a arrecadação própria, a destinação de verbas via parlamentares e os recursos
do tesouro nacional, distribuídos por meio da matriz de alocação de recursos e por meio dos
programas de governo específicos para a educação superior.
Nas UFs o Relatório de Gestão é um dos instrumentos para a transparência e para a
prestação de contas que, por meio das informações divulgadas, possibilita verificar se os
resultados da aplicação de recursos públicos apresentam níveis de eficiência.
25
 O princípio da eficiência, no setor público, faz com que o gestor público, em virtude
da escassez de recursos e demanda de serviços elevada, realize as atividades de forma mais
produtiva possível, ou seja, com menor nível de insumos obtenha níveis de produção maiores,
considerando as características das entidades públicas.
Um mecanismo utilizado para avaliação da gestão de recursos públicos são os
indicadores, os quais permitem evidenciar os resultados desta aplicação, a situação atual, bem
como auxiliar o gestor no processo de tomada de decisão. Os indicadores podem fornecer
informações quantitativas como, número de alunos, docentes, funcionários, pessoas atendidas.
Através da utilização da metodologia DEA, será possível verificar a eficiência dos
recursos públicos aplicados nas UFs para o desenvolvimento de atividades de ensino, pesquisa
e extensão. Verificando assim, se há indissociabilidade do tripé ensino-aprendizagem, além de
atender satisfatoriamente a sociedade. Posteriormente analisando os indicadores
determinantes e ou influenciadores do nível de eficiência relativas as UFs.

7 REFERÊNCIAS

ABBOT, M.; DOUCOULIAGOS, C. The efficiency of Australian Universities a data

envelopment analysis. Economics of Education Review, v. 22, p. 89-97, 2003.

AHN, T.S. Efficiency and related issues in higuer education: a Data Envelopment Analysis
approach. Ph.D. Dissertation, The University of Texas at Austin. Austin, 1987.

ARRETCHE, M. Tendências no estudo sobre avaliação. In: RICO, Elizabeth Melo (Org.).
Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1999.

BANKER, R. D.; CHARNES, A.; COOPER, W. W. Some models for estimation technical
and scale inefficiencies in data envelopment analysis. Management Science, Providence, v.
30, p. 1078-1092, 1984.

BARACHO, M. A. P. A importância da gestão de contas públicas municipais sob as premissas

da governance e accountability. Revista Tribunal de Contas de Minas Gerais, Belo
Horizonte, v. 34, n. 1, p. 129-161, jan./mar. 2000.

BERTOLIN, J. C. G. Uma proposta de indicadores de desempenho para a educação superior

brasileira. Estudos em Avaliação Educacional, São Paulo, v. 22, n. 50, p. 471-490, set./dez.
2011.

BRASIL. Constituição da República Federativa do Brasil. São Paulo: Saraiva, 1988.

26
BRASIL. Decreto nº 6.096, de 24 de abril de 2007. Institui o Programa de Apoio a Planos de
Reestruturação e Expansão das Universidades Federais - REUNI. Publicado no DOU de 25-
04-2007.

BRASIL. Ministério da Educação. Comissão constituída pela Portaria nº 126/2012. Análise

sobre a expansão das Universidades Federais 2003 a 2012. Brasília, 2012.

BRASIL. Lei complementar nº 101, de 4 de maio de 2000. Estabelece normas de finanças

públicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. Brasília,
2000. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm>. Acesso em:
out. 2015.

BRASIL. Ministério da Educação. A coleta de dados das IFES para alocação de recursos
orçamentários. Brasília, 2006.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Gestão. Guia

referencial para medição de desempenho e manual para construção de indicadores.
Brasília, 2009.

CASTRO, Luciana Maria Cerqueira. A universidade, a extensão universitária e a produção de

conhecimentos emancipadores. In: Reunião Anual da Anped, 27., Caxambu, 2004. Anais...
Caxambu: ANPEd, 2004. Disponível em: < http://27reuniao.anped.org.br/gt11/t1111.pdf >.
Acesso em: out. 2015.

CERVO, A.; BERVIAN, A. Metodologia científica: para uso dos estudantes universitários. 4.
ed. São Paulo: McGraw-Hill do Brasil, 1996.

CHARNES, A.; COOPER, W. W.; RHODES, E. Measuring the efficiency of decision-making

units. European Journal of Operational Research, Amsterdam, v. 2, p. 429-444, 1978.

COLLINS, H. M. Tacit knowledge, trust and the Q of sapphire. Social Studies of Science, n.
31, p.71-85, 2001.

CORBUCCI, P. R. As universidades federais: gasto, desempenho, eficiência e produtividade.

Ipea, Texto para discussão 752, 2000. Disponível em: <
http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_0752.pdf>. Acesso em out. 2015.

CORRAR, L. J.; PAULO, E.; DIAS FILHO, J. M. (Coord.). Análise multivariada para
cursos de administração, ciências contábeis e economia. São Paulo: Atlas, 2007.

COSTA, E. M. et al. Eficiência e desempenho no ensino superior: uma análise da fronteira de

produção educacional das ifes brasileiras. Revista de Economia Contemporânea, Rio de
Janeiro, v. 16, n. 3, p. 415-440, set./dez. 2012.

Costa, E. M.; Ramos, F. S.; Souza, H. R. Mensuração de Eficiência Produtiva das

Instituições Federais de Ensino Superior (Ifes). Disponível em:
<http://www3.tesouro.fazenda.gov.br/Premio_TN/XVPremio/qualidade/2qualidadeXVPTN/T
ema_2_2.pdf>. Acesso em: out. 2015

27
CURI, M. A. Eficiência de universidades federais no uso de recursos renováveis. 2015.
179 p. Tese de Doutorado em Administração – Universidade Federal de Lavras, Lavras, 2015.

DAFT, R. L.; MARCIC, D. Understanding Management. Versailles: Thomson - South-

Western, 2004.

DI GIACOMO, W. Á. O new public management no Canadá e a gestão pública

contemporânea. Interfaces Brasil/Canadá, Rio Grande,v. 5, n. 5, p. p. 155-170, 2005.

DI PIETRO, M. S. Z. Direito administrativo. 14. ed. São Paulo: Atlas, 2002.

FARREL, M. J. The Measurement of productive efficiency. Journal of the Royal Statistical

Society, London, v. 120, n. 3, p. 253-290, 1957.

FERREIRA, C. M. C.; GOMES, A. P. Introdução à análise envoltória de dados: teoria,

modelos e aplicações. Viçosa: UFV, 2009. 389 p.

FOLTZ, J. D. et al. Efficiency and technological change at US research universities. Journal

of Productivity Analysis, Dordrecht, v. 37, n. 2, p. 171-186, Oct. 2012.

GIL, A. C. Como elaborar projetos de pesquisa. 5. ed. São Paulo: Atlas, 2010.

GIL, A. L. Qualidade total nas organizações. São Paulo: Atlas, 1992.

HARRINGTON, H. J. Aperfeiçoando processos empresariais. São Paulo: Makron, 1993.

HAYNES, E. K.; DINC, M. Data Envelopment Analysis (DEA). In: KEMPFLEONARD, K.

(Ed.). Encyclopedia of social measurement. New York: Elsevier, 2005. v. 1, p. 609-616.
HAWANY, T. Atividades acadêmicas e a indissociabilidade do ensino, da pesquisa e da
extensão. Disponível em: < http://www.thonnyhawany.com/2012/08/atividades-academicas-
e_16.html>. Acesso em: nov 2017.

HSU, F.; HSUEH, C. Measuring relative efficiency of government-sponsored R&D projects:

a theree stage approach. Evaluation and Program Planning,Oxford, v. 32, n. 2, p 178-186,
May 2009.

JOUMADY, O.; RIS, C. Performance in European higher education: a nonparametric

production frontier approach. Education Economics, Oxford, v. 13, n. 2, p. 189-205, 2005.

KOZYREFF FILHO, E.; MILIONI, A. Z. Um método para estimativa de metas DEA.

Revista Produção, São Paulo, v. 14, n. 2, p. 270-281, 2004.

LAPA, J. S.; BELLONI, J. A.; NEIVA, C. C. Medida de desempenho de unidades

acadêmicas de uma instituição de ensino superior. Florianópolis: UFSC, 1997.

LAPA, J.S.; NEIVA, C.C. Avaliação em educação: comentários sobre desempenho e

qualidade. Ensaio, v. 4, nº 12 (jul./set. 1996), 213-236, 1996.

MACARTHUR, J. B. Performance measures that count: monitoring variables of strategic

importance. Journal of Cost Management, v. 10, n. 3, p. 39-45, 1996.
28
MAFRA, A. T. Proposta de Indicadores de Desempenho para a Indústria de Cerâmica
Vermelha. 1999. Dissertação (Mestrado em Engenharia de Produção) – Universidade Federal
de Santa Catarina, Florianópolis, 1999.

MARCONI, M. A.; LAKATOS, E. M. Técnicas de pesquisa: elaboração e execução de

pesquisas, amostragens e técnicas de pesquisas, elaboração, análise e interpretação de dados.
6. ed. São Paulo: Atlas, 2007.

MARTINS, G. A. Manual para elaboração de monografias e dissertações. 3. ed. São

Paulo: Atlas, 2002.

MAUSS, C. V.; SOUZA, M. A. de. Gestão de custos aplicada ao setor público: modelo para
mensuração e análise da eficiência e eficácia governamental. São Paulo: Atlas, 2008.

MEDAUAR, O. Direito administrativo moderno. 4. ed. São Paulo: Revista dos Tribunais,
2000.

MEIRELLES, H. L. Direito administrativo brasileiro. 25. ed. São Paulo: Malheiros, 2000.

MICHEL, M. H. Metodologia e pesquisa científica em ciências sociais. 2. ed. São Paulo:

Atlas, 2009.

NEELY, A. et al. Performance Measurement System Design: should Process Based

Approaches be adopted. International Journal Production Economics, Amsterdam, v. 46-
47, p. 423-431, 1996.

NUINTIN, A. A. Eficiência da aplicação de recursos públicos nas universidades federais.

2014. 169 p. Tese para Doutorado em Administração – Universidade Federal de Lavras,
Lavras, 2014.

OLIVEIRA II, J. S. O princípio constitucional da eficiência e a concretização dos direitos

fundamentais. FIDES, Natal, v. 1, n. 1, p. 107-124, 2010.

OLIVEIRA, C. E. M.; TURRIONI, J. B. Avaliação de desempenho de Instituições Federais

de Ensino Superior através da Análise por Envoltória de Dados (DEA), 2005. Disponível
em: <
http://www.iem.unifei.edu.br/turrioni/congressos/ENEGEP/2006/Avaliacao_de_desempenho_
de_instituicoes_federais_de_ensino_superior_atraves_da_analise_por_envoltoria_de_dados_(
DEA).pdf>. Acesso em: nov. 2015.

OSPINA, G. L. Definição de uma agenda para o ensino superior nos anos 90. In: Crub.
Universidade, Estado e Sociedade na década de 90. Brasília, 1990.
PEÑA, C. R. Um modelo de avaliacăo da eficięncia da administracăo publica através do
método análise envoltória de dados (DEA). RAC, Curitiba, v. 12, n. 1, p. 83-106, jan./mar.
2008.

PIMENTA, S. G., ALMEIDA, M. I. (Orgs.). Pedagogia Universitária: caminhos para a

formação de professores. São Paulo: Cortez, 2011.

29
POLLITT, C.; BOUCKAERT, G. Public management reform: a comparative analysis. 2ed.
Oxford University Press. 2004.

RAUPP, F. M.; BEUREN, I. M. Metodologia da pesquisa aplicável às ciências sociais. In:

BEUREN, I. M. (Org.). Como elaborar trabalhos monográficos em contabilidade: teoria e
prática. São Paulo: Atlas, 2006.

REVILLA, E.; SARKIS, J.; MODREGO, A. Evaluating performance of publicprivate

research collaborations. Journal Operational Research Society, Oxford, v. 54, n. 2, p. 165-
174, 2003.

RICHARDSON , R. J. Pesquisa Social: métodos e técnicas. São Paulo: Atlas, 1999.

RUMMLER, G.; BRACHE, A. P. Melhores desempenhos das empresas: uma abordagem

prática para transformar as organizações através da reengenharia. 2. ed. Tradução de Katia
Aparecida Roque. Makron Books, 1994.

SANTOS, A. C. Princípio da eficiência da administração pública. São Paulo: LTr, 2003.

SAV, G. T. Managing operating efficiencies of publicly owned universities: American

university stochastic frontier estimates using panel data. Advances in Management &
Applied Economics, New York, v. 2, n. 1, p. 1-23, 2012.

SAVIANI, D. Escola e democracia. São Paulo: Cortez, Autores Associados, 1985. Tendências
e correntes da educação no Brasil. In: MENDES, Durmeval Trigueiro (Coord.). Filosofia da
educação brasileira. 3 ed. Rio de Janeiro: Civilização Brasileira, 1987. p.19-47.

SILVA, L. M. Contabilidade Governamental: um enfoque administrativo da nova

contabilidade pública. 8 ed. São Paulo: 2009. 400 p.

SLOMSKI, V. Controladoria e governança na gestão pública. São Paulo: Atlas, 2009.

TRIBUNAL DE CONTAS DA UNIÃO. Instrução Normativa nº 63/2010. Brasília, 2010.

TRIBUNAL DE CONTAS DA UNIÃO. Orientações para o cálculo dos indicadores de

gestão: decisão plenária nº 408/2002. Brasília, 2006.

VARELA, P. S.; MARTINS, G. A. Efficiency of primary health care spending by

municipalities in the metropolitan region of São Paulo: a comparative analysis of DEA
models. Review of Business, New York, v. 32, n. 2, p. 17-34, June 2011.

VASQUEZ, M. C. Eficiência e Produtividade no Ensino Superior Público. 2012. 237 p.

Tese para Doutor em Ciências Sociais na Especialidade de Administração Pública –
Universidade Técnica de Lisboa. Lisboa, 2012.

VERA, A. A. Metodologia da pesquisa científica. 7. ed. Porto Alegre: Globo, 1983.

30
WOLSZCZAK-DERLACZ, J.; PARTEKA, A. Efficiency of European public higher
education institutions: a two-stage multicountry approach. Scientometrics, Amsterdam, v. 89,
n. 3, p. 887-917, Aug. 2011.

ZILBER, M. A; FISCHMANN, A. A. Competitividade e a importância de indicadores de

desempenho: utilização de um modelo de tendência. In: Encontro da Associação Nacional dos
Programas de Pós-Graduação em Administração, 2002, Salvador. Anais... Salvador: ANPAD,
2002.

ZYLBERSZTAJN, D.; SZTAJN, R. (Org.). Direito e economia: análise do direito e das

organizações. Rio de Janeiro: Elsevier, 2005.

31