Chamada Publica FEP0311 Produto5

Levantamento e avaliao
da literatura econmica
sobre o BNDES

Produto 5 Anlise Bibliomtrica

Maio de 2013

2

3

Levantamento e avaliao
da literatura econmica
sobre o BNDES

Pesquisa Cientfica n 03/2011 FEP/BNDES
Literatura Econmica
1

Pesquisadores:

Alex Luiz Ferreira
Anne Hanley
Jlio Manuel Pires
Maurcio Jorge Pinto de Souza
Renato Leite Marcondes
Rosane Nunes de Faria
Srgio Naruhiko Sakurai

Assistentes:

Guilherme Byrro Lopes
Graziella Magalhes Candido de Castro
Gustavo Foresto Crispim

1
Este projeto est sendo executado com o apoio financeiro do Banco Nacional do Desenvolvimento
Econmico e Social (BNDES), por meio de financiamento no reembolsvel com recursos do Fundo de
Estruturao de Projetos do BNDES (FEP). O contedo dos estudos e pesquisas de exclusiva
responsabilidade dos autores, no refletindo, necessariamente, a opinio do BNDES. Para maiores
informaes sobre essa modalidade de financiamento, acesse o site
http://www.bndes.gov.br/programas/outros/fep.asp
4

5

ndice
Lista de Figuras .............................................................................................................. 6
Lista de Tabelas .............................................................................................................. 7
Indicadores bibliomtricos para a avaliao da Literatura Econmica do BNDES
no perodo de 1952-2013 ................................................................................................ 8
1. Introduo ............................................................................................................. 8
2. Indicadores Bibliomtricos ................................................................................. 10
3. Metodologia ........................................................................................................ 13
3.1. Banco de Dados ............................................................................................ 13
3.2. Mtodo de Anlise ....................................................................................... 17
4. Resultados ........................................................................................................... 20
4.1. Indicadores de Produo .............................................................................. 20
4.1.1. Variveis de caracterstica das obras ........................................................ 20
4.1.2 Variveis de classificao das obras ......................................................... 33
4.2. Indicadores de Desempenho......................................................................... 37
4.2.1. Variveis de caracterstica das obras ........................................................ 37
4.2.2. Variveis de classificao das obras ......................................................... 46
4.3. Indicadores Relacionais................................................................................ 49
5. Consideraes Finais .......................................................................................... 61
Referncias Bibliogrficas ......................................................................................... 64
Anexo I............................................................................................................................66
Anexo II........ ................................................................................................................. 71
Anexo III....... ................................................................................................................. 76
Anexo IV..... ................................................................................................................... 78
Anexo V............ ............................................................................................................. 80

6

Lista de Figuras

Figura 1 - Esquema representativo das fases da montagem do banco de dados do Projeto
Literatura Econmica sobre BNDES .......................................................................... 13
Figura 2 - Resumo do processo de anlise bibliomtrica ............................................... 18
Figura 3 - Evoluo dos documentos da literatura econmica sobre o BNDES no
perodo 1957-2013 e instituio responsvel ................................................................. 22
Figura 4 - Documentos da literatura econmica sobre o BNDES, por tipo e Instituio
responsvel pela publicao ........................................................................................... 24
Figura 5 - Distribuio de frequncia dos peridicos acadmicos ................................. 28
Figura 6 - Distribuio das publicaes sobre o BNDES por autores ............................ 31
Figura 7 - Autores que mais publicaram sobre o BNDES com a respectiva instituio de
afiliao .......................................................................................................................... 32
Figura 8 - Documentos da literatura econmica sobre o BNDES, por idioma e pas da
publicao ....................................................................................................................... 33
Figura 9 - Classificao das obras sobre o BNDES de acordo com o grau de referncia
que o documento confere ao banco ................................................................................ 35
Figura 10 - Distribuio de frequncia dos documentos da literatura econmica sobre o
BNDES por nmero de citao recebida ........................................................................ 38
Figura 11 - Evoluo do nmero de citaes dos principais trabalhos mais citados no
Banco de Dados .............................................................................................................. 42
Figura 12 - Distribuio dos autores por nmero de citao recebida ........................... 43
Figura 13 - Distribuio das obras sobre o BNDES de acordo com o nmero de citaes
recebidas e grau de referncia ao banco ......................................................................... 49
Figura 14 - Redes de citao dos dezessete trabalhos mais citados no Banco de Dados 51
Figura 15 - Redes de co-citao dos dezessete trabalhos mais citados .......................... 52
Figura 16 - Distribuio dos autores de acordo com o nmero de coautores, segundo
afiliaes ao BNDES e outras instituies ..................................................................... 55
Figura 17 - Trs principais redes de coautoria identificadas no Banco de Dados .......... 56
Figura 18 - Nmero de documentos produzidos em coautoria e sua participao no total
(1968-2013) .................................................................................................................... 57
Figura 19 - Redes de cooperao entre instituies ....................................................... 60

7

Lista de Tabelas

Tabela 1 - Temticas consideradas na Fase III de classificao dos documentos .......... 16
Tabela 2 - Caractersticas gerais do Banco de Dados ..................................................... 21
Tabela 3 - Documentos da literatura econmica sobre o BNDES, por tipo e dcada da
publicao ....................................................................................................................... 25
Tabela 4 - Principais instituies nacionais responsveis pela publicao da literatura
econmica sobre o BNDES, por tipo de documento ...................................................... 26
Tabela 5 - Principais instituies internacionais responsveis pela publicao da
literatura econmica sobre o BNDES ............................................................................. 27
Tabela 6 - Principais peridicos em que foram publicados artigos sobre o BNDES,
quantidade de artigos e participao no total de artigos publicados............................... 29
Tabela 7 - Classificao Qualis/CAPES dos peridicos em que foram publicados artigos
sobre o BNDES, quantidade e participao no total ...................................................... 30
Tabela 8 - Principais temticas tratadas nas obras sobre o BNDES, nmero de vezes e
participao ..................................................................................................................... 34
Tabela 9 - Principais perodos tratados nas obras sobre o BNDES, nmero de vezes e
participao ..................................................................................................................... 35
Tabela 10 - Principais temticas e perodos tratados nas obras sobre o BNDES ........... 36
Tabela 11 - Estatsticas Descritivas do Nmero de citaes por documento por
instituio responsvel .................................................................................................... 38
Tabela 12 - Os dezessete principais trabalhos de acordo com o nmero de citaes
recebidas ......................................................................................................................... 39
Tabela 13 - Citaes com cdigo unificado, principais documentos ............................. 41
Tabela 14 - Autores mais citados e indicador de citao mdia por publicao ............ 44
Tabela 15 - Peridicos mais citados e indicador de citao mdia por publicao ........ 45
Tabela 16 - Distribuio das obras sobre o BNDES de acordo com o nmero de citaes
recebidas e temtica tratada ............................................................................................ 47
Tabela 17 - Distribuio das obras sobre o BNDES de acordo com o nmero de citaes
recebidas e perodo avaliado........................................................................................... 48
Tabela 18 - Anlise Fatorial aplicada a rede de citaes dos trabalhos mais citados ..... 54
Tabela 19 - Distribuio das obras realizadas em coautoria com cooperao externa, de
acordo com afiliao ao BNDES e a outras instituies ................................................ 58
Tabela 20 Citaes com cdigo unificado, por documento......................................... 71
Tabela 21 Comparao das consultas dos principais documentos no Google
Acadmico ...................................................................................................................... 75
Tabela 22 Nmero de documentos identificados nas principais ferramentas de busca79
Tabela 23 - Resultado completo da Anlise Fatorial ...................................................... 80
8

Indicadores bibliomtricos para a avaliao da Literatura
Econmica do BNDES no perodo de 1952-2013

1. I ntroduo

A despeito da importncia do BNDES para proviso de financiamento de longo
prazo desde sua criao na dcada de 1950, e da literatura econmica produzida a seu
respeito, no existe ainda uma sistematizao e avaliao do perfil dessa literatura.
Algumas questes importantes como o tamanho da produo acadmica sobre o
BNDES desde o seu incio; a repercusso das publicaes; os autores mais prolficos; as
principais instituies que tm desenvolvido trabalhos acadmicos sobre o BNDES; as
principais temticas dessa produo; a tendncia da produo, entre outras questes
relacionadas, ainda no foram respondidas.
Nesse contexto, o presente relatrio aborda a seguinte problemtica: quais as
principais caractersticas da produo acadmica em economia sobre o BNDES no
perodo de 1952-2013. Assim, a partir de uma avaliao quantitativa da literatura
econmica sobre o BNDES, a principal contribuio desta pesquisa prover o banco de
informaes que contribuam para a maior compreenso da literatura que tem sido
desenvolvida a seu respeito e da tendncia dessa produo.
A anlise quantitativa conduzida por meio de indicadores bibliomtricos
calculados a partir de um Banco de Dados gerado pelo projeto intitulado Levantamento
e avaliao da literatura econmica acadmica brasileira e internacional sobre o
BNDES (FEP 03/2011).
Apesar de o termo bibliometria ter sido criado apenas em 1969, por Alan
Pritchard, a anlise de citao e outras medidas de impacto tm sido discutidas e
aplicadas a diferentes objetivos desde o primeiro quartil do sculo XX. Gross e Gross
(1927) aplicaram a anlise de citao de peridicos para a identificao dos peridicos
mais influentes para os estudantes de qumica e, dessa forma, orientar a poltica de
aquisio dos peridicos de uma biblioteca.
O termo bibliometria definido como a aplicao de mtodos matemticos e
estatsticos para medir a quantidade e o desempenho de publicaes como livros, artigos
e outros meios de comunicao (PRITCHARD, 1969).

9

A anlise bibliomtrica caracteriza-se como um instrumento importante para as
organizaes, pois consiste em uma ferramenta que possibilita a criao de perfis de
reas de interesse, o mapeamento de relacionamento de autores, a anlise de tendncia e
o desenvolvimento de indicadores de inovao (OKUBO, 1997; PENTEADO et al.,
2003). Os indicadores bibliomtricos tambm podem auxiliar as organizaes na
tomada de deciso sobre reas de pesquisa de maior interesse e fornecer subsdio na
alocao de fundos oramentrios para pesquisa (DURIEUX e GEVENOIS, 2010).
Nesse sentido, a anlise bibliomtrica torna-se importante como meio de conhecimento
mais pormenorizado das informaes levantadas sobre a produo acadmica
relacionada ao BNDES desde sua fundao.
Este volume do relatrio divide-se em cinco sees incluindo esta introduo.
Na seo 2 discutem-se os principais indicadores bibliomtricos utilizados na literatura.
A seo 3 descreve o Banco de Dados utilizado e os procedimentos adotados para a
conduo do presente trabalho. A seo 4 destina-se apresentao e discusso dos
resultados da anlise bibliomtrica para os indicadores de produo, repercusso e
relacionais. As principais concluses desta etapa da pesquisa evidenciam-se na ltima
seo.

10

2. I ndicadores Bibliomtricos

A literatura reporta basicamente trs tipos de indicadores bibliomtricos:
quantitativos ou de produo, desempenho ou de impacto e estruturais ou relacionais
(ROUSSEAU, 1998; GAUTHIER, 1998; LUNDBERG, 2006; DURIEUX e
GEVENOIS, 2010). No raramente, esses indicadores apresentam denominaes
diferentes, porm relacionados ao mesmo conceito e objetivo.
Os indicadores quantitativos objetivam a mtrica da produo a partir da
contagem do nmero de publicaes, por autor, por tipo de documento e o nmero de
publicao por instituio de pesquisa ou pas. Quando esses indicadores tornam-se
disponveis para um perodo de tempo suficientemente longo, eles permitem conjecturar
sobre a tendncia da publicao (DURIEUX e GEVENOIS, 2010).
Para Okubo (1997), esses indicadores oferecem uma medida aproximada e
simplificada da produo cientfica em um determinado perodo, entretanto algumas
limitaes devem ser observadas como, por exemplo, a incapacidade de se avaliar
aspectos qualitativos da publicao. .
Diferentemente dos indicadores quantitativos, os indicadores de desempenho
procuram fornecer uma medida de qualidade e repercusso da publicao, dos autores e
das instituies analisadas (DURIEUX e GEVENOIS, 2010). Por exemplo, o nmero
de vezes que um autor, um artigo ou uma instituio citado por outros pesquisadores,
em outros trabalhos ou por outras instituies constitui um indicador de desempenho ou
impacto amplamente empregado em anlises bibliomtricas. Garfield (1955) apresentou
a importncia dos ndices de citao como fonte de informao para os pesquisadores e
argumentou que, para o caso de um artigo relevante, o ndice de citao apresenta-se
como uma medida do grau de influncia do artigo para outros pesquisadores, ou seja, o
seu fator de impacto. Entretanto, devido dificuldade em definir o conceito de
qualidade em sua totalidade e, principalmente, mensur-la por meio de indicadores
quantitativos, as discusses tm se concentrado na definio do conceito de impacto da
publicao.
Martin e Irvine (1983) apresentam e distinguem os conceitos de qualidade,
importncia e impacto de uma publicao. Para os autores, no existe uma medida
direta desses aspectos, que somente podem ser apreendidos de forma indireta por meio
das percepes dos cientistas (avaliao por pares) e por prticas sociais dos cientistas
como, por exemplo, a citao. Nesse sentido, o nmero de citaes de uma publicao
11

no reflete diretamente sua qualidade ou importncia, mas sim um indicador parcial de
impacto de um trabalho cientfico que pode depender, em parte, da importncia da
publicao, mas tambm pode ser afetado por outros fatores como a localizao do
autor, o seu prestgio na comunidade cientfica, a lngua em que foi publicado e a
disponibilidade da revista.
Okubo (1997) tambm salienta outra limitao desses indicadores, qual seja, a
autocitao, que um problema real e crescente na comunidade cientfica. Aksnes
(2003) argumenta que embora a autocitao possa ser considerada um procedimento
natural e aceitvel, particularmente quando o nmero de citaes empregado como um
indicador de impacto, a autocitao pode ser tratada como um problema pelo fato de
no refletir apropriadamente o impacto da publicao para a comunidade cientfica.
Alguns analistas recomendam no a excluso da autocitao, mas sim o clculo
da proporo de autocitao presente e a utilizao dessa informao como varivel de
controle. As taxas de autocitao variam consideravelmente para diferentes campos do
conhecimento (ANU, 2005).
Considerando algumas das limitaes relacionadas aos indicadores de impacto,
deve-se atentar que a utilizao desses indicadores constitui importante meio para
mensurar um aspecto da qualidade, mas no a qualidade da publicao em sua
totalidade.
Por fim, os indicadores estruturais ou relacionais mensuram as conexes entre
publicaes, entre autores ou campo de pesquisa (DURIEUX e GEVENOIS, 2010).
Esses indicadores so amplamente utilizados na literatura bibliomtrica principalmente
nas anlises de coautoria e co-citao de artigos e documentos. A anlise de co-citao
tipicamente apresenta uma rede onde os autores/documentos mais citados esto
conectados pelo link de co-citao. Os indicadores relacionais so aplicados para o
mapeamento de estruturas de conhecimento e de redes de relacionamento entre autores,
documentos, instituies, e pases, sendo importantes para a identificao das parcerias
entre autores ou entre instituies; e para mostrar ligaes entre temas ou reas de
pesquisa, ou mesmo tpicos emergentes em um campo do conhecimento (LIMA et al. ,
2010; OKUBO, 1997; GAUTHIER, 1998).
A Anlise de Co-citao um dos mtodos quantitativos amplamente utilizados
para a estruturao de redes de relacionamento, sendo o foco dessas anlises a
identificao de padres estruturais de especializao no campo de pesquisa analisado
(CHEN, IBEKWE-SANJUAN, HOU, 200X). Esse padro pode ser avaliado tanto por
12

meio de Anlise de Co-citao de Autores (ACA) ou pela Anlise de Co-citao de
Documentos (DCA) (WHITE e GRIFFITH, 1981).
Small (1973) define a anlise de co-citao como a frequncia com que dois
documentos da literatura so citados conjuntamente por um documento posterior.
Adicionalmente, o autor argumenta que quando dois artigos so frequentemente co-
citados, eles so necessariamente mais citados individualmente e os artigos mais citados
individualmente representam os conceitos, os mtodos ou os experimentos chave em
um campo do conhecimento. Dessa forma, o padro da co-citao pode ser utilizado
para mapear o relacionamento entre esses conceitos chave.
White e Griffith (1981) argumentam que o mapeamento de uma rea do
conhecimento pode ser realizado empregando os autores como unidade de anlise e as
co-citaes de pares de autores como variveis que indicam a distncia entre eles, sendo
que quanto maior a frequncia em que dois autores so citados conjuntamente maior
seria relao entre eles.
No presente trabalho, os indicadores quantitativos da produo so teis para
descrever o perfil da literatura econmica sobre o BNDES, enquanto a avaliao da
literatura relevante para a comunidade cientfica pode ser investigada por meio dos
indicadores de impacto e de redes de citao, co-citao e coautoria.

13

3. Metodologia

3.1. Banco de Dados

A Figura 1 apresenta as fases associadas montagem do Banco de Dados
utilizado na conduo da Anlise Bibliomtrica desenvolvida no presente captulo. O
Banco de Dados foi desenvolvido no mbito desse projeto que tem por objetivo geral
realizar uma sistematizao e avaliao da literatura econmica produzida a respeito do
BNDES desde o seu incio.

Figura 1 - Esquema representativo das fases da montagem do banco de dados do
Projeto Literatura Econmica sobre BNDES

Fonte: Elaborao Prpria

Na Fase I foi realizado um extenso trabalho de identificao da literatura
acadmica, de forma bastante abrangente, no se restringindo, por exemplo, apenas aos
trabalhos que no ttulo contemplavam o nome BNDE(S). De fato, as buscas abrangeram
tambm o resumo, as palavras-chave e tambm, em algumas ferramentas de busca, ao
corpo de texto e referencia bibliogrfica das obras.
A identificao das obras foi realizada por meio de buscas por palavras-chave
associadas misso do BNDES de ser instrumento de financiamento de longo prazo
para a realizao de investimentos. Essas buscas incluram palavras e expresses como:
financiamento de longo prazo, BNDE(S), investimento de longo prazo, banco de
desenvolvimento, financiamento de bem de capital, financiamento de infraestrutura,
14

privatizaes e financiamento do desenvolvimento. As consultas tambm contaram com
as palavras-chave e expresses em lngua espanhola e em inglesa
2
.
Tais consultas foram realizadas por diferentes frentes de trabalho, tal que,
primeiramente, foram acessadas as principais bibliotecas e acervos brasileiros. Para tal,
foi utilizada, inicialmente, a relao dos cursos recomentados e reconhecidos pela Capes
(com filtro para Grande rea: Cincias Sociais Aplicadas e rea: Economia), com o
objetivo de levantar os potenciais centros de pesquisa e publicao nacionais,
principalmente teses e dissertaes
3
. Alm disso, em todos esses centros, foram
identificados os sites especficos dos acervos de teses e dissertaes, assim como os
sites gerais das bibliotecas
4
e as revistas acadmicas associadas a cada centro, quando
presentes. Ademais, outros peridicos acadmicos tambm foram consultados de acordo
a listagem dos peridicos avaliados pela CAPES. Uma vez identificados os
documentos, o acesso ao material pde ser realizado de forma on-line ou por meio de
obteno fsicas das obras, por parte da equipe de pesquisa. Outra frente direcionou
esforos nas consultas presenciais nas bibliotecas do BNDES, FEA-RP/USP, FEA/USP,
PUC/SP, UFF, UFRJ. Uma terceira frente de consultas ateve-se na identificao da
literatura internacional sobre o BNDES, buscando os acervos das principais instituies
e centros de pesquisa fora do pas
5
. Adicionalmente, foram tambm consultados fontes e
acervos online de documentos acadmicos, como JSTOR, Scielo, Web of Knowledge,
Science Direct, Google Acadmico (cobrindo assim tanto os peridicos nacionais e
internacionais associados centros de pesquisa e os que no tem essa associao). Por
fim, muitos outros centros de pesquisa que no foram relacionados acima, tambm
foram consultados, uma vez que estes apareceram nas referencias bibliogrficas dos
documentos identificados como relevantes dentro desse projeto.
Essa busca abrangeu principalmente os peridicos acadmicos, as teses e
dissertaes desenvolvidas em instituies nacionais e estrangeiras, assim como livros,

2
Em ingls: Long-term financing, long-term investment, development bank, capital goods financing,
infrastructure financing, infrastructure investment, privatization development investments, National Bank
of Social and Economic Development, Brazilian Development Bank. Em Espanhol: financiamiento a
largo plazo, inversin(es) a largo plazo, banco de desarrollo, financiamiento de infraestructura,
privatizacin, inversin(es) del desarrollo, Banco de Desarrollo de Brasil.
3
Relao completa das fontes de consultas est apresentada no anexo.
4
Em muitos casos h uma separao dos sites de pesquisa dos documentos acadmicos sob forma de
dissertaes e teses, dos sites de publicaes de working papers ou documentos para discusso, das
bibliotecas de livros e dos catlagos de artigos das revistas acadmicas dos centros de pesquisa.
5
A relao completa das principais instituies internacionais cobertas na pesquisadas apresentada
tambm no anexo.
15

captulos de livros e textos para discusso, entre outros
6
. O perodo de referncia para a
pesquisa compreendeu os trabalhos produzidos desde a fundao do BNDES at maio
de 2013.
Esse protocolo inicial de busca indicou a existncia de um amplo material
acadmico. No entanto, uma parcela significativa dos trabalhos que possuam essas
palavras-chave no tratava de fato do BNDES. Assim, para identificar as potenciais
obras que avaliam o papel do banco, foi executada uma primeira leitura dos
documentos, para selecionar aquelas que realmente se encaixavam no objetivo da
presente pesquisa e que seriam alvo de estudo e leitura de forma mais aprofundada.
Como resultado, um vasto material bibliogrfico foi avaliado, mas nem todos compem
a verso atual do Banco de Dados (ver Anexo IV).
A Fase II corresponde coleta e cadastramento das informaes bibliogrficas
dos documentos, quais sejam, autor, ttulo, ano, resumo, palavras-chave, afiliao
institucional dos autores e informaes sobre as referncias bibliogrficas citadas pelos
trabalhos. As referncias bibliogrficas citadas nos documentos representam um aspecto
relevante da pesquisa, em primeiro lugar, porque permitem a identificao de novos
trabalhos para compor o Banco de Dados (complementando a Fase I) e, em segundo
lugar, porque permitem identificar os documentos mais citados entre os trabalhos
acadmicos que avaliam o BNDES. importante ressaltar que no foram includas no
Banco todas as referncias dos artigos, mas apenas aqueles trabalhos citados que se
aproximavam dos mesmos critrios de temas-chave associados misso do BNDES,
utilizados na Fase I.
O tratamento das referncias bibliogrficas na Fase II constitudo de duas
etapas. Na primeira etapa, foram identificadas nos documentos relevantes, as referncias
bibliogrficas com potencial de pertencer ao Banco. Tais referncias formaram um
conjunto prprio de dados, uma ferramenta de pesquisa e identificao de novos
trabalhos, muitos dos quais no apareceram nas primeiras consultas realizadas na Fase I.
A segunda etapa envolveu a leitura e avaliao destas referncias, assim como na Fase I,
resultando num mecanismo de retroalimentao do prprio Banco de Dados. Dessa
forma, foram includas no Banco de Dados s referncias que eram pertinentes ao
escopo desse trabalho. Assim, as referncias includas no Banco de Dados para cada
trabalho se constituem em referncias qualificadas ao objetivo do projeto e, como

6
Foi criada uma categoria outros para incluir working papers, estudos especiais e alguns relatrios de
pesquisa.
16

consequncia, so tambm uma entrada do prprio Banco de Dados. As citaes
analisadas a partir desse Banco mostram-se restritas aos trabalhos que se referem ao
BNDES.
Na Fase III, os textos foram classificados de acordo com o perodo a que se
referem e a temtica tratada. A diviso cronolgica foi definida a partir da histria do
BNDES e abrange cinco subperodos: 1952-1964; 1964-1980; 1980-1990; 1990-2002 e
2002-2013
7
. A Tabela 1 apresenta as temticas tratadas que foram definidas seguindo as
linhas de financiamento do BNDES. Adicionalmente, foram criadas trs temticas,
Privatizaes, Terico Banco de desenvolvimento e Outros considerando que
vrios trabalhos trataram especificamente desses temas. Cabe ressaltar, que um nico
documento pode tratar de mais de uma temtica e abranger mais de um perodo.

Tabela 1 - Temticas consideradas na Fase III de classificao dos documentos
Temticas
Agropecuria Inovao
Infraestrutura Meio Ambiente
Mercado de Capitais Privatizaes
Exportao e Insero Internacional Indstria
Terico - Banco de Desenvolvimento
Comrcio, Servios e Turismo Outros
Desenvolvimento Social e Urbano, Esporte e Cultura
Fonte: Elaborao Prpria

Os documentos tambm foram classificados quanto ao grau de referncia ao
BNDES no texto. Para tal classificao foi adotado o seguinte critrio, representado por
uma varivel binria denominada Grau de Referncia ao BNDES:

1 O objeto do estudo a prpria atuao do BNDES ou o banco ocupa papel
importante no documento;
0 O objeto de estudo no o BNDES ou este no referido de maneira significativa
no documento
8
.

7
Alguns documentos no avaliam um perodo especfico, por exemplo, aqueles que tratam do papel
terico dos bancos de desenvolvimento. Essas obras foram agrupadas num item denominado atemporal.
8
Por exemplo, um documento que avalia o papel do BNDES na gerao de postos de trabalhos recebe
classificao 1, quanto ao grau de referncia. J um documento que descreve as fontes de financiamento
no Brasil e apenas apresenta tabelas ou figuras dos desembolsos do BNDES, sem uma avaliao crtica,
recebe classificao 0. Adicionalmente, alguns documentos que se restringem a descrever sumariamente a
histria do BNDES tambm receberam classificao 0.
17

A dimenso desse esforo nas Fases I, II e III foi tal que resultou num Banco de
Dados bastante direcionado e nico, apenas com obras selecionadas e qualificadas, que
atendiam s especificidades do projeto de levantamento de literatura acadmica sobre o
BNDES. O Anexo IV apresenta um comparativo do Banco de Dados com os resultados
de consultas semelhantes nas principais ferramentas de busca.
Na Fase IV, o Banco de Dados consolidado no Microsoft Access, permitindo
assim a criao de relaes entre as suas diferentes informaes, a construo das
consultas associadas obteno de estatsticas de acompanhamento da pesquisa, bem
como as consultas destinadas Anlise Bibliomtrica (Produto 5). Particularmente
importante nesta fase a obteno da Lista de Ttulos destinada aos pesquisadores,
que se trata da lista dos documentos citados (uma ou mais vezes) e cuja classificao de
Grau de Referncia ao BNDES definida como um pela varivel binria.
Por fim, a Fase V envolveu a adequao do Banco de Dados para um formato de
Navegao com uma interface User-friendly (Produto 4 do Projeto). Nesta verso do
Banco, possvel realizar buscas por meio de palavras-chave, ttulo, autores, temticas e
ter acesso a todas as informaes coletadas na pesquisa, incluindo as referncias
bibliogrficas relevantes. Essa verso tambm permite visualizar as principais
estatsticas que caracterizam o Banco de Dados construdo.

3.2. Mtodo de Anlise

A partir das informaes do Banco de Dados, ainda no Microsoft Access, foram
construdas vrias consultas de acordo com a questo de interesse e essas consultas
foram transferidas para planilhas eletrnicas do Microsoft Excel e para o editor de
dados do IBM SPSS Statistics 20 para a gerao de tabelas, grficos e testes de mdia.
As redes de citao e co-citao foram elaboradas com o apoio do software UCINET
6.0 (BORGATTI et al, 2002) e Netdraw (BORGATTI, 2002). A Figura 2 resume o
processo da anlise.

18

Figura 2 - Resumo do processo de anlise bibliomtrica

As informaes do Banco de Dados so utilizadas na construo dos indicadores
de produo e de impacto e foram separadas em variveis de caractersticas, que so
aquelas que possibilitam caracterizar a produo, e variveis de classificao,
construdas a partir da classificao definida pelos pesquisadores quanto ao perodo de
anlise, temticas tratadas e grau de referncia ao BNDES no texto. As informaes so
analisadas por meio de estatsticas unidimensionais (por exemplo, nmero de
publicaes), estatsticas bidimensionais, ou seja, a relao entre duas variveis (como
nmero de publicaes por tipo de documento), estatsticas multidimensionais, ou seja,
relao entre mais de duas variveis (exemplo: nmero de publicaes por tipo de
documento por ano) e estatsticas que detectam padres de distribuio de frequncia
das variveis quantitativas.
O perodo de anlise da presente pesquisa corresponde aos anos de 1952 a 2013.
Portanto, todos os indicadores referentes quantidade como o nmero de citaes, o
nmero de documentos publicados, entre outros, se referem ao estoque para o perodo
fixado. Na literatura de anlise bibliomtrica e cientomtrica vrios autores tm
proposto a conduo da anlise para perodos de tempo relativamente longos (JOHNES,
1988; VAN LEEUWEN et al., 2003). Um perodo longo apresenta o benefcio de
reduzir a influncia de fatores aleatrios na anlise, alm de corresponder a um perodo
em que existem razes substantivas para que os documentos possam ser citados
(NEDERHOF, 1988, Apud ANU, 2005).
Obteno dos dados
no Banco de Dados
do Projeto
Envio das
informaes para
planilhas eletrnicas
Elaborao de
estatsticas bsicas e
anlises grficas

A
n
l
i
s
e

d
o
s

d
a
d
o
s

Elaborao do
Relatrio Final
Fonte: Elaborao Prpria com base em Margazo et al. (2010).
19

Ademais, considerando o fato de que parcela significativa da produo publicada
sobre o BNDES se deu por meio de seus veculos de divulgao e disseminao do
conhecimento como Livros, Revista do BNDES, BNDES Setorial, Working Papers,
Seminrios, etc., torna-se relevante analisar de forma separada as publicaes cujo
responsvel o BNDES. Essa anlise feita a partir de um filtro para a instituio, ou
seja, so considerados os documentos em que o BNDES a instituio responsvel pela
publicao. A partir desse filtro possvel calcular os indicadores separadamente
considerando o caso em que o BNDES a instituio responsvel pela publicao e o
caso em que outras instituies so responsveis. Os resultados encontrados so
comparados por meio de alguns testes no paramtricos para comparao de mdias. A
opo pelos testes no paramtricos se deve ao fato de que as distribuies das
publicaes, autores entre outras no apresentarem aderncia normalidade, violando
um dos pressupostos para quase todos os tipos de testes de mdias. So utilizados tantos
testes para amostras independentes como o Teste de Mann-Whitney e o Teste de
Kruskal-Wallis, quanto teste para amostras emparelhadas como o Teste de Wilcoxon.
O Teste de Mann-Whitney um teste alternativo ao Teste t para amostras
independentes e compara o centro de localizao (tendncia central) das duas amostras
como forma de detectar diferenas entre as duas populaes correspondentes. J o Teste
de Kruskal-Wallis uma generalizao do Teste de Mann-Whitney para mais de dois
grupos. A partir de amostras aleatrias de K populaes, pode-se testar a hiptese da
existncia de um parmetro de localizao comum a todas as populaes. Finalmente, o
Teste de Wilcoxon aplica-se para analisar diferenas entre duas condies no mesmo
grupo de sujeitos, ou seja, uma alternativa ao Teste t para amostra emparelhada e
permite testar se as populaes diferem em localizao (PESTANA e GAGEIRO,
2005).
A tcnica multivariada da Anlise Fatorial tambm aplicada objetivando
identificar caractersticas comuns entre os trabalhos mais citados no Banco de Dados. A
anlise fatorial um conjunto de tcnicas estatsticas que permite reduzir o nmero
original de variveis por meio da extrao de fatores independentes, de tal forma que
esses fatores possam explicar, de forma resumida, as variveis originais. A anlise
fatorial pressupe a existncia de um nmero menor de variveis no observveis e
subjacentes aos dados, que indicam o que existe de comum nas variveis originais
(PESTANA e GAGEIRO, 2005).
20

4. Resultados

Esta seo estrutura-se em trs partes. Na seo 4.1 so apresentados os
indicadores de produo, na seguinte os indicadores associados aos trabalhos mais
citados (seo 4.2) e, na sequncia, a anlise relacional (seo 4.3). Nas duas primeiras
sees destacam-se as caractersticas gerais dos trabalhos e os principais resultados da
classificao destas obras, de acordo com o perodo e a temtica a que se referem, bem
como ao grau de referncia ao BNDES no texto.
4.1. Indicadores de Produo
4.1.1. Variveis de caracterstica das obras

O Banco de Dados do BNDES compe-se de 821 trabalhos acadmicos
publicados no perodo entre 1952 a 2013
9
. A Tabela 2 apresenta as caractersticas gerais
do Banco de Dados de obras de literatura econmica sobre o BNDES. Dessas obras,
773 (equivalente a 94,2%) foram lidas, avaliadas e classificadas conforme a
metodologia exposta acima. Ainda, durante a realizao da fase de identificao da
literatura econmica sobre o BNDES, foram utilizadas duas outras categorias: no
localizado e no classificado, que representam 5,8% do Banco de Dados
10
.

9
Cabe ressaltar que o documento mais antigo localizado foi publicado em 1957. Ademais, algumas
publicaes do ano de 2013 j foram incorporadas ao Banco de Dados.
10
Compem o grupo de no localizados aqueles documentos que foram identificados, principalmente
pelo critrio de citao, mas que no foram obtidos para avaliao de classificao. No geral, esses so
documentos mais antigos ou documentos internacionais (exemplo teses), em que o acesso ao material
restrito e at o momento no foi possvel obter uma cpia fsica. Esse grupo corresponde a 1,6% do
Banco de Dados. Os documentos que se enquadram dentro do grupo de no classificados podem ser
separados em dois subgrupos igualmente representados: o primeiro composto por livros que so
coletneas de artigos e o segundo abrange os documentos que j foram localizados na pesquisa, porm
no foram ainda avaliados e incorporados aos classificados. Entende-se que essas coletneas (livros) so
relevantes dentro do Banco de Dados uma vez que utilizada como referncia bibliogrfica em muitos
documentos, ou seja, nesses casos a citao refere-se coletnea e no ao artigo em especfico. Contudo,
j que os artigos que compem essas coletneas foram avaliados e classificados entende-se como
desnecessria a classificao da coletnea, evitando a dupla contagem.

21

Tabela 2 - Caractersticas gerais do Banco de Dados

BNDES responsvel pela
publicao Total
Classificao No Sim
Classificados 517 256 773
No Classificado 23 12 35
No Localizado 13 - 13

Total 553 268 821
Fonte: Elaborao Prpria a partir do Banco de Dados de obras sobre o BNDES.

A Figura 3 permite compreender a evoluo e a tendncia da literatura ao longo
do perodo analisado considerando separadamente os trabalhos publicados pelo prprio
BNDES dos trabalhos publicados por outras instituies. Observa-se uma tendncia
crescente no nmero total de publicaes referente literatura econmica sobre o
BNDES e verifica-se uma mudana considervel da tendncia da srie na dcada de
1990 e a partir do ano 2000. At o ano de 1969, apenas 13 publicaes constam no
Banco de Dados. Nas dcadas de 1970 e 1980, as publicaes referentes ao BNDES
ainda foram relativamente reduzidas apresentando mdia anual de 4,54 publicaes.
Contudo, na dcada de 1990, observa-se significativo aumento nas publicaes, que
apresentaram mdia de 15,7 publicaes por ano. Essa tendncia de crescimento torna-
se mais acentuada a partir do ano 2000, quando a publicao mdia anual de 38,3,
com concentrao no ano de 2010, em que foram registradas no Banco de Dados 77
publicaes. Desta forma, percebe-se que taxa de crescimento das publicaes sobre o
banco est acima da taxa de crescimento de elaborao de trabalhos cientficos no
Brasil, que est em torno de 8% ao ano, segundo dados do Portal Brasil (BRASIL,
2013).

22

Figura 3 - Evoluo dos documentos da literatura econmica sobre o BNDES no
perodo 1957-2013 e instituio responsvel


Portanto, esse crescimento da literatura sobre o BNDES reflete o maior
interesse por parte dos pesquisadores nos temas relacionados ao banco, acompanhando
o prprio crescimento dos desembolsos do BNDES nos ltimos anos
11
. No entanto,
preciso ponderar que o aumento da publicao sobre o BNDES tambm resultado do
aumento da produo cientfica em geral no Brasil.
Ainda na Figura 3 fica perceptvel que at o final da dcada de 1980, o BNDES
praticamente no se associou significativamente literatura que surgia a respeito do
banco. Nesse perodo a mdia anual das publicaes patrocinadas pelo BNDES foi de
apenas 0,7, enquanto as publicaes patrocinadas por outras instituies apresentou
mdia de 3,9 publicaes por ano. Entretanto, a partir de 1990 a instituio aumenta sua
participao na publicao total, sendo responsvel por parcela significativa e crescente
da literatura econmica sobre o banco. Durante a dcada de 1990, a mdia anual das
publicaes patrocinadas pelo BNDES foi de 3,9, elevando-se para quinze a partir do
ano de 2000, enquanto para as publicaes patrocinadas por outras instituies, a mdia
anual de publicaes por ano passou de 11,8, na dcada de 90, para 23,4, a partir dos
anos 2000. Tal fato decorre da reedio da Revista do BNDES a partir de 1994 e do
apoio publicao de livros, especialmente comemorativos. O pico de publicaes do
BNDES em 2002, por exemplo, ocorre em virtude da comemorao dos cinquenta anos

11
A correlao calculada entre os desembolsos do BNDES como proporo do PIB e o nmero de
publicaes sobre o BNDES foi de 0,78.
0
10
20
30
40
50
60
70
80
90
1
9
5
7
1
9
6
1
1
9
6
4
1
9
6
8
1
9
7
0
1
9
7
2
1
9
7
4
1
9
7
6
1
9
7
8
1
9
8
0
1
9
8
2
1
9
8
4
1
9
8
6
1
9
8
8
1
9
9
0
1
9
9
2
1
9
9
4
1
9
9
6
1
9
9
8
2
0
0
0
2
0
0
2
2
0
0
4
2
0
0
6
2
0
0
8
2
0
1
0
2
0
1
2
Outros BNDES
23

do banco, que gerou um grande nmero de publicaes especialmente captulos de
livros
12
.
Para avaliar o argumento de crescimento das publicaes ao longo do tempo foi
aplicado o Teste de Kruskal-Wallis, assumindo a hiptese nula de que o nmero de
publicaes nos trs perodos at o final da dcada de 1980, dcada de 1990 e a partir
dos anos 2000 so iguais em tendncia central. O teste foi realizado para o grupo de
publicaes do BNDES, de outras instituies e para o total delas. Os resultados dos
testes permitem afirmar que o nmero de publicaes se difere nos perodos analisados,
ao nvel de significncia de 1%, para os trs grupos de publicaes. Dessa forma, pode-
se argumentar que o nmero de documentos cresceu ao longo do tempo, tanto para os
documentos publicados pelo BNDES, quanto para aqueles publicados por outras
instituies.
Com o objetivo de avaliar se o nmero de documentos publicados pelo BNDES
difere dos publicados por outras instituies foi utilizado o Teste de Wilcoxon, para os
trs perodos mencionados acima. O resultado permite afirmar, a um nvel de
significncia de 5%, que o nmero de documentos publicados pelo BNDES se difere do
nmero de documentos publicados por outras instituies em cada perodo.
A Figura 4 fornece a distribuio desta produo por tipo de documento.
Observa-se que a contribuio do BNDES como responsvel pela publicao em
relao s outras instituies atingiu quase um tero (32,6%) dos documentos. Ainda se
nota que 44,7% das publicaes so artigos, 19,4% captulos de livros, 13,1% livros e a
categoria outros
13
totaliza 4,4% dos documentos. Por fim, perceptvel a
predominncia de artigos cientficos em relao aos outros tipos de documentos. No que
se refere s publicaes do BNDES, nota-se tambm a concentrao em artigos,
representando 51,1% do total das publicaes do banco.

12
No caso dos livros comemorativos aos 50 anos do banco especificamente: BNDES: Um banco de
ideias - 50 anos refletindo o Brasil e BNDES 50 ANOS: HISTRIAS SETORIAIS, diferente dos
outros livros comemorativos do banco, por se tratar de uma coletnea de captulos com autorias
individualizadas optou-se por contar separadamente cada um dos captulos. Esses dois livros respondem
por cerca da metade das publicaes deste ano.
13
A categoria outros engloba working papers, estudos especiais e alguns relatrios de pesquisa.
24

Figura 4 - Documentos da literatura econmica sobre o BNDES, por tipo e
Instituio responsvel pela publicao


A Tabela 3 apresenta a evoluo da produo bibliogrfica, por tipo de
documento, ao longo das dcadas analisadas. Observa-se nas duas primeiras dcadas a
concentrao dos documentos em livros. A partir de 1990, verifica-se o crescimento na
publicao de artigos em relao aos outros tipos de documentos, o que, como
mencionado, est associado ao maior volume de publicaes na rea de economia de
forma geral. Cabe destacar ainda a participao de teses e principalmente de
dissertaes nas dcadas de 2000 e 2010.

25

Tabela 3 - Documentos da literatura econmica sobre o BNDES, por tipo e dcada
da publicao
Dcada
Tipo de Documento
Artigo Livro
Captulo
de livro
Dissertao
de mestrado
Tese de
doutorado
Texto
para
discusso
Outros Total
1957 - 1959 - - 1 - - - - 1
1960 - 1969 2 9 - - - - 1 12
1970 - 1979 19 11 8 5 3 - - 46
1980 - 1989 23 12 13 9 6 - 5 68
1990 - 1999 93 12 10 10 12 16 4 157
2000 - 2009 164 42 77 33 12 13 18 359
2010 - 2013 66 22 50 20 5 7 8 178

Total 367 108 159 77 38 36 36 821


As Tabelas 4 e 5 apresentam respectivamente as principais instituies nacionais
e internacionais responsveis pela publicao dos documentos sobre a literatura
econmica referente ao BNDES. As instituies nacionais respondem por 79,8% da
publicao total que compem o Banco de Dados, enquanto as internacionais por
21,2%. Observa-se que a instituio que mais publicou trabalhos foi o prprio BNDES,
representando 32,6% de toda publicao. Em segundo e terceiro lugar, respectivamente,
aparecem o Instituto de Pesquisa Econmica Aplicada IPEA e a Universidade
Estadual de Campinas UNICAMP. A publicao de livros e captulos de livros ficou
concentrada no BNDES. Enquanto que as teses e dissertaes foram desenvolvidas
principalmente pelos centros de ps-graduao da UNICAMP e da UFRJ.

26

Tabela 4 - Principais instituies nacionais responsveis pela publicao da
literatura econmica sobre o BNDES, por tipo de documento
Instituio Nacional Artigo
Livro e
Captulo
de Livro
Tese de
doutorado
Dissertao
de mestrado
Texto
para
discusso
Outros Total
BNDES 137 113 - - 11 7 268
IPEA 9 18 - - 17 3 47
UNICAMP 16 5 10 12 - 1 44
UFRGS 26 - 1 2 - - 29
UFRJ 6 1 3 16 1 - 27
USP 9 - 5 7 - 1 22
FGV-RJ 6 5 1 8 - - 20
UFRJ/UNICAMP - 16 - - - - 16
FGV-SP 13 - - - - - 13
Centro Celso Furtado 5 4 - - - 1 10
ANBID - 9 - - - - 9
UFF - - 2 5 1 - 8
PUC-Rio - 1 - 5 - - 6
UFMG 2 - 1 2 1 - 6
Civilizao Brasileira - 6 - - - - 6
Outras 42 51 3 18 5 5 124

Total 271 229 26 75 36 18 655

No que tange s instituies internacionais (Tabela 5) destaca-se a presena da
editora Elsevier e da Universidade de Illinois com 21 e 15 publicaes respectivamente.
Alm da Elsevier, outras grandes editoras tambm figuram como responsveis pela
publicao de documentos sobre o BNDES (Pergamon Press, Sage publications). Isso
ocorre porque essas instituies publicam diversos peridicos internacionais, tais como:
Energy Policy, World Development e Latin American Perspectives.

27

Tabela 5 - Principais instituies internacionais responsveis pela publicao da
literatura econmica sobre o BNDES
Instituio Internacional
Quantidade de
Publicaes
Participao no Total
de Instituies
Internacionais
Elsevier 21 12,7%
University of Illinois 15 9,0%
Latin American Studies Association
(LASA)
8 4,8%
Pergamon Press 7 4,2%
Universidade de Miami 7 4,2%
Sage publications 7 4,2%
Instituto de Desarrollo Econmico y
Social
6 3,6%
University of Wisconsin 5 3,0%
Cambridge University 4 2,4%
Harvard University 4 2,4%
Edward Elgar Publishing 3 1,8%
Taylor & Francis 3 1,8%
CEPAL 3 1,8%
Universidad Nacional Autnoma de
Mxico
3 1,8%
BID 2 1,2%
Outras 68 41,0%

Total 166 100,0%

Avaliando apenas os artigos, pode-se identificar em quais peridicos se
concentram a produo sobre o BNDES. Os artigos relacionados ao BNDES foram
publicados em 92 diferentes peridicos acadmicos no perodo analisado, sendo em
mdia quatro artigos por peridicos. No entanto, observa-se a concentrao de artigos
em poucos peridicos, sendo que 57,6% dos peridicos acadmicos possuem apenas um
artigo publicado. Por outro lado, apenas a Revista do BNDES concentra 107 artigos, o
que a torna o principal veculo de publicao sobre o banco
14
. A Figura 5 apresenta a
distribuio de frequncia de publicao de artigos nos peridicos acadmicos.

14
Sem considerar a Revista do BNDES (107 artigos) e BNDES Setorial (18 artigos), a mdia de artigos
publicados por peridico reduz-se a 2,6.
28

Figura 5 - Distribuio de frequncia dos peridicos acadmicos


A Tabela 6 apresenta a lista dos vinte peridicos em que mais foram publicados
artigos sobre o banco. Fica evidente a concentrao da publicao em peridicos do
prprio banco, sendo a Revista do BNDES responsvel por 29% de todos os artigos
considerados no Banco de Dados, embora o BNDES Setorial tambm aparea com
participao significativa. Outros cinco peridicos apresentaram mais de 10 artigos
publicados.

29

Tabela 6 - Principais peridicos em que foram publicados artigos sobre o BNDES,
quantidade de artigos e participao no total de artigos publicados
Revista
Quantidade de
Publicaes
Participao no
total de Revistas
Revista do BNDES 107 29,2%
BNDES Setorial 18 4,9%
Economia e Sociedade 14 3,8%
Anlise econmica 13 3,5%
Revista de Economia Poltica 13 3,5%
Ensaios FEE 13 3,5%
The Quarterly Review of Economics and
Finance
12 3,3%
Latin American Perspectives 8 2,2%
Estudos Econmicos 8 2,2%
Pesquisa e planejamento econmico 7 1,9%
Desarrollo Econmico 7 1,9%
Latin American Research Review 7 1,9%
Journal of interamerican Studies and World
Affairs
6 1,6%
Journal of Latin American Studies 6 1,6%
Energy Policy 5 1,4%
Outras 123 33,5%

Total 367 100%

Como a literatura econmica sobre o BNDES concentra-se em artigos
publicados em peridicos, um indicador adicional associado qualidade dessa
publicao a classificao Qualis/CAPES na rea de Economia e reas correlatas
15
. A
Tabela 7 mostra que dos artigos listados no Banco de Dados, 83% foram publicados em
peridicos com classificao Qualis/CAPES. Entretanto, observa-se concentrao da
publicao em revistas classificadas como B5, aproximadamente 36%. A publicao em
peridicos A1 totaliza 7,9%, enquanto que as classificaes B1, B2 e B3 apresentam
participaes semelhantes em torno de 10 a 12%. Quando se compara essa distribuio
dos trabalhos com a das revistas na rea de economia classificadas pela CAPES
verifica-se uma relao bastante prxima. Por exemplo, os estratos B1 e B2 abrangem
24% das revistas classificadas em economia e no Banco de Dados sobre o BNDES tal

15
Administrao, Histria, Cincias Sociais e Multidisciplinar. Cabe ressaltar que a Revista do BNDES e
BNDES Setorial no possuem classificao Qualis/CAPES na rea de economia.
30

percentual foi de 25%. A proporo de peridicos B5 na CAPES de economia atingiu
cerca de 22%.

Tabela 7 - Classificao Qualis/CAPES dos peridicos em que foram publicados
artigos sobre o BNDES, quantidade e participao no total
Qualis
Quantidade de
Publicaes
Participao no total de artigos com
Qualis/CAPES
A1 29 7,9%
B1 44 12,0%
B2 43 11,7%
B3 39 10,6%
B4 17 4,6%
B5 132 36,0%
C 1 0,3%
No definido 62 16,9%

Total 367 100,0%
Nota: Dos 132 artigos com Qualis B5, 125 foram publicados na Revista do BNDES ou no BNDES
Setorial.

Em relao aos autores que trabalham na construo da literatura econmica
sobre o BNDES, foram identificados no Banco de Dados um total de 824 autores. No
que se refere instituio de afiliao, foi verificado que 28,4% dos autores afiliam-se
ao BNDES no momento da publicao do trabalho e 71,6% so pesquisadores de outras
instituies.
O banco de dados contm 821 trabalhos e 824 autores, o que representa uma
mdia de 0,99 trabalhos por autor. O maior nmero de autores do que de trabalhos
reflete a existncia de coautoria na publicao em maior grau do que a existncia de
autores com mais de um trabalho. Outra medida pode ser obtida se for considerado que
cada coautor individualizado do documento recebe crdito total pelo trabalho, assim a
mdia de textos publicados por autor 1,57, sendo que os valores variam de um a 31
documentos por autor
16
. A distribuio de frequncia das publicaes por autor
assimtrica como apresenta a Figura 6, o que evidencia a concentrao da publicao
por autor abaixo dessa ltima mdia. De fato, 76,1% dos autores publicaram apenas um

16
Para os casos em que os documentos possuem mais de um autor, foi adotado o critrio de que cada
autor individualizado do documento recebe crdito total pelo trabalho.
31

documento durante todo o perodo analisado e 97,5% dos autores tm at cinco textos
publicados no perodo. Essa assimetria na distribuio de autores que mais publicam
em geral encontrada na literatura de anlise bibliomtrica. Isso reflete o fato de que
alguns poucos autores se dedicam especificamente ao tema e muitos autores contribuem
marginalmente em termos da quantidade de publicaes. Assim, no h recorrncia na
autoria de trabalhos sobre o banco, dificultando muitas vezes a especializao na
pesquisa sobre o banco.
O nmero de documentos publicados por autor tambm se difere quando se
considera separadamente os autores afiliados ao BNDES e autores afiliados a outras
instituies, sendo que os afiliados ao BNDES publicam maior nmero de documentos
em mdia. Os percentis mostram que 75% dos autores afiliados ao BNDES tm at dois
documentos publicados enquanto que para os autores de outras instituies, 75% dos
autores tm um documento publicado.
Para avaliar se essa diferena estatisticamente significativa foi aplicado o teste
no paramtrico para amostras independentes de Mann-Whitney. O resultado permite
rejeitar, ao nvel de significncia de 1%, que as distribuies do nmero de documentos
por autor so iguais em tendncia central. Portanto pode-se afirmar que a publicao por
autor diferente considerando as afiliaes, sendo que os autores afiliados ao BNDES
publicam mais em mdia.

Figura 6 - Distribuio das publicaes sobre o BNDES por autores


Cabe ressaltar que do total de 821 documentos que constam na Base de Dados,
cerca de 30% foram produzidos por pelo menos um autor afiliado ao BNDES. Das
publicaes pelas quais o BNDES responsvel (268 textos) verifica-se que 82%
32

apresentam pelo menos um autor afiliado ao banco. De forma ilustrativa observa-se que
a Revista do BNDES publica quase exclusivamente documentos de autores afiliados ao
banco, refletindo uma poltica editorial. Assim, a concentrao de publicaes sobre o
banco patrocinadas pela prpria instituio, associada centralizao da autoria em seus
afiliados, demonstra certo de grau de endogenia da literatura.
A Figura 7 permite identificar os autores que contriburam mais vezes para a
literatura econmica referente ao BNDES. O autor que mais publicou sobre o BNDES
o economista Fernando Pimentel Puga, com 31 trabalhos no perodo analisado. Outros
autores que aparecem com 15 ou mais publicaes so Ernani Torres Filho (21),
Armando Castelar Pinheiro (20), Gilberto Bora Jr. (16), Werner Baer (16) e Fbio
Giambiagi (15).

Figura 7 - Autores que mais publicaram sobre o BNDES com a respectiva
instituio de afiliao


Ainda considerando os aspectos gerais das publicaes que compem o Banco
de Dados, a Figura 8 apresenta o idioma da publicao dos trabalhos referentes ao
BNDES, que um indicador do grau de internacionalizao da literatura. Observa-se
que o Portugus (idioma nacional) e o Ingls (principal idioma do meio cientfico) so
responsveis por quase a totalidade das publicaes. Percebe-se tambm que
BNDES
BNDES
IPEA/FGV/UFRJ/BNDES/PUC-RIO
BNDES
University of Illinois
BNDES/UFRJ
BNDES
INSPER
BNDES
UFRJ
BNDES/UFRJ
BNDES/LSE/UFF
UNICAMP
PUC-RIO/ANBID/IEPE
BNDES
0 5 10 15 20 25 30 35
PUGA, F. P.
TORRES FILHO, E.
PINHEIRO, A. C.
BORA JNIOR,
BAER, W.
GIAMBIAGI, F.
BNDES
LAZZARINI, S. G.
NASCIMENTO, M.
HERMANN, J.
MONTEIRO
SOUSA, F. L.
SUZIGAN, W.
OLIVEIRA FILHO,
CASTRO, L. B.
33

aproximadamente 18% dos trabalhos foram publicados em Ingls, o que sinaliza um
grau relativamente alto de internacionalizao da publicao sobre o banco, tendo em
vista que a instituio est diretamente envolvida com a questo do desenvolvimento
nacional, portanto as pesquisas podem ser de maior interesse para os veculos de
divulgao internos. No que se refere aos pases de publicao, o Brasil destaca-se
como o principal responsvel pela publicao, outros pases com maior destaque so os
Estados Unidos e em menor grau o Reino Unido. Por fim, a internacionalizao das
publicaes sob responsabilidade do BNDES limitada, compreendendo apenas trs
documentos em ingls e um em espanhol.

Figura 8 - Documentos da literatura econmica sobre o BNDES, por idioma e pas
da publicao


4.1.2 Variveis de classificao das obras

Conforme mencionado anteriormente os arquivos foram classificados de acordo
com a temtica tratada no texto. Considerando essa dimenso possvel identificar os
principais temas tratados nas publicaes referentes ao BNDES, assim como a
importncia desses temas em cada perodo analisado. A Tabela 8 apresenta o nmero de
vezes que cada temtica foi tratada pelos trabalhos do Banco de Dados, salientando que
um nico trabalho pode tratar vrias temticas conjuntamente. Percebe-se a maior
representatividade das temticas Indstria e Infraestrutura, o que j era esperado tendo
em vista que so as principais reas de atuao do banco.

80,0%
17,7%
2,1% 0,2%
Portugus
Ingls
Espanhol
Francs
79,8%
9,6%
3,7%
2,6% 2,4% 1,0% 1,0%
Brasil
Estados
Unidos
Reino Unido
Outros
Holanda
Argentina
Canada
34

Tabela 8 - Principais temticas tratadas nas obras sobre o BNDES, nmero de
vezes e participao
Temtica Nmero vezes Participao total
(%)
Indstria 231 21,8%
Infraestrutura 160 15,1%
Privatizaes 96 9,0%
Desenvolvimento Social e Urbano, Esporte e
Cultura
113 10,7%
Mercado de Capitais 107 10,1%
Terico - Banco de Desenvolvimento 91 8,6%
Exportao e Insero Internacional 72 6,8%
Inovao 55 5,2%
Agropecuria 24 2,3%
Meio Ambiente 14 1,3%
Comrcio, Servios e Turismo 6 0,6%
Outros 92 8,7%

Total 1061 100%
Fonte: Elaborao Prpria a partir do Banco de Dados de obras sobre o BNDES

Os documentos que compem o Banco de Dados tambm foram classificados de
acordo com o perodo a que se referem. Como mencionado, essa diviso cronolgica foi
definida a partir da histria do BNDES. A Tabela 9 apresenta a frequncia em que esses
perodos so estudados nas obras selecionadas.
Observa-se que a anlise est concentrada nos perodos 1990-2002 e 2002-2013,
o primeiro perodo caracteriza-se por profundas reformas com o objetivo de redefinir o
papel do Estado na economia e aprofundamento do grau de internacionalizao da
economia brasileira na rea comercial e financeira. No que se refere ao perodo mais
recente, a expanso dos desembolsos do banco e a sua ao anticclica pode ter elevado
o interesse dos pesquisadores pela instituio.

35

Tabela 9 - Principais perodos tratados nas obras sobre o BNDES, nmero de vezes
e participao
Perodo Nmero de vezes
Participao no
total (%)
1952-1964 130 11,9%
1964-1980 152 13,9%
1980-1990 137 12,5%
1990-2002 285 26,1%
2002-2013 333 30,4%
Atemporal 57 5,2%
Total 1094 100%

Outro ponto relevante para a pesquisa compreender qual o grau de referncia
dado pelo documento ao BNDES, nesse sentido foi criada uma varivel binria para
permitir a classificao dos textos de acordo com essa referncia. A Figura 9 apresenta a
distribuio dos documentos classificados de acordo com a varivel Grau de referncia
ao BNDES. Nota-se que a metade dos documentos que compem o Banco de Dados
tem como objeto de estudo a atuao do BNDES, a outra metade incorpora documentos
em que o BNDES no o objeto de estudo.

Figura 9 - Classificao das obras sobre o BNDES de acordo com o grau de
referncia que o documento confere ao banco

386 387
Alta referncia ao BNDES Baixa referncia ao BNDES
36

A Tabela 10 apresenta o cruzamento da classificao das temticas com a
classificao dos perodos tratados pelos documentos. Observa-se que as temticas
Infraestrutura e Indstria tm participao elevada em todos os perodos de anlise,
porm apresentam tendncia de perda de participao para outras temticas emergentes,
embora de forma distinta. A temtica Indstria apresenta uma queda mais acentuada a
partir da dcada de 1980, enquanto que a temtica Infraestrutura reduz sua participao
apenas entre os dois primeiros perodos. Em outras palavras, a Infraestrutura mostra-se
mais recorrente como tema de estudo em todos os perodos. Nos trabalhos que analisam
o perodo de 2002-2013 observa-se maior participao das temticas como
Desenvolvimento Social e Urbano, Esporte e Cultura, Mercado de Capitais e Inovao.
Em linha com o crescimento dos aportes do banco para o setor agropecurio, as
pesquisas que tratam deste tema apresentaram um relativo aumento nos ltimos
perodos. Outro ponto de destaque a importncia do tema Privatizao nos trabalhos
que abordam os perodos 1980-1990 e 1990-2002
17
.

Tabela 10 - Principais temticas e perodos tratados nas obras sobre o BNDES
Perodo
Temtica
1952-
1964
1964-
1980
1980-
1990
1990-
2002
2002-
2013 Total
Agropecuria 1,40% 1,58% 3,24% 2,44% 3,33% 2,55%
Comrcio, Servios e Turismo 0,00% 0,00% 0,00% 0,24% 1,11% 0,44%
Desenvolvimento Social e Urbano,
Esporte e Cultura
8,41% 7,11% 6,02% 8,78% 14,41% 9,77%
Exportao e Insero Internacional 5,61% 6,72% 6,48% 9,27% 9,31% 7,78%
Indstria 34,11% 34,39% 25,46% 17,32% 14,41% 22,53%
Infraestrutura 22,43% 17,79% 15,74% 13,66% 15,08% 15,99%
Inovao 0,93% 3,16% 3,24% 5,12% 7,98% 4,67%
Meio Ambiente 0,00% 0,40% 0,93% 0,98% 2,44% 1,24%
Mercado de Capitais 4,67% 9,09% 8,33% 9,27% 14,19% 9,58%
Outros 10,28% 6,72% 6,02% 7,07% 6,65% 7,34%
Privatizaes 4,21% 5,14% 17,59% 20,24% 3,10% 9,83%
Terico - Banco de Desenvolvimento 7,94% 7,91% 6,94% 5,61% 7,98% 8,28%

Total 100% 100% 100% 100% 100% 100%

17
Uma vez que um documento pode tratar de mais de uma temtica e tambm mais de um perodo, os
resultados da Tabela 10 devem ser avaliados com cautela. Por exemplo, podem ocorrer casos em que um
documento avaliou todos os perodos e, na dcada de 90, deu ateno especial ao processo de
privatizaes. Na classificao foram alocados para esse documento todos os perodos e tambm, dentre
as temticas tratadas, a privatizao. Dessa forma por se tratarem de classificaes independentes, no
cruzamento dessas duas informaes (Tabela 10) o tema privatizaes aparecer como tratado em todos
os perodos, uma vez que no possvel isolar o perodo especfico em que determinada temtica foi
tratada em cada texto. Em funo desta limitao, os resultados da Tabela 10 so apenas um sinalizador
de quais temticas foram mais importantes em cada subperodo.
37

4.2. Indicadores de Desempenho

4.2.1. Variveis de caracterstica das obras

O nmero de citaes que um trabalho ou autor recebe dentro do Banco de
Dados pode ser utilizado como um indicador de impacto, ou seja, da repercusso ou
visibilidade desse trabalho ou autor para a comunidade acadmica e, principalmente,
para a literatura econmica sobre o BNDES. Os trabalhos mais citados servem de
referncia para outros pesquisadores que pretendem investigar uma determinada rea.
Do total de 821 documentos, 58,6% no foram citados e 79,0% receberam at duas
citaes. De acordo com Joo Faria (2008) e David Hamilton (1991), tal resultado
bastante comum em Cincias Sociais Aplicadas. O maior valor para o nmero de
citaes que um trabalho recebeu foi 36.
A Figura 10 apresenta a distribuio de frequncia das obras que compem o
Banco de Dados de acordo com o nmero de citaes que receberam, desagregado pela
instituio patrocinadora da publicao. A assimetria da distribuio evidencia a
concentrao do nmero de citaes abaixo da mdia, ou seja, concentrao em poucos
documentos. Essa assimetria ainda mais evidente para os documentos cuja instituio
responsvel pela publicao no o BNDES. Dentre os documentos publicados pelo
BNDES, 48,5% no receberam citaes, enquanto para os documentos publicados por
outras instituies, esse percentual atinge 63,5%. Desta forma, a repercusso dos
trabalhos patrocinados pelo banco mostra-se relativamente maior.

38

Figura 10 - Distribuio de frequncia dos documentos da literatura econmica
sobre o BNDES por nmero de citao recebida

Do total de 821 documentos analisados, 268 so documentos cujo BNDES a
instituio responsvel pela publicao e 553 so publicados por outras instituies. A
Tabela 11 apresenta as estatsticas descritivas para o nmero de citaes por documento.
possvel observar que trs quartos dos documentos publicados pelo BNDES
receberam at trs citaes, enquanto que para os documentos publicados por outras
instituies trs quartos receberam at duas citaes. Observa-se ainda, a mdia de 1,89
citaes por documento, mas essa mdia se difere quando considerada instituio
responsvel pela publicao. O Teste de Mann-Whitney para amostras independentes
permite rejeitar a hiptese, com 1% de significncia, de que o nmero de citaes por
documentos so iguais em tendncia central para as publicaes BNDES e outras
instituies. Portanto, pode-se afirmar que os documentos publicados pelo BNDES so
mais citados em mdia que os documentos publicados por outras instituies.

Tabela 11 - Estatsticas Descritivas do Nmero de citaes por documento por
instituio responsvel
Instituio Responsvel Mdia Mediana Terceiro quartil
BNDES 2,14 1 3
Outra Instituio 1,77 0 2
Todas 1,89 0 2

Para analisar mais detalhadamente quais so as publicaes que receberam
maior nmero de citaes, a Tabela 12 apresenta os dezessete documentos mais citados
com seus respectivos autores e o ano de publicao.

39

Tabela 12 - Os dezessete principais trabalhos de acordo com o nmero de citaes
recebidas

Ttulo
Ano de
Publicao
Autor
Nmero
de
Citae
s
Quinze anos de poltica econmica 1982 LESSA, C. 36
A industrializao e o desenvolvimento econmico do Brasil 1988 BAER, W. 36
The Brazilian economy: growth and development 2001 BAER, W. 28
BNDES, 40 anos: um agente de mudanas 1992 BNDES 26
A aplicao de fundos compulsrios pelo BNDES na formao da
estrutura setorial da indstria: 1952 a 1989
1994
MONTEIRO FILHA,
D.
26
Privatizao de recursos pblicos: os emprstimos do sistema
BNDES ao setor privado nacional com correo monetria parcial
1989 NAJBERG, S. 22
The Development of the brazilian steel industry 1969 BAER, W. 20
BNDES: 50 anos de desenvolvimento 2002 BNDES 18
O BNDE e a industrializao brasileira: 1952-1961 1981 VIANA, A. 18
O papel da poupana compulsria no financiamento do
desenvolvimento: desafios para o BNDES
1994
BONELLI, R.,
PINHEIRO, A.
18
JK e o programa de metas, 1956-1961: processo de planejamento e
sistema poltico no Brasil
2002 LAFER, C. 17
Fontes de recursos do BNDES 1995 PROCHNIK, M. 17
The changing role of the State in the Brazilian economy 1973
BAER, W.,
KERSTENETZKY, I.,
VILLELA, A.
17
A atuao do sistema BNDES como instituio financeira de
fomento no perodo 1952-1996
1998 CURRALERO, C. 16
A economia brasileira em marcha forada 1985
CASTRO, A.,
SOUZA, F.
15
Aspectos macroeconmicos da privatizao no Brasil 1989 WERNECK, R. 15
Da substituio de importaes ao capitalismo financeiro: ensaios
sobre economia brasileira
1972 TAVARES, M. 15
Outros

1193

Total 1553
*
Considera-se o ano da publicao da edio que foi incorporada ao Banco de Dados

O livro Quinze anos de poltica econmica de Carlos Lessa e o livro A
industrializao e o desenvolvimento econmico do Brasil de Werner Baer so os
documentos mais citados do banco de dados, totalizando 36 citaes
18
.
Tambm, h que se atentar para o fato de que alguns dos documentos do Banco
de Dados possuem algumas caractersticas peculiares. Em primeiro lugar, h um grupo
de documentos que representam coletneas de artigos de outros autores. Tais coletneas
fazem parte do Banco de Dados, pois muitos autores citam diretamente a coletnea ao
invs de citar a referncia de um texto especfico. Tambm, h um grupo de documentos
que foram publicados em diferentes formatos, como dissertaes ou teses que foram
posteriormente publicadas em forma de artigos ou como livros. Nestes casos h

18
Algumas obras tratam de maneira mais abrangente a economia brasileira, mas tambm mencionam o
BNDES na publicao, como algumas de Werner Baer, Celso Lafer e Antonio Barros de Castro. Pode
acontecer, em alguns casos, que as citaes decorram no em funo da anlise que os trabalhos fizeram
sobre o BNDES, mas da parte de anlise da economia brasileira.
40

diferentes modos de citar o mesmo trabalho. Para melhor representar estes casos foi
criado um cdigo de identificao unificado, entendendo que esses documentos
especficos tratam no s do mesmo assunto, mas apresentam a mesma viso e
argumentao de um documento anterior do prprio autor. O cdigo unificado soma as
citaes dessas diferentes verses dos trabalhos.
A Tabela 13 apresenta os documentos mais citados que esto nessa condio.
Por exemplo, o primeiro documento A aplicao de fundos compulsrios pelo BNDES
na formao da estrutura setorial da indstria: 1952 a 1989 possui um ttulo adicional
associado ao principal, cuja publicao foi de uma tese de doutorado que foi
posteriormente publicada em formato de artigo. A tese recebeu 26 citaes, mas
unificando com o artigo, o nmero de citaes passa para 34. A coletnea BNDES:
Um banco de ideias - 50 anos refletindo o Brasil compreende 17 obras ao Banco de
Dados, mas foi citada 11 vezes, com referncia prpria coletnea. De outro lado,
unificando com as citaes que os artigos que compem coletnea receberam, o total de
citaes sobe para 28. Os resultados da Tabela 13 traduzem outra forma de avaliar a
repercusso dos trabalhos, salientando a importncia das coletneas para a literatura
sobre o BNDES
19
.

19
O Anexo II apresenta os resultados das citaes por documento, separando pelo tipo de formato
publicado.
41

Tabela 13 - Citaes com cdigo unificado, principais documentos

Citaes - Cdigo
Unificado
Qt.
Ttulos
associados
Ttulo Autor sem cd. com cd.
A aplicao de fundos
compulsrios pelo BNDES na
formao da estrutura setorial da
indstria: 1952 a 1989
MONTEIRO FILHA, D. C.
(1994)
26 34 1
BNDES: Um banco de ideias -
50 anos refletindo o Brasil
MONTEIRO FILHA, D.
C.; MODENESI, R. L.
(2002)
11 28 17
A economia brasileira nos
anos 90
GIAMBIAGI, F.;
MOREIRA, M. M. (1999)
8 27 4
Direcionamento do crdito: o
papel dos bancos de
desenvolvimento e a experincia
recente do BNDES
TORRES FILHO, E. (2007) 14 24 1
BNDES 50 Anos: Histrias
Setoriais
FILHO, J. K.; SO
PAULO, E. M. (2002)
5 22 14
JK e o programa de metas, 1956-
1961: processo de planejamento
e sistema poltico no Brasil
LAFER, C. (2002) 17 17 1
O BNDES e o Plano de Metas DIAS, J. L. (1996) 6 13 1
A reforma do sistema FAT-
BNDES: crticas proposta
Arida
TORRES FILHO, E. (2005) 10 12 1
Desenvolvimento econmico e
desenvolvimento poltico
JAGUARIBE, H. (1962) 10 10 1
O BNDES em um Brasil em
transio
ALM, A. C.;
GIAMBIAGI, F. (2010)
2 10 12
Total: 43 documentos 125 279 -

O desenvolvimento das citaes de um trabalho ao longo do tempo aponta um
comportamento aproximado a de um ciclo de vida. Na Figura 11 apresentam-se os
ciclos dos seis trabalhos mais citados. Pode-se observar o pico de citaes dos trabalhos
ao redor dos dez anos aps sua publicao. Como os dois trabalhos mais antigos de
Lessa (1964) e Baer (1965) tornaram-se referncias clssicas do perodo, seu ciclo
mostra-se mais alongado e no apresentando retrao expressiva nos ltimos anos.
Dessa forma, como grande parte dos textos foi publicada nas ltimas duas dcadas o
ciclo de citaes desses trabalhos ainda no se completou.

42

Figura 11 - Evoluo do nmero de citaes dos principais trabalhos mais citados
no Banco de Dados


Alm do nmero de citaes por documento, outro indicador relevante o
nmero de citaes por autor. Os autores mais citados tornam-se referncias em suas
respectivas reas de atuao e, dessa forma, pode-se destacar os autores-chave da
literatura econmica do BNDES. Para os casos em que os documentos possuem mais
de um autor, foi adotado o critrio de que cada autor do documento recebe crdito total
pelo trabalho.
A anlise estatstica mostra que em mdia os autores receberam 2,6 citaes,
mas o desvio-padro elevado de 8,7 indica alta disperso das citaes. Considerando a
distribuio de frequncia dos autores de acordo com o nmero de citaes que
receberam, a Figura 12 evidencia a assimetria com concentrao de autores com nmero
de citaes igual a zero, totalizando 59,5% dos autores. Esses resultados so coerentes
com o que se verifica na literatura de anlise bibliomtrica. De maneira geral, a
distribuio das citaes apresenta essa assimetria, caracterizando uma situao em que
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Quinze anos de poltica econmica (1964)
A industrializao e o desenvolvimento econmico do Brasil (1965)
BNDES, 40 anos: um agente de mudanas (1992)
The Brazilian economy: growth and development (1979)
A aplicao de fundos compulsrios pelo BNDES na formao da estrutura setorial da
indstria: 1952 a 1989 (1994)
Privatizao de recursos pblicos: os emprstimos do sistema BNDES ao setor privado
nacional com correo monetria parcial (1989)
43

poucos autores-chave recebem muitas citaes e a grande maioria dos autores recebem
poucas citaes.
Apesar de em mdia os autores receberam 2,64 citaes, esse nmero se difere
consideravelmente quando se considera a instituio de afiliao do autor. Os autores
afiliados ao BNDES apresentam em mdia mais que o dobro de citaes que os autores
afiliados a outras instituies. O Teste de Mann-Whitney para amostras independentes
rejeita a 1% de significncia a hiptese nula de que o nmero de citaes por autor
afiliado BNDES e afiliado a outras instituies so iguais em tendncia central.
Portanto, pode-se afirmar o nmero de citaes por autor se diferem entre as
instituies, sendo que os autores afiliados ao BNDES so mais citados que os autores
afiliados a outras instituies. Adicionalmente, observou-se que h certa endogeneidade
nas citaes do BNDES, j que quando se considera unicamente as citaes oriundas de
trabalhos de autores afiliados ao banco verifica-se que estes citam proporcionalmente
mais obras de autores que tambm possuem afiliao do BNDES. Cerca de 56,7% das
citaes de autores afiliados ao BNDES so direcionadas obras cuja afiliao de pelo
menos um dos autores o prprio banco, enquanto 39,4% das citaes de autores no
afiliados ao banco direcionam-se a documentos de afiliados ao banco.
Observa-se, ainda, que h uma maior assimetria na distribuio do nmero de
citaes para os autores no afiliados ao BNDES. Ou seja, para os autores externos ao
BNDES, as citaes so ainda mais concentradas em poucos autores.
Nota- se tambm, um menor percentual de autores sem citao para os afiliados ao
BNDES. Dentre os autores afiliados a outras instituies, 68,6% no receberam citaes
de seus documentos publicados, esse percentual cai para 36,1% para os autores afiliados
ao BNDES, evidencia de que maior nmero de autores do BNDES recebem citaes.

Figura 12 - Distribuio dos autores por nmero de citao recebida
44

O nmero de citaes por autor, como um indicador de impacto, pode apresentar
alguns vieses que devem ser minimizados. Existem autores que podem receber muitas
citaes porque publicaram muitos trabalhos, mas cada um desses trabalhos conta
isoladamente com menor repercusso no campo cientfico. Por outro lado, alguns
autores, apesar de publicarem poucos trabalhos, podem produzir material importante
para a comunidade acadmica. Neste contexto, um indicador relativo relevante que pode
amenizar esse vis o nmero de citaes que um determinado autor recebe em relao
ao total de artigos publicados pelo autor, ou seja, a citao mdia por publicao de
determinado autor. Esse indicador apresenta o impacto mdio do trabalho do autor.
Outro problema relacionado ao nmero de citaes por autor a questo da
autocitao
20
. A Tabela 12 apresenta o indicador citao por publicao assim como o
nmero de autocitao.

Tabela 14 - Autores mais citados e indicador de citao mdia por publicao
Autores Citaes Publicaes
Indicador
Citaes/
Publicaes Autocitao
Indicador
Autocitao/
Citaes
BAER, W. 124 16 7,75 25 20,2%
PINHEIRO, A. C. 122 20 6,10 33 27,0%
GIAMBIAGI, F. 70 15 4,67 10 14,3%
TORRES FILHO, E. 66 21 3,14 8 12,1%
MONTEIRO FILHA, D.C. 64 7 9,14 6 9,4%
BNDES 64 12 5,33 1 1,6%
LESSA, C. 45 3 15,00 0 0,0%
ALM, A. C. 36 5 7,20 3 8,3%
VILLELA, A. V. 34 6 5,67 1 2,9%
NAJBERG, S. 34 5 6,80 1 2,9%
PUGA, F. P. 31 31 1,00 4 12,9%
VELASCO JNIOR, L. 29 3 9,67 3 10,3%
SUZIGAN, W. 28 7 4,00 0 0,0%
PROCHNIK, M. 27 3 9,00 1 3,7%
WERNECK, R. L. F. 23 2 11,50 1 4,3%
Fonte: Elaborao Prpria a partir do Banco de Dados BNDES.

20
A autocitao autoral uma referncia que o autor faz em seu prprio artigo de trabalhos publicados
por ele.
45

Carlos Lessa destaca-se como o autor com maior indicador de citao mdia.
Apesar de possuir apenas trs obras listadas no Banco de Dados, o autor atingiu 45
citaes, resultando em um indicador de 15 citaes por publicao. Ainda se destacam
nesse quesito, Rogrio L. F. Werneck, Licinio Velasco Jr., Dulce Monteiro Filha, Marta
Prochnik, Werner Baer e Ana Claudia Alm
21
. Quanto questo da autocitao,
observa-se que o autor mais citado no Banco de Dados tambm se destaca como o autor
que mais cita seus prprios trabalhos.
Outro indicador importante na avaliao da repercusso da produo acadmica
consiste na citao mdia por peridico. A Tabela 13 mostra os peridicos mais citados
e o nmero de documentos publicados nele. A Revista do BNDES destaca-se pelo
elevado nmero de citaes recebidas (278), representando quase um quinto do total de
citaes identificadas na pesquisa. Em segundo plano, a Pesquisa e Planejamento
Econmico do IPEA atingiu 48 citaes. Outro grupo com certo destaque em termos de
citaes compe-se das revistas: The Quarterly Review of Economics and Finance,
Revista de Economia Poltica, World Development e Economia e Sociedade.

Tabela 15 - Peridicos mais citados e indicador de citao mdia por publicao
Revista Citaes Publicaes Citao/Publicao
Revista do BNDES
278 107 2,60
Pesquisa e planejamento econmico
48 7 6,86
Revista de Economia Poltica
36 13 2,77
The Quarterly Review of Economics and Finance
36 12 3,00
World Development
28 2 14,00
Economia e Sociedade
25 14 1,79
BNDES Setorial
18 18 1,00
Viso do desenvolvimento
16 4 4,00
Estudos Econmicos
13 8 1,63
Journal of interamerican Studies and World Affairs
13 6 2,17
Ensaios BNDES
12 2 6,00
Revista brasileira de economia
11 3 3,67

Quando se considera a citao mdia de cada revista verifica-se que a publicao
World Development apresentou, ainda que com apenas dois textos, a maior taxa de

21
Cabe ressaltar que foram contabilizadas separadamente as publicaes semelhantes de mesma autoria
em idiomas e formatos diferentes. Neste ltimo caso, um autor pode ter publicado primeiramente uma
tese, dissertao ou texto para discusso e posteriormente um artigo, captulo de livro ou livro. No
formato atual do banco de dados, tais documentos contabilizaram-se isoladamente.
46

repercusso mdia por documento publicado (14). O peridico Pesquisa e Planejamento
Econmico tambm apresentou uma repercusso mdia expressiva para os documentos
publicados. Adicionalmente, destacam-se nesse indicador as publicaes do BNDES:
Ensaios BNDES e Viso do Desenvolvimento.

4.2.2. Variveis de classificao das obras

De forma semelhante ao que foi realizado na seo anterior, os trabalhos citados
so analisados de acordo com a temtica e o perodo a que se referem, bem como ao
grau de importncia que o BNDES ocupa no documento.
O nmero de citaes que cada temtica recebe pode ser um indicador de
repercusso do tema. A Tabela 16 apresenta o nmero de documentos que tratam da
temtica por nmero de citaes que receberam, bem como o nmero de citaes totais
que cada temtica recebeu. Como esperado, de maneira geral, as temticas mais tratadas
pelos autores em suas publicaes tambm foram as mais citadas. A primeira coluna da
Tabela 16 mostra que existe uma concentrao do nmero de documentos que
receberam dez ou mais citaes tratando das temticas Indstria e Infraestrutura, 17 e 13
documentos respectivamente. No entanto, do total de trabalhos que avaliam a temtica
Indstria (231), cerca de 55,0% no receberam nenhuma citao (127). J para a
temtica Infraestrutura, 45,0% dos trabalhos no tiveram repercusso. A penltima
coluna da Tabela 16 mostra que a temtica Indstria recebeu no total 598 citaes,
enquanto que Infraestrutura recebeu 511 citaes.
Quando esses resultados so comparados com a Tabela 8, que mostra o nmero
de vezes que cada temtica foi tratada pelos trabalhos, infere-se que a temtica
Infraestrutura repercutiu relativamente mais. Na Tabela 8, Infraestrutura mantinha
participao de cerca de 15,1% no total de temticas tratadas. Quando o indicador de
citaes totais para cada temtica analisado, a participao do tema Infraestrutura sobe
para 22,2% (Tabela 16). Privatizaes foi outra temtica que foi tratada pelos trabalhos
que repercutiram na literatura, ou seja, documentos que receberam mais de uma citao.
Do total de 96 documentos que tratam desta temtica, 42 documentos (43,8%) no
receberam citaes, percentual relativamente reduzido quando comparado s outras
temticas avaliadas. No agregado, a temtica Privatizao recebeu 324 citaes.
Apesar de ser um tema que ganhou importncia para a literatura sobre o BNDES mais
47

recentemente, como mostra a Tabela 10, o tema Mercado de Capitais apresentou uma
significativa repercusso no perodo. Do total de 107 trabalhos que avaliam essa
temtica, 41,1% receberam uma ou mais citaes, isso representa um total de 217
citaes. Comrcio e Meio Ambiente foram as temticas com maior percentual de
trabalhos sem nenhuma citao, indicando que ainda h uma limitada repercusso
desses temas na literatura, possivelmente por serem temticas emergentes.

Tabela 16 - Distribuio das obras sobre o BNDES de acordo com o nmero de
citaes recebidas e temtica tratada
Quantidade de Documentos
Citaes

10 ou
mais
5 a 9 1 a 4 0
Total de
Documentos
Citados
% de 0
citaes
Total de
Citaes
Participao
no Total de
Citaes
Total de Ttulos 43 70 227 481 821
Temticas
Agropecuria 0 0 6 18 24 75% 7 0%
Comrcio, Servios e
Turismo 0 0 1 5 6 83% 1 0%
Desenvolvimento Social e
Urbano, Esporte e Cultura 1 3 29 80 113 71% 88 4%
Exportao e Insero
Internacional 6 6 15 45 72 63% 148 6%
Indstria 17 23 64 127 231 55% 598 26%
Infraestrutura 13 21 54 72 160 45% 511 22%
Inovao 0 4 15 36 55 65% 51 2%
Meio Ambiente 0 0 3 11 14 79% 5 0%
Mercado de Capitais 7 6 31 63 107 59% 217 9%
Privatizaes 11 21 22 42 96 44% 324 14%
Terico - Banco de
Desenvolvimento 3 13 24 51 91 56% 161 7%
Outros 8 6 23 55 92 60% 195 8%

Total de Citaes 2306 100%

Em relao aos perodos histricos tratados pelos documentos que compem o
Banco de Dados, possvel, por meio dos trabalhos mais citados, identificar quais
perodos receberam maior ateno da comunidade acadmica que investiga temas
relacionados ao BNDES. A Tabela 17 apresenta os perodos com o respectivo nmero
de citaes.
Embora grande parte dos documentos que compem o Banco de Dados avaliem
os perodos mais recentes, como observado na Tabela 9, no que se refere ao nmero de
citaes, nota-se que os primeiros perodos apresentam nmero de citaes
relativamente maiores, pois esses trabalhos j esto mais avanados no ciclo de citaes.
48

Considerando os trs perodos iniciais, percebe-se que estes representam 56,6% do total
de citaes recebidas. Esse resultado est de acordo com o esperado, pois trabalhos mais
recentes ainda apresentam pouca repercusso. Da primeira parte da Tabela 17, observa-
se que do total de documentos que avaliam os perodos de 1952-1964, 1964-1980,
1980-1990, 1990-2002 aproximadamente metade deles no receberam nenhuma citao.
J do total de 333 documentos que avaliaram a ltima dcada (2002-2013), 228 no
receberam nenhuma citao (68,5%). Em termos absolutos o perodo mais citado foi o
de 1990-2002, que recebeu 615 citaes (penltima coluna da Tabela 15).

Tabela 17 - Distribuio das obras sobre o BNDES de acordo com o nmero de
citaes recebidas e perodo avaliado

Quantidade de Documentos

10 ou mais
citaes
5 a 9
citaes
1 a 4
citaes
0
citao
Total de
Documentos
Citados
Percentual
de 0
citaes
Total de
Citaes
Participao
no Total de
Citaes
Total de
Ttulos 43 70 227 481 821
Perodo

1952-1964 14 17 33 66 130 51% 495 21%
1964-1980 10 18 42 82 152 54% 428 18%
1980-1990 13 18 40 66 137 48% 429 18%
1990-2002 18 35 91 141 285 49% 615 26%
2002-2013 7 14 84 228 333 68% 308 13%
Atemporal 3 5 20 29 57 51% 111 5%

Total de
Citaes 2386 100%
Outra questo relevante associada classificao dos documentos citados refere-
se ao grau de referncia dos textos ao BNDES. A Figura 13 apresenta a distribuio dos
documentos que compem o banco de dados por nmero de citaes e pelo grau de
referncia que faz ao BNDES. Nota-se que em geral os documentos mais citados
tambm so aqueles que tm o BNDES como objeto de estudo. Entre os documentos
com 10 ou mais citaes observa-se que 66,7% so obras em que o BNDES aparece de
maneira significativa no documento, j entre os documentos com zero citaes apenas
41,3% tm o BNDES como objeto de estudo.

49

Figura 13 - Distribuio das obras sobre o BNDES de acordo com o nmero de
citaes recebidas e grau de referncia ao banco


A mdia de citaes dos trabalhos com elevado grau de referncia ao BNDES,
que assume valor da varivel binria igual a 1, de 2,15. Para os trabalhos com baixo
grau de referncia ao BNDES, cujo valor da varivel binria igual a 0, a mdia de
1,77. Para verificar se existe diferena estatstica entre as mdias desses dois grupos
foram aplicados os Testes de Mann Whitiney, que testa se a distribuio das citaes por
trabalho diferem entre os dois grupos (1 e 0) e o Teste de Mediana, que testa se as
medianas dos grupos so diferentes
22
. Em ambos os testes os resultados permitem
rejeitar a hiptese nula, ao nvel de significncia de 1%, que a mdia ou mediana so
iguais. Assim, a repercusso dos trabalhos que tm o BNDES como objeto de estudo
maior que os trabalhos que no se referem ao BNDES de modo expressivo.

4.3. Indicadores Relacionais

Outra forma de visualizar a estrutura de citaes do Banco de Dados por meio
das redes. Esses indicadores so amplamente utilizados na literatura de anlise

22
Foram aplicados testes no paramtricos de diferenas de mdias para amostras independentes tendo
em vista que a varivel nmero de citaes por trabalho no apresentou distribuio normal, conforme
teste de normalidade de Kolmogorov-Smirnov.

0%
20%
40%
60%
80%
100%
10 ou
mais
citaes
5 a 9
citaes
1 a 4
citaes
0
citaes
Baixa referncia ao BNDES 33% 31% 40% 59%
Alta referncia ao BNDES 67% 69% 60% 41%
Baixa
referncia ao
BNDES
Alta
referncia ao
BNDES
50

bibliomtrica, principalmente nas anlises de co-citao e coautoria de artigos e
documentos. A Figura 14 apresenta a rede de citaes dos documentos mais citados
conforme foi detalhado na Tabela 12
23
.
O valor da densidade da rede de 0,1061 indicando que apenas 10,6% de todas
as conexes possveis so estabelecidas na rede, o que aponta para uma rede pouco
densa. Para a construo da rede e anlise dos documentos mais centrais, optou-se pelo
mtodo de Grau de Centralidade (Centrality Degree) que considera o nmero de
interaes que os atores de uma rede estabelecem com os outros
24
. Ademais, o tamanho
do n reflete a frequncia com que o documento foi citado.
O alto grau de centralidade dos trabalhos de Baer (1998), Lessa (1982),
Monteiro Filha (1994), Baer (2001) e BNDES (1992) aponta para uma maior influncia
desses documentos na literatura econmica sobre o BNDES. De fato, com exceo de
Baer (2001), os outros documentos tm o BNDES como objeto de estudo, ou seja,
analisam de maneira significativa a atuao do banco. Pode-se dizer que esses
documentos formam a rede principal de citaes.
Alguns documentos tambm apresentam grau elevado de centralidade, porm
essa caracteriza-se por ser apenas local. Em outras palavras, embora o documento seja
amplamente citado, a rede de citaes desse documento no est conectada aos outros
documentos mais citados. Esse o caso, por exemplo, dos trabalhos de Baer et al.
(1973), Werneck (1989) e BNDES (2002) que recebem vrias conexes por meio das
citaes de outros trabalhos que pouco se conectam a rede principal. Analisando
especificamente os trabalhos de Baer et al. (1973) e Werneck (1989) observa-se que os
mesmos no analisam o BNDES de maneira significativa. Na verdade so documentos
que discutem temas de grande repercusso na rea acadmica e estreitamente
relacionados atuao do BNDES, como a interveno do Estado no processo de
industrializao do Brasil analisado em Baer et al. (1973) e o processo de privatizao
no Brasil tratado por Werneck (1989). Essas caractersticas podem explicar o padro
desses documentos na rede, ou seja, o potencial de gerarem redes locais dentro da rede
principal.

23
Devido ao alto nmero de autores com poucas citaes e, portanto, a dificuldade em represent-los em
uma rede inteligvel optou-se pela construo da rede considerando os 17 documentos mais citados, sendo
que esses trabalhos obtiveram mais de 14 citaes.
24
O mtodo do Grau de Centralidade tambm foi utilizado para a construo das redes de co-citao,
autores e parcerias institucionais.
51

Figura 14 - Redes de citao dos dezessete trabalhos mais citados no Banco de Dados


A Figura 15 apresenta a rede de co-citao construda considerando os dezessete
documentos mais citados no Banco de Dados. A anlise de co-citao tipicamente
apresenta uma rede onde os autores/documentos mais citados esto conectados pelo link
de co-citao.

Figura 15 - Redes de co-citao dos dezessete trabalhos mais citados


Observa-se, na parte mais densa da rede, que os trabalhos de Viana (1981) e
Najberg (1989) formam o par de documentos com maior nmero de co-citao seguido
por Viana (1981) e Curralero (1998). Essas trs dissertaes de mestrado analisam
detalhadamente a atuao do BNDES, podendo ser considerados os trabalhos centrais,
ou mais influentes da rede. Alm desses principais, ainda so co-citados em menor grau
os trabalhos de Lessa (1982), Castro (1985), Prochnik (1995), Monteiro Filha (1994) e
Baer (1998). Dessa forma, pode-se argumentar que esses seriam os documentos
referncias para os pesquisadores que investigam sobre o BNDES.
Para avaliar a relao entre os trabalhos mais citados do Banco de Dados, foi
aplicada a tcnica multivariada da anlise fatorial visando agregar os trabalhos de
acordo com as citaes e co-citaes recebidas. A Tabela 23, no anexo V, traz os
resultados completos da anlise fatorial, bem como, os valores dos testes aplicados para
verificar a adequao dos dados tcnica. O modelo estimado apresentou adequado
ajustamento considerando os testes de Kaiser-Meyer-Olkin (KMO), esfericidade de
53

Bartlett (LR test) e alpha de Crobach. O resultado da anlise identificou sete autovalores
superiores unidade, de tal forma que sete fatores podem ser usados para explicar as
relaes de citaes e co-citaes dos trabalhos do Banco de Dados. Esses autovalores
explicam 57% da varincia total das variveis originais. A Tabela 18 a seguir, apresenta
as cargas fatoriais correspondentes a cada um dos sete fatores. As cargas fatoriais
correspondem aos coeficientes de correlao entre cada fator e cada um dos 17
trabalhos considerados na anlise.
Verifica-se que o Fator 1 est forte e positivamente correlacionado com cinco
documentos que apesar das informaes textuais, tem como caracterstica principal a
apresentao de estatsticas sobre o banco, tal que um grupo usado conjuntamente
como Fonte de Dados. Por exemplo, o trabalho de Viana (1981) apresenta correlao
de 71% com o Fator 1. Os demais trabalhos que compem esse grupo apresentaram
correlao em torno de 50% ou mais com esse fator. Nota-se que Viana (1981) e Bonelli
e Pinheiro (1994) so anlises de perodos mais curtos e os demais analisam mais de
uma dcada de atuao do banco. O Fator 2 est relativamente mais correlacionado
com documentos cujo os autores so referncias clssicas quanto economia brasileira,
que so citados conjuntamente. O Fator 3 se relaciona fortemente com documentos em
lngua inglesa publicados pelo Werner Baer. Portanto, os documentos em questo
tratam-se de referncias clssicas sobre economia brasileira, porm citados pela
literatura internacional. Os documentos correlacionados com o Fator 4 assemelham-se,
em contedo, aos documentos do Fator 2, sendo importantes tambm principalmente
como base ou panorama histrico para os trabalhos. Nota-se que os demais fatores esto
correlacionados com trabalhos individuais, o que corrobora o resultado de redes locais
mencionado anteriormente. Ou seja, trabalhos que repercutiram na literatura em termos
de citao, mas no possuem ligao, em termos de co-citao, com os demais
documentos citados.

54

Tabela 18 - Anlise Fatorial aplicada a rede de citaes dos trabalhos mais citados

Fator
Trabalhos 1 2 3 4 5 6 7
WERNECK, R. L. F. (1989) 0.00 -0.19 -0.55 -0.35 -0.24 0.00 -0.11
VIANA, A. L. D. (1981) 0.71 0.30 -0.01 0.02 0.04 0.16 0.01
CURRALERO, C. R. B. (1998) 0.49 -0.07 -0.04 -0.12 0.10 0.38 0.46
PROCHNIK, M. (1995) 0.58 -0.20 -0.09 -0.04 -0.03 -0.29 -0.10
NAJBERG, S. (1989) 0.55 0.09 -0.06 -0.03 0.39 0.02 -0.32
BAER, W. (1988) -0.04 0.62 0.34 -0.34 -0.01 -0.10 -0.05
BONELLI, R.; PINHEIRO, A. C. (1994) 0.52 -0.32 0.06 0.31 -0.16 -0.25 -0.04
LAFER, C. (2002) -0.07 0.05 0.01 -0.02 0.10 -0.10 0.84
LESSA, C. (1982) 0.11 0.75 -0.06 0.21 -0.13 -0.07 0.08
CASTRO, A. B.; SOUZA, F. E. P. (1985) -0.03 0.14 -0.03 0.74 -0.06 -0.01 -0.05
BAER, W.; KERSTENETZKY, I.; VILLELA, A. V.
(1973)
-0.24 -0.11 0.07 -0.30 -0.16 -0.23 -0.09
BAER, W. (2001) 0.05 -0.15 0.71 0.02 -0.26 0.00 0.02
MONTEIRO FILHA, D. C. (1994) 0.03 -0.10 -0.07 -0.02 0.83 -0.09 0.15
TAVARES, M. C. (1972) 0.00 0.53 -0.10 0.14 -0.09 -0.18 0.00
BNDES (2002) 0.01 -0.11 -0.04 0.03 -0.08 0.85 -0.09
BNDES (1992) 0.12 -0.21 0.10 0.45 0.39 0.15 -0.27
BAER, W. (1969) -0.20 0.18 0.59 -0.27 0.06 -0.12 -0.13

A anlise de coautoria permite avaliar as parcerias e redes de cooperao
estabelecidas entre pesquisadores que investigam um determinado tema. Esses autores
podem ser afiliados mesma instituio ou podem pertencer a instituies diferentes,
localizadas at mesmo em pases distintos.
Inicialmente, verificou-se que 65,0% dos documentos do Banco de Dados foram
escritos por apenas um autor, que resultado bastante comum em cincias sociais
(Figura 16). Esse percentual ainda maior para os documentos cujos autores no so
afiliados ao BNDES (74,6%), j para o caso em que pelo menos um dos autores
afiliado ao BNDES, verifica-se que 44,9% dos documentos no apresentam coautoria.
Entre os trabalhos em coautoria, destacam-se as colaboraes de dois e trs
autores, representando respectivamente um quinto e menos de um dcimo do total. No
caso em que pelo menos um dos autores afiliado ao BNDES, a Figura 14 indica um
grau ainda maior de coautoria em seus trabalhos. Para verificar se a coautoria dos
trabalhos cuja afiliao dos autores refere-se ao BNDES , estatisticamente, maior que a
coautoria em trabalhos cuja afiliao dos autores de outras instituies, realizou-se o
Teste de Mann-Whitney
25
.
Dos 821 documentos analisados, 235 tiveram sua afiliao associada ao
BNDES, pois pelo menos um de seus autores afiliado ao banco, enquanto o restante
dos documentos (586) possui autores afiliados a outras instituies. Dentre os trabalhos
cuja afiliao do autor foi associada ao BNDES, encontra-se, em mdia, 1,81 autores
por obra, enquanto para os documentos publicados por autores no afiliados ao banco, o

25
Teste permite rejeitar, a 1% de significncia, a hiptese nula de que o nmero de autores por documento igual em
tendncia central para autores no afiliados ao Banco e pelo menos um autor afiliado ao banco.
55

nmero mdio de autores por obra de 1,53. O Teste de Mann-Whitney para amostras
independentes permite afirmar que existe um maior grau de coautoria nos trabalhos
publicados por pelo menos um autor afiliado ao Banco.

Figura 16 - Distribuio dos autores de acordo com o nmero de coautores,
segundo afiliaes ao BNDES e outras instituies


Para a construo da rede de coautoria, o mtodo utilizado tambm foi o Grau de
Centralidade, resultando o valor da densidade da rede de 0,22%. Esse resultado salienta
que as relaes de coautoria so reduzidas para os documentos publicados sobre o
BNDES.
A Figura 17 apresenta as trs principais redes de coautoria identificadas no
Banco de Dados. O tamanho do n (circunferncia) reflete a frequncia com que o autor
aparece em trabalhos em coautoria. A espessura da ligao entre os autores indica a
frequncia em que esses pesquisadores trabalham conjuntamente. O primeiro grupo
inclui dois pesquisadores centrais que so Puga, F. P. e Torres Filho, E. T. que
estabelecem uma ampla rede de coautoria. As duas outras redes menores possuem cada
uma um autor central. Observa-se que Giambiagi, F. o autor central da segunda rede
que tambm se conecta a rede principal. J a terceira rede caracteriza-se por ser
relativamente mais local do que as anteriores, apresentando De Negri, J. A. como autor
central.

0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
1 2 3 4 5 6 7
F
r
e
q
u
n
c
i
a

R
e
l
a
t
i
v
a
Quantidade de Autores por Obra
Outras Afiliaes Uma das afiliaes BNDES

Figura 17 - Trs principais redes de coautoria identificadas no Banco de Dados


Adicionalmente, a literatura econmica nacional e internacional relata que o
nmero de trabalhos em coautoria aumentou ao longo do tempo (Sutter e Kocher, 2004;
Faria et al. 2007). A Figura 18 apresenta o nmero de trabalhos produzidos em
coautoria a partir de 1968, quando foi publicado o primeiro texto nessa condio.
Verifica-se uma tendncia crescente da coautoria nos documentos sobre o BNDES a
partir dos anos 1990. Nos ltimos anos, mais da metade dos trabalhos foram em
coautoria, revelando um aumento da colaborao e especializao entre os
pesquisadores.

Figura 18 - Nmero de documentos produzidos em coautoria e sua participao no
total (1968-2013)


No caso de coautoria, a instituio de afiliao dos autores pode ser utilizada
como uma medida de cooperao interinstitucional. A colaborao interna quando a
coautoria do trabalho caracteriza-se por autores afiliados mesma instituio. Por outro
lado, a colaborao externa quando os autores afiliam-se a diferentes instituies.
Dentre os trabalhos desenvolvidos em coautoria, os resultados mostraram que 62% dos
documentos publicados foram produzidos em redes de colaborao interna, enquanto
38% resultaram de colaborao externa.
0%
10%
20%
30%
40%
50%
60%
70%
0
5
10
15
20
25
30
35
40
45
50
1
9
6
8
1
9
7
0
1
9
7
1
1
9
7
2
1
9
7
3
1
9
7
5
1
9
7
8
1
9
7
9
1
9
8
0
1
9
8
2
1
9
8
4
1
9
8
5
1
9
8
6
1
9
8
7
1
9
8
9
1
9
9
0
1
9
9
1
1
9
9
2
1
9
9
3
1
9
9
4
1
9
9
5
1
9
9
6
1
9
9
7
1
9
9
8
1
9
9
9
2
0
0
0
2
0
0
1
2
0
0
2
2
0
0
3
2
0
0
4
2
0
0
5
2
0
0
6
2
0
0
7
2
0
0
8
2
0
0
9
2
0
1
0
2
0
1
1
2
0
1
2
2
0
1
3
Co-autoria Percentual de co-autoria
58

Ao analisar separadamente os autores afiliados ao BNDES, constata-se que as
redes de colaborao externa do banco mostram-se ainda mais restritas, chegando a
21% dentre os documentos com coautoria.
Essa relativa menor cooperao externa dos afiliados ao BNDES tambm pode
ser verificada na Tabela 19. Essa tabela apresenta o nmero de documentos produzidos
por autores do banco com parceiras nacionais ou internacionais, bem como o mesmo
indicador para os autores de outras afiliaes. Observa-se que os trabalhos de afiliados a
outras instituies foram produzidos contando com uma relativa maior colaborao
externa internacional.

Tabela 19 - Distribuio das obras realizadas em coautoria com cooperao
externa, de acordo com afiliao ao BNDES e a outras instituies
Cooperao Externa
Nacional % no Total Internacional % no Total Total
BNDES 23 77% 7 23% 30 100%
Outras 50 67% 25 33% 75 100%

A Figura 19 apresenta a rede de cooperao interinstitucional no
desenvolvimento de trabalhos em coautoria. O valor da densidade da rede de 0,0336
indicando que apenas 3,36% de todas as conexes possveis so estabelecidas, o que
aponta para uma rede com reduzidas relaes entre as instituies. Neste caso, o
tamanho do n (dimenso da circunferncia) indica a frequncia com que a instituio
aparece em trabalhos com coautoria, como consequncia da atuao de seus afiliados, e
a espessura da ligao entre as instituies denota a frequncia de coautoria entre duas
instituies.
Nota-se que a rede de colaborao constituda de uma rede principal que
conecta as instituies nacionais mais importantes, em termos de colaborao na
coautoria de trabalhos, dentre elas o BNDES, a UFRJ, o IPEA, a UNICAMP, a USP, a
UFF e a PUC-Rio. Alm dessa rede principal, verifica-se ainda a existncia de algumas
redes locais com destaque para duas principais constitudas de instituies
internacionais. No caso da rede local centrada na Universidade de Illinois as demais
instituies no estabelecem parcerias de coautoria entre si. Um padro oposto
observado na rede local que inclui o BIRD, ONU e trs universidades estrangeiras, no
qual no h centralidade em apenas uma instituio.
59

No que se refere rede principal, observa-se que o BNDES aparece como a
instituio com maior nmero de trabalhos em coautoria, portanto com maior nvel de
colaborao. No entanto, a colaborao interna, ou seja, entre autores do Banco,
predominante na rede. Em termos de colaborao interinstitucional, a UFRJ sobressai
como a principal parceira do BNDES na coautoria dos trabalhos. Outras colaboraes
de parceira relevantes entre as instituies so UNICAMP e IPEA, UNICAMP e UFRJ,
UNICAMP e UFF e UFRJ e USP.
60

Figura 19 - Redes de cooperao entre instituies


5. Consideraes Finais

Os indicadores apresentados na presente pesquisa permitiram traar um perfil
pormenorizado da literatura econmica sobre o BNDES e vislumbrar a trajetria dessa
publicao. A partir das informaes levantadas foram construdos indicadores
bibliomtricos que associados anlise de redes sintetizam o perfil bibliogrfico,
autoral e de repercusso.
A publicao acadmica sobre o BNDES concentra-se em artigos publicados em
peridicos e captulos de livros. Ademais, um volume significativo de teses e
dissertaes foi desenvolvido, indicando que o tema recebeu ateno dos centros de
ps-graduao no pas, especialmente nos programas da UNICAMP e da UFRJ.
Verificou-se uma tendncia de crescimento da publicao acadmica sobre o
BNDES, especialmente nas duas ltimas dcadas, com taxas superiores ao crescimento
da elaborao de trabalhos cientficos no Brasil. Isso reflete o crescimento das
publicaes na rea de economia de forma geral ocorrido no perodo e a maior ateno
dada pela literatura contribuio do BNDES, especialmente com o crescimento dos
seus desembolsos. Adicionalmente, a anlise do Banco de Dados revelou que as
publicaes sobre o tema so altamente concentradas, tanto em termos de instituies
responsveis pela publicao, como em autores que mais publicam.
A preocupao do BNDES em gerar informao e pesquisas sobre a sua atuao
refletiu-se nos resultados da Anlise Bibliomtrica. De maneira geral, o BNDES a
instituio responsvel pelo maior nmero de publicaes sobre o banco e,
adicionalmente, a instituio de afiliao de pouco mais de um quarto dos autores que
produzem sobre o tema. A despeito da ateno do banco gerao de informao e
produo bibliogrfica, isso gerou um grau de endogenia na literatura.
Sobre os indicadores internacionais, foi possvel observar que aproximadamente
um quinto da publicao sobre o BNDES foi realizada em idioma diferente do
portugus, em especial ingls. Adicionalmente, pouco menos de um tero dos
documentos foram publicados fora do Brasil, revelando o interesse e a possibilidade de
publicao no exterior. Apesar de no existir uma base slida para tal comparao,
entende-se que se trata de um indicador expressivo de internacionalizao quando
comparado com outras temticas em cincias sociais, principalmente por se tratar de um
tema mais relacionado economia brasileira.
62

No que se refere classificao dos documentos, as temticas mais tratadas
foram Indstria e Infraestrutura, sendo essas tambm as mais citadas. Grande parte dos
trabalhos avaliam esses dois temas conjuntamente. Os perodos mais tratados pelas
publicaes foram as trs ltimas dcadas, no entanto, como esperado, os trabalhos que
avaliaram os primeiros perodos de atuao do BNDES receberam maior nmero de
citaes. Adicionalmente, verificou-se que os documentos mais citados so tambm
aqueles que avaliam o papel do BNDES com maior grau de profundidade.
Foi possvel identificar um grupo de autores-chave que mais publicaram e que
receberam um elevado nmero de citaes. As anlises estatsticas evidenciaram a
concentrao das citaes em poucos documentos e autores. Como resultado, infere-se
que apesar da extensa lista de trabalhos e autores que tem se dedicado ao tema, o
nmero de documentos que repercutiu em termos de citaes na literatura
relativamente reduzido. Adicionalmente, a anlise de redes de citao e co-citao dos
principais trabalhos indicou a existncia de um expressivo nmero de redes locais, ou
seja, embora o documento seja amplamente citado, a rede de citaes desse documento
no est conectada aos outros documentos que formam a rede principal. Essa reduzida
densidade na rede de citaes tambm foi observada nas redes de coautoria e de
parcerias institucionais entre autores.
Aceitando o indicador de qualidade da produo intelectual da CAPES (Qualis),
nota-se que grande parte dos artigos do Banco de Dados sobre o BNDES foi publicada
em peridicos que possuem classificao Qualis. Entretanto, apenas cerca de um tero
esto nos peridicos classificados nos estratos mais elevados, quais sejam A1, B1 e B2.
Por outro lado, quase metade da publicao encontra-se em peridicos classificados nos
estratos: B3, B4, B5 e C.
Em termos de cooperao, os autores afiliados ao BNDES publicam
relativamente mais em coautoria e estabelecem cooperao entre si. Por outro lado, as
redes de colaborao entre afiliados ao BNDES e autores de outras instituies so
relativamente menores que o padro observado para os demais autores do Banco de
Dados. A anlise de redes para as instituies de afiliao dos autores revelou que a
principal rede de cooperao entre pesquisadores ocorre entre UFRJ e BNDES.
Com base nas principais evidncias apresentadas nesta pesquisa, algumas
sugestes ao Banco podem ser colocadas. Primeiramente, sugere-se o estabelecimento
de redes de colaborao com autores de outras instituies nas publicaes em que o
BNDES o responsvel. Tal diretiva fortaleceria os laos de publicao entre o corpo
63

tcnico do banco com outras instituies nacionais e estrangeiras. Ademais, uma
poltica de publicao em outros peridicos de qualidade reconhecida permitir maior
exposio da literatura s crticas externas, alm de maior visibilidade dos trabalhos na
comunidade acadmica cientfica. Adicionalmente, como a Revista do BNDES o
principal veculo de publicao sobre o banco, uma sugesto para ampliar o impacto da
revista consistiria na maior abertura deste peridico a autores no afiliados ao banco,
permitindo assim um debate mais amplo. Finalmente, uma proposta para a divulgao
das pesquisas sobre o banco na literatura econmica internacional seria a submisso
para peridicos que j publicaram trabalhos sobre o tema.
64

Referncias Bibliogrficas

AKSNES, D. W. A macro study of self-citation. Scientometrics, v. 56, n. 2, p. 235-
246, 2003.

ANU The Australian National University. Quantitative indicators for research
assessment a literature review. Canberra: Research School of Social Sciences,
2005. 84 p. (REPP Discussion Paper 05/1).

BORGATTI, S. P.; EVERETT, M .G.; FREEMAN, L. C. Ucinet for Windows:
Software for Social Network Analysis. Harvard, MA: Analytic Technologies, 2002.

BORGATTI, S. P. NetDraw: Graph Visualization Software. Harvard: Analytic
Technologies, 2002.

BRASIL. Portal Brasil. Produo cientfica. Disponvel em:<
http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-
cientifica> Acesso em 12 de maro de 2013.
CHEN, C.; IBEKWE-SANJUAN, F.; HOU, J. The structure and dynamics of
cocitation clusters: A multiple-perspective cocitation analysis. Journal of the
American Society for Information Science and Technology, v. 61, n. 7, p. 1386-
1409, Jul, 2010.

DURIEUX, V.; GEVENOIS, P. A. Bibliometric Indicators: Quality Measurements of
Scientic Publication. Radiology, v. 255, n. 2, p. 342-351, May, 2010.

FARIA, J. R.; ARAUJO JR, A. F. & SHIKIDA, C. The Citation Pattern of Brazilian
Economists. Estudos Econmicos, v. 37, n. 1, p. 151-166, jan./mar. 2007.

FARIA, J. R. Citation. International Encyclopedia of the Social Sciences, 2008.
Disponvel em: <http://www.encyclopedia.com/doc/1G2-3045300336.html>. Acesso
em 12 de maro de 2013.

GARFIELD, E. Citation Indexes for Science A New Dimension in Documentation
through Association of Ideas. Science, v. 122, n. 3159, p.108-11, July, 1955.

GAUTHIER, E. Bibliometric analysis of scientific and technological research:a
user's guide to the methodology. Canad: Observatoire des Sciences et des
Technologies, 1998. 59 p. (88F0006XPB No. 8).

GROSS, P. L. K; GROSS, E. M. College Libraries and Chemical Education. Science,
v. 66, n. 1713, p. 385-389, Oct, 1927.

HAMILTON, D. P. Research Papers: Whos Uncited Now? Science, v. 251, p. 25,
1991.

JOHNES, G. Research performance indications in the university sector. Higher
Education Quarterly, v. 42, p. 54-71, 1988.
65

LIMA, R. A.; VELHO, L. M. L. S.; FARIA, L. I. L. Anlise Bibliomtrica da
Atividade Cientfica da Embrapa Solos (1975-2009). Rio de Janeiro: EMBRAPA,
2010. 26 P. (Boletim de Pesquisa e Desenvolvimento 153).

LUNDBERG, J. Blibliometrics as a research assessment tool impact beyond the
impact factor. 2006. 57 p. Tese (Doutorado) - Department of Learning, Informatics,
Managements and Ethics, Karolinska Institute, Stockholm, 2006.

MARTIN, B. R.; IRVINE, J. Assessing basic research. Some partial indicators of
scientific progress in radio astronomy. Research Policy, n. 12, p. 61-90, 1983.

MARZAGO, D. S. L.; ERARIO, A. L.; CARVALHO, M. M. Sistemas de
indicadores de desempenho: reviso bibliogrfica por mtodos bibliomtricos. In: XXX
CONGRESSO NACIONAL DE ENGENHARIA DE PRODUO, So Carlos SP,
12 a 15 de Outubro, 2010.

MOED, H. F.; DE BRUIN, R. E.; VAN LEEUWEN, TH. N. New bibliometric tools
for the assessment of national research performance: database description,
overview of indicators and first applications. Scientometrics, v. 33, n. 3, p. 381-422,
1995.

PENTEADO, R.; DOU, H.; BOUTIN, E.; QUONIAM, L. De la cration des bases de
donnes au dveloppement de systmes dintelligence pour lentreprise. Information
Sciences for decision Making, v. 8, n. 67, p. 05, 2003.

PRITCHARD, Alan. Statistical bibliography or bibliometrics. Journal of
Documentation, v. 25, n. 4, p.348-349, Dec. 1969.

OKUBO, Y. Bibliometric indicators and analysis of research systems: methods
and examples. Paris: OECD, 1997. 70 p. (STI Working Papers, 1997/1).

ROUSSEAU, R. Indicadores bibliomtricos e economtricos para a avaliao de
instituies cientficas. Ci. Inf., Braslia, v. 27, n. 2, p. 149-158, maio/ago.1998.

SMALL, H. Co-citation in the scientific literature: a new measure of the relationship
between two documents. Journal of de American Society for Information Science,
v. 24, n. 4, p. 265-269, Jul/Aug 1973.
SUTTER, M.; KOCHER, M. Patterns of co-authorship among economics departments
in the USA. Applied Economics, v. 36, p. 327-333, 2004.
VAN LEEUWEN, TH. N.; VISSER, M. S.; MOED, H. F.; NEDERHOF, T. J.; VAN
RAAN, A. F. J. The Holy Grail of science policy: Exploring and combining
bibliometric tools in search of scientific excellence. Scientometrics, v. 57, n. 2, p. 257-
280, 2003.
WHITE, H. D; GRIFFITH, B. C. Author cocitation: A literature measure of intellectual
structure. Journal of the American Society for Information Science, v. 32, n. 3, p.
163171, May 1981.
66

Anexo I

Lista de Instituies Nacionais
UFMT
http://www.uftm.edu.br/paginas/ensino/cod/83/area/9/t/TESES+E+DISSERTACOES
http://www.biblioteca.ufmt.br/pergamum/biblioteca/index.php
UNICAMP
www.bibliotecadigital.unicamp.br
http://acervus.unicamp.br/
USP (FEA, FEARP, ESALQ)
http://www.teses.usp.br/
www.dedalus.usp.br
UERJ
http://www.bdtd.uerj.br/
http://virtua.sirius.uerj.br:8000/cgi-bin/gw_2012_2/chameleon
UFPR
http://dspace.c3sl.ufpr.br/dspace/handle/1884/284
http://acervo.ufpr.br/
UFPR
http://dspace.c3sl.ufpr.br/dspace/handle/1884/284
http://acervo.ufpr.br/
UNICAMP
www.bibliotecadigital.unicamp.br
http://acervus.unicamp.br/
FUFSE
http://www.ufs.br/
UFMA
http://www.tedebc.ufma.br/
https://www.secureweb.ufma.br/sab/
UFAL
http://www.sibi.ufal.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_p
esquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFBA
http://www.bibliotecadigital.ufba.br/
http://www.pergamum.bib.ufba.br/pergamum/biblioteca/index.php
UFC
http://www.teses.ufc.br/tde_busca/index.php
http://www.biblioteca.ufc.br/index.php?option=com_content&task=section&id=29&It
emid=55
UFC
emid=55
UNB
http://bdtd.bce.unb.br/tedesimplificado/tde_busca/index.php
67

http://consulta.bce.unb.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo
_pesquisa=&filtro_bibliotecas=&filtro_obras=&id=
UCB
http://www.biblioteca.ucb.br/
UFES
http://www.bdtd.ufes.br/tde_busca/index.php
http://www.bc.ufes.br/
UFMG
http://www.bibliotecadigital.ufmg.br/dspace
https://catalogobiblioteca.ufmg.br/pergamum/biblioteca/index.php?resolution2=1024
_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionad
os=
UFV
http://www.tede.ufv.br/tedesimplificado/tde_busca/index.php
http://alexandria.cpd.ufv.br:8000/cgi-bin/gw/chameleon
UFU
http://www.bibliotecas.ufu.br/
UFPA
http://bc.ufpa.br
UFPB/J.P.
http://bdtd.biblioteca.ufpb.br/tde_busca/index.php
http://150.165.241.35/biblioteca/side.htm
UFPE
http://www.bdtd.ufpe.br/bdtd/tedeSimplificado/tde_busca/index.php
http://www.biblioteca.ufpe.br/pergamum/biblioteca/
UEM
http://www.pce.uem.br/
UFF
http://www.bdtd.ndc.uff.br/tde_busca/
http://www.sdc.uff.br/consulta/
PUC-RIO
http://www.econ.puc-rio.br/biblioteca.php
FGV/RJ
http://epge.fgv.br/pt/pesquisa/teses-dissertacoes
http://bibweb.fgv.br/cgi-bin/gw_2010_3/chameleon?&skin=fgvrj&lng=pt
IBMEC
http://pergamum.ibmec.br/biblioteca/index.php
UFRN
http://bdtd.bczm.ufrn.br/tedesimplificado/tde_busca/index.php
http://www.ufrn.br/ufrn/conteudo/servicos/bibliotecas.php
UFRGS
http://sabi.ufrgs.br/F?RN=882975189
http://www.lume.ufrgs.br/handle/10183/1
PUC/RS
http://www3.pucrs.br/portal/page/portal/biblioteca/Capa/BCEPesquisa/BCETesesDiss
http://www3.pucrs.br/portal/page/portal/biblioteca/Capa
UNISINOS
68

http://biblioteca.asav.org.br/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa
=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFSC
http://aspro02.npd.ufsc.br/pergamum/biblioteca/index.php?resolution2=1024_1&tip
o_pesquisa=
UFSCAR
http://200.136.241.56/htdocs/tedeSimplificado/tde_busca/index.php
http://200.9.84.221/cgi-bin/wxis.exe?IsisScript=phl82.xis&cipar=phl82.cip&lang=por
UNESP/ARAR
http://www.athena.biblioteca.unesp.br/F/?func=find-b-0&local_base=BDTD
http://unesp.br/bibliotecadigital/
PUC/SP
http://www.sapientia.pucsp.br/tde_busca/index.php?tipoPesquisa=1
http://lumen.pucsp.br/F/?func=find-b-0&local_base=bngk
UFPE
http://www.bdtd.ufpe.br/bdtd/tedeSimplificado/tde_busca/index.php
http://www.biblioteca.ufpe.br/pergamum/biblioteca/
INSPER
http://tede.insper.edu.br/tde_busca/index.php
http://pergamum.insper.edu.br/pergamum/biblioteca/index.php?resolution2=1024_1
&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFV
http://www.tede.ufv.br/tedesimplificado/tde_busca/index.php
http://alexandria.cpd.ufv.br:8000/cgi-bin/gw/chameleon
UFJF
http://www.bdtd.ufjf.br/tde_busca/index.php
http://siga.ufjf.br/index.php?module=biblioteca&action=main:pesquisasimples#13594
63766668
UFRJ
http://fenix2.ufrj.br:8991/F/
PUC/SP
http://www.sapientia.pucsp.br/tde_busca/index.php?tipoPesquisa=1
http://lumen.pucsp.br/F/?func=find-b-0&local_base=bngk
FEAD
http://www.fead.br/papyrus/pesquisa.asp
FGV/SP
http://bibliotecadigital.fgv.br
UFSM
http://cascavel.cpd.ufsm.br/tede/tde_busca/index.php
http://bibweb.si.ufsm.br/
UCAM
http://www.ucam.edu.br/informa/
UEL
http://www.bibliotecadigital.uel.br/teses_dissertacoes.php
http://virtua.uel.br:8000/cgi-bin/gw/chameleon
UFC
69

emid=55
UFPEL
http://www.ufpel.edu.br/tede/tde_busca/index.php
http://pergamum.ufpel.edu.br/pergamum/biblioteca/index.php?resolution2=1024_1&
tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&id=
IPEA
http://www.ipea.gov.br/biblioteca/

Lista de Instituies Internacionais
Universidades website
UNAM - Universidad Nacional
Autnoma de Mxico
http://dgb.unam.mx/
UBA - Universidad de Buenos
Aires
http://www.sisbi.uba.ar/
CEPAL http://www.eclac.cl/biblioteca/default.asp
Universidade do Chile http://www.uchile.cl/bibliotecas
Universidade de Lisboa http://ulisses.sibul.ul.pt/ulisses/portal/html/index.htm
Universidade de Coimbra http://www.uc.pt/bguc
Universidade do Porto
http://sigarra.up.pt/up/WEB_BASE.GERA_PAGINA?P_pagi
na=1007165
Universidade Complutense de
Madrid
http://www.ucm.es/BUCM/
Universidad Politcnica de Madrid http://www.upm.es/institucional/UPM/Biblioteca
Universidad de Vallidolid http://www.uva.es
Universitat de Valencia http://biblioteca.uv.es/
Universitat de Barcelona http://www.bib.ub.edu/
Universit di Bologna
http://www.unibo.it/Portale/Biblioteche+e+musei/default
.htm
CNR Itlia
http://library.isti.cnr.it:8080/index.php?lang=en&page=cat
alog1
Universit di Milano http://www.sba.unimi.it/
Universit di Padova http://www.cab.unipd.it/
La Sapienza http://w3.uniroma1.it/biblioteche/
cole Normale Suprieure Paris http://halley.ens.fr/
Sorbonne http://www.bibliotheque.sorbonne.fr/biu/
Universit Paris http://www.univ-paris1.fr/bibliotheques/
Technische Universitt Mnchen http://www.ub.tum.de/em
Universitt Heideberg http://www.ub.uni-heidelberg.de/
Universitt Gttingen http://www.sub.uni-goettingen.de/sub-aktuell/
Universitt Freiburg http://www.ub.uni-freiburg.de/
Universitt Bonn http://www.ulb.uni-bonn.de/
Universitt Mnchen http://www.ub.uni-muenchen.de/
Universidade de Tquio http://www.lib.u-tokyo.ac.jp/
Universidade de Kyoto http://www3.kulib.kyoto-u.ac.jp/index-e.html
Universidade de Osaka http://www.library.osaka-u.ac.jp/
70

Universidade de Tohoku http://tul.library.tohoku.ac.jp/
Instituto de Tecnologia de Tquio http://www.libra.titech.ac.jp/welcome_e.php
Cambridge University http://www.lib.cam.ac.uk/
Oxford University http://www.ox.ac.uk/research/libraries/index.html
Imperial College London http://www3.imperial.ac.uk/library
University College London http://www.ucl.ac.uk/library/catalog.shtml
London School of Economics http://www2.lse.ac.uk/library/home.aspx
University of Edinburgh
http://www.ed.ac.uk/schools-departments/information-
services/library-museum-gallery
Kings College London http://www.kcl.ac.uk/library/index.aspx
Manchester University http://www.library.manchester.ac.uk/
Bristol University http://www.bris.ac.uk/library/#page=page-1
Leeds University http://library.leeds.ac.uk/
Sheffield University http://www.shef.ac.uk/library
Harvard University http://lib.harvard.edu/
Stanford University http://www-sul.stanford.edu/
University of California - berkeley http://www.lib.berkeley.edu/
MIT - Massachusetts Institute of
Technology
http://libraries.mit.edu/
Caltech http://library.caltech.edu/
Columbia University http://library.columbia.edu/
Princeton University http://library.princeton.edu/
University of Chicago http://www.lib.uchicago.edu/e/index.html
Yale University http://www.library.yale.edu/
Cornell University http://www.library.cornell.edu/
UCLA - University of California,
Los Angeles
http://www.library.ucla.edu/
UC San Diego http://libraries.ucsd.edu/
University of Pennsylvania http://www.library.upenn.edu/
John Hopkins University https://catalyst.library.jhu.edu/
Washington University http://library.wustl.edu/
University of Wisconsin-Madison http://library.wisc.edu/#books

71

Anexo II

Tabela 20 Citaes com cdigo unificado, por documento
Ttulo do
Documento
Mestre
Cdigo
Obra
Ttulo do Documento
Tipo do
Objeto
Citaes
A aplicao de
fundos
compulsrios
pelo BNDES na
formao da
estrutura setorial
da indstria:
1952 a 1989
378
A aplicao de fundos
compulsrios pelo BNDES
na formao da estrutura
setorial da indstria: 1952 a
1989
Tese de
doutorado
26
359
A contribuio do BNDES
para a formao da estrutura
setorial da indstria brasileira
no perodo 1952/89
Artigo 8
A aplicao de fundos compulsrios pelo BNDES na formao da
estrutura setorial da indstria: 1952 a 1989 Total
34
BNDES: Um
banco de ideias -
50 anos refletindo
o Brasil
567
BNDES: Um banco de ideias
- 50 anos refletindo o Brasil
Livro 11
322
Transformao do sistema
BNDES em financiador do
setor privado nacional
Captulo de
livro
8
210
O BNDES e seus critrios de
Financiamento Industrial:
1952 a 1989
Captulo de
livro
3
345
Novos paradigmas de
competitividade: implicaes
para a atuao do Sistema
BNDES
Captulo de
livro
2
576
A criatividade e a informao
em um processo decisrio
contnuo e participativo
Captulo de
livro
1
574
Comparao entre os
pressupostos do BNDES e da
anlise de custo-benefcio na
anlise de projetos
Captulo de
livro
1
573 O BNDES e a agroindstria
Captulo de
livro
1
347
Crescer e distribuir: uma
pauta para o BNDES
Captulo de
livro
1
578
Prospec: modelo de gerao
de cenrios em planejamento
estratgico
Captulo de
livro
-
570
Avaliao de Projetos no
Brasil
Captulo de
livro
-
575
Metodologia de anlise de
projetos
Captulo de
livro
-
72

579
Participao do setor privado
nas reas de infraestrutura
Captulo de
livro
-
577
Usinas de reciclagem de lixo:
aspectos sociais e viabilidade
econmica
Captulo de
livro
-
568
Perspectivas da Economia
Brasileira
Captulo de
livro
-
583
Fundo de Amparo ao
Trabalhador (FAT):
Metodologia de avaliao do
impacto das aplicaes pelo
BNDES no emprego
Captulo de
livro
-
569
Em busca de um modelo de
segurana de suprimento de
matrias-primas
fundamentais
Captulo de
livro
-
572
Tecnologia: suas formas, a
legislao e o apoio
institucional
Captulo de
livro
-
571
Avaliao "social" de
projetos: uma metodologia
para a dependncia
Captulo de
livro
-
BNDES: Um banco de ideias - 50 anos refletindo o Brasil Total 28
A economia
brasileira nos
anos 90
342
Privatizao no Brasil: Por
qu? At onde? At quando?
Captulo de
livro
9
469
A economia brasileira nos
anos 90
Livro 8
255
Privatizao: Mitos e Falsas
Percepes
Captulo de
livro
5
468
Sistema Financeiro
Brasileiro: Reestruturao
Recente, Comparaes
Internacionais e
Vulnerabilidade Crise
Cambial
Captulo de
livro
5
693
The Brazilian Financial
System: Recent
Restructuring, International
Comparisons, and
Vulnerability to a Foreign
Exchange Crisis
Artigo -
A economia brasileira nos anos 90 Total 27
Direcionamento
do crdito: o
papel dos bancos
de
desenvolvimento
213
Direcionamento do crdito: o
papel dos bancos de
desenvolvimento e a
experincia recente do
BNDES
Captulo de
livro
14
73

e a experincia
recente do
BNDES 214
Mecanismos de
direcionamento do crdito,
bancos de desenvolvimento e
a experincia recente do
BNDES
Captulo de
livro
10
Direcionamento do crdito: o papel dos bancos de desenvolvimento e a
experincia recente do BNDES Total
24
BNDES 50
ANOS:
HISTRIAS
SETORIAIS
768
BNDES 50 ANOS:
HISTRIAS SETORIAIS
Livro 5
424 O Setor Siderrgico Livro 4
435 O setor eltrico Livro 4
427 O complexo automotivo Livro 2
431 O setor de bens de capital Livro 2
434 O setor de telecomunicaes Livro 1
432 O complexo txtil Livro 1
436
O transporte ferrovirio de
cargas
Livro 1
426 A agroindstria Livro 1
433 A infraestrutura urbana Livro 1
437
O desenvolvimento social e
urbano: perodo de 1996-
2002
Livro -
430 O setor petroqumico Livro -
428
Os setores de comrcio e de
servios
Livro -
425 O setor de celulose e papel Livro -
429
O complexo eletrnico
brasileiro
Livro -
BNDES 50 ANOS: HISTRIAS SETORIAIS Total 22
JK e o programa
de metas, 1956-
1961: processo de
planejamento e
sistema poltico
no Brasil
264
JK e o programa de metas,
1956-1961: processo de
planejamento e sistema
poltico no Brasil
Livro 17
115
El planeamiento em el Brasil.
Observaciones sobre el Plan
de Metas (1956-1961)
Artigo -
JK e o programa de metas, 1956-1961: processo de planejamento e
sistema poltico no Brasil Total
17
O BNDES e o
Plano de Metas
250
O BNDE e o Plano de Metas
- 1956/61
Captulo de
livro
7
249
O BNDES e o Plano de
Metas
Livro 6
O BNDES e o Plano de Metas Total 13
A reforma do
sistema FAT-
BNDES: crticas
proposta Arida
204
A reforma do sistema FAT-
BNDES: crticas proposta
Arida
Artigo 10
679
A proposta Arida para o
BNDES
Artigo 2
74

A reforma do sistema FAT-BNDES: crticas proposta Arida Total 12
Desenvolvimento
econmico e
desenvolvimento
poltico
540
Desenvolvimento econmico
e desenvolvimento poltico
Livro 10
543
Economic e political
development - a theoretical
approach and a brazilian case
study
Livro -
Desenvolvimento econmico e desenvolvimento poltico Total 10
O BNDES em
um Brasil em
transio
446 BNDES e emprego
Captulo de
livro
3
596
Os desafios da
sustentabilidade ambiental e
as polticas do BNDES
Captulo de
livro
2
648
O BNDES em um Brasil em
transio
Livro 2
644
O Brasil diante de um novo
ciclo de investimento e
crescimento econmico
Captulo de
livro
1
594
O papel do BNDES no
desenvolvimento do setor
sucroenergtico
Captulo de
livro
1
253
O BNDES e o apoio s
exportaes
Captulo de
livro
1
595
O "S" do BNDES e a
sustentabilidade do
desenvolvimento
Captulo de
livro
-
589
O BNDES e o mercado de
capitais: uma abordagem
sustentvel
Captulo de
livro
-
588
Polticas governamentais
pr-investimento e o papel
do BNDES
Captulo de
livro
-
593
A reestruturao mundial da
indstria automotiva, o Brasil
e o papel do BNDES
Captulo de
livro
-
590
Reflexes sobre a inovao
no Brasil e o papel do
BNDES
Captulo de
livro
-
591
O BNDES e a estruturao
de projetos de infraestrutura
Captulo de
livro
-
592
O BNDES e os novos
caminhos da logstica
Captulo de
livro
-
O BNDES em um Brasil em transio Total 10

75

Tabela 21 Comparao das consultas dos principais documentos no Google Acadmico

n citaes

Banco de
Dados
Google
Scholar
Quinze anos de poltica econmica 1982 LESSA, C. 36 216
A industrializao e o desenvolvimento econmico
do Brasil
1988 BAER, W. 36 271
The Brazilian economy: growth and development 2001 BAER, W. 28 648
BNDES, 40 anos: um agente de mudanas 1992 BNDES 26 0
A aplicao de fundos compulsrios pelo BNDES
na formao da estrutura setorial da indstria: 1952
a 1989
1994
MONTEIRO
FILHA, D. C.
26 20
Privatizao de recursos pblicos: os emprstimos
do sistema BNDES ao setor privado nacional com
correo monetria parcial
1989 NAJBERG, S. 22 20
The Development of the brazilian steel industry 1969 BAER, W. 20 116
BNDES: 50 anos de desenvolvimento 2002 BNDES 18 0
O BNDE e a industrializao brasileira: 1952-1961 1981 VIANA, A. L. D. 18 10
O papel da poupana compulsria no financiamento
do desenvolvimento: desafios para o BNDES
1994
BONELLI, R.,
PINHEIRO, A. C.
18 18
JK e o programa de metas, 1956-1961: processo de
planejamento e sistema poltico no Brasil
2002 LAFER, C. 17 41
Fontes de recursos do BNDES 1995 PROCHNIK, M. 17 28
The changing role of the State in the Brazilian
economy
1973
BAER, W.,
KERSTENETZKY,
I., VILLELA, A. V.
17 79
A atuao do sistema BNDES como instituio
financeira de fomento no perodo 1952-1996
1998
CURRALERO, C.
R. B.
16 13
A economia brasileira em marcha forada 1985
CASTRO, A. B.,
SOUZA, F. E. P.
15 447

76

Anexo III

A anlise fatorial de dados permite reduzir o nmero original de variveis, de tal
forma que os fatores extrados possam explicar as variveis originais. Segundo Johnson
e Wichern (2002) o modelo fatorial para a i-sima varivel pode ser expresso
algebricamente da seguinte forma:
26

i im im i i i i
F l F l F l Y ...
2 2 1 1
(1)
Em que:
i
a mdia da varivel i;
j
F representa o j-simo fator comum no-
correlacionado, como mdia zero e varincia unitria;
ij
l o fator de carga da i-sima
varivel no j-simo fator e
i
o termo de erro, com mdia zero, que capta a variao
especfica em
i
Y no explicada pelos fatores comuns.
O modelo fatorial implica a seguinte estrutura de covarincias para a i-sima
varivel:
i im i i i
l l l Y Var
2 2
2
2
1
... ) ( (2)
km im k i k i
l l l l Y Y Cov ... ) , (
1 1
(3)
ij j i
l F Y Cov ) , ( p i ,..., 2 , 1 e m j ,..., 2 , 1 (4)
Em que: a poro (
2 2
2
2
1
...
im i i
l l l ) explicada pelos m fatores comuns chamada
de i-sima comunalidade (indica a proporo da varincia total da varivel que
explicada pelo conjunto de fatores comuns) e a poro
i
chamada de varincia
especfica.

26
Para maiores detalhes sobre anlise fatorial ver: Anderson (1984) e Morrison (1976).
77

As estimativas das cargas fatoriais podem ser obtidas por vrios mtodos, porm
nesse trabalho empregou-se o mtodo mais comum que so os componentes principais e
utilizou-se a rotao ortogonal Varimax.
Para testar a adequao do modelo de anlise fatorial geralmente utiliza-se a
estatstica de Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de Bartlett. O KMO
um indicador que compara a magnitude dos coeficientes de correlao observados
com as magnitudes dos coeficientes de correlao parcial e varia entre 0 e 1. Pequenos
valores de KMO (abaixo de 0,5) indicam que o uso da anlise fatorial no adequado.
Por sua vez, o teste de esfericidade de Bartlett serve para testar a hiptese nula de que a
matriz de correlao uma matriz identidade. Se essa hiptese no for rejeitada, o uso
do modelo de anlise fatorial deve ser reavaliado.
Na determinao do nmero de fatores necessrios para representar o conjunto
de dados, considera-se a contribuio individual e adicional de cada fator para a
varincia explicada do conjunto de dados. Usualmente, consideram-se apenas os fatores
cuja raiz caracterstica maior que a unidade, isto , aqueles que correspondem a uma
proporo da varincia superior quela atribuda a uma varivel isolada.

78

Anexo IV
Uma maneira de avaliar a importncia do Banco de Dados construdo no projeto
consiste na comparao com outras ferramentas de busca. Para tal exerccio, foi
avaliada a qualidade da busca pelos documentos que apresentam a palavra BNDE ou
BNDES em seu ttulo, nos sites de pesquisa disponveis na internet. Na Tabela 22,
apresenta-se a sntese desse resultado.
Uma busca simples pela palavra BNDE na base JSTOR revela a existncia de
154 documentos com essa caracterstica. Deste total avaliado, 42 compe o atual Banco
de Dados do projeto (27,3%), valor entre parntesis na tabela. A busca pela palavra
BNDES retorna 104 documentos, sendo que 35 compe o banco (33,7%). Esses
valores encontrados representam os documentos que pertencem ao escopo desse
trabalho. Todo o restante refere-se a documentos de inmeras reas do conhecimento,
destacando-se documentos sobre qumica, fsica e biofsica, matemtica e outras
cincias naturais. Dessa forma, cerca de 70% dos resultados de busca no JSTOR no
so de documentos referentes literatura econmica associada ao BNDES.
Usando o mesmo critrio de busca na base Scielo(BNDE), dos 22 documentos
encontrados na primeira busca, nenhum deles faz meno ao banco. Na grande maioria,
so documentos relacionados ao estudo de nutrientes no solo
27
. Na segunda consulta,
apesar de 50% dos documentos se referirem ao BNDES, o nmero absoluto de obras
bastante baixo. Em relao s buscas na base Science Direct, nota-se um expressivo
aumento do nmero de documentos encontrados em ambos os casos. Apesar disso, em
termos absolutos a quantidade de documentos que se enquadram no critrio de seleo
no diferente do caso do JSTOR. Com isso, em termos percentuais, cerca de 12% a
13% dos resultados satisfazem o critrio de seleo descrito anteriormente. A base Web
of knowledge muito restrita em relao s demais, sendo que poucos resultados foram
obtidos.
De maneira geral, deriva-se destes resultados uma das principais vantagens do
Banco de Dados construdo para a presente pesquisa, uma vez que, alm de j incluir os
resultados destas ferramentas de busca, inclui apenas os documentos da literatura
econmica que referem-se ao BNDES e que atendem ao objetivo do projeto.

27
Alm disso, muitos dos 22 resultados de busca no Scielo aparecem apenas devido ao financiamento do
BNDES ao longo da pesquisa e, no final dos trabalhos, h um agradecimento ao banco.
79

Tabela 22 Nmero de documentos identificados nas principais ferramentas de
busca
Palavra
Chave
Jstor Scielo Science Direct Web of Knowledge
BNDE 154 (42) 22 (0) 188 (21) 4 (0)
BNDES 104 (35) 10 (5) 437 (59) 5 (1)
Ao considerar as buscas via Google Acadmico, uma ferramenta de busca
amplamente utilizada, alguns pontos merecem ateno. Em primeiro lugar, a quantidade
de resultados supera a dos demais sites, pois a consulta realizada em diversos campos
dos documentos, que no apenas o ttulo. Dessa forma, no possvel realizar a mesma
comparao com as demais ferramentas. Os resultados da consulta compreenderam uma
srie de documentos que tiveram financiamento do BNDES, documentos que tratam
sobre poltica e fatos histricos do pas, programas de disciplinas de curso superior,
documentos que citam a autores que pertenceram ao banco, trabalhos jurdicos etc.De
fato, grande parte dos documentos identificados na busca no est relacionada
literatura econmica sobre o papel da instituio. Adicionalmente, em alguns casos
constatou-se tambm dupla contagem de trabalhos, nos casos em que havia um mesmo
documento com grafia diferente.
Nessa ltima ferramenta, a consulta por documentos especficos do banco ajuda
a colocar em perspectiva os resultados presentes no banco de dados construdo ao longo
do projeto. Os resultados da consulta com base nos principais trabalhos (mais citados)
do Banco de Dados, que sero detalhados e discutidos a frente, apontam para duas
interpretaes. Por um lado, trabalhos clssicos sobre o tema geral Economia Brasileira
receberam um nmero maior de citaes, em termos absolutos, nos trabalhos
encontrados pelo Google Acadmico do que no atual Banco de Dados. Esse resultado
era esperado uma vez que se tratam de importantes referncias bibliogrficas para
outros inmeros trabalhos que no tratam da literatura econmica sobre o BNDES. Por
outro lado, contudo, considerando as obras mais citadas no Banco de Dados e que
tratam de especificamente dessa literatura, observou-se um maior nmero de citaes no
Banco de Dados do presente trabalho do que no Google Acadmico. Esse resultado
refora o argumento de que o atual Banco de Dados faz uma abordagem mais ampla, no
sentido de conter um maior nmero de trabalhos sobre o tema, ao mesmo tempo, que
qualifica esses documentos de acordo com o objetivo do levantamento de literatura
acadmica sobre o BNDES.
80

Anexo V
Tabela 23 - Resultado completo da Anlise Fatorial

Fator Autovalor
%
Variancia
Explicada
%
Variancia
Acumulada

Fator1 2,16 0,13 0,13

Fator2 1,71 0,10 0,23

Fator3 1,33 0,08 0,31

Fator4 1,21 0,07 0,38

Fator5 1,18 0,07 0,45

Fator6 1,11 0,07 0,51

Fator7 1,00 0,06 0,57

Fator8 0,98 0,06 0,63

Fator9 0,96 0,06 0,68

Fator10 0,91 0,05 0,74

Fator11 0,84 0,05 0,79

Fator12 0,79 0,05 0,83

Fator13 0,67 0,04 0,87

Fator14 0,64 0,04 0,91

Fator15 0,54 0,03 0,94

Fator16 0,50 0,03 0,97

Fator17 0,47 0,03 1,00

Documento Fator1 Fator2 Fator3 Fator4 Fator5 Fator6 Fator7 Comunalidade
doc17 0,06 -0,37 0,24 -0,22 0,51 -0,07 -0,15 0,47
doc78 0,47 0,53 0,10 0,09 0,20 0,26 -0,03 0,38
doc84 0,44 0,07 0,46 0,22 -0,02 0,36 0,18 0,38
doc208 0,43 0,10 -0,13 0,22 0,42 -0,15 0,14 0,52
doc243 0,52 0,29 -0,11 0,23 0,12 -0,02 -0,37 0,43
doc258 -0,49 0,50 0,04 0,22 0,10 0,15 -0,23 0,38
doc259 0,46 0,07 -0,33 0,08 0,22 -0,10 0,41 0,44
doc264 -0,12 0,07 0,61 0,20 -0,26 -0,12 0,47 0,26
doc277 -0,15 0,71 0,14 -0,31 0,02 -0,02 0,00 0,35
doc295 0,16 0,26 -0,28 -0,46 -0,34 -0,15 0,22 0,43
doc330 -0,35 -0,21 -0,08 0,12 0,22 -0,09 -0,01 0,75
doc334 -0,23 0,03 -0,41 0,32 -0,07 0,38 0,36 0,40
doc378 0,30 -0,03 0,23 0,42 -0,42 -0,39 -0,29 0,27
doc541 -0,17 0,49 0,06 -0,24 0,06 -0,15 -0,03 0,65
doc566 0,24 -0,25 0,09 -0,29 -0,20 0,68 -0,20 0,25
doc645 0,44 -0,02 -0,37 0,00 -0,41 -0,06 -0,14 0,48
doc851 -0,49 0,14 -0,25 0,41 -0,08 0,15 -0,13 0,47
Estat. KMO 0,56

alpha 0,53

LR chi2(136)= 265,53

Prob>chi2 = 0,00

81

Chamada Publica FEP0311 Produto5

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Chamada Publica FEP0311 Produto5

Uploaded by

Copyright:

Available Formats

Levantamento e avaliao

You might also like