Produo cientfica e produtivismo: h alguma luz no final do tnel?

Scientific publishing and academic productivism: is there any light at end of the tunnel? La produccin cientfica y el productivismo acadmico: hay alguna luz al final del tnel?

Oswaldo Hajime Yamamoto, doutor em Educao pela Universidade de So Paulo, professor titular do Departamento de Psicologia da Universidade Federal do Rio Grande do Norte e representante da rea da Psicologia na Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes). Endereo: UFRN Campus Universitrio Caixa Postal 1622 Lagoa Nova. CEP: 59078-970 Natal, RN. E-mail: oswaldo.yamamoto@gmail.com. Emmanuel Zagury Tourinho, doutor em Psicologia pela Universidade de So Paulo, professor titular do Ncleo de Teoria e Pesquisa do Comportamento da Universidade Federal do Par e coordenador da rea da Psicologia na Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes). Endereo: Rua Augusto Corra, 1 Guam. CEP: 66075-110 Belm, PA. E-mail: eztourinho@ gmail.com. Antnio Virglio Bittencourt Bastos, doutor em Psicologia pela Universidade de Braslia, professor titular de Psicologia Social das Organizaes da Universidade Federal da Bahia e coordenador da rea da Psicologia na Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes). Endereo: Av. Ademar de Barros, s/n, pav. 4 Ondina. CEP: 40170-110 Salvador, BA. E-mail: antoniovirgiliobastos@gmail.com. Paulo Rogrio Meira Menandro, doutor em Psicologia pela Universidade de So Paulo, professor titular do Departamento de Psicologia Social e do Desenvolvimento da Universidade
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 727

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Federal do Esprito Santo e representante da rea da Psicologia na Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes). Endereo: Av. Fernando Ferrari, 514, Campus Universitrio Goiabeiras. CEP: 29.075-910 Vitria, ES. E-mail: paulomenandro@uol.com.br.

Resumo O presente texto apresenta a estratgia desenvolvida pela rea de Psicologia na Capes para avaliar a produo cientfica dos programas da rea. A proposta consiste no estabelecimento de limites quantitativos de produo bibliogrfica por programa, proporcionais ao nmero de docentes permanentes, de forma a permitir uma avaliao prioritariamente qualitativa da produo. O confronto dos indicadores das ltimas avaliaes trienais sugere, ainda que tendencialmente, a eficcia do procedimento. So discutidas as caractersticas e as limitaes dessa estratgia para a avaliao da ps-graduao. Palavras-chave: Produo Cientfica. Ps-Graduao. Avaliao.

Abstract The paper presents the strategy developed by the Capes Psychology Committee to assess the scientific production of Graduate Programs. The proposal consists of establishing quantitative limits to each Programs bibliographic production, based on the number of its permanent faculty members, in order to favor a more qualitative assessment of these outcomes. The comparison of indicators of the last two Triennial Evaluations suggests, as a tendency, the effectiveness of the procedure. The characteristics and the limitations of this strategy for the evaluation of graduate Programs are discussed. Keywords: Scientific Publishing. Graduate Programs. Evaluation.

728

RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012.

| Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Resumen Este artculo presenta la estrategia desarrollada por el rea de la Psicologa de CAPES para evaluar la produccin cientfica de los programas de posgrado. La propuesta consiste en establecer lmites cuantitativos de la produccin bibliogrfica de cada programa, en funcin del nmero de profesores permanentes, para permitir una evaluacin ms cualitativa de la produccin. Aunque tendencial, la comparacin de los indicadores de las dos ltimas evaluaciones trienales sugiere la eficacia del procedimiento. Se discuten las caractersticas y las limitaciones de esta estrategia para la evaluacin de los programas de posgrado. Palabras clave: Produccin Cientfica. Posgrado. Evaluacin.

Ns, com o discurso da tecnologia, acreditamos [que] as mquinas nos ajudariam com o trabalho enfadonho, mecnico, nos poupando para que tivssemos mais tempo livre. E o que aconteceu foi o oposto, as mquinas que imprimiram ao mundo o tempo delas
(Ana Maria Caetano de Faria, Histria falada..., 2006)

1. Introduo O sistema de ensino ps-graduado considerado pela comunidade acadmica como uma das mais bem sucedidas experincias educacionais no Brasil. Essa apreciao, quase unnime, diz respeito no somente ao seu crescimento exponencial nesses 40 anos de institucionalizao, mas, sobretudo, qualidade alcanada pelos programas que fazem parte do que hoje conhecido como o Sistema Nacional de Ps-Graduao (SNPG). Alm do financiamento necessrio para a viabilizao do sistema, ainda hoje basicamente pblico, assumido pelas agncias de fomento, a qualidade da ps-graduao , em grande medida, resultado do sistema de acompanhamento e avaliao implantado pela Capes em 1976, seguindo as orientaes emanadas pelo I Plano Nacional de
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 729

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Ps-Graduao PNPG (1975-1979). Com o II PNPG, que vigorou entre os anos de 1982-1985, a nfase na qualidade do sistema repercute diretamente no aperfeioamento do sistema de avaliao, com a criao de comisses de especialistas, o aprimoramento dos formulrios, as visitas in loco, entre outras medidas. Com o III PNPG (1986-1989), vinculado ao I Plano Nacional de Desenvolvimento da Nova Repblica e sua meta de conquista de autonomia nacional em cincia e tecnologia, a centralidade da docncia, presente nos planos anteriores, deslocada para a pesquisa e, consequentemente, para a produo de conhecimento (KUENZER; MORAES, 2005). Tal deslocamento e a consequente nfase na produo cientfica como importante indicador de xito da ps-graduao refletiu, de forma cada vez mais forte, no processo de avaliao dos programas, especialmente nas trs ltimas avaliaes trienais. exatamente no sistema de avaliao desenvolvido pela Capes, especialmente nessa sua nfase mais recente na produo cientfica, que reside o ncleo da crtica ps-graduao brasileira atual, inclusive por parte de alguns de seus docentes e discentes de programas bem ou mal avaliados. Tais crticas vo desde a sobrecarga e intensificao do trabalho e de seus subprodutos em termos da sade e do bem-estar dos docentes at o questionamento de um possvel abandono da formao de docentes, o que implicaria maior ateno ao desenvolvimento de competncias que os habilitem a ser bons professores dos cursos de graduao. A importncia da produo cientfica na avaliao da psgraduao um fato reconhecido, j que no se questionam a produo cientfica e a formao de pesquisadores como misses legtimas do sistema de ps-graduao. Na rea da Psicologia, por exemplo, j em 1998, Macedo e Menandro (1998) afirmavam que se tratava do item com maior peso nas decises sobre a avaliao dos programas de ps-graduao. O reconhecimento do peso talvez desproporcional da produo cientfica, inclusive, levou a Capes, no trinio 2004-2006, a alterar as ponderaes dos diversos elementos da avaliao, indicando a equiparao dos quesitos referentes formao (corpo discente, teses e dissertaes) e produo cientfica que, combinados, deveriam responder por 70% da avaliao finali.
730 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

conveniente destacar que a importncia da produo de conhecimento nunca esteve em questo. De fato, consenso que produzir conhecimento responsabilidade dos pesquisadores e que formar bons pesquisadores requer uma atuao regular em pesquisa. Considerando que a quase totalidade das pesquisas realizadas nos programas de ps-graduao viabilizada por fundos pblicos, para alm da necessidade de disseminar o conhecimento e validar a sua qualidade por meio da apreciao pelos pares, pesquisar e publicar seus resultados faz parte do compromisso social do pesquisador. No se questiona, igualmente, a exigncia de que um corpo docente qualificado, responsvel pela formao de docentes e pesquisadores de alto nvel, objetivo do sistema de ps-graduao, deva no somente ser capaz de transmitir, mas tambm de produzir conhecimento. Mais do que a negao da necessidade de considerar a produo cientfica na avaliao da ps-graduao, portanto, a insatisfao parece residir na forma como ela conduzida, que levaria a uma escalada da produo, processo que comumente denominado de produtivismo. A crtica, com diferentes matizes e nveis de fundamentao, refere-se adoo de parmetros eminentemente quantitativos que privilegiaria o quanto o pesquisador publica em detrimento da qualidade ou do benefcio acadmico ou social (BIANCHETTI; SGUISSARDI, 2009). Em algumas verses, a referida crtica coloca em questo os critrios adotados no sistema de classificao Qualis para os peridicosii. Esse ltimo aspecto da crtica j foi amplamente abordado1 e no ser objeto de tratamento mais detido no presente texto, embora, incidentalmente, a avaliao dos veculos seja abordada mais adiante. Merece registro, por ora, apenas o fato de que, paradoxalmente, o Qualis foi institudo na dcada de 1990 do sculo passado exatamente para tornar possvel a ponderao da qualidade das publicaes, conferindo avaliao da produo bibliogrfica dos programas um carter qualiquantitativo. Mas o aspecto que nos toca aqui o primeiro, relativo sobrevalorizao da quantidade de publicaes em detrimento de sua relevncia ou benefcio acadmico e social. A crtica escalada produtivista, importante assinalar, no se dirige exclusivamente Capes e ao seu sistema de avaliao. TrataRBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Uma

sntese

das da

manifestaes

comunidade cientfica pode ser encontrada em Rochae-Silva, 2009.

731

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

se, em verdade, de um fenmeno muito mais amplo, que extrapola mesmo o mbito nacional, como testemunha Waters (2006), antigo editor da Harvard University Press, para quem a demanda pelo aumento da produtividade associa-se ao esvaziamento, nas publicaes, de qualquer significado que no seja o de gerar nmeros. E acrescenta que experimentamos uma crise generalizada das avaliaes, que resulta de expectativas no razoveis sobre quantos textos um estudioso deve publicar, processo que leva as boas publicaes a se perderem em meio a produes de menor expresso (WATERS, 2006, p. 25). A presso pela produo certamente est presente cotidianamente entre aqueles que fazem parte (ou almejam fazer parte) do conjunto dos pesquisadores de alguma forma apoiados pelas agncias de fomento, nacionais ou estaduais. E, para alm, a qualificao da produo um elemento sempre presente nos prprios mecanismos internos de avaliao das Instituies de Ensino Superior (IES) para finalidades as mais diversas, tais como os concursos e os editais internos para fomento ou distribuio de bolsas, para mencionar alguns exemplos. O apelo a uma reflexo sobre a situao do mundo acadmico, que faz Castro (2010) com muita lucidez, no pode ser negligenciado, tal o nvel de administrao do nosso cotidiano que a presso pela produo exerce. Por ocasio de entrevista que concedeu Sociedade Brasileira de Imunologia, o renomado pesquisador Nelson Monteiro Vaz menciona um aspecto relacionado ao tema tratado nos pargrafos anteriores, e que intrnseco prpria discusso sobre a cincia, ao dizer que,
atualmente, a procura por explicaes est atravessando um momento mnimo enquanto que a procura de resultados maximizada. Os critrios de qualidade so muito precrios, tudo a curto prazo, o aumento da velocidade das informaes e a superficialidade. [...] A eficcia pode ser importante, mas eu sou a favor da abrangncia e no d pra ter abrangncia e eficcia ao mesmo tempo. preciso haver um balano entre eficcia e o nvel de abrangncia que queremos. [...] Na verdade, o cientista, nessa pressa toda que nos avassalou, corre o risco de ser completamente ignorante do mundo que o cerca (TRECHO, 2006). 732

RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012.

| Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Do ponto de vista da articulao de quantidade e qualidade, a presso pela produo tem promovido distores, como o fracionamento de trabalhos, a redundncia dos produtos e a multiplicao de itens publicados, sem que, necessariamente, representem efetivas contribuies no que diz respeito relevncia cientfica ou social. Os processos de avaliao conduzidos pelas agncias de fomento reconhecem a impropriedade dessas estratgias e de seus produtos, mas no raro encontram dificuldades para identific-la e evitar que interfira com sua aferio da produtividade. Como resultado, resta sempre a desconfiana de que a avaliao pode ter favorecido indevidamente certos atores no sistema (aqueles com maior nmero de itens publicados), inibindo o necessrio processo de qualificao da produo cientfica e tecnolgica. Portanto, mesmo relativizando o papel da avaliao da psgraduao no produtivismo desenfreado, como sugerem Macedo e Sousa (2010) ao analisarem a rea da Educao, impossvel negar a parcela de responsabilidade da poltica cientfica em curso, em especial, das agncias de fomento, nesse processo. As menes preocupao com as atuais exigncias quanto produo dos programas de ps-graduao, apontadas como sendo, ao mesmo tempo, excessivas em termos da sobrecarga de trabalho para os envolvidos e contraproducentes quanto sua capacidade de assegurar elevao da qualidade do que produzido, deixam claro que a questo no apenas nacional, nem se restringe a uma ou outra rea, mas geral. H alguns aspectos relacionados ao assunto, entretanto, que tm sido pouco abordados. Considera-se importante registr-los aqui como contribuio ao debate, sem preocupao de se estender em sua discusso, uma vez que outro o objetivo do presente texto. A atividade avaliativa desenvolvida pelas vrias comisses de rea na Capes e no Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq) apresentada por muitos de seus crticos como irrefletida e deliberadamente equivocada, como se tais comisses compostas por docentes/pesquisadores tivessem como objetivo a automutilao e a criao de obstculos intransponveis para si mesmos.
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 733

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Em alguns casos, apresenta-se um quadro caricatural, em que todas as imperfeies (que existem, de fato, no se trata de negao) so acentuadas ao ponto da deformao, e a partir da se prega a necessidade de mudanas radicais em relao opo pelo produtivismo, que dado, ento, como opo j decidida e consolidada. Alm disso, esto disponveis reflexes com crticas pertinentes que abordam a questo de forma mais abrangente, algumas das quais expressas em textos que so citados no presente trabalho. Alm de reflexes independentes produzidas por iniciativa individual de pesquisadores, e daqueles casos de material induzido por debates promovidos por associaes cientficas e por entidades sindicais, importante ressaltar que em todas as comisses de avaliao, assim como nos conselhos superiores dos rgos envolvidos, permanente a discusso sobre equvocos, distores, acertos e adequada apreenso da diversidade das reas. Isso quer dizer que a prpria comunidade acadmica detm todos os elementos necessrios para aprimorar a crtica e propor mudanas e aperfeioamentos. necessrio ressaltar que isso se d, inclusive, porque as informaes indispensveis ao acompanhamento e ao exame de todo o processo avaliativo esto disponveis a todos os interessados. No irrelevante lembrar aqui que houve aumento expressivo de recursos pblicos empregados em cincia e tecnologia nos ltimos dois trinios. Acredita-se que ningum advogue, hoje, a adoo de poltica de nada avaliar e de nada prestar contas populao. No difcil perceber que a inexistncia de avaliao cristalizaria eternamente o quadro atual, fechando portas para todas as novas experincias em ps-graduao e em pesquisa que venham a surgir. Algumas vezes, as crticas ao que apontado como exigncia exorbitante de produo aparecem associadas preocupao justificada com a sade dos envolvidos no sistema de ps-graduao. preciso estar atento, entretanto, ao fato de que cresceu muito o volume de inmeros outros afazeres acadmicos que se somam s atividades prprias da pesquisa, tais como: orientaes na graduao e na psgraduao; formulao de pareceres para Capes, CNPq, fundaes
734 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

estaduais de amparo pesquisa e outros rgos governamentais; comits de tica em pesquisa; programas institucionais de iniciao cientfica; avaliaes de artigos para peridicos e de livros para editoras; composio de bancas examinadoras; participao em comisses institucionais em vrios nveis institucionais; organizao de processos de progresso funcional; confeco de relatrios diversos, inclusive relatrios financeiros; atualizao de currculo na plataforma Lattes; entre outras. Alm disso, muitas outras atividades cotidianas, como o prprio deslocamento entre residncia, universidade e locais de coleta de dados, passaram a demandar muito mais tempo do que exigiam h poucos anos. fcil perceber que todos esses exemplos tm implicao em termos do controle do indivduo sobre seu prprio trabalho (e sobre seus fins de semana!). Considerados todos esses aspectos, fica evidente que as exigncias de produo, e o produtivismo resultante, no constituem, necessariamente, o problema central, mas sim sua face mais mostra, pelo impacto mais visvel sobre as avaliaes de desempenho do pesquisador e do programa de ps-graduao. Apresentadas essas digresses, retoma-se o fato de que a questo da escalada quantitativa da produo e a responsabilidade dela decorrente tem merecido a ateno das coordenaes de rea da Psicologia na Capes nos ltimos trinios. Nos trinios correspondentes atuao das duas ltimas coordenaes (2005-2007 e 2008-2010), a rea da Psicologia desenvolveu uma estratgia para a avaliao da produo cientfica que foi incorporada avaliao dos programas de ps-graduao para fazer face questo acima delineada. A inteno das comisses de avaliao ao desenvolver os procedimentos que apresentaremos na sequncia foi dupla: de uma parte, sinalizar para a rea que necessrio estabelecer limites para o que Netto (2010) denomina com muita propriedade de fordismo acadmico; de outra, buscar construir uma estratgia de avaliao que promova o avano qualitativo da produo dos programas. O objetivo do presente trabalho apresentar e discutir essa proposta desenvolvida pela rea da Psicologia.
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 735

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

2. A Tabela de Melhor Produo2: a proposta da Psicologia A proposta desenvolvida pela rea da Psicologia consiste no estabelecimento de um limite dentro do qual os indicadores quantitativos tm importncia para a avaliao da produo bibliogrfica dos docentes e discentes do sistema de ps-graduao e a partir do qual apenas a qualidade da produo pode impactar os indicadores dos programas. Ele se traduziu no desenvolvimento da Tabela de Melhor Produo (TMP), elaborada pela primeira vez para a Avaliao Trienal 2007 e novamente empregada na avaliao de 2010. A TMP se constitui, basicamente, da seleo das produes mais bem avaliadas do programa e da gerao de um indicador correspondente. Para isso, parte-se da definio de um limite (teto) da quantidade de itens publicados a serem considerados para cada programa, com base no nmero de docentes permanentes. Definido esse limite e aferida a qualidade de todos os itens publicados pelo programa, consideram-se aqueles mais bem avaliados e apura-se a mdia de pontos por docente permanente. Assim gerado o que a rea denomina de indicador de Itens Qualificados por Docente Ano. A TMP apresenta, portanto, os indicadores hierarquizados de cada programa que faz parte do sistema, considerando a produo de docentes e discentes entre os itens mais bem avaliados. Nas avaliaes trienais de 2007 e 2010, o processo de construo da tabela se iniciou
2

O texto que se segue est

com o levantamento de toda a produo de cada programa. Em uma segunda etapa, essa produo foi avaliada e ponderada, multiplicandose cada item pelo valor correspondente das tabelas para a avaliao de artigos e de livros, captulos e trabalhos completos em anais (isto , os pesos correspondentes s classificaes no Qualis de Peridicos e no Sistema de Avaliao de Livros). Na terceira etapa da lista de produes do programa, selecionaram-se os itens mais bem avaliados, em nmero correspondente a quatro itens/docente/ano3. Por exemplo, para um programa com 10 docentes, foram levados em conta, no trinio, os 120 itens mais bem avaliados (10x4x3). A mdia desses itens ponderados constitui o ndice final alcanado pelo programa.
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

baseado em documentos produzidos pela rea nos dois ltimos trinios, em especial, Tourinho e Bastos (2010).
3

A definio de quatro

produes como referncia foi experimental, baseada na mdia de itens de produo por docente/ano no trinio 2002-2004 (anos base 2001-2003), que foi de 2,85 (incluindo artigos, livros, captulos de livros e trabalhos completos em anais).

736

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Com relao construo da TMP, importante observar que: 1) O nmero de docentes permanentes definiu a quantidade de itens considerados para a composio do indicador do programa, embora esses itens inclussem publicaes de docentes e de discentes (em coautoria ou no com docentes); 2) Quatro produes por docente/ano no significa nem uma exigncia de produo, tampouco um patamar a ser alcanado, mas to somente uma referncia para a produo do programa como um todo considerada para efeito de avaliao; 3) A referncia de quatro produes por docente/ano no significa que somente quatro produes de cada docente foram consideradas. As produes mais qualificadas, independentemente da autoria, foram selecionadas para efeito de avaliao, dentro do teto de itens considerados; 4) Na composio da primeira lista de produo do programa, portanto, foram computados todos os artigos, livros e captulos. Essa lista foi, ento, hierarquizada com base na ponderao dos itens. Para essa lista final, no houve um limite para qualquer categoria de publicao. Isto , compuseram a TMP do programa os itens mais bem avaliados, independentemente do tipo de publicao e da autoria; e 5) A ponderao das publicaes sob a forma de artigos e de livros e captulos seguiu o estabelecido para o Qualis de Peridicos e para o Sistema de Avaliao de Livros. Conforme o que foi afirmado na segunda observao acima, a sinalizao pretendida para a rea era de que seria prefervel o programa concentrar seus esforos na publicao de um nmero menor de itens qualificados, dentro do limite estabelecido, e no na simples multiplicao dos produtos, eventualmente com menor qualidade. Ao mesmo tempo, o procedimento empregado garantia que as produes de maior qualificao de cada docente acima do limite individual seriam levadas em considerao na avaliao, respeitado o teto do programa. Consideremos alguns exemplos fictcios a ttulo de ilustrao. O programa A, com 10 docentes no seu ncleo permanente, teria o teto
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 737

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

trienal de 120 produes. Imaginemos que a sua produo total tenha sido de 140 itens. Nesse caso, seriam desprezadas 20 produes, as de menor avaliao no Qualis, no caso de artigo em peridicos, ou no Sistema de Avaliao de Livros, no caso de livros ou captulos. Nesse conjunto de 120 produes, possvel que o docente fictcio 1 tenha colaborado com seis produtos (por serem de melhor avaliao) e o docente 2 tenha apenas duas produes contabilizadas. As demais produes que, porventura, o docente 2 tenha, no faro parte do rol de publicaes consideradas para a avaliao do programa. Em uma segunda hiptese, imaginemos que o total de produes desse programa tenha sido de 100. Nesse caso, toda a produo dos docentes seria considerada, independentemente da avaliao de qualidade. importante salientar que se trata de uma avaliao que se articula com outros aspectos da produo dos programas. Um dos indicadores adicionais diz respeito dependncia do programa com relao produo qualificada de um ncleo reduzido de docentes. Ou seja, embora possam ser contabilizados mais de quatro itens de alguns docentes, a excessiva concentrao dos itens de melhor qualificao em poucos docentes pode prejudicar o programa na avaliao global de sua produo. possvel fazer um exerccio que permita que o nmero referncia de quatro itens de produo anual por docente permanente seja visto de uma perspectiva alternativa, interessante de se ressaltar. Caso a base de clculo inclua os mestrandos e doutorandos que se titulam anualmente um nmero que, na rea da Psicologia, corresponde ao dobro do nmero de docentes orientadores , o valor de quatro itens/ docente/ano pode ser visto como 1,33 itens/docente + titulado/ano.

3. A TMP e as avaliaes trienais da Psicologia O procedimento definido acima foi empregado nas avaliaes trienais de 2007 e 2010, resultando em um dos indicadores mais importantes da produo cientfica. Embora haja necessidade de aprimoramento da proposta e de tempo para verificar o seu impacto, alguns resultados podem ser observados.
738 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

O exame dos resultados da produo cientfica dos programas na avaliao trienal de 2010 mostra a forma como a TMP foi empregada e seu impacto em dois importantes indicadores de avaliao da produo cientfica. A Figura 1 apresenta a distribuio dos programas por nveis, segundo se aproximaram do teto previsto pela TMP ou superaram-no.

Fonte: Coordenao da rea da Psicologia da Capes.

Figura 1. Distribuio de programas por nveis de produo, considerando o teto estabelecido pela TMP Dos 64 progra ma s a v a lia d os e m 20 10 , a p e n a s 14 (aproximadamente 22%) ultrapassaram o teto previsto. Dois desses programas apresentaram um quantitativo que supera o teto em cerca de 70%, embora a maioria o tenha ultrapassado com percentuais bem mais modestos. H que se destacar, no entanto, que, para 78% dos casos, o teto ainda um limite no atingido, mostrando que o patamar, apesar do crescimento da produo, ainda adequado. Nesse caso, encontram-se 10 programas que estiveram bem mais prximos de atingir o teto, com percentuais iguais ou superiores a 80%. Alm disso, o maior nmero de programas (22) encontra-se no patamar de uma produo que representa entre 60 e 79% do teto previsto, existindo, ainda, um pequeno grupo que est bem distante do teto definido pela TMP.

RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012.

| Debates

739

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Ao se considerar o teto estabelecido pela TMP, dois indicadores importantes da avaliao da produo de cada programa sofrem importante alterao na direo de a dimenso qualitativa passar a ter um peso mais expressivo do que a dimenso quantitativa. A Tabela 1 compara os programas que superaram ou no o teto de produo, o que altera no escore mdio dos itens produzidos e na medida mais geral de produtividade do programa (itens qualificados por docente permanente/ano) no grupo que produz em excesso (para alm do teto previsto). Tabela 1. Indicadores de qualidade dos itens produzidos pelos programas que ultrapassaram o teto da TMP, comparativamente aos demais programas
Nvel Produo, Com Teto da TMP >100% (n=14) <100% (n=50) Qualificao Mdia dos Itens sem Teto 49,75 47,13 Qualificao Mdia dos Itens com Teto 56,94 47,13 Itens Itens Qualificados Qualificados por DOC/Ano por DOC/Ano sem Teto com Teto 262,83 124,15 226,84 124,15

Fonte: Coordenao da rea da Psicologia da Capes.

Quando se consideram todos os itens produzidos, a qualidade mdia dos itens no se diferencia fortemente entre os programas mais produtivos (que superaram o teto) e os demais. Os valores so respectivamente 49,75 e 47,13 (em uma escala em que o mximo 100 e equivale a um artigo A1). Com a eliminao dos itens que excedem o teto, a qualificao mdia dos itens aumenta para 56,94, ampliando a diferena na qualidade, em certa medida prejudicada pela quantidade de itens menos qualificados. Esse resultado, por si s, indica que o uso da TMP fornece um claro indicador para os programas da rea da necessidade de investir em melhores publicaes em vez de na simples ampliao da quantidade de itens produzidos. Se, por um lado, a excluso de itens em excesso d maior destaque qualidade dos itens, por outro lado, ela reduz a contribuio mdia de cada docente permanente/ano. Como se v na Tabela 1, a contribuio mdia dos docentes permanentes cai de 262,83 para 226,84 no grupo dos 14 programas que ultrapassaram o teto. Essa alterao nesse indicador mais central na avaliao sinaliza, uma vez mais, que no vale a pena investir simplesmente na quantidade de itens.
740 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Um dos objetivos da adoo da TMP era sinalizar para a rea a necessidade de controle da escalada da produo, na direo de uma produo de melhor qualidade. necessrio, portanto, confrontar os dados referentes produo da rea nos ltimos trinios. A Figura 2 apresenta a evoluo da produo cientfica (artigos, livros e captulos de livros) bruta, isto , ainda sem a avaliao de qualidade dos programas da rea nos ltimos quatro trinios para aferir o ritmo de crescimento das publicaes da rea:

Fonte: Coordenao da rea da Psicologia da Capes.

Figura 2. Evoluo da produo cientfica da rea da Psicologia nos ltimos quatro trinios A tendncia de crescimento da produo cientfica da rea clara nos trs primeiros trinios considerados, tanto no que diz respeito aos artigos quanto aos livros (integrais, captulos ou organizao). No entanto, possvel observar que h um decrscimo no ritmo de crescimento no ltimo trinio em relao ao anterior. Enquanto no trinio 2004-2006 a produo cresceu 27% em relao ao trinio anterior, no ltimo trinio, o crescimento foi de apenas 2%. Ainda cedo para dizer que essa estabilidade quantitativa vem sendo acompanhada de um incremento na qualidade da produo, mas h alguns indicadores que sinalizam essa direo: a) embora a mdia de itens por docente/ano tenha ficado estvel, o perfil da produo mudou, na direo de uma maior
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 741

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

proporo de itens publicados sob a forma de artigo, produo sempre arbitrada. No trinio 2004-2006, 55% da produo da rea era sob a forma de artigos, percentual estvel em relao aos dois trinios anteriores. No trinio 2007-2009, esse percentual subiu para 60%, aps estabilidade ao longo de trs trinios; b) no trinio 2007-2009, o valor mdio dos artigos na rea (55,08 pontos) foi superior ao valor mdio de livros e captulos (47,31), indicando que a maior proporo de artigos de fato representa maior qualificao da produo; c) a produo sob a forma de livros e captulos tambm comea a ter um perfil diferente. Por exemplo, no trinio 2007-2009, 11,6% dos itens nessa categoria consistiram de publicaes em lngua estrangeira; e d) a proporo de programas com o conceito muito bom no quesito Produo Intelectual da Ficha de Avaliao cresceu de 26% (14/53), na Trienal 2007, para 39% (25/64) na Trienal 2010. Portanto, a tendncia estabilidade dos dados referentes produo da rea aps a sinalizao de que a TMP estaria sendo utilizada, embora o lapso de tempo ainda seja muito reduzido para concluses mais confiveis, pode ser uma indicao de um incio do processo de controle da escalada da produo na rea da Psicologia. Mas o que acontece com os dados caso seja considerada a qualidade da produo? A Figura 3 apresenta dados comparativos reais da Avaliao Trienal de 2010 de seis programas da rea, com os ndices quantitativos de artigos e de captulos por docente permanente e os respectivos escores mdios dos dois tipos de produo.

742

RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012.

| Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

Fonte: Coordenao da rea da Psicologia da Capes.

Figura 3. Comparativo da produo cientfica qualificada (artigos e livros/captulos) e produo docente anual mdia de seis programas da rea da Psicologia na Avaliao Trienal 2010 Os seis programas selecionados podem ser agrupados em trs nveis de produtividade, considerando apenas a dimenso quantitativa. Os programas A e B esto entre os mais produtivos da rea e ambos superaram o teto estabelecido. Os programas C e D apresentaram uma produtividade apenas mdia do ponto de vista quantitativo, mas a introduo do critrio de qualidade os diferencia bastante. Observe-se que o programa C, com indicadores quantitativos prximos metade daqueles apresentados pelos programas A e B, apresenta valores mdios dos itens superiores a esses dois programas, o que ir se refletir no seu escore geral de produtividade. Da mesma forma, o desempenho qualitativo permite diferenciar bem o desempenho dos programas C e D, ambos na mesma faixa quantitativa de produo. O mesmo acontece entre os programas E e F. Os programas E e F encontram-se entre os menos produtivos da rea. Ao se agregar a avaliao qualitativa, nveis prximos em termos quantitativos so diferenciados mais efetivamente. Nos trs grupos de programas, com indicadores quantitativos muito prximos dentro de cada grupo, a avaliao qualitativa tanto dos artigos quanto dos livros e captulos permite importantes diferenciaes nos
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 743

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

seus desempenhos. Observe-se que so os itens qualificados, e no apenas o seu quantitativo, que iro integrar o indicador geral de produo dos programas, que incorpora, portanto, as diferenas na qualidade, como se ver na Figura 4. A Figura 4 apresenta dados dos mesmos programas aps a introduo do teto pela TMP, com a comparao da mdia de itens publicados por docente permanente/ano, da qualidade mdia dos itens sem teto e com teto e do indicador principal da contribuio mdia anual de cada docente permanente. Nessa Figura, possvel observar com clareza a incidncia conjunta da avaliao de qualidade de artigos e livros/captulos e da TMP sobre o desempenho geral dos programas.

Fonte: Coordenao da rea da Psicologia da Capes.

Figura 4. Comparativo da produo cientfica qualificada (total de itens), da qualificao mdia total com e sem teto pela TMP e da produo docente total anual mdia de seis programas da rea da Psicologia na Avaliao Trienal 2010 Nos resultados expressos na Figura 4, pode-se perceber claramente o impacto da avaliao qualitativa da produo no escore geral de produtividade dos programas. Observe-se, novamente, o desempenho do programa C que, apesar de quantitativamente estar mais prximo dos programas D e F, apresenta escore de itens
744 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

qualificados por docente permanente/ano bem superior (175,39) ao dos outros dois. Outra comparao importante pode ser feita entre os resultados dos programas A e B. O primeiro tem um indicador quantitativo inferior ao segundo, no entanto, seu indicador final de produtividade supera o segundo (261,09 a 253,95). Esses resultados, que poderiam ser observados em vrios outros exemplos no conjunto dos 64 programas da rea, sinalizam com clareza como o investimento em qualidade da produo, desde que atingido um patamar quantitativo mdio, se traduz em melhor desempenho do que a ampliao indefinida da quantidade de itens. Embora ressalvando o fato de que esto em jogo dados de apenas um trinio, parece inegvel que tanto os procedimentos referentes qualificao dos itens quanto o estabelecimento do teto pela TMP impacta decisivamente a avaliao da produo cientfica da rea. Finalmente, outro dado a ser destacado diz respeito ao fato de que, mesmo para os programas com melhor avaliao, inclusive com um total de itens publicados que ultrapassa em muito a TMP, h espao considervel para o avano qualitativo da produo intelectual dos programas de Psicologia. Nos programas nota 5, a pontuao mdia por docente permanente ficou em 189 dos 400 pontos possveis; j nos programas 6 e 7, essa pontuao mdia subiu para 244, atestando a melhor qualidade da produo, mas, ao mesmo tempo, a possibilidade de avano.

4. Afinal, h luz no final do tnel? As questes referentes produo cientfica, em especial, a escalada quantitativa e a dificuldade na aferio da qualidade, so por demais complexas para serem equacionadas de maneira simples. De fato, como afirmava Waters (2006), a crise generalizada. No entanto, a despeito dos evidentes limites para abordar esse problema, as coordenaes da rea da Psicologia da Capes entendiam que havia necessidade de colocar em ao procedimentos que caminhassem para
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 745

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

a qualificao da produo e o controle da exploso da sua quantidade, sob pena de colocar em risco a decantada qualidade do sistema de psgraduao da rea. A adoo da TMP uma tentativa de caminhar nessa direo. Os dados que apresentamos esto longe de indicar de maneira slida uma mudana nesse quadro, mas entendemos que so promissores. Eles representam uma poltica concreta de avaliao na contramo da multiplicao artificial dos nmeros de produo e, desse modo, contrariam claramente a chamada lgica produtivista. Dentre as limitaes que ainda requerem ateno no uso da TMP, observamos: a) ela est baseada em um processo de qualificao da produo, com o sistema Qualis, que ainda precisa ser aperfeioado. A rea de Psicologia no adotou o fator de impacto como referncia para a definio dos estratos do Qualis, portanto, no alcanada pelas crticas a esse tipo de deciso. No lugar disso, decidiu levar em conta a extenso e qualidade da comunidade cientfica com a qual o pesquisador interage ao publicar em determinada revista e aferiu indiretamente essa qualidade pelas indexaes. Essa deciso representou um avano em relao aos critrios anteriores, que foram importantes em dado momento, mas j no diferenciavam suficientemente as revistas. Mas no foi suficiente ainda para oferecer uma referncia inequvoca da qualidade diferenciada das revistas. A rea da Psicologia, em carter pioneiro, tambm desenvolveu uma estratgia para avaliar, por meio de indicadores indiretos, a qualidade dos livros e captulos produzidos. Os resultados sinalizam que o procedimento adotado produz uma diferenciao efetiva da qualidade dessa produo, cuja dimenso no desprezvel na rea. No entanto, tambm no que concerne avaliao dos livros, o uso de apenas quatro estratos, dentre outras limitaes, mostrou-se insuficiente para diferenciar suficientemente a qualidade das publicaes;
746 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

b) O teto de quatro itens por docente/ano foi definido pela rea, na Trienal de 2007, em carter experimental e assim permaneceu na Trienal 2010. Ainda falta uma avaliao, que as comisses de avaliao no tiveram a oportunidade de realizar, sobre a adequao desse teto. No entanto, o dado de que aproximadamente 80% dos programas no atingiram o teto estabelecido aponta na direo de que ele ainda deva ser mantido por mais um perodo, enquanto se acompanha o ritmo de produo e de sua qualificao; e c) A TMP no leva em conta os perfis de produo diferenciados de cada subrea da Psicologia. Seus resultados, portanto, precisam ainda ser ponderados com respeito a esse aspecto, sob pena de seus indicadores privilegiarem caractersticas de algumas subreas. Duas concluses, ainda que provisrias, podem ser extradas da adoo da TMP. Em primeiro lugar, que h possibilidade de sinalizar claramente para a rea a necessidade de priorizar a qualidade dos itens, o que pode levar a frear a acelerao da produo. A interpretao (otimista) que a rea respondeu positivamente sinalizao feita pela coordenao da rea. Em segundo, que a crtica de que a avaliao da produo conduzida pela Capes meramente quantitativa, ao menos no caso da Psicologia, no procede. Pelo contrrio, as classificaes de peridicos pelo Qualis e pelo Sistema de Avaliao de Livros, associadas utilizao da TMP, indicam que a qualidade das produes permite distinguir os programas, enfim, objetivo da avaliao da Capes. certo que aqui se coloca a questo dos critrios empregados para a avaliao dos peridicos e dos livros. Os sistemas desenvolvidos pela rea da Psicologia tm sido avaliados e colocados em debate4. Embora o seu aprimoramento seja um imperativo, parece inquestionvel que eles tm trazido contribuies positivas para a rea. Temos a convico de que estamos muito longe (ademais, tarefa que exorbita o alcance de qualquer comisso de rea...) do outro mundo acadmico que sugere Castro (2010), mas a nossa expectativa foi dar um
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates
4

As

avaliaes

de

peridicos e livros foram alvo de ateno por parte das comisses de rea (e.g., YAMAMOTO et al., 1999; YAMAMOTO et al., 2002; MENANDRO et al., no prelo).

747

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

passo nessa direo. Sintonizados com a necessidade de enfrentar essa questo, as comisses de assessoramento da rea da Psicologia do CNPq tambm passaram a adotar limites de produo. O aprimoramento de procedimentos de monitoramento que sejam mais sensveis qualidade do conhecimento produzido e que sejam de aplicao vivel, mecanismos de avaliao que no inviabilizem o surgimento de novos veculos e a sobrevivncia de outros que no esto nos estratos superiores do sistema de avaliao so alguns dos desafios da poltica cientfica que enfrenta a sempre presente limitao dos recursos oramentrios para a rea da cincia e tecnologia no Brasil.

Notas
i

Na rea da Psicologia, ambos os quesitos tiveram, na avaliao trienal

de 2010, o mesmo peso, respondendo, cada um deles, por 35% da nota final. importante assinalar, contudo, que o quesito Corpo Discente, Teses e Dissertaes progressivamente passou a avaliar o quanto o discente e o egresso transformavam suas dissertaes e teses em itens publicados em peridicos e/ou captulos de livros.
ii

A avaliao de outras formas de produo cientfica, como os livros,

ainda no est plenamente estabelecida na Capes. Na rea da Psicologia, desde o trinio 2004-2006, um sistema de classificao tem sido empregado, ainda em carter experimental. Uma apresentao desse sistema pode ser encontrada em Tourinho e Bastos, 2010; e um tratamento mais pormenorizado, em Menandro et al., 2011. Recebido em 26/4/2011 Aprovado em 01/09/2011

Referncias bibliogrficas BIANCHETTI, L.; SGUISSARDI, V. (Orgs.). Dilemas da ps-graduao. Campinas: Autores Associados, 2009.
748 RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

CASTRO, L. R. de. Privatizao, especializao e individualizao: um outro mundo (acadmico) possvel? Psicologia & Sociedade, Florianpolis, v. 22, n. 3, dez. 2010. Disponvel em: <http://www.scielo.br/scielo. php?script=sci_arttext&pid=S0102-71822010000300023&lng=pt&nrm =iso>. Acesso em: 13 abr. 2011. KUENZER, A. Z.; MORAES, M. C. M. Temas e tramas na ps-graduao em Educao. Educao & Sociedade, Campinas, v. 26, n. 93, p. 13411362, set./dez. 2005. MACEDO, E.; SOUSA, C. P. A pesquisa em educao no Brasil. Revista Brasileira de Educao, Rio de Janeiro, v. 15, n. 43, p. 166-176; 201-202, abr. 2010. MACEDO, L.; MENANDRO, P. R. M. Consideraes sobre os indicadores de produo no processo de avaliao dos programas de ps-graduao em Psicologia. Infocapes, Braslia, v. 6, n. 3, p. 34-38, 1998. MENANDRO, P. R. et al. Livros mo cheia: o livro como veculo de produo acadmica. Psicologia USP, So Paulo, v. 22, n. 2, p. 367-386, 2011. NETTO, J. P. Entrevista. Praia Vermelha, Rio de Janeiro, v. 20, n. 2, p. 1126, jul./dez. 2010. ROCHA-E-SILVA, M. O novo Qualis, ou a tragdia anunciada. Clinics, v. 64, n. 1, p. 1-4, 2009. TOURINHO, E. Z.; BASTOS, A. V. B. Relatrio de Avaliao 2007-2009 Trienal 2010. 2010. Disponvel em: <http://trienal.capes.gov.br/?page_ id=1135>. Acesso em: 03 abr. 2011. TRECHO entrevista Nelson Vaz. Imanente Mente , 09 maio 2006. Disponvel em: <http://imanentemente.blogspot.com.br/2006/05/ trecho-entrevista-nelson-vaz.html>. Acesso em: 17 jul. 2012.
RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012. | Debates 749

Yamamoto et al./ Produo cientfica e produtivismo: h alguma luz no final do tnel?

WATERS, L. Inimigos da esperana: publicar, perecer e o eclipse da erudio. So Paulo: Editora Unesp, 2006. YAMAMOTO, O. H. et al. Peridicos cientficos em Psicologia: uma proposta de avaliao. Infocapes, Braslia, n. 7, p. 5-11, 1999. YAMAMOTO, O. H. et al. Avaliao de peridicos cientficos brasileiros da rea da psicologia. Cincia da Informao, Braslia, v. 31, n. 2, p. 163177, maio/ago. 2002.

750

RBPG, Braslia, v. 9, n. 18, p. 727 - 750, dezembro de 2012.

| Debates