apresentao

Usos e efeitos das avaliaes externas como

objeto de pesquisa
Desde o incio dos anos 1990, tem-se verificado o aumento
e a consolidao de sistemas de avaliao de desempenho
discente no Brasil, promovidos tanto pelo governo federal
como por iniciativa de secretarias estaduais e municipais de
educao. A consolidao das avaliaes externas se desdobra em diversos mecanismos de poltica educacional, desde
a estratgia da ampla divulgao de resultados aferidos ao
conjunto da sociedade notadamente atravs das coberturas
jornalsticas em tom alarmante at a premiao de agentes escolares em funo dos resultados obtidos pelos alunos,
dentre outros critrios. Em meio a diversas aes feitas em
nome das avaliaes externas e dado o peso que a divulgao
de seus resultados acarreta, cabe investigar, de forma mais
detida, o impacto dessas avaliaes na orientao e no aperfeioamento do ensino e em que medida elas tm se tornado
tambm instrumentos relevantes e pertinentes para a atuao de professores, gestores escolares e setores tcnicos das
secretarias de educao.
O presente nmero de Estudos em Avaliao Educacional
rene um conjunto de artigos que analisam diferentes indcios de impacto de avaliaes externas na gesto educacional, tanto no cotidiano e na gesto de unidades escolares
como no desempenho discente de redes ou sistemas educacionais. Destaca-se assim a relevncia dessa agenda de pesquisa que focaliza a influncia e a apropriao dos resultados desse tipo de avaliao em escolas e sistemas de ensino
pblico brasileiros como um objeto de pesquisa que merece
ateno de pesquisadores e profissionais da rea com diferentes abordagens de investigao e possibilidades de aportar conhecimento sobre o tema.
12

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

De fato, a adoo de avaliaes externas que tenham como

ponto forte o emprego de testes padronizados em larga escala,
baseada em censo ou populao de alunos (KELLAGHAN; GREANEY;
MURRAY, 2011, p. 19) vai muito alm da aplicao de provas,
divulgao ou mesmo da anlise dos resultados aferidos. O
considervel volume de recursos pblicos empregados e a
crescente quantidade e qualidade das informaes geradas
impem a necessidade poltica, particularmente no Brasil,
de aprofundar e diversificar as pesquisas em torno das aes
que utilizam as avaliaes externas, como resposta responsvel da comunidade acadmica. Por outro lado, a frequente
vinculao das avaliaes externas noo de accountability e
a polticas de responsabilizao pode provocar consequncias indesejveis qualidade do trabalho escolar e ao carter profissional de seus agentes institucionais (HAERTEL;
HERMAN, 2005; LINN, 2000). Desse ponto de vista, refora-se o interesse na investigao de eventuais efeitos dessas
avaliaes enquanto subsdio eminentemente pedaggico
e formativo para agentes escolares e gestores educacionais.
Ressalta-se, assim, que as eventuais implicaes dos instrumentos de avaliao externa utilizados, seus desdobramentos
e as expectativas nele depositadas demandam a verificao
de sua validade consequencial (VIANNA, 2003) a partir dos efeitos que os resultados podem despertar no pensamento, nas
atitudes e na ao dos diversos interessados.1
Atualmente, o crescente incentivo ao uso das avaliaes por escolas e professores (GIMENES et al., 2013) parece
transcender a compreenso das avaliaes externas como
instrumentos de gesto restritos ao mbito dos diferentes rgos
decisrios do sistema educacional, como pode fazer supor a
primeira gerao de avaliao no Brasil, segundo classificao
estabelecida por Bonamino e Sousa (2012). Para as autoras, a
caracterstica eminente das avaliaes daquela primeira gerao como o Sistema de Avaliao da Educao Bsica (Saeb) 2
seria a de propiciar o diagnstico da qualidade da educao
oferecida no Brasil objetivada em uma amostra representativa de escolas e redes de ensino com os desempenhos de seus
respectivos alunos, o que inviabilizava consequncias diretas
para as unidades escolares ou seus profissionais.

1 Segundo Heraldo Vianna (2003,

p. 54) a validade consequencial
refere-se ao impacto da avaliao
sobre o sistema, determinando
mudanas de pensamento, gerando
novos comportamentos, formando
novas atitudes e promovendo novas
aes. A validade consequencial
reflete em que medida a avaliao faz
realmente alguma diferena para a
comunidade.

2 Sem dvida, o Saeb tem servido

de parmetro para a formulao de
diversos sistemas de avaliao em
larga escala, em especial quanto
apropriao de suas matrizes de
avaliao e a utilizao da abordagem
metodolgica referente Teoria da
Resposta ao Item TRI.

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

13

Alm do Saeb, diversos sistemas de avaliao que compem o atual cenrio educacional apresentam como objetivo precpuo fomentar algum tipo de consequncia direta
para escolas e/ou para seus profissionais ao aferir e produzir
resultados por unidade escolar. Tendo em vista esse desenho
de avaliao externa, de carter censitrio, podemos encontrar dois grupos distintos. O primeiro deles seria composto
pelas avaliaes de segunda gerao, vinculadas a consequncias de carter mais simblico explicitadas pela ampla divulgao dos resultados sociedade, pais de alunos e, evidentemente, pelos prprios agentes escolares (BONAMINO;
SOUSA, 2012). Trata-se de um tipo de poltica de avaliao
comumente chamada, na literatura acadmica, de low stakes
ou de responsabilizao branda (BROOKE, 2006). A Prova Brasil,
de iniciativa do Ministrio da Educao, seria um exemplo
de avaliao externa de segunda gerao.
J as avaliaes de terceira gerao seriam caractersticas
das chamadas polticas de responsabilizao forte ou high stakes
e envolveriam no apenas a divulgao dos resultados aferidos, mas tambm sanes ou recompensas em funo dos
desempenhos obtidos por alunos e escolas. Uma ao de gesto nessa perspectiva de avaliao implicaria algum tipo de
consequncia material para as unidades escolares e docentes (BROOKE, 2008). No contexto especfico da gesto pblica
brasileira, essa perspectiva de avaliao pode ser exemplificada nos processos de bonificao ou premiao de escolas
e professores, verificados em diversos estados e municpios,
e que apresentam como um de seus critrios os resultados
obtidos pelo conjunto de alunos avaliados em uma mesma
escola.
Em sntese, as avaliaes de segunda e terceira gerao estariam atreladas, de alguma forma, noo de
responsabilizao de escolas e de seus agentes institucionais
em relao aos resultados mensurados por avaliaes externas. Sem descartar os aspectos polticos e ideolgicos naturalmente vinculados temtica, de extrema relevncia
investigar empiricamente algumas hipteses, como: as polticas de incentivo material a professores e escolas, ou mesmo determinados tipos de exposio pblica de resultados,
14

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

podem estimular de alguma forma os profissionais de ensino

a se engajarem na busca de melhores resultados no contexto
brasileiro? Tais medidas seriam capazes de desestimular os
agentes pblicos da educao ao invs de motiv-los?
As polticas de responsabilizao partem da hiptese
de que os gestores dos sistemas e as redes de ensino, bem
como as equipes gestoras de escolas e os professores, podem
utilizar os dados gerados pelas avaliaes externas e outros
indicadores educacionais para tomar decises estratgicas
e modificar prticas administrativas e pedaggicas para alcanar melhores resultados educacionais, incrementando o
desempenho dos estudantes. Obviamente a perspectiva no
culpar os agentes escolares pelos resultados inferiores ao
adequado, mas estabelecer sua responsabilidade perante a
sociedade pelo trabalho que desenvolvem nos estabelecimentos de ensino e suscitar a reflexo sobre suas prticas
para analisar se podem fazer algo diferente do que vm fazendo (FERNANDES; GREMAUD, 2009, p. 222). Na mesma
direo, parece tambm importante discutir a responsabilidade dos gestores dos sistemas e das redes de ensino, considerando que integra suas competncias prover as condies de funcionamento das escolas, seja no que diz respeito
infraestrutura, seja no que se refere s condies para o
trabalho de docentes e gestores escolares, viabilizando as
reflexes e mudanas almejadas para melhorar a qualidade
dos servios educacionais ofertados populao.
Tambm no plano internacional, a preocupao com a
questo da efetiva utilidade das avaliaes externas e polticas de responsabilizao para melhorar os resultados educacionais tem gerado um crescente nmero de pesquisas
(MARSH; McCOMBS; MARTORELL, 2010; STILLMAN, 2011;
SLAVIN et al., 2012; MANDINACH; GRUMMER, 2013), muitas
das quais tm focalizado as percepes dos agentes sobre as
polticas e as apropriaes das informaes geradas e disponibilizadas. De fato, a compreenso e o uso dos dados das
avaliaes externas pelos agentes escolares possibilitam sua
interveno como protagonistas no processo, usando efetivamente os dados como insumo estratgico para a tomada
de decises.
Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

15

O estudo de Mandinach e Grummer (2013) nos EUA, por

exemplo, ressalta que, apesar de a nfase nas polticas que
utilizam dados ser crescente naquele pas, ainda se confere
pouca ateno para a formao dos profissionais em torno
do uso dos dados (data use). As autoras enfatizam a necessidade de desenvolver a capacidade de tomar decises baseadas nos dados disponveis (Data-Driven Decision Making
DDDM) e propem processos de formao de profissionais de
educao com esse objetivo, realando a relevncia de sua
alfabetizao tcnica para o uso dos dados (data literacy).
Marsh, McCombs e Martorell (2010) examinaram estratgias
de treinamento com monitores para o DDDM em escolas
na Flrida (instructional coaching), concluindo que a melhor
compreenso dos professores sobre os dados contribui para
a melhoria do ensino e o desempenho dos alunos. Stillman
(2011), por sua vez, chega a concluses semelhantes, mas
enfatiza a influncia dos fatores contextuais, especialmente
o papel do diretor ou sua liderana, formao docente em
servio comprometida com a mudana e melhoria dos resultados escolares. Segundo a autora, quando os diretores
proporcionam aos professores oportunidades de formao
alinhadas com a poltica e valorizam o papel destes como
protagonistas de mudanas na escola a partir das prticas
de sala de aula, gera-se uma tenso produtiva que favorece seu desenvolvimento profissional e seu engajamento na
perspectiva da mudana de prticas docentes com vistas
melhoria dos resultados escolares.
No cenrio brasileiro, determinados usos de avaliaes externas, protagonizados por Secretarias de Educao
(BROOKE; CUNHA, 2011), podem gerar efeitos diversos dependendo das intenes e objetivos polticos da gesto central dos sistemas de ensino, das caractersticas e do histrico
da rede escolar, do perfil socioeconmico do alunado e do
prprio sentido que adquirem tais aes ao longo do tempo.
Em especial, quando se constata serem as escolas e seus
agentes instncias capazes de reao e reinterpretao
das polticas e aes externas a elas direcionadas (MARTINS,
2008) e no apenas unidades executoras da orientao de
uma gesto central.
16

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

De todo modo, as formas como as escolas e seus profissionais reagem divulgao dos resultados e s diferentes
polticas de responsabilizao praticadas no pas ainda assunto pouco explorado empiricamente. Isto , no mbito das
consequncias das polticas de avaliao externa no Brasil,
ainda pouco se conhece em relao aos seus efeitos, sobretudo quanto ao trabalho realizado por escolas e professores,
mesmo sendo essa uma alegada preocupao da gesto educacional, em mbito federal, estadual ou municipal.
O Departamento de Pesquisa Educacionais da Fundao Carlos Chagas, por meio de seu Ncleo de Estudos de
Avaliao, tem realizado estudos e pesquisas sobre o eventual
uso das avaliaes externas, bem como analisado a literatura
produzida no campo nas ltimas duas dcadas (SILVA et al.,
2013; GIMENES et al., 2013; BAUER; REIS, 2014) no intuito de
mapear e aprofundar essa temtica. Visando a um maior intercmbio e uma ampliao do debate em relao aos possveis efeitos das avaliaes externas no cotidiano escolar e na
gesto educacional, o dossi deste nmero apresenta alguns
resultados de pesquisas realizados pelo grupo de pesquisa
interdisciplinar e interinstitucional Observatrio Educao e
Cidade,3 que tem estudado as desigualdades de oportunidades
educacionais, o mapeamento de indicadores educacionais e a
apropriao dos sistemas de informao e avaliao no estado do Rio de Janeiro.Trata-se de uma articulao que rene
pesquisadores de diversas instituies (PUC-Rio, UFRJ e Uerj)
e de diferentes reas do conhecimento. Desde 2007 o grupo
vem desenvolvendo vrios projetos de pesquisa com fomento
da Faperj, Inep, CNPq e Capes. O dossi traz trs textos com
resultados de pesquisas desse grupo, desenvolvidas com diferentes abordagens metodolgicas.
Em novembro de 2013, o Observatrio Educao e
Cidade realizou um seminrio para discutir os resultados
acumulados, sobretudo no que se refere s polticas de avaliao e responsabilizao e as alteraes que vm provocando no cenrio educacional e na gesto das redes de ensino e
das escolas. Nessa oportunidade, foi possvel estreitar laos
de colaborao com pesquisadores da Universidade Federal
de Juiz de Fora (UFJF)que desenvolvem investigaes sobre

3 Os trabalhos apresentados foram

realizados no perodo de 2011 a 2014,
com apoio ao Projeto Desigualdades
de Oportunidades Educacionais
e Dimenses da Alfabetizao da
Educao Bsica no Estado do
Rio de Janeiro coordenado pela
Universidade Federal do Rio de
Janeiro (UFRJ), por meio do Edital
n. 038/2010/Capes/Inep Programa
Observatrio da Educao.

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

17

4 Os pesquisadores integram o
Projeto Anlise da evoluo da
Educao Bsica no Brasil a partir dos
indicadores de fluxo e proficincia,
apoiado pela Coordenao de
Aperfeioamento de Pessoal de Nvel
Superior Capes, por meio do Edital
n. 038/2010/Capes/Inep Programa
Observatrio da Educao.

18

a evoluo da educao bsica a partir dos indicadores de

fluxo e proficincia.4 O primeiro artigo que integra o dossi
traz resultados das pesquisas realizadas por esse grupo no
mbito dos sistemas estaduais de ensino. Fernando Tavares
Jnior e Luiz Flvio Neubert discutem, nesse artigo, a evoluo recente das polticas de avaliao no Brasil, realando
o protagonismo dos estados nesse processo. Os autores chamam a ateno para a disseminao crescente de avaliaes
estaduais anuais, censitrias e relacionadas gesto de suas
redes na ltima dcada. O trabalho analisa a associao entre
a implantao de Sistemas Estaduais de Avaliao Educacional no Brasil e o desenvolvimento da proficincia mdia entre os alunos das respectivas redes estaduais de ensino. Para
isso, os autores utilizam resultados agregados das redes estaduais nas avaliaes nacionais, como parmetro externo. Os
autores concluem que h uma associao estatisticamente
significativa entre a implantao de avaliaes nos estados e
a elevao da proficincia mdia nos anos seguintes.
Trs dos artigos apresentados trazem resultados de pesquisas realizadas na rede municipal do Rio de Janeiro. O
artigo de Cynthia Paes de Carvalho, Ana Cristina Prado de
Oliveira e Maria de Ftima Magalhes de Lima apresenta trs
estudos, articulando anlises de cunho qualitativo e quantitativo sobre dados da rede municipal do Rio de Janeiro:
observaes e entrevistas realizadas em uma escola pblica
da rede e anlises de dados dos questionrios contextuais
dos diretores da Prova Brasil 2007, 2009 e 2011. As autoras
discutem os desafios e tenses no mbito da gesto escolar
no contexto das polticas de avaliao e responsabilizao.
Destacam em particular a sobrecarga de trabalho burocrtico numa situao frequente de precariedade de condies
de administrao, a mediao tensa que as equipes de gesto
precisam realizar junto aos agentes escolares para efetivar a
implementao das polticas, e, ainda, as tendncias de mudana na gesto pedaggica para promover melhores resultados escolares nas avaliaes externas. O estudo prope a
necessidade de maior reflexo sobre a pesquisa e a formao
em gesto escolar frente aos desafios polticos e pedaggicos
no contexto atual.

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

Com base em dados coletados em grupos focais realizados com gestores escolares, membros da gesto central
e tcnicos dos rgos intermedirios de gesto da rede municipal de educao do Rio de Janeiro, o artigo de Rodrigo
Rosistolato, Ana Pires do Prado e Silvina Julia Fernndez
descreve e analisa as percepes de profissionais da gesto
sobre as avaliaes externas de aprendizagem e seus reflexos no cotidiano escolar. Os autores identificam uma tendncia utilizao dos dados das avaliaes como orientadores
das prticas de gesto, mas tambm observam lacunas de
conhecimento sobre os aspectos mais tcnicos das avaliaes. Essa dinmica produz o que os autores classificaram
como efeito domin: um conjunto de cobranas sucessivas
que induzem, simultaneamente, estratgias de gesto que
visam melhoria do desempenho institucional e jeitinhos
para ampliar os ndices das escolas.
Mariane Campelo Koslinski, Carolina Portela da Cunha
e Felipe Macedo de Andrade investigam o perfil das escolas
que foram premiadas por um dos programas que compem
a poltica de accountability escolar da Secretaria Municipal de
Educao do Rio de Janeiro (SME/RJ). Partindo da reviso bibliogrfica nacional e internacional que indica a relevncia
dos desenhos de polticas de responsabilizao e as atitudes
ou cursos de ao que podem induzir nos agentes escolares,
os autores descrevem a poltica de responsabilizao escolar
da SME/RJ e discutem alguns de seus efeitos com base em dados da prpria Secretaria e dos questionrios contextuais da
Prova Brasil. Dessa forma, identificam algumas limitaes do
programa de responsabilizao e tecem consideraes sobre
algumas alteraes ocorridas na regulamentao no perodo
que buscam corrigir alguns dos sinais/incentivos emitidos
pelo programa estudado.
Espera-se, assim, contribuir para a discusso sobre as
polticas de avaliao e responsabilizao levadas a cabo em
redes pblicas brasileiras e propiciar a discusso e a reflexo sobre a pluralidade de percepes e reaes que geram
nos agentes educacionais no mbito das unidades escolares.
Acredita-se que tal reflexo, lastreada por dados de pesquisa
emprica, possa tambm favorecer iniciativas de formao
Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

19

dos profissionais da educao para que se responsabilizem

como protagonistas tecnicamente competentes e comprometidos com a democratizao efetiva do direito de aprender das crianas e jovens brasileiros.

Vandr Gomes da Silva

vgomes@fcc.org.br

Cynthia Paes de Carvalho

cynthiapaesdecarvalho@puc-rio.br

REFERNCIAS
BAUER, Adriana; REIS, Adriana Teixeira. Base de Dados Avaliao: balano da
produo terica sobre avaliao de sistemas educacionais no Brasil: 1988 a
2011. So Paulo: Fundao Carlos Chagas, 2014. Disponvel em: <http://acervo.fcc.org.br>. Acesso em: nov. 2014.
BONAMINO, Alicia; SOUSA, Sandra Zkia. Trs geraes de avaliao da
educao bsica no Brasil: interfaces com o currculo da/na escola. Educao e
Pesquisa, So Paulo , v. 38, n. 2, jun. 2012 .
BROOKE, Nigel. O futuro das polticas de responsabilizao educacional no
Brasil. Cadernos de Pesquisa, So Paulo, v. 36, n. 128, p. 377-401, maio/ago.
2006. Disponvel em: <http://www.scielo.br/pdf/cp/v36n128/v36n128a06.
pdf>. Acesso em: nov. 2014.
______. Responsabilizao Educacional no Brasil. Revista Iberoamericana de
Evaluacin Educativa, Madrid, v. 1, n. 1, p. 93-109, 2008.
BROOKE, Nigel; CUNHA, Maria Amlia de A. A avaliao externa como instrumento da gesto educacional nos estados. Estudos & Pesquisas Educacionais,
So Paulo, n. 2, p. 17-79, nov. 2011.
FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Qualidade da educao:
avaliao, indicadores e metas. In: VELOSO, Fernando et al. (Org.). Educao
Bsica no Brasil: construindo um pas do futuro. Rio de Janeiro: Elsevier, 2009.
p. 213-238.
GIMENES, Nelson et al. Alm da Prova Brasil: investimento em sistemas
prprios de avaliao externa. Estudos em Avaliao Educacional, So Paulo,
v. 24, n. 55, p. 12-32, ago. 2013.

20

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

HAERTEL, Edward G.; HERMAN, Joan. A Historical Perspective on Validity

Arguments for Accountability Testing. In: HAERTEL, E. G.; HERMAN, J. (Ed.).
Uses and Misuses of data for educational Accountability and Improvement:
The 104th Yearbook of the National Society for Study of Education, Part. 2, J. L. Herman and E. H. Haertel (Org.). Malden MA: Blackwell, 2005. p. 1-34.
KELLAGHAN, Thomas; GREANEY, Vicent; MURRAY, T. Scott. O uso dos
resultados da avaliao de desempenho educacional. Rio de Janeiro: Elsevier, 2011.
LINN, Robert L. Assessments and Accountability. Educational Researcher, v. 29,
n. 2, p. 4-16, 2000.
MANDINACH, Ellen; GRUMMER, Edith. A Systemic View of Implementing
Data Literacy in Educator Preparation. Educational Researcher, v. 42, p. 30-37,
jan./fev. 2013. Disponvel em: < http://edr.sagepub.com/content/42/1/30.
short>. Acesso em: nov. 2014.
MARSH, Julie A.; McCOMBS, Jennifer Sloan; MARTORELL, Francisco. How
Instructional Coaches Support Data-Driven Decision Making. Educational
Policy, v. 24, n. 6, p. 872-907, nov. 2010. Disponvel em: <http://epx.sagepub.
com>. Acesso em: nov. 2014.
MARTINS, Angela. Aspectos organizacionais e dinmicos na gesto da escola
pblica: dilemas e conflitos. Revista Brasileira de Poltica e Administrao da
Educao, v. 24, p. 135-152, 2008.
SILVA, Vandr Gomes et al. Uso da avaliao externa por equipes gestoras e profissionais docentes: um estudo em quatro redes de ensino pblico. So Paulo:
FCC/SEP, 2013. Disponvel em: <http://www.fcc.org.br/biblioteca/publicacoes/textos_fcc/arquivos/38/arquivoAnexado.pdf>. Acesso em: nov. 2014.
SLAVIN, Robert E. et al. Effects of a Data-Driven District Reform Model on
State Assessment Outcomes. American Educational Research Journal, v. XX, n. 10,
p. 126, 2012. Disponvel em: <http://aer.sagepub.com/content/50/2/371.full.
pdf+html>. Acesso em: nov. 2014.
STILLMAN, Jamy. Teacher Learning in an Era of High-Stakes Accountability:
Productive Tension and Critical Professional Practice. Teachers College Record,
v. 113, n. 1, p. 133180, jan. 2011.
VIANNA, Heraldo Marelim. Avaliaes nacionais em larga escala: anlises e propostas. Estudos em Avaliao Educacional, So Paulo, n. 27, p. 41-76, jan./jul. 2003.

Est. Aval. Educ., So Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014

21