Diretoria de Avaliao da Educao Bsica DAEB Coordenao-Geral de Instrumentos e Medidas - CGIM

Avaliaes em larga escala na Avaliaes em larga escala na Educao Bsica

Coordenao-Geral de Instrumentos e Medidas - CGIM

Diretoria de Avaliao da Educao Bsica DAEB

Educao Bsica

Oficina de Elaborao de Itens Oficina de Elaborao de Itens Braslia , setembro de 2009

Frederico de Neves2009 Cond Braslia , setembro Coordenador-Geral de Instrumentos e Medidas

Frederico Neves Cond

Coordenador-Geral de Instrumentos e Medidas

Avaliao

Processo de coleta de informaes... Variedade de instrumentos... Obteno de resultados vlidos e precisos... Tomada de deciso.

Demanda: Sociedade Gesto pblica Gesto privada Clientes

Avaliao educacional

Modalidades Sala de aula: foco no processo Larga escala: foco no resultado. Inferncias sobre o processo.

Instrumentos testes de desempenho observao questionrios entrevistas

Avaliao em larga escala

Base

Elaborao de itens

Currculo Programa Diretrizes

Matrizes de referncia

Habilidades e contedos Recorte ...SAEB, Enem...

Formato: mltipla escolha, resposta construda Referncia habilidade, ao contedo Regras: tcnica de construo Banco de itens

Avaliao em larga escala

Anlise de itens

Terica: Reviso tcnico-pedaggica Emprica: Pr-teste e anlise estatstica dos itens

Composio dos testes

Estrutura: Nmero de itens por habilidade, ordem de dificuldades Composio dos blocos Combinao dos blocos Composio de cadernos

Avaliao em larga escala

Aplicao

Importncia dos parceiros/usurios Operao de guerra Procedimentos padronizados Tempo, instrues, controle rgido das condies

Anlise dos resultados

Nova anlise de itens: estatstica e pedaggica Estimao das proficincias Teoria de Resposta ao Item Mtrica. Equalizao. Comparabilidade.

Avaliao em larga escala

Interpretao das escalas

Divulgao dos resultados

Seleo de itensncora. Especialistas: o que os estudantes que acertaram aos itens de cada nvel j desenvolveram em termos de habilidades?

Mdias de desempenhos % estudantes por nvel Habilidades desenvolvidas em cada nvel Associao a fatores contextuais ndices: IDEB.

Avaliao e gesto educacional

Processo avaliativo

Cuidados

Compensa? Por que avaliar? Gesto educacional baseada em indicadores Maior probabilidade de decises efetivas

Confundir teste com avaliao Os esforos das avaliaes no gerarem impacto por pouca utilizao Tomada de decises com base em informaes pouco vlidas

Daeb/Inep
Planejar e executar avaliaes educacionais da

Educao Bsica;
Avaliaes nacionais e internacionais;

Desenvolvimento de instrumentos de avaliao.

Disseminar a cultura de avaliao no pas;

Oficinas de Elaborao de itens para formao de

multiplicadores;
Apoio tcnico em construo de instrumentos e em

anlise de dados.

Principais Avaliaes
Enem Saeb
Aneb Anresc (Prova Brasil)

Encceja

Provinha Brasil
Pisa Serce

Celpe-Bras

Sistema Nacional de Avaliao da Educao Bsica - Saeb

Aneb: Amostral
Lngua Portuguesa e Matemtica Pblica Urbana, Pblica Rural e Particular Resultados: Brasil, UFs, Zonas, Redes e outros No oferece resultados para Municpios e Escolas

Anresc (Prova Brasil): Universalizada

Lngua Portuguesa e Matemtica Pblica Urbana, Pblica Rural Resultados: Escolas e Municpios

SAEB/Prova Brasil: Matriz

Tpico I Procedimentos de Leitura

Descritores associados a esse tpico:

Localizar informaes explcitas em um texto Inferir o sentido de uma palavra ou expresso Inferir uma informao implcita em um texto (...)

Descritor: Inferir uma informao implcita em um texto

No quadrinho, a Mnica pensou que o lagarto era um desenho. Ao usar a expresso DA HORA ela deu a entender que o desenho (A) tinha acabado de ser feito. (B) durava somente uma hora. (C) era moda entre a turma. (D) deveria ser usado na hora.

SAEB/Prova Brasil: estrutura dos testes

Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Disc 1 P M P M P M P M P M P M P M P M P M P M P Blocos Posico 1 Posico 2 1 2 2 3 3 4 4 5 5 6 6 7 7 1 1 3 2 4 3 5 4 6 5 7 6 1 7 2 1 4 2 5 3 6 4 7 5 1 6 2 7 3 Disc 2 M P M P M P M P M P M P M P M P M P M P M Blocos Posico 1 Posico 2 1 2 2 3 3 4 4 5 5 6 6 7 7 1 1 3 2 4 3 5 4 6 5 7 6 1 7 2 1 4 2 5 3 6 4 7 5 1 6 2 7 3

O que dizem os dados sobre Educao Bsica? Saeb e Prova Brasil

SAEB Matemtica Evoluo da proficincia mdia - 1995-2007

Grfico 2 - Evoluo da Proficiencia Mdia Brasil - Matemtica - por srie 1995 - 2007
350 325 300 275 250

281.9

288.7

280.3

276.7

278.7

271.3

272.9

253.2
225 200 175 150 125 100 1995

250.0

246.4

243.4

245.0

239.5

247.4

190.6

190.8

181.0

193.5 176.3 177.1 182.4

1997

1999 4 srie EF

2001 8 srie EF

2003 3 serie EM

2005

2007

SAEB Lngua Portuguesa Evoluo da proficincia mdia - 1995-2007

Grfico 2 - Evoluo da Proficiencia Mdia Brasil - Portugus - por srie - 1995 - 2007

350 325 300 275 250 225 200 175 150 125 100 1995 1997 1999 4 srie EF 2001 8 srie EF 2003 2005 3 serie EM 2007
188.3 186.5 170.7 165.1 169.4 172.3 175.8 256.1 250.0 232.9 235.2 232.0 231.9 234.6 290.0 283.9 266.6 262.3 266.7 257.6 261.4

100.0

125.0

150.0

175.0

200.0

225.0

250.0

Acre Alagoas Amap Amazonas Bahia Cear Distrito Espirto Gois Mato Maranho Mato Minas Par Paraba Paran Pernambuco Piau Rio Grande Rio Grande Rio de Rondnia Roraima Santa So Paulo Sergipe Tocantins

Matemtica 2005 e 2007

SAEB Matemtica 4a srie

2007

2005

100.0

125.0

150.0

175.0

200.0

225.0

250.0

Acre Alagoas Amap Amazonas Bahia Cear Distrito Espirto Gois Mato Maranho Mato Minas Par Paraba Paran Pernambuco Piau Rio Grande Rio Grande Rio de Rondnia Roraima Santa So Paulo Sergipe Tocantins

Lngua Portuguesa 2005 e 2007

SAEB Portugus 4a srie

2005 2007

Saeb: Avaliao, Financiamento e Gesto

Saeb e Prova Brasil: orientar o apoio financeiro da Unio e o apoio tcnico do Ministrio da Educao aos sistemas educacionais.
Articulao avaliao, financiamento e gesto: cadeia de responsabilizao pela qualidade do ensino que abrange gestores dos diversos nveis.

Obrigado!!
Prof. Dr. Frederico Neves Cond
Coordenador-Geral de Instrumentos e Medidas CGIM Diretoria de Avaliao da Educao Bsica DAEB Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira INEP
frederico.conde@inep.gov.br (61) 2022.3320