Construo e Interpretao das Escalas de Conhecimento

Raquel da Cunha Valle Fundao Carlos Chagas

1. Introduo A TRI vem sendo utilizada em avaliaes nacionais, como o SAEB Sistema Nacional de Avaliao da Educao Bsica e tambm em avaliaes regionais em larga escala, como o SARESP Sistema de

Avaliao de Rendimento Escolar do Estado de So Paulo, desde 1995 e 1996, respectivamente.

Mas, a compreenso e a utilizao dos resultados que vem sendo divulgados ainda est muito aqum do esperado.

1. Introduo

OBJETIVO : Uma viso geral do processo de construo das escalas de conhecimento :

como so definidos os pontos da escala como estabelecida a distncia entre eles como cada ponto caracterizado como cada ponto deve ser interpretado, etc.

2. A escala de habilidade A utilizao da TRI vem possibilitando uma srie de avanos em termos do acompanhamento do desenvolvimento escolar que antes no eram possveis. Hoje pode-se avaliar o rendimento escolar de uma determinada srie ou verificar se houve ganho de uma srie para outra. Equalizar significa equiparar, tornar comparvel, o que no caso da TRI significa colocar parmetros de itens vindos de provas distintas ou habilidades de respondentes de diferentes grupos, na mesma mtrica, isto , numa escala comum, tornando os itens e/ou as habilidades comparveis.

2. A escala de habilidade O prximo passo seria atribuir um significado prtico aos valores obtidos. Saber que na 3. srie do ensino fundamental os alunos tm habilidade mdia em matemtica 100 e que na 4. srie essa habilidade de 150, j nos fornece uma informao quantitativa de que na 4. srie os alunos tiveram um ganho de 50% em relao ao conhecimento em matemtica na srie anterior, mas e qualitativamente, o que eles sabem a mais em termos de contedo ? E o que sabiam na 3. srie ?

2. A escala de habilidade

Com essa finalidade que se constri uma escala de habilidade : para buscar uma interpretao qualitativa dos valores obtidos. Assim como existe uma teoria matemtica que possibilita a obteno dessas habilidades, tambm existe uma metodologia matemtica e todo um trabalho de interpretao pedaggica na construo de uma escala de habilidade.

2.1 Pontos importantes quantidade suficiente de itens caracterizar/interpretar cada ponto da escala escala com vrios nveis trabalhar com diferentes nveis de habilidade diferentes sries envolvidas. diferentes sries diferentes provas todos os itens numa mesma escala itens comuns entre as provas das diferentes sries, ou ento provas de ligao entre elas.

3. Passos para a construo de uma escala 3.1 Definio das sries e disciplinas a serem estudadas.
Uma escala por disciplina, mas o ideal que seja para todas as sries envolvidas no estudo.

3.2 Elaborao e aplicao dos instrumentos (provas)

a qualidade da escala depende da qualidade dos itens. quantidade de itens envolvidos deve ser suficiente tanto para caracterizar bem cada ponto da escala, quanto para possibilitar que a escala possa ter vrios nveis.

3. Passos para a construo de uma escala 3.3 Equalizao

Itens comuns entre as diferentes provas ou populaes

3.4 Definio da escala

Em geral, os programas computacionais utilizam a escala (0;1) Por exemplo, um valor para a habilidade mdia de uma das populaes ou ento se define que a escala deve variar apenas num determinado range de valores. Uma vez definida a escala, faz-se uma transformao linear em todos os valores originais, para coloc-los na escala desejada.

3. Passos para a construo de uma escala 3.5. Escolha dos nveis ncora

nveis ncora so os pontos da escala que sero interpretados pedagogicamente. So caracterizados por um conjunto de itens, denominados de itens ncora, que so conjuntos de itens que apresentam determinadas propriedades matemticas relacionadas com caractersticas do item tais como ndice de discriminao e de dificuldade. no se pode caracterizar todos os pontos da escala e a escolha da distncia entre seus pontos ncora tambm importante. nveis ncora muito prximos no conseguiremos encontrar itens ncora para caracteriz-los nveis ncora muito distantes teremos poucos nveis, e a escala ser uma escala pobre, pedagogicamente falando.

3. Passos para a construo de uma escala 3.6 Identificao dos itens ncora
Para que um item seja ncora em determinado nvel, ele deve satisfazer a certas condies matemticas

Definio de item ncora : Considere dois nveis ncora consecutivos Y e Z com Y < Z. Dizemos que um determinado item ncora para o nvel Z se, e somente se, as trs condies abaixo forem satisfeitas simultaneamente : a) P(X=1/=Z) 0,65 b) P(X=1/=Y) < 0,50 c) P(X=1/=Z) - P(X=1/=Y) 0,30

3. Passos para a construo de uma escala 3.7 Interpretao de cada ponto da escala por especialistas

Caber a esses especialistas caracterizar cada ponto da escala a partir do estudo do contedo abordado no conjunto de itens que definem cada nvel ncora. Nesse momento, a escala est finalmente pronta para ser utilizada.

4. A utilizao da escala

Posicionar as populaes utilizando sua habilidade mdia identificao do que os alunos sabem e do que no so capazes de fazer, ou seja, quais os contedos que eles dominam e em quais contedos ainda precisam melhorar. Outra informao interessante : a porcentagem de alunos de cada populao distribuda em cada faixa de habilidade Qual a porcentagem de alunos de uma determinada srie que domina os contedos abordados naquele nvel de habilidade e como essa porcentagem evolui de uma srie para outra.

5. Consideraes finais
Podem ocorrer problemas :

os nveis extremos da escala, referentes s habilidades mais baixas e s mais altas, so de modo geral, mal caracterizados, por serem definidos, respectivamente, por itens muito fceis ou muito difceis, que em geral, so poucos.

nos nveis extremos superiores da escala h poucos alunos, isto , possvel interpretar pedagogicamente um nvel da escala, mas uma porcentagem muito baixa dos alunos avaliados domina os conhecimentos descritos nesse nvel

6. Um exemplo prtico : o SARESP

O SARESP um sistema de avaliao considerado modelo, dentre as avaliaes regionais. Aplicado em 1996 ( 3. e 7. sries do Ensino Fundamental ), em 1997 ( 4. e 8. sries do Ensino Fundamental ) e em 1998 (5. srie do Ensino Fundamental e 1. srie do Ensino Mdio) em todas as escolas pblicas estaduais do Estado de So Paulo. Em 1999 no houve aplicao. J em 2000 foram avaliadas trs sries : a 5. e a 7. sries do Ensino Fundamental e a 3. srie do Ensino Mdio.

7. O processo de construo da escala de habilidades em matemtica do SARESP da 3., 4. e 5. sries do ensino fundamental

As provas de um ano para outro no apresentavam itens comuns. A soluo encontrada no caso do SARESP foi a criao de provas adicionais, que serviriam de ligao entre duas sries consecutivas, uma vez que seriam compostas de itens que haviam sido submetidos a essas duas populaes.

7. O processo de construo da escala de habilidades em matemtica do SARESP da 3., 4. e 5. sries do ensino fundamental 111 itens na mesma mtrica srie de menor habilidade (3. srie) habilidade mdia fixada em cerca de 50 pontos, com um desvio padro de cerca de 16 pontos. Optou-se por definir um nvel ncora que fosse prximo de 50e estabelecer que a distncia entre eles deveria ser prxima de 16. Assim, um dos nveis ncora estabelecidos foi o 55 e definiuse que haveria uma distncia de 15 pontos entre eles.

7. O processo de construo da escala de habilidades em matemtica do SARESP da 3., 4. e 5. sries do ensino fundamental Habilidades mdias em matemtica - SARESP. Ano/srie 1996 3. srie 1997 4. srie 1998 5. srie a mdia 49,5 60,4 59,8 desvio padro 16,3 16,2 14,8

Podemos observar que da 3. para a 4. srie houve um ganho na habilidade mdia, mas da 4. para a 5. srie a habilidade mdia ficou praticamente inalterada.

7. O processo de construo da escala de habilidades em matemtica do SARESP da 3., 4. e 5. sries do ensino fundamental Alguns dos 111 itens no puderam ser considerados ncora em nenhum ponto da escala, mas cerca de 1 em cada 3 itens pode ser considerado ncora em algum dos nveis ncora que puderam ser identificados.

Assim, foi possvel a caracterizao de 6 nveis ncora ( nos pontos 25, 40, 55, 70, 85 e 100 ) na escala de habilidades de Matemtica da 3. , 4. e 5. sries

7. O processo de construo da escala de habilidades em matemtica do SARESP da 3., 4. e 5. sries do ensino fundamental Percentagem de alunos da Rede Estadual em cada nvel de habilidade, segundo a srie e o perodo.

Nvel 25 40 55 70 85 100

3a srie (%) 93 72 37 10 1 0

4a srie (%) 99 90 63 28 6 1

5a srie Diurno (%) 99 91 63 25 4 0

7. O processo de construo da escala de habilidades em matemtica do SARESP da 3., 4. e 5. sries do ensino fundamental Por exemplo, para o nvel 55, descrito anteriormente, podemos tirar as seguintes concluses, em relao aos anos de 1996 e 1997 :

Em 1996, a porcentagem de estudantes que respondiam questes desse nvel era de 37%. Em 1997, essa porcentagem passa a ser de 63%. Ou seja, houve um ganho de 26% (pontos percentuais) da 3. para a 4. srie.