A Avaliao da Aprendizagem em Educao Distncia

Dr. Stella C.S. Porto

Graduate School UMUC
(IC/UFF)

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Agenda
Apresentao Parte 1: Discutindo o conceito de avaliao Parte 2: Planejamento e design da avaliao Parte 3: Mtodos e estratgias Parte 4: E na prtica?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Apresentao
Quem eu sou? / O que eu fao? Quais os objetivos para esse minicurso?
Tratar da questo da avaliao e suas especificidades em EAD relao da avaliao com o processo inteiro de planejamento da instruo estratgias diversas de avaliao Foco na questes de avaliao online

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Agenda: Parte 1
Discutindo o conceito de avaliao
O que avaliao? Avaliao vs. Grau Como se diferencia em EAD? Por que avaliar? O que avaliar? Aspectos crticos A avaliao do eficcia do ensino

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Agenda: Parte 2
Planejamento e design da avaliao
O processo de design instrucional A relao da avaliao com o design instrucional A relao da avaliao com os objetivos

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Agenda: Parte 3
Mtodos e estratgias
Mtodos existentes Como se adaptam EAD? Quais os fatores que devem ser levados em considerao na escolha do mtodo?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Agenda: Parte 4
E na prtica?
Como se organizam os mtodos hoje usados no ambiente online A UMUC como um estudo de caso
A organizao da UMUC As escolas de graduao (SUS) e ps-graduao (GS): dois esquemas de design instrucional e de avaliao A prtica puramente online da GS/UMUC As questes crticas, as questes em aberto

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Goal Ranking & Matching 1. Utilize o formulrio para escrever 2-5 metas voc espera alcanar coisas especificas que voc deseja aprender participando desse seminrio. Formulrio 2. Na coluna do meio d uma ordem d prioridade de acordo com sua importncia relativa. O mais importante recebe nmero 1. 3. Olhando para as metas dadas no inicio do curso e escolha YES. Os que sobrarem escolha NO

4. Prepare-se para perguntar e fazer comentrios sobre metas importantes que no tenham sido mencionadas inicialmente.
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 8

Discutindo o conceito de avaliao

Atividade motivadora Parte 1
Pre, pense e reflita
O que avaliao? Qual a relao da avaliao com o processo de aprendizado? Como vivencio o processo de avaliao?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Discutindo o conceito
A avaliao um aspecto desafiador do processo de aprendizagem
motivo de ansiedade em alunos e instrutores O que voc sente como aluno? O que voc sente como professor?
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 10

Discutindo o conceito
Perguntas que permanecem
Os trabalhos avaliados refletem de forma vlida o currculo?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

11

Discutindo o conceito
Perguntas que permanecem
Os trabalhos avaliados refletem de forma vlida o currculo? Existe um sistema de avaliao e feedback que seja igualitrio e claro a todos?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

12

Discutindo o conceito
Perguntas que permanecem
Os trabalhos avaliados refletem de forma vlida o currculo? Existe um sistema de avaliao e feedback que seja igualitrio e claro a todos? Alm do grau, a avaliao genuinamente significativa e til aos alunos em seu crescimento acadmico?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

13

Discutindo o conceito
As estratgias de avaliao so importantes quando permitem que os alunos tenham insights sobre seu prprio processo educacional
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 14

Discutindo o conceito
A metodologia de avaliao deve ser capaz de informar a alunos e profs sobre a qualidade da experincia educacional

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

15

Discutindo o conceito
Logo, a viso holstica da avaliao a enxerga como parte VITAL do processo de ensino-aprendizado

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

16

Discutindo o conceito

O aluno adulto deve ser avaliado de tal forma a que perceba seus pontos fracos e fortes, e que os primeiros possam ser corrigidos durante e APS o curso
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 17

Discutindo o conceito
O aluno precisa de informao sobre a qualidade do seu trabalho O aluno precisa de sugestes construtivas de como melhorar seu desempenho

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

18

Discutindo o conceito
preciso que a avaliao se d atravs de vrios recursos, para que a viso do processo de aprendizado seja mais completa

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

19

Discutindo o conceito
O objetivo maior ento deve ser:

Prover informao necessria para a melhoria de experincias educacionais futuras

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

20

Discutindo o conceito
Em que nivel do aprendizado estamos avaliando os alunos?
Os 4 nveis de avaliao de Kirkpatrick

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

21

Discutindo o conceito Niveis de Kirkpatrick

A avaliao deve ir subindo de nivel Cada nivel serve de base para o superior A cada nivel tem-se uma medida mais precisa da eficcia da instruo

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

22

Discutindo o conceito Niveis de Kirkpatrick

Reaes
Voc gostou? O material relevante para o seu trabalho? Uma reao negativa pode comprometer todo o processo de aprendizado

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

23

Discutindo o conceito Niveis de Kirkpatrick

Cognitivo (aprendizado)
Determinar a extenso em que o aluno desenvolveu suas habilidades, conhecimentos ou atitudes Pr-teste e ps-teste so especialmente teis
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 24

Discutindo o conceito Niveis de Kirkpatrick

Comportamento (transferncia)
Mede a transferncia que ocorre no comportamento devido ao curso (ou programa) Mede o nivel de aplicao dos conhecimentos adquiridos
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 25

Discutindo o conceito Niveis de Kirkpatrick

Institucional (Resultados)
Medida de sucesso atravs de efeitos institucionais Aumento de produo, reduo de acidentes Esses resultados so o maior motivo para realizao de treinamento
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 26

Discutindo o conceito
Grau vs. Avaliao
So diferentes? Como? A seguir tabela fornecida pela Southern Illinois University Edwardsville
(http://www.siue.edu/~deder/assess/cats/gradesv.html)

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

27

Assessment

Grades

Formative Diagnostic
Non-Judgmental Private Often Anonymous Partial Specific Mainly Subtext (skills and capabilities) Suggestive Usually Goal-oriented So Paulo (9/02)

Summative Final
Evaluative Administrative Identified Integrative Holistic Text (content) Rigorous
S.C.S Porto (ITS-UMUC)

Usually Content-Driven

28

Discutindo o conceito
At que ponto a avaliao se confunde com o grau? Por que? Se temos que medir (e consequentemente dar grau), como podemos faz-lo mantendo os principios que devem reger o processo de avaliao?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

29

Discutindo o conceito
Avaliao do aprendizado

Avaliao do ensino

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

30

Discutindo o conceito
O caminho inverso da avaliao
Avaliar a eficincia e a eficcia das estratgias de ensino e currculo Logo os resultado de boas estratgias de avaliao contm informao para alunos, profs, e administradores
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 31

Discutindo o conceito
Avaliao distncia A key challenge to the authenticity of learning that takes place at a distance has been the demand for DUPLICATION of classroom testing.
Editor Ed at a Distance, Jan. 2000
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 32

Discutindo o conceito
O ambiente distncia cria desafios especficos em relao avaliao do aluno
instrutores no tem os indicadores informais visuais e verbais que podem ser to teis muitos dos mtodos de avaliao que requerem a presena dos alunos no so possveis
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 33

Discutindo o conceito
O ambiente online (por exemplo) promove outros tipos de aprendizados ao aluno:
sobre a prpria tecnologia empregada sobre seu prprio processo de aprendizado sobre si mesmo

A avaliao deve incluir esses aspectos

So Paulo (9/02) S.C.S Porto (ITS-UMUC) 34

Discutindo o conceito

Papel do instrutor online

um papel dinmico Requer pessoas capazes de criar um ambiente virtual que propicie e encorage o aprendizado individual e colaborativo
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 35

Discutindo o conceito
Atividade de concluso Parte 1:
Em grupo: proponha algumas atividades de avaliao do aprendizado dos Niveis de avaliao de Kirkpatrick, usando para isso os prprios nveis propostos por Kirkpatrick

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

36

Parte 2: Planejamento e design da avaliao

Atividade motivadora Parte 2
Objetivos instruo avaliao Objetivos avaliao instruo Avaliao Objetivos instruo Avaliao instruo objetivos Instruo objetivos avaliao Instruo avaliao objetivos

ISD: Instructional Systems Design

Pre, pense e reflita: Qual a ordem de design que voc usaria na elaborao de um curso?

Por que? Discuta em grupo

So Paulo (9/02) S.C.S Porto (ITS-UMUC) 37

Planejamento e design
Implementao Anlise

O processo de ISD O modelo ADDIE

Anlise Design Desenvolvimento Implementao Avaliao

Avaliao
Desenvolvimento Design

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

38

Planejamento e design
A avaliao do aprendizado de fato determinada durante a fase de design
Nesta fase acontece determinao de objetivos, construo da instruo e definio da avaliao
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 39

Planejamento e design
Existe assim uma relao fortissima entre avaliao e objetivos
Determinar se objetivos foram alcanados e em que grau

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

40

Planejamento e design
Descrio de objetivos determinante sobre a avaliao Como construir objetivos?
Enfoque behaviorista Enfoque construtivista, etc.
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 41

Planejamento e design
A relao da avaliao com os objetivos Teaching Goals Inventory (Angelo & Cross, 1993)
Auto-avaliao para professores
Profs se tornam atentos s metas e objetivos a serem alcanados Profs se tornam mais capazes de descobrir qual a estratgia a ser usada para avaliar a aprendizagem Proporciona tema de discusso entre profs

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

42

Planejamento e design
Teaching Goals Inventory (Angelo & Cross, 1993)
http://www.siue.edu/~deder/assess/cats/tchgoals.html

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

43

Planejamento e design
Atividade de concluso Parte 2
Considere uma empresa com um setor de cursos. Haver um treinamento sobre o modelo ADDIE para os empregados desse setor.
Prossiga atravs das fases de anlise e design (objetivos e planejamento da avaliao) do modelo ADDIE, para elaborar o programa de treinamento

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

44

Mtodos e estratgias
Atividade motivadora Parte 3
Pre, pense e reflita
Na minha prtica educacional (onde eu sou instrutor ou aluno), como se caracteriza o mtodo de avaliao? Quais os pontos positivos? Quais os pontos negativos?

Escreva alguns comentrios como resposta s questes acima. Junte-se com alguns colegas, e discuta sobre sua reflexo tentando encontrar os pontos comuns e as diferenas
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 45

Mtodos e estratgias
A literatura indica a importncia do uso de diversas formas de avaliao
formas qualitativas e quantitativas

Recomenda-se a individualizao da avaliao, mesmo em atividades de grupo

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

46

Mtodos e estratgias
O feedback dado aos alunos deve focalizar os comportamentos ao invs das personalidades

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

47

Mtodos e estratgias
Logo, deve
Ser orientado s necessidades de informao dos alunos Ser direcionado aos comportamentos que podem ser modificados

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

48

Mtodos e estratgias
Logo, deve
Fazer com que os alunos sintam que eles so donos desse feedback Ser claro, acurado e dado em tempo apropriado Fazer parte de um relacionamento continuado entre instrutor e aluno

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

49

Mtodos e estratgias
Muito provavelmente, a boa prtica na avaliao constante atravs das diferentes modalidades de ensino
No entanto, outros mtodos com tecnologias alternativas podem em muitos casos gerarem uma maior eficincia do feedback

Em educao online, a identificao do aluno mais individualizada

O que significa isso?
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 50

Mtodos e estratgias
O enfoque centrado no aluno

Importante para a populao adulta

Os alunos devem se tornar autodirecionados em seus planos e atividades de aprendizado Reconhecer os talentos e as necessidades dos alunos
So Paulo (9/02)

O aluno precisa ser reconhecido como autnomo

Diferentes graus de indepedncia em seus hbitos de estudo Relevncia na avaliao de seus trabalhos

S.C.S Porto (ITS-UMUC)

51

Mtodos e estratgias
No modelo centrado no aluno
O prof deve enxergar os alunos como seus parceiros que trabalham na produo de experincias educacionais relevantes O prof agora passa a ter mltiplas funes:
Pesquisadores das percepes do aluno Designers de estratgias de avaliao multifacetadas Gerentes de processos de avaliao Consultores que auxiliam o aluno na interpretao da informao rica que advem do processo de aprendizado
S.C.S Porto (ITS-UMUC) 52

So Paulo (9/02)

Mtodos e estratgias
Caractersticas do processo de aprendizado centrado no aluno
Alunos esto envolvidos ATIVAMENTE e recebem feedback Alunos aplicam conhecimentos a questes e problemas permanentes e emergentes Alunos integram o conhecimento baseado na disciplina em questo, desenvolvendo habilidades genricas
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 53

Mtodos e estratgias
Caractersticas do processo de aprendizado centrado no aluno
Potencial crescente de reconhecer a qualidade do trabalho Alunos tornam-se cada vez mais sofisticados como alunos e conhecedores do contedo Instrutores mesclam ensino com avaliao O aprendizado interpessoal, e todos os alunos e profs so respeitados e valorizados
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 54

Mtodos e estratgias
As prticas e a filosofia de avaliao deve confirmar que alunos adultos variam em suas necessidades
Devido s experincias anteriores e educao prvia
Implicao sria para programas com alcance internacional

Logo, o ensino precisa ser mais individualizado, e deve oferecer conexo com suas vidas pessoais e profissionais
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 55

Mtodos e estratgias
A avaliao deve fazer uma ponte entre o conhecimento acadmico, habilidades (skills) e experincias de sala de aula com trabalho dirio do aluno Mtodos alternativos tem sido estudados em funo da insatisfao com mtodos tradicionais

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

56

Mtodos e estratgias
Instrutores mais tradicionais tendem a valorizar instrumentos em nmero menor e de carter mais formal Instrutores com mtodos alternativos utilizam uma variedade maior de atividades de avaliao como:
Portfolios, apresentaes em ppt, reviso de livros, entrevistas, etc.

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

57

Mtodos e estratgias
Avaliao com mtodos alternativos
Alunos devem ter diversas oportunidades de demonstrar suas habilidades de:
Pensamento crtico, conhecimento de maior profundidade, conectar o conhecimento atividades do dia-a-dia

Desenvolver o dilogo mais profundo sobre o material do curso e promover atividades de aprendizado individuais ou em grupo O prof ser capaz de identificar caractersticas dos alunos, incluindo seus estilos de aprendizado
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 58

Mtodos e estratgias
Avaliao com mtodos alternativos (cont.)
Esses mtodos em geral requerem um maior tempo de desenvolvimento e integrao dos mesmos ao currculo
preciso que exista um plano prtico que alivie essa carga de notas+feedback atravs da limitao do nmero e do tamanho dos projetos a serem usados na avaliao

Alunos se tornam criadores de conhecimento Em geral vrias respostas so possveis

So Paulo (9/02) S.C.S Porto (ITS-UMUC) 59

Mtodos e estratgias
Os critrios usados na avaliao precisam ser apresentados de forma clara para evitar falsas expectativas Para tanto, o uso da Rbrica no processo de dar grau deve ser usada
Grading Rubric ou Grading Standards

Expectativas altas so importantes e devem ser pblicas

O conto da baleia assassina
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 60

Mtodos e estratgias
Goal Ranking & Matching (Angelo & Cross, 1993)
Projetado para tornar metas e objetivos mais claros e visiveis ao prprio aluno
O instrutor pode ento adaptar se possivel o curso a estas expectativas O instrutor pode esclarecer quais dessas expectativas no podero ser atendidas O instrutor pode ajudar o aluno a alcanar seus objetivos particulares

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

61

Sample form: Goal Ranking & Matching 1. In the spaces below, please write 2-5 goals you hope to achieve specific things you want to learn by participating in this course or seminar. Formulrio 2. Use the middle column to rank your goals in terms of their relative importance to you. The most important goal is ranked #1. 3. When you hear the presenters goals, circle YES. If you end up with goals left over, circle the appropriate NO.

4. Prepare to mention or ask questions about any of your important goals that are not also in the presenters list
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 62

Mtodos e estratgias
Utilizao de avaliao annima
interessante porque desvincula do grau e faz com que o aluno se torne proprietrio do prprio "feedback" o aluno se torna mais responsvel pelo processo de aprendizado

Como implementar tal esquema em EAD?

Isso desejado em EAD? O que se ganha, o que se perde?
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 63

Mtodos e estratgias
Directed Paraphrasing (Angelo & Cross, 1993)
O aluno deve resumir atravs de palavraschaves o que foi apresentado durante uma aula ou aula passada O aluno precisa assim encontrar uma NOVA forma de expressar um conceito Pblico determinado: parfrase direcionada O desafio : BREVIDADE + ESCOLHA DA LINGUAGEM
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 64

Mtodos e estratgias
Directed Paraphrasing (Angelo & Cross, 1993)
O aluno deve resumir atravs de palavraschaves o que foi apresentado durante uma aula ou aula passada Se adapta a O aluno precisa assim encontrar uma NOVA forma de expressar umEAD? conceito Pblico determinado: parfrase direcionada O desafio : BREVIDADE + ESCOLHA DA LINGUAGEM

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

65

Mtodos e estratgias
Muddiest point (Angelo & Cross, 1993)
Escreva aquilo que voc achou menos claro.
Este um exercicio interessante e potencialmente integrativo, porque requer que alunos primeiro deem grau ao seu conhecimento sobre diversos contedos e segundo porque faz com que o aluno por um momento reflita sobre por que algum tpico deveria ser selecionado como o menos entendido Deve ser usado com parcimonia, porque existe subliminar uma tendncia a enfatizar o negativo.

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

66

Mtodos e estratgias
Minute Paper (Angelo & Cross, 1993)
Muito comum Oferece feedback rpido sobre se as idias principais esto sendo percebidas pelos alunos Alm disso, o aluno deve tambm fazer perguntas ao final, tornando a tarefa integrativa preciso organizar o pensamento e decidir sobre a questo significativa Exemplo
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 67

Mtodos e estratgias
Auto-avaliao (Angelo & Cross, 1993)
So oferecidos 2 ou mais trechos de autoavaliao relacionados a posturas em relao a aspectos especificos. (Exemplo)
O aluno escolhe dentre os trechos aquele que se adequa melhor a sua prpria postura e pensamento Escolhe tambm, por exemplo, qual o tipo de personalidade que melhor se adequa a determinadas situaes Escolhe, por exemplo, aquela personalidade que ele prprio preferia se relacionar
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 68

Mtodos e estratgias
Auto-avaliao
O aluno pode se confrontar com atitudes e posturas pessoais, de maneira privada
Algumas delas podem ser empecilhos ao aprendizado

O ideal oferecer ao aluno pontos de vistas controvertidos S podem ser usados como AUTO-avaliao
O professor deve reconhecer possiveis obstculos ao aprendizado e formul-los Recolher as respostas e propor formas de superar esses obstculos.
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 69

Mtodos e estratgias
Self-confidence survey (Angelo & Cross, 1993)
Utilizado para identificar reas onde os alunos sentem-se confortveis ou disconfortveis Reflete o reconhecimento da competncia do aluno por ele mesmo Fcil de elaborar, mas a forma de agir de acordo com os resultados pode ser mais complexa. Exemplo de formulrio
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 70

Mtodos e estratgias
Characteristic features (Angelo & Cross, 1993)
Lista de traos que ajudam a definir um tpico e diferenci-lo de outros Permite perceber se o aluno capaz de separar elementos e idias que podem ser confundidos Muito til em turmas grandes. Exemplo

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

71

Mtodos e estratgias
Background Knowledge Probe (Angelo & Cross, 1993)
A melhor forma de prever o aprendizado de um aluno saber o quanto ele j sabe antes de comear a instruo
Os alunos trazem consigo muitos conhecimentos j internalizados, incluindo preconceitos e idias prconcebidas.

O conhecimento novo em geral cola-se no conhecimento pr-existente. (Exemplo)

So Paulo (9/02) S.C.S Porto (ITS-UMUC) 72

Mtodos e estratgias
Transfer & Apply (Angelo & Cross, 1993)
Forma intencional de fazer com que participantes reconheam idias que tenham aprendido e que conscientemente transfiram estas para aplicaes em seu prprio ambiente. Exemplo

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

73

Mtodos e estratgias
Trabalho de grupo
Tamanho do grupo Objetivo preciso, conhecido e relevante ao aprendizado Acompanhento ao longo do processo Avaliao inter-participantes Componente individual de tarefas (com grau individualizado) Estruturao inicial: construindo a confiana
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 74

Mtodos e estratgias
Participao
Dar grau ou no? Importante determinar o se considera como participao Importante determinar como a participao ser avaliada
Usar Participation Rubric

Prover feedback ao longo do curso especificamente sobre participao

Feedback construtivo, convidando o aluno

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

75

 Peer evaluation
Efetivo no ambiente online Tem que ser feito de forma cuidadosa
Pode ser annimo Em pares

Mtodos e estratgias

preciso criar um clima de confiana A avaliao deve ser entendida claramente como um processo construtivo que faz parte da aprendizagem, desligada do grau
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 76

Mtodos e estratgias
Learning about the ways we learn is an important outcome of the online environment.
Isso se relaciona apenas ao ambiente online (ou a distncia)?

Instrutores podem reforar o aspecto de meta-aprendizado, reforando o poder que o aluno deve adquirir sobre seu prprio processo
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 77

Mtodos e estratgias

O que est acontecendo online?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

78

Mtodos e estratgias

mtodos usados online (assincrono) Exames tradicionais Trabalhos individuais e de grupo para nvel de domnio do contedo Atividades de nvel alto (i.e. estudo de casos, entrevistas, discusses, artigos, propostas de pesquisa) Atividades criativas (palavras-cruzadas online, avaliao e desenvolvimento de web-page, )
S.C.S Porto (ITS-UMUC) 79

So Paulo (9/02)

Mtodos e estratgias
Comparando avaliao online e tradicional
Nenhuma diferena no geral Avaliao via web permite feedback mais eficiente e detalhado Aprendizado via web permite maior individualizao na avaliao do trabalho do aluno
So Paulo (9/02)

Aprendizado via web encoraja maior participao e engajamento do aluno Sala de aula tradicional d mais facilidade ao instrutor em inferir sobre o entendimento do material pelo aluno (ser??)
80

S.C.S Porto (ITS-UMUC)

Mtodos e estratgias
O que est funcionando na avaliao online
Maior eficincia no feeback de tarefa Feedback individual mais detalhado Convenincia da comunicao entre instrutor e aluno rea de conferncia estimula troca efetiva entre alunos em grupo
So Paulo (9/02)

Tempo adicional para alunos processarem o aprendizado e completarem trabalho. Maior oportunidade para alunos desenvolverem habilidades diversas

S.C.S Porto (ITS-UMUC)

81

Mtodos e estratgias
O que no est funcionado na avaliao online
Menor percepo do aluno sobre carga de trabalho Falta de autoconhecimento do aluno sobre seu tipo de aprendizado e casamento apropriado com a aula online Problemas tecnolgicos Deficincias dos alunos em escrita Se e-mail utilizado, pode se tornar um gargalo Falta de apoio financeiro para pessoal de suporte no processo de avaliao
82

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

Mtodos e estratgias
Desejos de um instrutor para avaliao online
Maior suporte e acesso tecnolgico para alunos e instrutores Melhores procedimento de avaliao baseados em tecnologia (p. ex. Um gradebook online) Maior confiaa e uso por parte dos alunos nas reas de trabalho comuns (evitando o e-mail)

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

83

Mtodos e estratgias
Desejos de um instrutor para avaliao online
Maior entendimento por parte dos alunos de tempos razoveis para feedback de trabalhos Maior suporte administrativo
relativo a tamanho mximo de salas de aula e de pessoal de suporte avaliao

Maior uso de peer mentoring, e suporte s questes enfrentadas por instrutores online Incorporao de teorias de aprendizado de adultos mais corrente e novas prticas de ensino
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 84

Mtodos e estratgias
Algumas concluses sobre avaliao online:
A maior parte dos procedimentos de avaliao de aulas ao vivo podem ser adaptadas ao ambiente online O ambiente online tem permitido cada vez mais o uso de mltiplos procedimentos de avaliao criativos A avaliao baseada em Web caracterizada pela eficincia, individualizada e detalhada em curto espao de tempo
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 85

Mtodos e estratgias
Algumas concluses sobre avaliao online:
Suporte preparatrio adequado deve ser dado aos alunos e instrutores online, de tal maneira a garantir o sucesso da sala de aula baseada em Web De muitas formas, as questes ligadas boa prtica de ensino e avaliao transcendem o formato utilizado (f2f ou online)

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

86

Mtodos e estratgias
Atividade de concluso Parte 3:
Retome as suas notas do incio sobre a avaliao na sua prtica educacional Tente projetar recomendaes para tornar essa prtica mais vlida Avalie aquilo que no momento utopia e aquilo que de fato pode ser feito imediatamente Procure traar diretrizes bem simples para levar suas novas concluses sobre o tema para a sua prtica
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 87

Parte 4: E na prtica?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

88

E na prtica?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

89

E na prtica?
No existe uma melhor forma de avaliar o progresso do aluno O elemento mais importante em utilizar mtodos tradicionais ou alternativos na avaliao de EAD talvez seja garantir que a ferramenta escolhida se ajuste ao modo em que feita a instruo Dois grupos: sincronos e assincronos
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 90

E na prtica?
Mtodos sincronos (1)
Prof. e aluno interagem em tempo-real durante a avaliao EAD: geralmente centrados no aluno e utilizam instruo baseada em competncias
Se adequam ao uso de avaliao referenciada por critrios (criterion-referenced assessment) Definio: aquela quer interpreta a pontuao do aluno atravs da descrio de como este capaz de realizar tarefas num dado dominio

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

91

E na prtica?
Mtodos sincronos (2)
Ferramentas de conferncia em tempo real
Exemplos: Entrevistas usando Netmeeting ou telefone; tecnologias de video podem permitir que o aluno seja visto fazendo o teste.

Legitimizao da avaliao em EAD

Fator determinante no processo de accreditation Em muitos casos, isto alcanado de forma mais direta: exames f2f em centros pr-determinados (proctored exams)

Trabalho em grupo
Ferramentas de chat permitem interao sincrona
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 92

E na prtica?
Mtodos assincronos
Avaliao pode tomar diferentes formas: de exames at portifolios
Uso de interao assincrona, e muitas formas de tarefas escritas Alguns desses mtodos podem gerar muita subjetividade no momento de dar grau

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

93

E na prtica?
O dominio cognitivo mais frequentemente avaliado em EAD A avaliao do dominio afetivo lida com variveis como atitudes, interesses e valores
Por isso a maior complexidade em avali-lo de forma efetiva Mas isso no se torna pior em EAD, pelo contrrio, pode at aumentar a validade dos resultados

O dominio psicomotor ainda o mais dificil de ser avaliado num ambiente de EAD
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 94

E na prtica? Um estudo de caso

University of Maryland University College
School of Undegraduate Studies (SUS) Graduate School (GS)

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

95

UMUC home
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 96

SUS / UMUC home

So Paulo (9/02) S.C.S Porto (ITS-UMUC) 97

Turoria para SUS

So Paulo (9/02) S.C.S Porto (ITS-UMUC) 98

Suporte Escrita
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 99

Suporte de Servio de Biblioteca

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

100

SUS: exames finais com superviso presencial

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

101

GS/UMUC home

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

102

Orientao para o aluno 100% online

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

103

Platforma: login

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

104

Plataforma: cursos correntes do aluno

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

105

Tela 1 de um curso

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

106

Conference: interao assincrona

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

107

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

108

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

109

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

110

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

111

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

112

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

113

E na prtica?

Desafios
Grau vs. Avaliao (estrutura de graus determinada pela instituio) Trabalho colaborativo Participao Heterogeneidade / Diversidade As demandas do aluno adulto Desenvolvimento de cursos que atendam demanda, s restries de custo, s mudanas de tecnologia, s mudanas de contexto, sejam criativos, sejam flexiveis, etc.
S.C.S Porto (ITS-UMUC) 114

So Paulo (9/02)

Why do we insist on measuring it with a micrometer when we mark it with chalk and cut it with an axe?
Peter Ewell

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

115

Why teach to testing when it is so productive to teach to learning?

Guy Bensusan

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

116

As the question about what is wrong with tests to the learners/students in YOUR courses and let them post ANONYMOUS answers.
Guy Bensusan

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

117

Qual foi o ponto mais importante para voc desse mini-curso? Qual foi o aspecto mais confuso?

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

118

Referncias
M. Dereshiwsky (2001), A is for Assessment: Identifying Online Assessment Practices and Perceptions, Ed at a Distance Magazine and Ed Journal, Vol. 15, No.1 (http://www.usdla.org/html/journal/Jan01_Issue/article02.html) T.A. Angelo & K.P. Cross (1993), Classroom Assessment Techniques, 2nd ed. San Francisco: Jossey-Bass Palloff & Pratt (1999), Building Learning Communities, Jossey-Bass M. Moore & G. Kearskely (1996), Distance Education: A Systems View, Wadsworth. J. Morley (2000), Methods of Assessing Learning in Distance Education Courses, ed at a distance, Vol. 13 no.1 Classroom Assessment from Southern Illinois University Edwardsville, http://www.siue.edu/~deder/assess/cats
S.C.S Porto (ITS-UMUC) 119

So Paulo (9/02)

Referncias
UMUC site, http://www.umuc.edu T.A. Angelo (1999), Doing Assessment as if Learning Matters Most, AAHEBulletin, May G. Bensusan (2000), Subject:Whats Wrong with Tests?, Ed at a distance J. Kemp (2000), Instructional Design for Distance Education, Ed at a distance, Vol. 14 No. 10 Distance Education at a Glance, Engineering Outreach College of Engineering University of Idaho, http://www.uidaho.edu/evo/dist3.html ae is assessment and evaluation, Maricopa Center for Learning & Instruction, http://www.mcli.dist.maricopa.edu/ae0/
So Paulo (9/02) S.C.S Porto (ITS-UMUC) 120

Referncias
L. Suskie (2000), Fair Assessment Practices, AAHEBulletin, May. Classroom Assessment, Center for Excellence in Learning & Teaching, http://cstl.syr.edu/cstl/t-l/cls_asmt.htm M.D. Roblyer & L. Ekhaml, How Interactive are YOUR Distance Courses? A Rubric for Assessing Interaction in Distance Learning, http://www.westga.edu/~distance/roblyer32.html

So Paulo (9/02)

S.C.S Porto (ITS-UMUC)

121