ESTUDO DE CASO

AVALIAO
DA INTERFACE
HUMANO/COMPUTADOR

ARTIGO DE REFERNCIA

EVIDNCIAS DO EAD NO BRASIL

Segundo o Ministrio da Educao do Brasil (MEC), os resultados do Censo da
Educao Superior aferidos pelo INEP (Instituto Nacional de Estudos e
Pesquisas Educacionais Ansio Teixeira) em 2010 evidenciam o crescimento do
nmero de cursos e de matrculas em cursos na modalidade de ensino a
distncia. De acordo com o censo, essa tendncia tem-se confirmado e
apresenta um total de 14,6% do total de matrculas no ensino superior.

CARACTERSTICAS DO EAD (LMS)

No ensino a distncia ou no blended learning frequente a utilizao de ambientes de gesto
da aprendizagem (ou LMS, do ingls Learning Management System). Este tipo de sistema
abrange funcionalidades para armazenar, distribuir e gerenciar contedos de aprendizado, de
forma interativa e gradativa. A utilizao do referido sistema, tornou possvel registrar e
apresentar as atividades do discente, bem como, seu desempenho, alm da emisso de
relatrios, os quais propiciam o aperfeioamento do processo de ensino-aprendizagem,
facilitando a gerncia e o acompanhamento de programas de ensino.

CARACTERSTICAS DO EAD (LMS)

Alguns estudos mostram que as interfaces dos LMS so complexas e inserem
dificuldades prtica docente mediada por ambientes desse tipo.
Observa-se a importncia do LMS para a prtica docente independente da modalidade
de ensino e, sua consequente interferncia nesta. Existem inmeros ambientes deste
tipo no mercado e adotados em programas de educao no Brasil.
Neste artigo so comparadas algumas dimenses da usabilidade de dois modelos:
o Moodle e o Amadeus.

FOCO DO ESTUDO = DOCENTE (Estudantes de Professor)

O objetivo deste estudo comparar os ambientes de gesto da aprendizagem em
relao execuo de tarefas docentes semelhantes por usurios docentes. Nesta
pesquisa a tcnica de anlise da tarefa foi utilizada com vistas a identificar as
necessidades ou problemas relacionados desses ambientes. Este trabalho corrobora
com a viso de [Interao Humano-Computador - D.Benyon] que considera que
analisar tarefas uma viso especfica do design de sistemas interativos que leva a
tcnicas especficas. O autor destaca que uma tarefa uma meta acompanhada por
um conjunto ordenado de aes.

1 - Usabilidade de tarefas docentes com

Ambientes de Gesto da Aprendizagem(LMS)
O fato de o ambiente LMS provocar muitas dificuldades de utilizao ocasiona
naturalmente o sentimento de desmotivao. Para Estudo da usabilidade da interface
do ambiente virtual de aprendizagem da Unitins [Almeida, M. C]: Se a interface fosse
agradvel e produtiva, talvez os professores se sentiriam estimulados a fazer alm do
necessrio, como postar mais vdeos, mais materiais complementares, mais testes e,
enfim se sentiriam mais motivados e, por conseguinte, provocariam maior reflexo e
motivao por parte dos alunos. As dificuldades iniciais para qualquer ambiente no seu
uso inicial deve ser a menor possvel de modo que a curva de aprendizagem seja
mnima (p. 207).
So diversos os aspectos a considerar quando do desenvolvimento de qualquer
produto de software. Da mesma forma ocorre com o desenvolvimento de um LMS.
Tais fatores precisam ser ponderados no sentido de tornar a experincia do usurio
docente positiva nesse tipo de ambiente. Isso significa dizer que a realizao de suas
tarefas com o LMS precisa ser simples de modo que o docente possa explorar todos os
recursos disponveis de forma a obter sucesso em sua prtica utilizando esse tipo de
ambiente.

2 - Anlise de tarefas: Alunos futuros docentes

Para Nielsen, a usabilidade um atributo de qualidade que avalia quo fcil de usar e de
memorizar so as interfaces de usurio.
Usabilidade tambm se refere aos mtodos para melhorar a facilidade de uso durante o
processo de design. E, nesta direo, a recomendao ISO 9241- 11 especifica que a
usabilidade de um produto est associada sua qualidade de uso pelos usurios de forma
a atingir determinadas metas com eficincia, eficcia e satisfao, considerando um
contexto especfico.

Essa norma tem como arcabouo terico, os conceitos definidos pelos principais autores
no que tange a concepo, desenvolvimentos de sistemas interativos.
Nesta pesquisa, para a comparao dos ambientes do tipo LMS, foram aplicados os
princpios de qualidade de Engenharia de Software conforme descrito na ISO/IEC 9241-11.

Portanto, a medida da efetividade de uma interface considerada baseia-se na definio do

conceito de usabilidade especificada no modelo, detalhados na Figura.

2 - Anlise de tarefas: Alunos futuros docentes

Componentes para a medio da usabilidade Adaptado da ISO/IEC 9241-11.

2 - Anlise de tarefas: Alunos futuros docentes

3 Mtodo de Pesquisa [Princpios Norteadores]

Inicialmente, a inteno foi adotar um paradigma quantitativo e qualitativo para permitir
identificar diferenas na usabilidade das duas plataformas, assim como, identificar os fatores
que influenciam e determinam essas diferenas.
Contudo, ao longo do experimento tornou-se invivel a anlise quantitativa por conta do
nmero reduzido de participantes, primeiramente 30 (trinta) na seleo prvia porm,
tendo sido analisados, os dados resultantes de apenas13 (treze) participantes, o que devidamente explicado ainda nesta seo no item participantes.
Entendendo, pois, que a anlise dos dados seria unicamente qualitativa deu-se
prosseguimento ao experimento.

Para a medida da usabilidade, procederam-se avaliaes da usabilidade em suas trs

dimenses(Eficcia, Eficincia,Satisfao) para em seguida realizar a comparao entre as
plataformas.
O desenvolvimento desta pesquisa partiu da premissa de que as tarefas propostas seriam
mais eficientes no ambiente Amadeus[HIPTESE].

3 Mtodo de Pesquisa [Produtos sob Comparao]

Sabe-se que o objetivo primordial dos ambientes virtuais da aprendizagem o de apoiar
o processo de e-learning, facultando o ensino-aprendizagem a distncia, presencial ou
mesmo semipresencial.
Tais ambientes proporcionam e facilitam diversas formas de interao dos
discentes(alunos), quer sejam entre si, com o contedo, bem como com o
docente(professor/tutor).
Os produtos de software utilizados para a avaliao da usabilidade nesta pesquisa foram
os LMS Amadeus verso 00.96.30

Moodle verso 2.2.2.

3 Mtodo de Pesquisa [Produtos sob Comparao]

Amadeus [verso 00.96.30 ]

O LMS Amadeus um sistema de gesto de aprendizagem para educao presencial, a
distncia e todas as suas variaes. Ele baseado no conceito de blended learning,
segundo o qual, para se atingir um grande pblico com projetos de formao a distncia,
faz-se necessrio uma combinao de formas de mediar a apresentao e as interaes
com os contedos das aulas. A interao entre os usurios, e destes, com o contedo no
ambiente permite a execuo de novas estratgias de ensino e de aprendizagem orientadas por teorias construtivistas ou scio interacionista do desenvolvimento humano. O
LMS Amadeus tem como principal propsito contribuir com o desenvolvimento social
pela formao e educao para todos, reduzindo custos, gerando empregos e negcios, e
consequentemente melhorando o atendimento ao cidado, alm da democratizao do
conhecimento.

http://www.softwarepublico.gov.br/spb/tag/LMS?popular=1

3 Mtodo [Produtos sob Comparao]

Moodle[verso 2.2.2 ]
O LMS Moodle, um sistema de gesto do ensino e aprendizagem. Por sua vez, trata-se de
um software desenvolvido para ajudar os docentes a criar cursos online, ou suporte online
a cursos presenciais com muitos tipos de recursos disponveis. O termo Moodle, um
acrnimo de Modular Object-Oriented Dynamic Learning Environment (ambiente
modular de aprendizagem dinmica orientada a objetos). De acordo com o autor o LMS
Moodle foi e continua sendo desenvolvido continuamente por uma comunidade de
centenas de programadores em todo o mundo, que tambm constituem um grupo de
suporte aos usurios para o acrscimo de novas funcionalidades sob a filosofia GNU1 de
software livre. Uma fundao (www.moodle.org) e uma empresa (www.moodle.com)
fornecem, respectivamente, o apoio para o desenvolvimento do software e sua traduo
para dezenas de idiomas, e apoio sua instalao.

3 Mtodo [Participantes Alunos Curso de

Pedagogia de Msica IFPE Belo Jardim]
Os usurios que participaram da pesquisa foram, inicialmente, 30 (trinta) alunos do 1
Perodo do curso de Licenciatura em Msica do IFPE Instituto Federal de Pernambuco
Campus Belo Jardim. Esses alunos so oriundos de stios localizados na rea rural,
prximos cidade da Instituio, e, em sua maioria possuem pouca experincia com
computadores. Esta seleo foi realizada atravs da aplicao de questionrio para
identificar o perfil do participante.
Os participantes selecionados, ento 19 (dezenove), no possuam experincia anterior
com ambientes virtuais de aprendizagem, visto que a condio era que a amostra fosse
de sujeitos sem conhecimento prvio em ambientes virtuais da aprendizagem. Disto,
resultou numa quantidade menor que a estimada.
Saliente-se que apenas 14 (quatorze) participaram da sesso interao do Amadeus e no
Moodle devido a problemas pessoais relacionados a tempo e deslocamento da escola at
suas residncias. Tambm cabe registrar que ocorreram problemas tcnicos com a
captura das telas da sesso de interao de um dos participantes. Portanto, a anlise
apresentada neste trabalho, para fins da avaliao da usabilidade considerou 13 (treze)
usurios vlidos e, para a avaliao da execuo das tarefas, ou seja, para a medida de
satisfao foram considerados 14 (treze) participantes.

3 Mtodo [TAREFAS - tcnica de anlise da tarefa ]

Tarefas
As tarefas executadas nos dois(2) ambientes esto enquadradas,na atividade de
desenvolvimento e distribuio do material didtico.
As tarefas que foram propostas aos participantes consistiram de solicitar:
Tarefa 1
1.1. criao de um mdulo
1.2. insero de material no mdulo
1.3. disponibilizao de um link no mdulo
Tarefa 2
2.1. criao de um frum
2.2. postagem de uma mensagem
Tarefa 3: a insero de atividades avaliativas, sendo estas:
3.1. do tipo mltipla escolha
3.2. outra com alternativas Falsa ou Verdadeira
3.3. e uma discursiva

3 Mtodo [TAREFAS - tcnica de anlise da tarefa ]

3 Mtodo [MATERIAIS]
Materiais
Os recursos incluram 04 (quatro) computadores portteis com acesso off-line aos
ambientes Amadeus e Moodle.
Justifique-se o uso off-line dos equipamentos ao fato de garantir a no influncia de
possveis problemas tcnicos relacionados ao acesso internet.
Todas as tarefas propostas na sesso de interao em ambos os ambientes foram
entregues impressas aos participantes e so apresentadas na Figura anterior.
Sobre as atividades avaliativas que deveriam ser criadas, estes no as elaboraram, todos
as receberam prontas para a execuo nos dois ambientes, o mesmo ocorreu com o
material a ser disponibilizado nos LMS.
No sentido de obter parmetros para comparao, as tarefas propostas foram
previamente executadas nos dois ambientes, o que possibilitou a definio mnima de
pas-sos necessrios para sua execuo com xito, vide Tabela 1.

3 Mtodo [TAREFAS Previamente Testadas]

48 passos

49 passos

3 Mtodo [TAREFAS - Comentrios]

Acrescente-se que em momento algum foi imposta aos participantes a ordem de execuo
das tarefas. Estas aes foram planejadas de modo que os participantes no perdessem
tempo pensando qual contedo disponibilizar, qual o link a ser inserido, o nome do frum, a
mensagem a ser postada. Pois, estes aspectos poderiam mascarar a real dificuldade no uso
dos ambientes, visto que poderia ser gasto desnecessariamente tempo com as aes supracitadas.
O questionrio denominado: Questionrio de avaliao sobre a execuo das tarefas foi
aplicado aps a sesso de interao nos dois ambientes e objetivou aferir o nvel de satisfao
na realizao das tarefas propostas[Percepo Qualitativa]. As demais questes versavam
respectivamente: uma sobre qual ambiente o docente considerou mais amigvel e fcil de
utilizar e a outra qual ambiente o docente utilizaria em sua prtica.

3 Mtodo [AMBIENTE DA PESQUISA]

A pesquisa foi realizada no local do curso de formao de docentes do IFPE Instituto Federal
de Pernambuco Campus Belo Jardim. A proposta metodolgica aplicada para o
desenvolvimento desta pesquisa consistiu na anlise da tarefa de uma sesso de interao
realizada por cada participante nos dois ambientes. Os participantes da pesquisa foram alunos
do 1 perodo do curso de Licenciatura em Msica da respectiva instituio.

4 Procedimentos [Para realizar o Experimento Protocolo]

Os procedimentos adotados consistiram na apresentao dos ambientes Amadeus e Moodle
aos participantes e posterior solicitao para realizarem tarefas pr-definidas.
Durante as sesses de interao, os movimentos dos usurios com as duas plataformas foram
capturados por software adequado e anotados a parte.
Ao final foi aplicado o Questionrio de avaliao sobre a execuo das tarefas, e a anlise
dos dados coletados foi feita qualitativamente.
As sesses de interao em cada ambiente ocorreram individualmente por um perodo
mximo de 20 (vinte) minutos. Os participantes foram divididos em grupo de 4 (quatro), de
forma que 2 (dois) iniciavam no Amadeus e os outros 2 (dois) no Moodle. Aps o tempo
estabelecido, os participantes foram convidados a interromper a execuo das atividades
propostas, independente de no as terem concludo.
Na sequncia, houve a permuta entre os dois ambientes, de modo a evitar a influncia da
curva de aprendizagem na execuo das atividades no outro ambiente. Todas as aes foram
registradas com o software Auto Screen Recorder 3.1.
A Tabela em seguida apresenta resumidamente a sequncia dos procedimentos
metodolgicos adotados nesta pesquisa que compreenderam 4 (quatro) etapas descritas a
saber:

4 Procedimentos [Para realizar o Experimento Protocolo / Cronograma]

4 Procedimentos [ Parmetros de Avaliao]

Foi utilizada a anlise da tarefa que segundo [Anlise e Modelagem de
Tarefas. Congresso Brasileiro de Fatores Humanos em Sistemas
Computacionais - Winckler, M. A. A.; Pimenta, M. S.]:
emergiu da Ergonomia como um mtodo emprico que permite descrever e
analisar como as pessoas realizam suas atividades (p. 3).
Ainda para o autor, uma anlise de tarefa decompe uma tarefa complexa em
seus componentes, que so seus conhecimentos sobre artefatos e tarefa.
Em outras palavras, consiste em medir diretamente o desempenho do usurio
enquanto realiza uma tarefa com a interface. Conforme o objetivo da
avaliao, o valor obtido pode ser a mensurao do tempo que o usurio leva
para executar completamente uma tarefa; o nmero de erros cometidos na
tentativa de executar a tarefa solicitada; o total de acessos ao sistema de
ajuda ou documentao; a percentagem cumprida da tarefa em um dado
perodo; o nmero de comandos ou aes realizadas.

5 Anlise e interpretao dos dados [ Foco da Anlise]

A seguir so descritos e analisados os resultados da pesquisa e suas discusses, sendo
apresentados considerando a seguinte ordem:
1) Primeiramente a anlise qualitativa da usabilidade, em seguida
2) a anlise da satisfao dos usurios.

Buscou-se:
1. Descobrir se h influncia do uso do computador em relao ao total de
tarefas concludas.
2. Averiguar a influncia da sequncia de uso em relao as tarefas concludas, e
por fim,
3. Verificar a relao entre o tempo total e as tarefas concludas nos (2) dois
ambientes.

5 Anlise e interpretao dos dados [TAREFA 01]

TAREFA 01: Criao do Mdulo, Insero de Material e Link.

5 Anlise e interpretao dos dados [TAREFA 02]

TAREFA 02: Criao do Forum e Mensagem.

5 Anlise e interpretao dos dados [TAREFA 03]

TAREFA 03: Insero de atividades avaliativas.

6 Anlise da satisfao [ OPINIO NO USO]

7 DISCUSSO
[ Anlise Geral Critrios de Medio da Usabilidade]

7 DISCUSSO [ Concluses Finais da Pesquisa para o

Contexto Estudado ]
Como evidenciado anteriormente, os resultados inferenciais obtidos no permitem
concluir que exista uma maior eficincia de um ambiente em detrimento do outro, visto
que o nvel de significncia foi superior ao aceito[Resultados Numricos Estatisticos].
No entanto, do ponto de vista qualitativo, os resultados resumidos sinalizam que o maior
nmero de tarefas concludas ocorreu com o LMS Amadeus. O mesmo tambm ocorreu
quando questionados a respeito da satisfao que abrange qual ambiente o mais fcil
de usar, mais amigvel, e ainda, qual dos ambientes eles escolheriam para adotar em sua
prtica docente. Os dados apontaram que quando comparado ao Moodle, o Amadeus
apresentou-se superior em todos os quesitos analisados, desde a realizao das tarefas
at as respostas obtidas no questionrio de avaliao.