307 09

Documento #entrega06

WIP WEB

Documento #entrega06

WIP WEB

ndice 1. Introduo_________________________________________________________3
2. Testes de Funcionalidade ___________________________________________4 2.1 Tcnicas de teste ________________________________________________4 2.2 Tcnicas de recolha de dados ______________________________________4 2.3 Concluses _____________________________________________________4 3. Testes de Usabilidade ______________________________________________5 3.1 Funcionalidades Testadas__________________________________________5 3.2 Participantes____________________________________________________6 3.2.1 Caracterizao da Amostra ____________________________________6 3.3 Metodologia ____________________________________________________7 3.4 Planeamento ___________________________________________________7 3.5 Contexto _______________________________________________________7 3.6 Tcnicas de teste ________________________________________________8 3.6.1 Cognitive Walktrought _______________________________________8

3.7 Tcnicas de recolha de dados ______________________________________8 3.7.1 Gravao de udio\vdeo ____________________________________8 3.7.2 Observao direta _________________________________________8 3.7.3 Questionrios ____________________________________________8 3.8 Materiais e recursos Humanos ______________________________________9 3.9 Heursticas de Nielsen ____________________________________________9 3.10 Anlise dos resultados ___________________________________________11 3.11 Concluso e reflexo ____________________________________________14 4. Testes de Compatibilidade __________________________________________15 5. Testes de Contedo ________________________________________________18 7. Concluso e Reflexo crtica __________________________________________19

Documento #entrega06

WIP WEB

1. Introduo
Aps o desenvolvimento da verso beta da aplicao Wip Web, necessrio perceber qual o impacto que ter aquando da sua utilizao pelo pblico-alvo. Nesse sentido foram efetuados vrios tipos de testes aplicao para se perceber quais os problemas que persistem mas que so indectveis aos nossos olhos, enquando developers e encontrar as respetivas solues. Este documento pretende descrever todos os passos efetuados no planeamento e implementao dos vrios testes aplicao, para que posteriormente todos os erros encontrados sejam sujeitos a uma soluo.

Documento #entrega06

WIP WEB

2. Teste de Funcionalidade
O teste de funcionalidade tem como objetivo tipificar, isolar e descrever erros de funcionalidade, tanto ao nvel da programao, design ou contedos. Este tipo de teste acaba por ser feito constantemente, visto que os developers da aplicao esto sempre a testar as suas funcionalidades. De qualquer forma, para esta fase de testes agendamos, tambm, um teste de funcionalidade.

2.1 Tcnicas de teste

Este teste um teste por mdulos, ou seja, os testers analisam um mdulo da aplicao de cada vez. Faz-se depois um teste de regresso, para voltar ao mesmo mdulo e testar os problemas j corrigidos.

2.2 Tcnicas de Recolha de Dados

Os dados dos testes de funcionalidade foram registados em grelhas construdas para o efeito, onde est descrita a tipologia do erro, a sua importncia, e a data at a qual deve ser resolvido.

2.3 Concluses
Como o processo de debugging est constantemente a ser executado, as falhas que foram encontradas, entretanto j foram resolvidas.

Documento #entrega06

WIP WEB

3. Testes de usabilidade
Usability Extend to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use.
(CEN/CENELEC, 2002; ISO 9241-11:1998)

O teste de usabilidade um processo de validao de toda a interface de um produto multimdia. Este tipo de teste um procedimento de estudo centrado no utilizador (UCD User Centered Design) pelo que faz todo o sentido identificar as suas necessidades e perceber o contexto de utilizao. O teste de usabilidade permite verificar se a interface de facto, simples, intuitiva e acessvel ao pblico-alvo escolhido.

3.1 Funcionalidades Testadas:

O seguinte guio identifica todos os mdulos que sero testados durante o teste de usabilidade:

Guio Cognitive Walktrough 1. Registe-se na Plataforma WIP; 2. Efetue Login; 3. Aceda aos detalhes de uma das ofertas recomendadas e adicione aos favoritos; 4. Edite o seu perfil 4.1. Carregue uma nova fotografia; 4.2. Carregue o seu CV; 4.3. Altere dados 5. Faa uma pesquisa sobre a empresa Vodafone; 6. Aceda pgina de todas as ofertas; 6.1. Filtre a pesquisa pelo concelho Lisboa; 7. Responda oferta que marcou como favorita; 8. Faa logout da aplicao;
Figura 1 Guio Cognitivo

Documento #entrega06

WIP WEB

Assim eis que surgem as diferentes tcnicas de medio na mtrica da usabilidade: Eficcia - Cumprimento dos objetivos e das aes propostas, e medida atravs do nmero de erros efetuados pelo utilizador. Eficincia - Modo como o utilizador concretizou a ao, e medido atravs do nmero de cliques. Satisfao - Apreciao geral do participante, aceitao e look and feel da aplicao multimdia. Pode ser medida atravs de questionrios posteriores realizao dos testes.

3.2 Participantes
Segundo Nielsen bastam cinco participantes para se poder realizar um teste de usabilidade e para serem detetados a maioria dos erros. Para a realizao dos testes WIPWEB recrutaram-se 7 indivduos com uma caracterstica em comum: no possurem formao avanada na rea das tecnologias.

3.2.1 Caracterizao da amostra

Antes de se dar inicio aos testes de usabilidade os participantes preencheram um questionrio inicial. Desse questionrio (ver anexo) foi possvel retirar as seguintes concluses: Participantes tm idades compreendidas entre os 19 e os 32 anos; Maioritariamente residentes no distrito de Aveiro; Ensino Secundrio concludo; 100% Dos participantes possu um servio de internet em casa; Navegam entre 3 a 5 horas dirias; J procuraram emprego atravs de Centro de emprego e de conhecidos sites de oferta de emprego; A plataforma de emprego mais concorrida Empregos-Online

3.3 Metodologia
Os testes de usabilidade vo debruar-se sobre o nmero de erros cometidos em cada tarefa, o nmero de cliques, o tempo despendido em cada tarefa e o tempo despendido no total.
6

Documento #entrega06

WIP WEB

Sero utilizadas vrias tcnicas de recolha de dados, so elas: grelhas de registo; gravao de udio e vdeo; observao direta e realizao de questionrios aos participantes.

3.4 Planeamento
Cada participante ir debruar-se num conjunto de tarefas descritas no guio cognitivo. Antes de iniciar, a equipa encarrega-se de contextualizar o participante no mbito e objetivo do teste. Cada teste dura aproximadamente 15 minutos. O participante comea por preencher um inqurito inicial (caracterizao da amostra), depois d-se incio ao teste e no final preenchido outro inqurito acerca dos nveis de satisfao do utilizador.

3.5 Contexto
O teste ser realizado numa sala fechada do departamento de Comunicao e Arte. , assim, num ambiente fechado e controlado. O ambiente simulado. Apesar da inexperincia da equipa no que diz respeito a testes de usabilidade, pensa-se que desta forma se conseguiro obter bons resultados.

Figura 2 Contexto de utilizao

Documento #entrega06

WIP WEB

3.6 Tcnicas de teste

3.6.1 Cognitive Walkthrough Esta tcnica de teste pretendido que o utilizador realize vrias tarefas pr-definidas que vo ajudar a perceber a usabilidade da aplicao nos seus pontos fulcrais. de referir que no fornecido o guio ao utilizador, uma vez que se trata de um elevado nmero de tarefas, pensa-se que a melhor abordagem ser um dos elemento da equipa ir relatando tarefa a tarefa, para que o utilizador no saiba quantas tarefas que restam at o teste terminar.

3.7 Tcnicas de recolha de dados

3.7.1 Grelhas de registo - Cada membro da equipa tinha uma grelha para propsitos diferentes. Uma grelha para o nmero de erros e nmero de cliques por tarefa; uma grelha para os tempos parciais por tarefa e posteriormente a soma dos tempos totais, e uma ltima para ir recolhendo dados sobre a user experience. (se o utilizador achou muito maudo determinada tarefa; se achou difcil) 3.7.2 Gravao udio\vdeo - No incio de cada teste era pedida autorizao aos utilizadores para gravar a sua cara atravs da webcam. Sendo essa autorizao concedida procedemos gravao da cara do utilizador e tambm do ecr, para nos auxiliar no tratamento de dados. 3.7.3 Observao direta - Os dados foram recolhidos por observao direta e posteriormente apontados nas grelhas e tabelas disponveis para tal. 3.7.4 Questionrios - Durante o teste foram realizados 3 questionrios. O questionrio inicial serviu para recolher dados sobre o utilizador; durante o teste foram feitas algumas perguntas sobre a user experience; e no final do teste foi feito um pequeno questionrio para saber os nveis de satisfao do utilizador para com a plataforma.
8

Documento #entrega06

WIP WEB

3.8 Materiais e recursos Humanos necessrios

Para a realizao dos testes foi necessrio a utilizao de uma sala, com uma secretria, um computador porttil com ligao internet, e uma cadeira. Em termos de recursos humanos, os trs membros do grupo foram suficientes para recolher todos os dados necessrios. 3.9 Heursticas de Nielsen Visibilidade do estado do sistema - O sistema onde est implantada a plataforma deve informar o utilizador de forma constante e contnua em que rea da plataforma se encontra e que tarefa que est a executar nesse momento; - Na aplicao WIPWEB podemos verificar que em todas as pginas o utilizador consegue verificar onde se encontra sabendo sempre o objetivo que o levou a aceder a essa pgina. Em todas as pginas existem ttulo que situam e informam o utilizador.

Compatibilidade do sistema com o mundo real - Todo o tipo de informao deve estar organizado e disponibilizado conforme o mecanismo mental que o utilizador criou, ao imaginar a natureza da plataforma que utiliza;

Controle e liberdade do usurio - Esta heurstica caracteriza-se pela importncia que se deve dar ao

utilizador, ao nvel das aes disponveis e das aes que este pode executar, podendo ter total liberdade de realizar ou anular determinada ao.

Consistncia e padres - fundamental que a plataforma possua consistncia nas opes que disponibiliza ao utilizador. Baseia-se ao nvel da apresentao de uma operao, devendo esta estar sempre no mesmo local e causar o mesmo efeito.

Preveno de erros - Perceber quais so as aes por parte dos utilizadores que despoletam um maior nmero de erros fundamental para a correo dos mesmos.
9

Documento #entrega06

WIP WEB

Reconhecimento ao invs de lembrana - A plataforma deve permitir ao utilizador uma liberdade de escolha de aes a executar, sem utilizar um aplicao especifica e pouco reconhecvel por parte do mesmo.

Flexibilidade e eficincia de uso - de destacar a importncia da flexibilidade e eficincia na utilizao de determinadas aes. O website disponibiliza o menu de topo para o utilizador saber sempre onde se encontra e ter acessveis todos os contedos do site.

Ajudar os usurios a reconhecer, diagnosticar e corrigir erros - A utilizao de uma linguagem clara e especfica em mensagens de erro ou feedback a um utilizador so muito importantes numa aplicao multimdia. Ao nvel da aplicao existem vrias mensagens de erro que no deixaram dvidas aos beta-testers. Apenas existiram alguns problemas com a mensagem de verificao do registo, que no foi percetvel para a totalidade dos utilizadores.

Ajudas (Help) e documentao. - Os sistemas de ajuda so fundamentais para o sucesso de uma aplicao

web. No site, para alm da pagina de ajuda, existe um local onde esto disponibilizados os contactos da plataforma, para ajudar o utilizador em tudo o que seja necessrio.

10

Documento #entrega06

WIP WEB

3.10

Anlise dos resultados

A realizao dos testes a 7 pessoas permitiu retirar algumas concluses.

Nmero de cliques

Figura 3 Nmero de cliques por tarefa

Com a anlise deste grfico podemos verificar que a tarefa que envolve mais cliques o registo e login pois implica ativar a conta. Nas restantes tarefas verifica-se que poucas vezes so ultrapassados os 3 cliques, o que vai de acordo com a heurstica de usabilidade.

11

Documento #entrega06

WIP WEB

Tempos por tarefa

Figura 4 Tempo por tarefa

Com a anlise deste grfico podemos chegar concluso que as tarefas mais demoradas so as de registo e login, e seguidamente a de edio de perfil. Apresentam-se mais demoradas, uma vez que no registo e login necessrio preencher uma quantidade de campos e depois disso ainda necessrio ativar o e-mail. Na edio de perfil gasta-se tambm algum tempo, pois necessrio alterar dados, fazer o upload de uma nova foto e de um CV. (Tarefa 4; 4.1 e 4.2 mas que neste grfico est tudo agrupado na mesma, para ser mais fcil contar o tempo.) Feedback durante o teste Foram realizadas pequenas questes durante a realizao dos testes, para avaliar a user experience em tempo real. Atravs da anlise das respostas verifica-se que: Sem uma explicao prvia, os utilizadores no percebem para que serve o Pin da iTV, e chegam a pensar que lhes ser enviado posteriormente;

12

Documento #entrega06

WIP WEB

O formulrio do registo extenso, mas no maudo, e preenche-se rapidamente; O texto alt na descrio das recomendaes muito til; A palavra diretrio para a listagem de todas as ofertas e todas as empresas no eficaz, pois os utilizadores no associam a essa funo; O carregamento do CV deveria ser feito noutro local, e no to prximo do carregamento da foto; As lightboxes dos carregamentos so demasiado subtis;

Questionrios finais No final do teste vertente web, foi pedido aos participantes que preenchessem

um ltimo questionrio. Atravs deste questionrio conseguimos retirar as seguintes concluses: Os participantes classificam a aplicao Wip Web como fcil de usar; Os participantes sentiram-se satisfeitos a utilizar a aplicao; Os participantes sentiram-se satisfeitos em relao organizao e posio dos contedos; Os participantes sentiram-se satisfeitos em relao capacidade de resposta da aplicao; Todos os participantes acharam a navegao intuitiva; Os participantes acharam que a aplicao era fcil de usar e que a maior parte das pessoas aprenderia facilmente a utilizar a aplicao; 90% dos participantes estaria interessado em voltar a usar a aplicao.

13

Documento #entrega06

WIP WEB

3.11

Concluso e reflexo

No que diz respeito aos testes de usabilidade realizados aos diferentes participantes, podemos retirar as seguintes concluses finais: O processo de registo, apesar de ter vrios campos para preencher no maudo, e a verificao est funcional e percetvel; A mensagem de ativao da conta no est a ter o efeito desejado, ou seja, alguns participantes ignoraram a mensagem e posteriormente no conseguiam aceder aplicao; Para a maioria dos participantes indiferente fazer o login normal, ou atravs do facebook; Todos os participantes acederam diretamente aos detalhes da oferta; A imagem do utilizador, assim como o nome, no canto superior direito reencaminha para o perfil, mas chegou-se concluso que faria mais sentido se reencaminhasse para a edio de perfil; A lightbox para insero de fotografia e CV est demasiado subtil, pois alguns participantes nem repararam o seu surgimento; A palavra DIRETRIO no remete para a listagem de todas as ofertas e todas as empresas; Quando o utilizador guarda um favorito pela primeira vez, dever ser avisado onde se encontram os favoritos; Depois de analisar todas as grelhas de recolha de dados e os vrios questionrios, o grupo identificou facilmente os problemas de usabilidade e interao da plataforma, e imediatamente comeou a resolve-los.

14

Documento #entrega06

WIP WEB

4. Testes de compatibilidade
O teste de compatibilidade visa a verificao do contedo ao nvel da consistncia da aplicao multimdia para os diferentes browsers e suportes de forma a garantir uma visualizao correta para todos os utilizadores. Para os testes de compatibilidade a aplicao Web foi testada em dois sistemas operativos diferentes (Windows 7 e Mac OS X Snow Leopard).

Figura 5 Wip Web em Ambiente Windows 7

Figura 6 Wip Web em ambiente MAC OS X

15

Documento #entrega06

WIP WEB

A aplicao foi tambm testada em diferentes browsers, e em diferentes dispositivos. Em baixo, a anlise do aspeto e navegao nos diferentes browsers. Browser Chrome Aspecto Navegao 1 1 Aspectos Positivos
Aplicao totalmente funcional ; o browser que se apresenta mais rpido em relao aos outros Mais lento em comparao com o Chrome; A qualidade das imagens menor; no

Aspectos Negativos

Firefox

O aspecto est a 100%

possvel adicionar ofertas aos favoritos (Firefox 11 para mac tem problema com as fontes) As fontes ficam

IE6

Todas as zonas da aplicao esto acessveis

desformatadas e todas as imagens contem um border azul As fontes ficam

IE7

Todas as zonas da aplicao esto acessveis

desformatadas e todas as imagens contem um border branco As fontes ficam

IE8

Todas as zonas da aplicao esto acessveis

desformatadas e todas as imagens contem um border branco

IE 9 Safari

2 1

1 1

Todas as zonas da aplicao esto acessveis Aplicao totalmente funcional

Problemas estticos na pgina de edio de perfil Animaes nos menus so mais lentas que o habitual Mais lento em comparao

Opera Android default browser

Aplicao totalmente funcional

com o Chrome; A qualidade das imagens menor Peca por ainda no possuir

A aplicao funciona na totalidade

um CSS especfico para utilizao mobile

Figura 7 Tabela de compatibilidades 16

Documento #entrega06
Legenda: 1 Funcional a 100%

WIP WEB

2 Funcional a 100% mas com problemas estticos que no influenciam o desempenho 3 No est 100% funcional

Verificamos que a aplicao WEB funciona a 100% em praticamente todos os browsers utilizados na atualidade. De qualquer das formas aconselhamos o visionamento do site atravs do Google Chrome ou do Mozilla Firefox.

17

Documento #entrega06

WIP WEB

5. Testes de Contedo
A equipa apresenta uma preocupao primordial em relao aos contedos da aplicao. Apesar de grande parte deles surgir dinamicamente, foi pedida a colaborao de um colega da rea das Humanidades para analisar a qualidade dos contedos do site. A recolha de dados foi feita atravs de uma grelha que pode ser acedida nos anexos. Com a realizao dos testes de contedos chegou-se concluso que: Na pgina de ndex a legibilidade e a formatao dos textos aceitvel, e a ortografia e a sintaxe satisfatria. A qualidade da animao satisfatria e de notar que est colocada em lugar de destaque, representando uma nota de boas-vindas; Na pgina inicial a legibilidade, formatao, ortografia e sintaxe dos textos satisfatria. No caso das imagens em alguns exemplos, os thumbnails das empresas, tornam-se pouco percetveis, devido sua dimenso. Porm so complementados com a informao textual na ficha. No perfil, nos detalhes da empresa e na pesquisa apenas existem uns pequenos problemas com a acentuao de algumas palavras; A pgina de ajuda est com alguns problemas crticos que sero prontamente resolvidos, o caso da codificao de caracteres especiais, o que torna difcil o acesso ao texto informativo. Devemos tambm fazer uma ligao na pgina inicial para a pgina de ajuda;

18

Documento #entrega06

WIP WEB

7. Concluso e reflexo crtica

A fase de realizao de testes uma fase de extrema importncia, uma vez que permite descobrir erros existentes na aplicao, que j no sao perceptiveis aos developers visto que utilizam e testam o site todos os dias, e j tm alguns hbitos de uso. Permite tambem identificar qual ser o comportamento dos utilizadores aquando da utilizao da mesma, descobrindo o que os incomoda e que pode ser modificado para uma melhor experincia de utilizao. Optou-se por no serem realizados testes de segurana. Apesar de o projeto ter uma ligao a uma base de dados, e algumas informaes dos utilizadores, o nmero de informaes pessoais no muito elevado. De qualquer das formas, as passwords dos utilizadores encontram-se encriptadas atravs do md5. No foram realizados testes de acessibilidade, pois o grupo focou-se principalmente nos testes de usabilidade e funcionalidade e o tempo revelou-se escasso para conseguir efetuar todos os testes. Apesar de todos os testes terem uma elevada importncia para o desenvolvimento de projeto, a equipa deu prioridade a alguns testes. Assim, foram primeiro realizados os testes de compatibilidade, funcionalidade e usabilidade e posteriormente os testes de contedos.

19

Documento #entrega06

WIP WEB

ANEXOS Questionrio Inicial da amostra

20

Documento #entrega06

WIP WEB

21

Documento #entrega06

WIP WEB

22

Documento #entrega06

WIP WEB

23

Documento #entrega06

WIP WEB

Questionrio Final

24

Documento #entrega06

WIP WEB

25

Documento #entrega06

WIP WEB

26

Documento #entrega06

WIP WEB

Grelhas de recolha de dados Erros e Clicks

Tempos

27

Documento #entrega06

WIP WEB

28

Documento #entrega06

WIP WEB

Grelhas de teste de contedos

29

Documento #entrega06

WIP WEB

30

Documento #entrega06

WIP WEB

31