Este artigo apresenta a avaliação e reconstrução da Biblioteca Digital de Trabalhos de Conclusão de Curso do Curso de Ciência da Computação da Universidade do Vale do Itajaí. Buscou-se melhorar a usabilidade da versão anterior da Biblioteca Digital, para facilitar seu uso, aprendizagem e aumentar a satisfação do usuário. Foi aplicada a técnica de ensaio de interação, para diagnosticar a situação do sistema e com isso propor um conjunto de mudanças na interface da Biblioteca Digital. As mudanças propostas tornaram-se indicadores para a construção de um novo sistema, uma vez que a Biblioteca foi reconstruída. A nova Biblioteca foi avaliada através da mesma técnica e apresentou resultados satisfatórios que são explorados em detalhes no decorrer do textoEje: Aplicaciones (APLI)Red de Universidades con Carreras en Informática (RedUNCI

Oliveira, Renate de

Prebianca, Giovana

Raabe, André Luís Alice

Silva, Júlia Marques da

Portuguese

El Servicio de Difusión de la Creación Intelectual

Avaliação da Técnica de Ensaio de Interação  
para avaliação de uma Biblioteca Digital 
André Raabe1, Giovana Prebianca1, Júlia Marques da Silva1 , Renate de Oliveira2 
1Ciência da Computação - CTTMar - UNIVALI 
R. Uruguai 348, Bloco 8 - Itajaí - SC 
{araabe,giovana,julia}@cttmar.univali.br 
2Pós-Graduação em Engenharia de Produção - UFSC 
renate@eps.ufsc.br
Resumo 
Este artigo apresenta a avaliação e reconstrução da Biblioteca Digital de 
Trabalhos de Conclusão de Curso do Curso de Ciência da Computação da 
Universidade do Vale do Itajaí. Buscou-se melhorar a usabilidade da versão 
anterior da Biblioteca Digital, para facilitar seu uso, aprendizagem e aumentar a 
satisfação do usuário. Foi aplicada a técnica de ensaio de interação, para 
diagnosticar a situação do sistema e com isso propor um conjunto de mudanças 
na interface da Biblioteca Digital. As mudanças propostas tornaram-se 
indicadores para a construção de um novo sistema, uma vez que a Biblioteca foi 
reconstruída. A nova Biblioteca foi avaliada através da mesma técnica e 
apresentou resultados satisfatórios que são explorados em detalhes no decorrer 
do texto 
Palavras-chave: Interfaces Humano-Computador; Avaliação de Usabilidade; 
Ensaio de Interação 
1. Introdução 
 Este artigo analisa a técnica de ensaios de interação aplicada a avaliação de 
usabilidade de uma biblioteca digital. A técnica foi selecionada para promover a 
reformulação da interface da biblioteca digital dos trabalhos de conclusão do curso de 
Ciência da Computação - CTTMar - UNIVALI. 
 Dentre as técnicas analisadas, o ensaio de interação foi selecionado por promover 
uma participação mais efetiva do usuário final, sendo por isso adequada para aplicação no 
contexto de um curso de computação onde os usuários participantes do ensaio seriam 
também aprendizes do processo de avaliação. 
 O diagnóstico resultante do processo de avaliação indicou a necessidade da 
reconstrução completa do sistema a fim de atender aos requisitos de usabilidade e as novas 
funcionalidades desejadas.  Após a implementação da nova biblioteca esta foi avaliada 
através de um novo ensaio de interação. Os resultados desta avaliação são descritos no 
decorrer do artigo. 
CACIC 2003 - RedUNCI 1719
2. Ensaios de Interação 
 As técnicas de avaliação de usabilidade permitem gerar um diagnóstico do estado de 
um sistema existente. Existem diversas técnicas de usabilidade com propósitos diferentes. 
Neste trabalho, foi utilizada a técnica Objetiva/Empírica de Ensaios de Interação por 
promover a participação efetiva do usuário final.. 
 Os ensaios de interação buscam identificar e diagnosticar os problemas de 
usabilidade originados de sistemas projetados de acordo com a lógica de seus 
desenvolvedores, sem a participação dos usuários finais.  
 Conforme [2], o ensaio de interação é realizado em 10 etapas a saber: 
Reconhecimento do Software; Pré-Diagnóstico; Reconhecimento do Perfil do Usuário; 
Coleta de Informações Sobre o Usuário e sua Tarefa;  Definição dos Scripts de Tarefas para 
os Ensaios; Obtenção da Amostra dos Usuários; Preparação do Ensaio; Realização do 
Ensaio; Coleta e Análise de dados obtidos na Interação; Diagnóstico e Resultado Final. 
3. Aplicação da Técnica na Biblioteca Digital 
 A Biblioteca Digital do curso de Ciência da Computação fornece, por meio da 
Internet, uma plataforma que permite o acesso e inclusão dos Trabalhos de Conclusão de 
Curso (TCC) para que estes sirvam de fonte de pesquisa para outros projetos. A biblioteca 
oferece os serviços básicos de pesquisa e recuperação de forma simplificada. A figura 1 
ilustra a tela inicial da biblioteca. 
 
Figura 1 – Interface da Biblioteca Digital a ser avaliada 
 O ensaio de interação foi organizado seguindo as etapas definidas por [2] descritas a 
seguir. 
CACIC 2003 - RedUNCI 1720
3.1. Reconhecimento do Software 
 Na primeira fase de avaliação ergonômica da Interface da Biblioteca Digital, foi 
feita uma entrevista com a autora do software, onde foram identificados os motivos que a 
levaram a desenvolver o produto, qual era o público alvo e quais foram às dificuldades 
encontradas no seu desenvolvimento. 
3.2. Pré-Diagnóstico 
 A realização do pré-diagnóstico deu-se pela aplicação da técnica de Inspeção 
Ergonômica via Checklist, no qual foi utilizado o Usability Evaluation Checklist for Web 
Sites [3]. O checklist foi aplicado por 36 acadêmicos do Curso de Ciência da Computação, 
na disciplina de Qualidade e Ergonomia de Software, os quais serão os futuros usuários da 
biblioteca. Os itens assinalados pela maioria dos alunos e que indicavam problemas foram 
selecionados para serem avaliados detalhadamente através do ensaio de interação. Estes 
estão descritos a seguir.  
· O Usuário não é informado se um plugin é requisitado; 
· Não existe um item de ajuda, dificultando o uso por usuários novatos; 
· Não existe um mapa do site; 
· As mensagens de erro não descrevem quais ações são necessárias para 
solucionar os problemas; 
· As mensagens de erro nunca fornecem endereços de contato para suporte e 
atendimento; 
Além do checklist, foi feita uma avaliação heurística considerando os critérios ergonômicos 
de [1].  Por meio desta avaliação foram levantadas várias hipóteses sobre problemas de 
usabilidade do software que foram testados e observados durante o ensaio de interação. 
· Falta de padronização nas fontes (Legibilidade); 
· O item já visitado no menu fica em vermelho dificultando visualização 
(Legibilidade); 
· A palavra “contatos” no menu não tem função alguma (Condução); 
· O acrônimo TCC não tem seu significado explicado (Significância dos códigos e 
denominações); 
· Em algumas páginas não existe link para voltar à página anterior (Ações 
Mínimas); 
· Informações desorganizadas no detalhe do item do acervo (Agrupamento por 
distinção de itens); 
· Quando um aluno envia um e-mail não recebe confirmação (Feedback 
Imediato); 
· Quando o usuário realiza um upload ou download não sabe se a operação está 
sendo executada (Feedback Imediato); 
· O usuário não pode interromper a operação quando está fazendo upload ou 
download  (Feedback Imediato); 
CACIC 2003 - RedUNCI 1721
3.3. Reconhecimento do Perfil do Usuário 
 Nesta fase, foi desenvolvido um questionário junto aos alunos do oitavo período do 
Curso de Ciência da Computação, na disciplina de Qualidade e Ergonomia de Software, 
com a intenção de pré-selecionar um grupo de usuários para participarem dos ensaios de 
interação.  
3.4. Coleta de Informações Sobre o Usuário e Sua Tarefa 
 Foi aplicado um questionário a única usuária com experiência na utilização da 
Biblioteca Digital por ter realizado o cadastramento de todos os TCCs anteriores a 2001. 
3.5. Definição dos Scripts de Tarefas Para os Usuários 
 Cada usuário durante o ensaio de interação recebeu um script para realizar algumas 
tarefas na Biblioteca, estas foram: consultar um determinado trabalho; pesquisar livremente 
no acervo, realizar a inserção de um TCC. 
3.6. Obtenção da Amostra de Usuários 
 Na definição da amostra de usuários foram escolhidos três professores, três alunos 
selecionados na disciplina de Ergonomia e Qualidade de Software no Curso de Ciência da 
Computação, três usuários com pouca experiência em utilizar a Internet, além da usuária 
experiente.  Teve-se o cuidado de esclarecer aos usuários, que o ensaio de interação seria 
para testar o software e não as habilidades do usuário em relação ao mesmo.  
3.7. Preparação do Ensaio 
 Foi utilizada uma sala onde o usuário ficou sozinho interagindo com o sistema, 
sendo observado pelo lado de fora.  Foi instalado um software espião (Lótus ScreenCam) 
para registrar o ensaio, sem causar constrangimento para o usuário e uma  WebCam para 
filmar o comportamento do usuário. 
 A técnica de verbalização consecutiva foi escolhida para que o usuário pudesse 
comentar sobre as tarefas desenvolvidas e se necessário rever a gravação feita pelo software 
espião para que o mesmo pudesse esclarecer alguns detalhes. 
3.8. Realização dos Ensaios 
 Para validação do processo, foi realizado um ensaio piloto onde observou-se que as 
tarefas que o usuário deveria desenvolver não estavam bem claras e por isso foram 
reformuladas.  Os ensaios de interação para avaliação da interface da biblioteca digital 
foram desenvolvidos de 20 de maio até 12 de junho de 2002 e tiveram duração aproximada 
de quarenta e cinco minutos cada. 
 Dos ensaios participaram o usuário interagindo com o sistema, e o avaliador 
observando e anotando os acontecimentos dos ensaios.  
CACIC 2003 - RedUNCI 1722
3.9. Coleta e Análise de Dados Obtidos na Interação 
 Depois dos ensaios foram revistas todas as gravações e anotações realizadas com 
intuito de comprovar os problemas potenciais identificados no pré-diagnóstico.  
 Inicialmente planejava-se realizar a coleta das informações somente através de 
verbalização consecutiva, porém como os usuários realizaram perguntas e manifestaram 
desejo de deixarem suas opiniões durante o ensaio de interação, realizou-se também a 
verbalização simultânea.  
 Quanto ao uso da Webcam, alguns usuários ficaram constrangidos inicialmente, mas 
logo acabavam esquecendo que estavam sendo filmados. Pôde-se observar de modo geral 
que o usuário manteve-se tranqüilo, sem manifestar irritação ou stress no desenvolvimento 
de suas tarefas. 
 As gravações do software espião auxiliaram a relacionar as anotações realizadas 
com o processo de interação realizado pelo usuário. 
 Os resultados das principais situações problemáticas encontradas durante os ensaios 
de interação foram analisados para produção do diagnóstico final. 
3.10. Diagnóstico e Resultado Final 
 Todos os problemas potenciais listados no pré-diagnóstico foram identificados ou 
relatados pelos usuários. Além destes, os ensaios de interação possibilitaram a identificação 
de outros problemas descritos a seguir:  
· No menu de opções, os usuários não entenderam a quem se destina o link 
"Acesso dos Usuários"; 
· Alguns usuários acharam que o link "Regra de Uso" era um help do software; 
· No detalhe do acervo não aparece o segundo avaliador; 
· Existiam muitas áreas de concentração cadastradas erroneamente; 
· Os itens do acervo que já foram visitados não mudam a cor do link a fim de 
indicar este fato; 
· Quando o administrador do software cadastra TCCs antigos, tem também que 
cadastrar um login e uma senha; 
· Na alteração dos itens do acervo, os anexos (documento completo) não são 
exibidos impedindo a sua alteração; 
· O campo título possui tamanho insuficiente para armazenar os título dos 
trabalhos. 
· Quando busca-se uma obra navegando através do link acervo, a barra de 
navegação com a letras do alfabeto desaparece; 
· Em uma pesquisa por palavras chave, se nenhum resultado é retornado o 
argumento de pesquisa é perdido impossibilitando verificar qual foi a consulta 
realizada. 
 Após a confecção do diagnóstico final foram definidas as mudanças necessárias na 
Interface da Biblioteca Digital. Além da melhoria da interface, tinha-se também como 
objetivo padronizar o layout de acordo com o website do Centro de Ciências Tecnológicas 
da Terra e do Mar - CTTMar que estava sendo implantado na universidade. 
CACIC 2003 - RedUNCI 1723
 Ao analisar as alterações necessárias decidiu-se realizar a implementação de um 
novo sistema inspirado no anterior. 
4. A Nova Biblioteca Digital 
 Com o desenvolvimento da nova versão da Biblioteca Digital, buscou-se resolver os 
problemas encontrados na versão anterior, melhorando a usabilidade e ampliando as  
funcionalidades disponíveis. 
 Na tela inicial da Biblioteca Digital, o usuário visualiza a opção de busca simples, 
onde pode pesquisar por título, autor ou palavras-chave. 
Em todas as telas, o menu de opções está no quadro esquerdo contendo: 
· Acervo: permite o acesso direto ao acervo da biblioteca onde a navegação ocorre 
por meio de uma barra alfabética que dá acesso aos títulos cuja inicial 
corresponde a letra clicada; 
· Busca Simples: permite a busca à biblioteca através de título, autor ou palavras-
chave. O usuário deve fornecer o argumento para pesquisa; 
· Busca Avançada: permite a busca à biblioteca usando operadores lógicos "e" e 
"ou" nos campos título, autor, palavras-chave, ano e orientador; 
· Defesas: permite que o usuário possa verificar em detalhes quais as próximas 
defesas marcadas; 
· Informações: mostra informações sobre o funcionamento do sistema; 
· Cadastre seu Trabalho: utilizada pelos alunos formandos, para que possam 
disponibilizar seus Trabalhos de Conclusão de Curso; 
· Área Restrita: área utilizada pelo administrador da biblioteca para manter as 
informações complementares e usuários. 
A barra de navegação inferior está sempre presente contendo: 
· Fale Conosco: espaço para o envio de mensagens  para o administrador da 
biblioteca; 
· Mapa do Site: onde o usuário pode visualizar toda estrutura navegacional do site;  
· Ajuda: descreve a interface da biblioteca dando dicas de sua utilização; 
· Copyright: disponibiliza informações sobre os direitos autorais do acervo e do 
sistema; 
· Últimas Atualizações: contém a data das últimas atualizações realizadas. 
A figura 2 ilustra a nova interface da biblioteca digital. 
CACIC 2003 - RedUNCI 1724
 
Figura 2 – Tela inicial da Biblioteca Digital. 
 Após desenvolvimento da nova Biblioteca Digital, foram realizados ensaios de 
interação com o público alvo, buscando os mesmos usuários que haviam participado do 
ensaio anterior. Utilizou-se a mesma sala, o Software Espião e a Webcam para filmar o 
comportamento dos usuários. A técnica de verbalização simultânea foi utilizada, pois à 
medida que os usuários desenvolviam suas tarefas faziam seus comentários. Os ensaio de 
interação para avaliação da nova Biblioteca foram desenvolvidos de 13 a 14 de novembro 
de 2002 e tiveram a duração de aproximadamente vinte e cinco minutos cada. 
 Observou-se nestes novos ensaios que nenhum dos problemas apontados na 
avaliação da primeira versão foram identificados pelos usuários. Isto levou a crer que a 
insatisfação gerada por estes não ocorreu. Porém novos problemas de usabilidade foram 
encontrados, alguns por falha na implementação da versão final (ausência de links para 
voltar em algumas páginas) e outros que também poderiam ter sido identificados na 
primeira versão, mas não foram (formato e padrão de apresentação dos resultados de 
busca). Acredita-se que a não identificação deste problema na primeira versão deveu-se ao 
número elevado de problemas graves apontados pelos usuários, retirando assim a atenção 
para as questões secundárias.  
 Um aspecto que deve ser revisto refere-se a terem sido selecionados para este 
segundo ensaio somente os usuários que haviam participado do primeiro, gerando dois tipos 
de problemas:  
1. Influência do primeiro ensaio no resultado do segundo. Os usuários 
sistematicamente buscaram identificar os pontos problemáticos identificados na 
versão anterior e como isso destinaram uma atenção secundária a novos 
problemas. 
CACIC 2003 - RedUNCI 1725
2. Constrangimento em apontar um número elevado de problemas e com isso 
deteriorar o trabalho de reconstrução da biblioteca que foi realizado.  
Planeja-se realizar um novo ensaio de interação com usuários que não participaram 
de nenhum dos anteriores para comparar os problemas apontados.  
5. Conclusões 
 Para construção de interfaces para bibliotecas digitais, deve-se avaliar o grau de 
satisfação dos usuários referentes à usabilidade e critérios ergonômicos de Interfaces 
Humano-Computador (IHC), tanto para usuários com pouca experiência na utilização da 
Internet, como para usuários considerados experientes. Cada usuário tem uma visão, uma 
idéia diferente da interface analisada. 
 Quanto à utilização da técnica de ensaios de interação, concluiu-se ela é capaz de 
identificar problemas específicos à realização das tarefas que outras técnicas não  
conseguem, pois existe a participação direta do usuário. Essa técnica utiliza uma série de 
outras técnicas, (entrevistas, questionários, cheklists) que em conjunto, caminham para um 
diagnóstico final que busca a satisfação do usuário. 
 Verificou-se que as filmagens realizadas na segunda avaliação não trouxeram 
nenhuma contribuição. Já o software espião possibilitou que o ensaio fosse revisto e 
analisado exaustivamente a fim de descobrir novos indicadores de problemas.  
 Como trabalho futuro pretende-se fazer um estudo na biblioteca digital para adequá-
la a critérios de acessibilidade, favorecendo assim o acesso de pessoas portadoras de 
necessidades especiais. 
6. Referências Bibliográficas 
Bastien, c.; Scapin, D. Ergonomic Criteria for The Evaluation of Human-Computer 
Interfaces. Institut National de Recherche en Informatique et en Automatique. Franca, 
1993. 
Gaffney, G. Usability Evaluation Checklist for Web Sites. on-line: 
http://www.infodesign.com.au/usability/ Acesso em: 23 abr. 2002. 
Labiutil - Laboratório de Utilizabilidade da UFSC. Ergonomia de Interfaces Humano-
Computador. Florianópolis. on-line:http://www.labiutil.inf.ufsc.br. Acesso em: 19 mar. 
2002. 
 
 
CACIC 2003 - RedUNCI 1726


Avaliação da técnica de ensaio de interação para avaliação de uma biblioteca digital

http://sedici.unlp.edu.ar/bitstream/handle/10915/22647/Documento_completo.pdf?sequence=1

Avaliação da técnica de ensaio de interação para avaliação de uma biblioteca digital

Abstract

Similar works

Full text

Available Versions

El Servicio de Difusión de la Creación Intelectual