A Comparison of Quantitative and Qualitative Data from a Formative Usability Evaluation of an Augmented Reality Learning Scenario

The proliferation of augmented reality (AR) technologies creates opportunities for the devel-opment of new learning scenarios. More recently, the advances in the design and implementation of desktop AR systems make it possible the deployment of such scenarios in primary and secondary schools. Usability evaluation is a precondition for the pedagogical effectiveness of these new technologies and requires a systematic approach for finding and fixing usability problems. In this paper we present an approach to a formative usability evaluation based on heuristic evaluation and user testing. The basic idea is to compare and integrate quantitative and qualitative measures in order to increase confidence in results and enhance the descriptive power of the usability evaluation report.augmented reality, multimodal interaction, e-learning, formative usability evaluation, user testing, heuristic evaluation

Optimizing Usability Studies by Complementary Evaluation Methods

This paper examines combinations of complementary evaluation methods as a strategy for efficient usability problem discovery. A data set from an earlier study is re-analyzed, involving three evaluation methods applied to two virtual environment applications. Results of a mixed-effects logistic regression suggest that usability testing and inspection discover rather disjunctive sets of problems. A resampling analysis reveals that mixing inspection and usability testing sessions in equal parts finds 20% more problems with the same number of session

Critères Ergonomiques pour les Interactions Homme-Environnements Virtuels : définitions, justifications et exemples

Ce rapport présente les définitions, justifications et exemples de recommandations associées aux Critères Ergonomiques adaptés aux Interactions Homme-Environnements Virtuels (IHEV). Les Critères Ergonomiques présentés sont fondés sur les Critères Ergonomiques décrits dans Bastien & Scapin (1993). On a procédé selon les mêmes étapes, lesquelles sont succinctement rappelées. Le recueil des résultats, leur décryptage et leur classification, sont présentées dans un premier temps. Une étape de validation de l'utilisabilité des critères sous la forme d'une tâche d'affectation est décrite et les principaux résultats sont fournis. Une seconde étape de validation concernant cette fois l'utilité des critères est également exposée à travers une comparaison des performances des critères, en situation d'inspection ergonomique d'Environnements Virtuels (EV), avec celles de deux autres méthodes : les Tests Utilisateurs et l'Inspection Libre. Enfin des perspectives d'autres expériences sont proposées, les limites du document et une mise en garde sur son utilisation précèdent la description complète des Critères Ergonomiques dédiés aux IHEV

A Usability Study of Virtual Reality Systems: On Best Practices for User-Centered Design in Virtual Reality Gaming Interfaces

In an effort to gather a list of best practices for user-centered design in virtual reality gaming interfaces, this study combines evidence from industry anecdotal observations, heuristic evaluations, and usability testing with three of the leading virtual reality platforms on the market: HTC Vive, Oculus Rift, and Windows Mixed Reality. Quantitative and qualitative data were collected from a variety of usability scales and questionnaires, think-aloud tasks, observation, and semi-structured interviews. The results of the study suggest that immersion is an effective design feature across all interfaces, however the lack of real-world awareness resulting from immersion can be a major usability concern. Pain-points included controller design and button mapping, physiological comfort, and adapting to new methods of movement and interaction required in 3D virtual environments. The findings emphasize the need to prioritize learnability in the design of VR systems. The paper concludes with fifteen guidelines for designing user-friendly virtual reality interfaces.Master of Science in Information Scienc

Desenvolvimento e avaliação de um sistema de realidade aumentada para visualização cartográfica

Orientador : Prof. Dr. Jorge Antonio Silva CentenoTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências da Terra, Programa de Pós-Graduação em Ciências Geodésicas. Defesa: Curitiba, 16/02/2017Inclui referências : f. 174-95Resumo: Nas últimas décadas é notável o aparecimento de sistemas computacionais que favorecem os usuários a executar suas tarefas. Dentre os sistemas que prometem auxiliar os usuários a executar suas tarefas - inclusive as tarefas de leitura de mapa - os baseados em Realidade Aumentada (RA) mostram-se bastante promissores. Estas interfaces computacionais mais naturais podem possibilitar novas formas de interação com a informação e com o ambiente ao redor do usuário. Entretanto, pouco deste tema tem sido explorado, principalmente, no Brasil. Por esse motivo, elaborou-se a presente pesquisa com a intenção de desenvolver e analisar alguns protótipos de Realidade Aumentada para a Cartografia, para interação com mapas e dados geográficos. Neste trabalho abordou-se e utilizou-se de diferentes metodologias para RA, como com e sem marcadores fiduciais especiais, em versão desktop ou para dispositivos móveis. Foram utilizados dados geoespaciais referentes à características físicas, políticas, sociais e demográficas, econômicas e ambientais, integradas sobre diferentes tipos de mapas impressos, de temáticos a topográficos. Explorou-se também a utilização vários formatos de dados, de vetorial a raster, 2D, 3D, animações, etc. É possível destacar que os sistemas de Realidade Aumentada desenvolvidos trazem novas possibilidades de manipulação de dados geográficos, trazendo novas oportunidades de interação com o mapa impresso ou dados geoespaciais digitais. Porém, destaca-se que o desenvolvimento para dispositivos móveis e sem a utilização de marcadores fiduciais externos apresenta-se altamente atrativo, uma vez que este sistema de RA pode ser considerado como uma "lente mágica" ou uma "janela" para o mundo virtual, onde o usuário pode ter acesso a outras informações geoespaciais digitais sobrepostas ao ambiente real através destes dispositivos móveis. Ainda, com a execução de testes com usuários verificou-se que os sistemas de RA desenvolvidos trouxeram significativas melhorias para seus usuários na execução das tarefas, assim como ganhos em quesitos como motivação, confiança, diminuição de demandas físicas e mentais, etc. Com relação à preferencia dos usuários, a grande maioria dos usuários entrevistados preferiu trabalhar com estes sistemas de RA desenvolvidos do que apenas com os mapas impressos. Estudos também sobre se o conhecimento prévio do usuário poderia influenciar na execução das tarefas indicaram que, por mais que os sistemas de RA tenham auxiliado a grande maioria dos usuários, os sistemas de RA possuíram maior aceite e trouxeram maiores contribuições aos usuários não especialistas. Também, verificou-se que, por várias vezes, os usuários tendiam a "brincar" mais com o sistema de RA do que com o mapa impresso, passando mais tempo analisando determinada área ou fenômeno geográfico, demonstrando assim maior interação com os dados e espaço geográfico. Em todos os testes executados foi possível verificar que os usuários se mostravam mais interessados em executar suas tarefas quando apoiados pelos sistemas de RA, por vezes executando as tarefas sorrindo ou fazendo exclamações e comentários positivos sobre o sistema de RA. Desta forma, aplicações de Realidade Aumentada, como a descrita neste trabalho, se tornam importantes ferramentas no auxílio às questões profissionais como planejamento e gestão do espaço geográfico, ou até à área da educação, ensino e aprendizagem, uma vez que a integração dos dados em um ambiente mais interativo pode auxiliar na melhoria do processo de entendimento e compreensão do espaço geográfico por parte dos seus usuários. Palavras-chave: Realidade Aumentada, dados geoespaciais, interatividade, teste com usuários.Abstract: In the last decades it is notable the increase of computational systems that help users to perform their tasks. Among the systems that promise to help users to perform their tasks - including map-reading tasks - those based on Augmented Reality (AR) are quite promising. These natural computational interfaces may allow new forms of interaction with the information and the real world around the users. However, just a little has been explored about it in the world - and especially in Brazil. For this reason, we elaborated this research to development and analyze some prototypes of Augmented Reality for Cartography, for interaction with maps and geographic data, addressing and using different methodologies, such as with or without special fiducial markers, for desktop computers or mobile devices. We have used geospatial data referring to physical, political, social, demographic, economic and environmental characteristics, integrated over different types of printed maps, from thematic to topographic maps. It is possible to highlight that the Augmented Reality systems developed in this work brought new opportunities of interaction with printed maps or digital geospatial data. Moreover, the AR systems brought the possibility of exploration of several formats, as vectors and rasters, 2D, 3D, animations, etc. It was verified that - independently of the methodologies used - with AR systems it was possible to interact with a printed physical map and virtual geographic data simultaneously. However, it is possible to affirm that the AR system developed for mobile devices and using the markerless approach is highly attractive. With this approach the AR system can be considered as a "magic lens" or a "window" to the virtual world, where users could access digital geospatial information superimposed on the real environment through these mobile AR systems. Also, with users' tests, it was verified that the AR systems developed have brought significant improvements to the execution of the tasks, such as gains in motivation, confidence, decrease of physical and mental demands, etc. About the user's preference, a large majority of users interviewed preferred to work with these AR systems than just the printed maps. Also, it has been found that sometimes users tended to "play" more with the AR system than with the printed maps, spending more time analyzing a particular area or geographic phenomenon, demonstrating more interaction with geographic data. Also, it has been verified that users were more interested in performing their tasks when supported by the AR systems - performing their tasks smiling or making exclamations and positive comments about the AR system. By this way, applications of Augmented Reality as a described in this work become an important tool for assistance to professional questions like geographic space planning and management, or to the educational area, since the integration of the geospatial data in an interactive environment can help to improve the process of understanding and comprehension of the geographical space by its users. Keywords: Augmented Reality, geospatial data, interactivity, users' tests