Head Mounted Display Interaction Evaluation: Manipulating Virtual Objects in Augmented Reality

Augmented Reality (AR) is getting close to real use cases,which is driving the creation of innovative applications and the unprecedented growth of Head-Mounted Display (HMD) devices in consumer availability. However, at present there is a lack of guidelines, common form factors and standard interaction paradigms between devices, which has resulted in each HMD manufacturer creating their own specifications. This paper presents the first experimental evaluation of two AR HMDs evaluating their interaction paradigms, namely we used the HoloLens v1 (metaphoric interaction) and Meta2 (isomorphic interaction). We report on precision, interactivity and usability metrics in an object manipulation task-based user study. 20 participants took part in this study and significant differences were found between interaction paradigms of the devices for move tasks, where the isomorphic mapped interaction outperformed the metaphoric mapped interaction in both time to completion and accuracy, while the contrary was found for the resize task. From an interaction perspective, the isomorphic mapped interaction (using the Meta2) was perceived as more natural and usable with a significantly higher usability score and a significantly lower task-load index. However, when task accuracy and time to completion is key mixed interaction paradigms need to be considered

Topic Space: Rapid Prototyping a Mobile Augmented Reality Recommendation App

With funding from an Institute of Museum and Library Services (IMLS) Sparks! Ignition Grant, researchers from the University of Illinois Library designed and tested a mobile recommender app with augmented reality features. By embedding open source optical character recognition software into a “Topic Space” module, the augmented reality app can recognize call numbers on a book in the library and suggest relevant items that are not shelved nearby. Topic Space can also show users items that are normally shelved in the starting location but that are currently checked out. Using formative UX methods, grant staff shaped app interface and functionality through early user testing. This paper reports results of UX testing; a redesigned mobile interface, and provides considerations on the future development of personalized recommendation functionality.IMLS A0279Ope

Typing the Future: Designing Multimodal AR Keyboards

Recent demonstrations of AR showcase engaging spatial features while avoiding text input. However, this is not due to descending relevance but rather because no satisfactory solution to text input in a comprehensive AR system is available yet. Any novel technological device requires rethinking the way we interact with it, including text input. With its variety of sensors, AR devices offer numerous possibilities for uni- and multimodal interaction. However, it is essential to evaluate the actual problem space before suggesting solutions. In our design science research project, we aim to create design knowledge about the learnability and performance of AR keyboards. Based on transfer of learning theory and HCI literature on virtual keyboards, we propose meta requirements and initial design principles that serve as basis for developing a multimodal AR keyboard prototype

Using Augmented Reality Toward Improving Social Skills:Scoping Review

BackgroundAugmented reality (AR) has emerged as a promising technology in educational settings owing to its engaging nature. However, apart from applications aimed at the autism spectrum disorder population, the potential of AR in social-emotional learning has received less attention. ObjectiveThis scoping review aims to map the range of AR applications that improve social skills and map the characteristics of such applications. MethodsIn total, 2 independent researchers screened 2748 records derived from 3 databases in December 2021—PubMed, IEEE Xplore, and ACM Guide to Computing Literature. In addition, the reference lists of all the included records and existing reviews were screened. Records that had developed a prototype with the main outcome of improving social skills were included in the scoping review. Included records were narratively described for their content regarding AR and social skills, their target populations, and their outcomes. Evaluation studies were assessed for methodological quality. ResultsA total of 17 records met the inclusion criteria for this study. Overall, 10 records describe applications for children with autism, primarily teaching about reading emotions in facial expressions; 7 records describe applications for a general population, targeting both children and adults, with a diverse range of outcome goals. The methodological quality of evaluation studies was found to be weak. ConclusionsMost applications are designed to be used alone, although AR is well suited to facilitating real-world interactions during a digital experience, including interactions with other people. Therefore, future AR applications could endorse social skills in a general population in more complex group settings

A Systematic Mapping Review of Software Quality Measurement: Research Trends, Model, and Method

Software quality is a key for the success in the business of information and technology. Hence, before be marketed, it needs the software quality measurement to fulfill the user requirements.  Some methods of the software quality analysis have been tested in a different perspective, and we have presented the software method in the point of view of users and experts. This study aims to map the method of software quality measurement in any models of quality. Using the method of Systematic Mapping Study, we did a searching and filtering of papers using the inclusion and exclusion criteria. 42 relevant papers have been obtained then. The result of the mapping showed that though the model of ISO SQuaRE has been widely used since the last five years and experienced the dynamics, the researchers in Indonesia still used ISO9126 until the end of 2016.The most commonly used method of the software quality measurement Method is the empirical method, and some researchers have done an AHP and Fuzzy approach in measuring the software quality

Breaking the Screen: Interaction Across Touchscreen Boundaries in Virtual Reality for Mobile Knowledge Workers.

Virtual Reality (VR) has the potential to transform knowledge work. One advantage of VR knowledge work is that it allows extending 2D displays into the third dimension, enabling new operations, such as selecting overlapping objects or displaying additional layers of information. On the other hand, mobile knowledge workers often work on established mobile devices, such as tablets, limiting interaction with those devices to a small input space. This challenge of a constrained input space is intensified in situations when VR knowledge work is situated in cramped environments, such as airplanes and touchdown spaces. In this paper, we investigate the feasibility of interacting jointly between an immersive VR head-mounted display and a tablet within the context of knowledge work. Specifically, we 1) design, implement and study how to interact with information that reaches beyond a single physical touchscreen in VR; 2) design and evaluate a set of interaction concepts; and 3) build example applications and gather user feedback on those applications.Comment: 10 pages, 8 figures, ISMAR 202

Conceitos e métodos para apoio ao desenvolvimento e avaliação de colaboração remota utilizando realidade aumentada

Remote Collaboration using Augmented Reality (AR) shows great potential to establish a common ground in physically distributed scenarios where team-members need to achieve a shared goal. However, most research efforts in this field have been devoted to experiment with the enabling technology and propose methods to support its development. As the field evolves, evaluation and characterization of the collaborative process become an essential, but difficult endeavor, to better understand the contributions of AR. In this thesis, we conducted a critical analysis to identify the main limitations and opportunities of the field, while situating its maturity and proposing a roadmap of important research actions. Next, a human-centered design methodology was adopted, involving industrial partners to probe how AR could support their needs during remote maintenance. These outcomes were combined with literature methods into an AR-prototype and its evaluation was performed through a user study. From this, it became clear the necessity to perform a deep reflection in order to better understand the dimensions that influence and must/should be considered in Collaborative AR. Hence, a conceptual model and a humancentered taxonomy were proposed to foster systematization of perspectives. Based on the model proposed, an evaluation framework for contextualized data gathering and analysis was developed, allowing support the design and performance of distributed evaluations in a more informed and complete manner. To instantiate this vision, the CAPTURE toolkit was created, providing an additional perspective based on selected dimensions of collaboration and pre-defined measurements to obtain “in situ” data about them, which can be analyzed using an integrated visualization dashboard. The toolkit successfully supported evaluations of several team-members during tasks of remote maintenance mediated by AR. Thus, showing its versatility and potential in eliciting a comprehensive characterization of the added value of AR in real-life situations, establishing itself as a generalpurpose solution, potentially applicable to a wider range of collaborative scenarios.Colaboração Remota utilizando Realidade Aumentada (RA) apresenta um enorme potencial para estabelecer um entendimento comum em cenários onde membros de uma equipa fisicamente distribuídos precisam de atingir um objetivo comum. No entanto, a maioria dos esforços de investigação tem-se focado nos aspetos tecnológicos, em fazer experiências e propor métodos para apoiar seu desenvolvimento. À medida que a área evolui, a avaliação e caracterização do processo colaborativo tornam-se um esforço essencial, mas difícil, para compreender as contribuições da RA. Nesta dissertação, realizámos uma análise crítica para identificar as principais limitações e oportunidades da área, ao mesmo tempo em que situámos a sua maturidade e propomos um mapa com direções de investigação importantes. De seguida, foi adotada uma metodologia de Design Centrado no Humano, envolvendo parceiros industriais de forma a compreender como a RA poderia responder às suas necessidades em manutenção remota. Estes resultados foram combinados com métodos da literatura num protótipo de RA e a sua avaliação foi realizada com um caso de estudo. Ficou então clara a necessidade de realizar uma reflexão profunda para melhor compreender as dimensões que influenciam e devem ser consideradas na RA Colaborativa. Foram então propostos um modelo conceptual e uma taxonomia centrada no ser humano para promover a sistematização de perspetivas. Com base no modelo proposto, foi desenvolvido um framework de avaliação para recolha e análise de dados contextualizados, permitindo apoiar o desenho e a realização de avaliações distribuídas de forma mais informada e completa. Para instanciar esta visão, o CAPTURE toolkit foi criado, fornecendo uma perspetiva adicional com base em dimensões de colaboração e medidas predefinidas para obter dados in situ, que podem ser analisados utilizando o painel de visualização integrado. O toolkit permitiu avaliar com sucesso vários colaboradores durante a realização de tarefas de manutenção remota apoiada por RA, permitindo mostrar a sua versatilidade e potencial em obter uma caracterização abrangente do valor acrescentado da RA em situações da vida real. Sendo assim, estabelece-se como uma solução genérica, potencialmente aplicável a uma gama diversificada de cenários colaborativos.Programa Doutoral em Engenharia Informátic

Augmented Reality for the Mobile Police Force

Portuguese law enforcement organizations currently face a significant technology gap. Research has shown that some law organizations, such as Polícia Judiciária (PJ) and Polícia de Segurança Pública (PSP), often criticize the lack of technology to support the Police work in all kinds of fields, from criminality prevention to minor infractions. This study aims to determine how augmented reality (AR) technology can be used to ease/improve the day-to-day tasks of the law enforcement forces and how do the end-users perceive this new type of information. Based on a review of the literature and implementations on AR technologies to aid law enforcement organizations, a proof-of-concept smartphone application was developed in order to aid the police infraction ticket issuing process. The developed solution was analysed to infer its usability. As such, various users tests were conducted with a total of thirty users including police personnel and nonassociated users. The users were then asked to answer a questionnaire contemplating the System Usability Scale (SUS) questions. The responses were analysed and then combined with the Quantitative Evaluation Framework (QEF) in order to extrapolate the proof-of-concept’s final value. The results suggest that the ticket issuing process was fully integrated in the proofof-concept and was well received amongst the users. The system contemplates the possibility to scale to other devices other than the smartphone, for example surveillance cameras or wearables, as well as including new features to perform different tasks such as recognizing vehicles through AR and Depth.A introdução da tecnologia na sociedade alterou o paradigma de como as tarefas são realizadas. Uma grande parte dos setores económicos decidiu apostar na automatização e mecanização de processos, reduzindo assim os encargos em recursos humanos, bem como o número de erros humanos. Apesar do uso de tecnologias ser recorrente em várias áreas e serviços, as forças policiais continuam a ter o seu uso negligenciado. Muitas das tarefas policiais, como a passagem de infrações ou contra-ordenações, são feitas através da introdução manual de dados num sistema generalizado implantado num computador de bordo ou através da passagem de uma contra-ordenação por escrito que é posteriormente introduzida no sistema aquando a chegada do agente à esquadra do seu destacamento. O processo em questão acaba por ser bastante moroso, como também propenso à realização de erros humanos. O descontentamento das Forças policiais como a Polícia Judiciária (PJ) ou a Polícia de Segurança Pública (PSP) é visível nas contestações feitas relacionadas com a falta de suporte tecnológico em variadas operações policiais. Este estudo tem como objetivo determinar como as tecnologias de Augmented Reality (AR) podem ser utilizadas de modo a otimizar as tarefas policiais e como a introdução da mesma é percecionada pelos utilizadores nas tarefas em questão. A investigação foca-se no desenvolvimento de uma aplicação de AR para smartphone como uma prova de conceito com o intuito de assistir as forças policiais na passagem de infrações e contra-ordenações. Consequentemente, foi realizada uma investigação sobre a tecnologia de AR e as suas categorias. Após serem detalhadas as nuances da AR, foi efetuada uma investigação na literatura e implementações de trabalhos relacionados contendo sistemas que implementam AR com o objetivo primário de assistir as forças policiais em variadas tarefas. Desta forma, foi possível detalhar algumas das possíveis tecnologias que acabaram por ser utilizadas para o desenvolvimento da aplicação supramencionada. Aquando da finalização do estudo dos trabalhos relacionados, foi analisado o contexto de negócio da prova de conceito a desenvolver, validando a necessidade e o contexto onde o sistema desenvolvido viria ser inserido. A aplicação foi desenvolvida em Unity com recurso à framework ARFoundation, que possibilitou o incorporamento e sobreposição de dados virtuais sobre a vista real observada pelo utilizador. O sistema foi desenhado de forma a realizar a deteção automática de matrículas expondo a informação detetada na forma de componentes AR no ecrã do utilizador, possibilitando a posterior submissão de uma infração se a matrícula selecionada pelo utilizador estiver contida na base de dados. A prova de conceito é composta por seis conceitos de negócio, sendo estes: a interface gráfica para o utilizador; o módulo de Optical Character Recognition (OCR), responsável pela deteção e comparação de carateres alfanuméricos pre-registados no sistema: o Plate Recognition Training, responsável pelo aprendizagem dos contornos e localizações das matrículas; a câmara, responsável pela obtenção do vídeo em tempo real para deteção; o integration system, responsável por integrar todos os módulos supramencionados; e por último, o resources/fileSystem, responsável por armazenar todos os dados necessários para o funcionamento da aplicação. Após a implementação do sistema, o mesmo foi submetido a vários testes de utilizador com recurso a um conjunto predefinido de ações, de modo a aferir a integração e usabilidade da aplicação. Foram feitos testes com trinta utilizadores, incluindo alguns agentes policiais. Posteriormente, os utilizadores supracitados foram convidados à realização de um questionário. As respostas foram analisadas de forma a apurar o valor de usabilidade final referente à prova de conceito. Os resultados obtidos confirmam que o processo de submissão de infrações foi totalmente integrado na prova de conceito e que o sistema foi positivamente avaliado pelos utilizadores. O sistema contempla a possibilidade de ser integrado em diferentes dispositivos em adição ao smartphone, como por exemplo câmaras de videovigilância ou wearables. O sistema está ainda preparado para ser escalado e incluir novas funcionalidades para realizar diferentes tarefas policiais, como a de reconhecer veículos através de AR e Profundidade, sendo que este conceito foi brevemente explorado nesta tese