Augmented reality and scene examination

The research presented in this thesis explores the impact of Augmented Reality on human performance, and compares this technology with Virtual Reality using a head-mounted video-feed for a variety of tasks that relate to scene examination. The motivation for the work was the question of whether Augmented Reality could provide a vehicle for training in crime scene investigation. The Augmented Reality application was developed using fiducial markers in the Windows Presentation Foundation, running on a wearable computer platform; Virtual Reality was developed using the Crytek game engine to present a photo-realistic 3D environment; and a video-feed was provided through head-mounted webcam. All media were presented through head-mounted displays of similar resolution to provide the sole source of visual information to participants in the experiments. The experiments were designed to increase the amount of mobility required to conduct the search task, i.e., from rotation in the horizontal or vertical plane through to movement around a room. In each experiment, participants were required to find objects and subsequently recall their location. It is concluded that human performance is affected not merely via the medium through which the world is perceived but moreover, the constraints governing how movement in the world is controlled

Narrative visualization with augmented reality

The following study addresses, from a design perspective, narrative visualization using augmented reality (AR) in real physical spaces, and specifically in spaces with no semantic relation with the represented data. We intend to identify the aspects augmented reality adds, as narrative possibilities, to data visualization. Particularly, we seek to identify the aspects augmented reality introduces regarding the three dimensions of narrative visualization—view, focus and sequence. For this purpose, we adopted a comparative analysis of a set of fifty case studies, specifically, narrative visualizations using augmented reality from a journalistic scope, where narrative is a key feature. Despite the strong explanatory character that characterizes the set of analyzed cases, which sometimes limits the user’s agency, there is a strong interactive factor. It was found that augmented reality can expand the narrative possibilities in the three dimensions mentioned—view, focus and sequence—but especially regarding visual strategies where simulation plays an essential role. As a visual strategy, simulation can provide the context for communication or be the object of communication itself, as a replica.publishe

From corporeality to virtual reality: theorizing literacy, bodies, and technology in the emerging media of virtual, augmented, and mixed realities

This dissertation explores the relationships between literacy, technology, and bodies in the emerging media of Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR). In response to the recent, rapid emergence of new media forms, questions arise as to how and why we should prepare to compose in new digital media. To interrogate the newness accorded to new media composing, I historicize the literacy practices demanded by new media by examining digital texts, such as video games and software applications, alongside analogous “antiquated” media, such as dioramas and museum exhibits. Comparative textual analysis of analogous digital and non-digital VR, AR, and MR texts reveals new media and “antiquated” media utilize common characteristics of dimensionality, layering, and absence/presence, respectively. The establishment of shared traits demonstrates how media operate on a continuum of mutually held textual practices; despite their distinctive forms, new media texts do not represent either a hierarchical or linear progression of maturing development. Such an understanding aids composing in new VR, AR, and MR media by enabling composers to make fuller use of prior knowledge in a rapidly evolving new media environment, a finding significant both for educators and communicators. As these technologies mature, we will continue to compose both traditional and new forms of texts. As such, we need literacy theory that attends to both the traditional and the new and also is comprehensive enough to encompass future acts of composing in media yet to emerge

Augmented Reality for the Mobile Police Force

Portuguese law enforcement organizations currently face a significant technology gap. Research has shown that some law organizations, such as Polícia Judiciária (PJ) and Polícia de Segurança Pública (PSP), often criticize the lack of technology to support the Police work in all kinds of fields, from criminality prevention to minor infractions. This study aims to determine how augmented reality (AR) technology can be used to ease/improve the day-to-day tasks of the law enforcement forces and how do the end-users perceive this new type of information. Based on a review of the literature and implementations on AR technologies to aid law enforcement organizations, a proof-of-concept smartphone application was developed in order to aid the police infraction ticket issuing process. The developed solution was analysed to infer its usability. As such, various users tests were conducted with a total of thirty users including police personnel and nonassociated users. The users were then asked to answer a questionnaire contemplating the System Usability Scale (SUS) questions. The responses were analysed and then combined with the Quantitative Evaluation Framework (QEF) in order to extrapolate the proof-of-concept’s final value. The results suggest that the ticket issuing process was fully integrated in the proofof-concept and was well received amongst the users. The system contemplates the possibility to scale to other devices other than the smartphone, for example surveillance cameras or wearables, as well as including new features to perform different tasks such as recognizing vehicles through AR and Depth.A introdução da tecnologia na sociedade alterou o paradigma de como as tarefas são realizadas. Uma grande parte dos setores económicos decidiu apostar na automatização e mecanização de processos, reduzindo assim os encargos em recursos humanos, bem como o número de erros humanos. Apesar do uso de tecnologias ser recorrente em várias áreas e serviços, as forças policiais continuam a ter o seu uso negligenciado. Muitas das tarefas policiais, como a passagem de infrações ou contra-ordenações, são feitas através da introdução manual de dados num sistema generalizado implantado num computador de bordo ou através da passagem de uma contra-ordenação por escrito que é posteriormente introduzida no sistema aquando a chegada do agente à esquadra do seu destacamento. O processo em questão acaba por ser bastante moroso, como também propenso à realização de erros humanos. O descontentamento das Forças policiais como a Polícia Judiciária (PJ) ou a Polícia de Segurança Pública (PSP) é visível nas contestações feitas relacionadas com a falta de suporte tecnológico em variadas operações policiais. Este estudo tem como objetivo determinar como as tecnologias de Augmented Reality (AR) podem ser utilizadas de modo a otimizar as tarefas policiais e como a introdução da mesma é percecionada pelos utilizadores nas tarefas em questão. A investigação foca-se no desenvolvimento de uma aplicação de AR para smartphone como uma prova de conceito com o intuito de assistir as forças policiais na passagem de infrações e contra-ordenações. Consequentemente, foi realizada uma investigação sobre a tecnologia de AR e as suas categorias. Após serem detalhadas as nuances da AR, foi efetuada uma investigação na literatura e implementações de trabalhos relacionados contendo sistemas que implementam AR com o objetivo primário de assistir as forças policiais em variadas tarefas. Desta forma, foi possível detalhar algumas das possíveis tecnologias que acabaram por ser utilizadas para o desenvolvimento da aplicação supramencionada. Aquando da finalização do estudo dos trabalhos relacionados, foi analisado o contexto de negócio da prova de conceito a desenvolver, validando a necessidade e o contexto onde o sistema desenvolvido viria ser inserido. A aplicação foi desenvolvida em Unity com recurso à framework ARFoundation, que possibilitou o incorporamento e sobreposição de dados virtuais sobre a vista real observada pelo utilizador. O sistema foi desenhado de forma a realizar a deteção automática de matrículas expondo a informação detetada na forma de componentes AR no ecrã do utilizador, possibilitando a posterior submissão de uma infração se a matrícula selecionada pelo utilizador estiver contida na base de dados. A prova de conceito é composta por seis conceitos de negócio, sendo estes: a interface gráfica para o utilizador; o módulo de Optical Character Recognition (OCR), responsável pela deteção e comparação de carateres alfanuméricos pre-registados no sistema: o Plate Recognition Training, responsável pelo aprendizagem dos contornos e localizações das matrículas; a câmara, responsável pela obtenção do vídeo em tempo real para deteção; o integration system, responsável por integrar todos os módulos supramencionados; e por último, o resources/fileSystem, responsável por armazenar todos os dados necessários para o funcionamento da aplicação. Após a implementação do sistema, o mesmo foi submetido a vários testes de utilizador com recurso a um conjunto predefinido de ações, de modo a aferir a integração e usabilidade da aplicação. Foram feitos testes com trinta utilizadores, incluindo alguns agentes policiais. Posteriormente, os utilizadores supracitados foram convidados à realização de um questionário. As respostas foram analisadas de forma a apurar o valor de usabilidade final referente à prova de conceito. Os resultados obtidos confirmam que o processo de submissão de infrações foi totalmente integrado na prova de conceito e que o sistema foi positivamente avaliado pelos utilizadores. O sistema contempla a possibilidade de ser integrado em diferentes dispositivos em adição ao smartphone, como por exemplo câmaras de videovigilância ou wearables. O sistema está ainda preparado para ser escalado e incluir novas funcionalidades para realizar diferentes tarefas policiais, como a de reconhecer veículos através de AR e Profundidade, sendo que este conceito foi brevemente explorado nesta tese