Virtual Reality Games for Motor Rehabilitation

This paper presents a fuzzy logic based method to track user satisfaction without the need for devices to monitor users physiological conditions. User satisfaction is the key to any product’s acceptance; computer applications and video games provide a unique opportunity to provide a tailored environment for each user to better suit their needs. We have implemented a non-adaptive fuzzy logic model of emotion, based on the emotional component of the Fuzzy Logic Adaptive Model of Emotion (FLAME) proposed by El-Nasr, to estimate player emotion in UnrealTournament 2004. In this paper we describe the implementation of this system and present the results of one of several play tests. Our research contradicts the current literature that suggests physiological measurements are needed. We show that it is possible to use a software only method to estimate user emotion

Augmented Reality Technology in Teaching about Physics: A systematic review of opportunities and challenges

The use of augmented reality (AR) allows for the integration of digital information onto our perception of the physical world. In this article, we present a comprehensive review of previously published literature on the implementation of augmented reality in physics education, at the school and the university level. Our review includes an analysis of 96 papers from the Scopus and Eric databases, all of which were published between January 1st, 2012 and January 1st, 2023. We evaluated how AR has been used for facilitating learning about physics. Potential AR-based learning activities for different physics topics have been summarized and opportunities, as well as challenges associated with AR-based learning of physics have been reported. It has been shown that AR technologies may facilitate physics learning by: providing complementary visualizations, optimizing cognitive load, allowing for haptic learning, reducing task completion time and promoting collaborative inquiry. The potential disadvantages of using AR in physics teaching are mainly related to the shortcomings of software and hardware technologies (e.g., camera freeze, visualization delay) and extraneous cognitive load (e.g., paying more attention to secondary details than to constructing target knowledge)

Safe, Remote-Access Swarm Robotics Research on the Robotarium

This paper describes the development of the Robotarium -- a remotely accessible, multi-robot research facility. The impetus behind the Robotarium is that multi-robot testbeds constitute an integral and essential part of the multi-agent research cycle, yet they are expensive, complex, and time-consuming to develop, operate, and maintain. These resource constraints, in turn, limit access for large groups of researchers and students, which is what the Robotarium is remedying by providing users with remote access to a state-of-the-art multi-robot test facility. This paper details the design and operation of the Robotarium as well as connects these to the particular considerations one must take when making complex hardware remotely accessible. In particular, safety must be built in already at the design phase without overly constraining which coordinated control programs the users can upload and execute, which calls for minimally invasive safety routines with provable performance guarantees.Comment: 13 pages, 7 figures, 3 code samples, 72 reference

Evaluating indoor positioning systems in a shopping mall : the lessons learned from the IPIN 2018 competition

The Indoor Positioning and Indoor Navigation (IPIN) conference holds an annual competition in which indoor localization systems from different research groups worldwide are evaluated empirically. The objective of this competition is to establish a systematic evaluation methodology with rigorous metrics both for real-time (on-site) and post-processing (off-site) situations, in a realistic environment unfamiliar to the prototype developers. For the IPIN 2018 conference, this competition was held on September 22nd, 2018, in Atlantis, a large shopping mall in Nantes (France). Four competition tracks (two on-site and two off-site) were designed. They consisted of several 1 km routes traversing several floors of the mall. Along these paths, 180 points were topographically surveyed with a 10 cm accuracy, to serve as ground truth landmarks, combining theodolite measurements, differential global navigation satellite system (GNSS) and 3D scanner systems. 34 teams effectively competed. The accuracy score corresponds to the third quartile (75th percentile) of an error metric that combines the horizontal positioning error and the floor detection. The best results for the on-site tracks showed an accuracy score of 11.70 m (Track 1) and 5.50 m (Track 2), while the best results for the off-site tracks showed an accuracy score of 0.90 m (Track 3) and 1.30 m (Track 4). These results showed that it is possible to obtain high accuracy indoor positioning solutions in large, realistic environments using wearable light-weight sensors without deploying any beacon. This paper describes the organization work of the tracks, analyzes the methodology used to quantify the results, reviews the lessons learned from the competition and discusses its future

Using Two Simulation Tools to Teach Concepts in Introductory Astronomy: A Design-Based Research Approach

Technology in college classrooms has gone from being an enhancement to the learning experience to being something expected by both instructors and students. This design-based research investigation takes technology one step further, putting the tools used to teach directly in the hands of students. The study examined the affordances and constraints of two simulation tools for use in introductory astronomy courses. The variety of experiences participants had using two tools; a virtual reality headset and fulldome immersive planetarium simulation, to manipulate a lunar surface flyby were identified using a multi-method research approach with N = 67 participants. Participants were recruited from classes of students taking astronomy over one academic year at a two-year college. Participants manipulated a lunar flyby using a virtual reality headset and a motion sensor device in the college fulldome planetarium. Data were collected in the form of two post-treatment questionnaires using Likert-type scales and one small group interview. The small group interview was intended to elicit various experiences participants had using the tools. Responses were analyzed quantitatively for optimal flyby speed and qualitatively for salient themes using data reduction informed by a methodological framework of phenomenography to identify the variety of experiences participants had using the tools. Findings for optimal flyby speed of the Moon based on analysis of data for both the Immersion Questionnaire and the Simulator Sickness Questionnaire done using SPSS software determine that the optimal flyby speed for college students to manipulate the Moon was calculated to be .04 x the radius of the Earth (3,959 miles) or 160 miles per second. A variety of different participant experiences were revealed using MAXQDA software to code positive and negative remarks participants had when engaged in the use of each tool. Both tools offer potential to actively engage students with astronomy content in college lecture and laboratory courses

Interaction in virtual environments with the upper body

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012Pode-se considerar que a Realidade Virtual é uma interface entre o utilizador e um sistema computacional, cujo objetivo principal é simular um Envolvimento Virtual realístico no qual é possível navegar e com o qual se pode interagir em tempo real. O objetivo é proporcionar ao utilizador uma forte sensação de imersão no Envolvimento Virtual ou seja, a sensação de presença física e efetiva nesse envolvimento. Para haver o máximo de imersividade nos Envolvimentos Virtuais são usados diversos dispositivos para que a navegação e interação sejam o mais credíveis possível, dispositivos tais como Head-Mounted Displays, luvas de dados, de rastreamento e dispositivos que geram sensações de tato e força (feedback háptico). Alguns sistemas dispõem de superfícies de representação de grandes dimensões como por exemplo a CAVE. Atualmente a Realidade Virtual é utilizada em diversas áreas porque é uma forma de simular uma experiência próxima da realidade reduzindo, em alguns casos, o perigo que existe no mundo real e permitindo de forma fácil a repetição de situações ou experiências. A Realidade Virtual é aplicada em áreas tão diversas como a Medicina para treino cirúrgico em pacientes virtuais, o entretenimento com os jogos e filmes tridimensionais, a Psicologia no tratamento de fobias e traumas, entre outras. Este projeto, intitulado “Interaction in Virtual Environments with the Upper Body”, desenvolveu-se no âmbito da Realidade Virtual e enquadrou-se no projeto “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” financiado pela Fundação para a Ciência e a Tecnologia (PTDC/PSI-PCO/100148/2008) que se contextualiza na área de Ergonomia. Este trabalho foi realizado no Laboratório de Ergonomia (ErgoLAB) da Faculdade de Motricidade Humana da Universidade Técnica de Lisboa, mais especificamente na unidade de Realidade Virtual chamada ErgoVR, e contou com o trabalho de uma equipa multidisciplinar composta por Ergonomistas, Psicólogos, Engenheiros Informáticos, Arquitetos, Designers entre outros. Para suportar todos os projetos realizados no ErgoVR existe um sistema de Realidade Virtual com o mesmo nome. No projeto “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” a Realidade Virtual é utilizada para avaliar a consonância comportamental dos participantes perante avisos de segurança em situações de emergência no interior de edifícios. O projeto descrito neste documento veio resolver dois aspetos que podem afetar a imersão: (1) o facto de o utilizador não ser representado por nenhum Humano Virtual; e (2) o facto de a interação com os objetos do Ambiente Virtual ser limitada e pouco natural. Existe um sistema de interação que funciona da seguinte forma: é colocado um sensor na mão do participante, quando este se encontra num mínimo de uma distância pré-definida do botão, bastava esticar a mão para o sistema detetar que tinha havido um movimento e desencadear o evento associado à ação. No entanto este sistema tem algumas limitações visto que o único feedback visual que o participante tinha era um cursor bidimensional o que limita a perceção de distância do objeto que o participante quererá interagir. Para além desta limitação, o sistema apenas permitia a ação de pressionar. Assim, o objetivo principal deste projeto é: (1) a criação de um Humano Virtual; (2) a possibilidade de reproduzir os movimentos do participante e refleti-los no Humano Virtual; e (3) permitir que o sistema suporte mais ações como por exemplo agarrar ou largar. Com a criação do Humano Virtual e a reflexão dos movimentos do participante, existirá uma maior perceção de distância no Envolvimento Virtual. Para cumprir com este objetivo utilizaram-se sensores de movimento que captam a orientação 3D e dados cinemáticos relativos aos membros superiores. Estes sensores de movimento são colocados no braço, antebraço e mão, para capturar os movimentos e orientações reais do participante e passá-los para os membros do Humano Virtual, cujo modelo foi criado previamente. A este modelo e a todos os elementos do Envolvimento Virtual associaram-se características físicas, como por exemplo a massa, para dar realismo e credibilidade à simulação e fazer com que passasse a ser possível a interação do utilizador com determinados objetos presentes no ambiente. O projeto descrito nesta tese envolveu quatro etapas. A primeira etapa foi de familiarização com o sistema ErgoVR, com as ferramentas de desenvolvimento nele utilizadas e foi realizado um levantamento do estado da arte. Nesta etapa também se criou um Humano Virtual com as ferramentas de modelação 3D que permitiram criar um modelo com esqueleto, animações e texturas e que tornaram possível exportá-lo para o formato utilizado no sistema ErgoVR. Na segunda etapa tratou-se de todas as questões relativas aos sensores, leitura de dados, transformações dos ângulos de Euler e transposição dos dados provenientes dos sensores no Humano Virtual. A terceira etapa foi relativa à simulação das regras da física Newtoniana dentro do Envolvimento Virtual. A quarta etapa foi relativa às formas de interação do utilizador com os objetos do Envolvimento Virtual, como agarrar, largar, puxar e pressionar. Na etapa de familiarização decidiu-se que este projeto iria desenvolver-se sobre a plataforma Microsoft .NET (DotNET) visto o sistema ErgoVR ter sido desenvolvido sobre essa mesma plataforma. Deste modo garantia-se a integração do resultado deste projeto no sistema ErgoVR de uma forma mais simplificada. Ao mesmo tempo, as características da plataforma .NET enquadravam-se com as necessidades deste projeto. Na fase inicial do projeto houve o envolvimento num trabalho de equipa que foi fundamental para a etapa inicial de familiarização e para compreender o funcionamento do sistema ErgoVR. Deste envolvimento surgiu a colaboração num artigo científico, elaborado pela equipa do laboratório, como co-autora, intitulado “Using space exploration matrices to evaluate interaction with Virtual Environments”. Neste artigo descreve-se um estudo realizado com o sistema ErgoVR que avalia as decisões dos utilizadores perante a influência da informação de segurança colocada nos ambientes quando são confrontados com situações de emergência. São recolhidos durante a simulação, entre outros, dados relativos à posição do participante, às distâncias percorridas, aos tempos do percurso. Com estes dados são geradas matrizes a partir das quais é possível identificar especificamente os fluxos e as zonas do ambiente que são mais visitadas pelos participantes, e deste modo avaliar o seu comportamento. Na modelação do Humano Virtual, ainda na fase inicial do projeto, foram realizados testes exaustivos utilizando diversas ferramentas de modelação com o intuito de identificar as ferramentas que exportam o modelo para um formato aceite pelo sistema ErgoVR mantendo correta toda a informação necessária associada (malha, texturas, cabelo, animações corporais e faciais e roupas). Concluiu-se que a melhor abordagem seria trabalhar com o 3DS Max e com o Daz 3D. Na segunda etapa foi implementada a biblioteca responsável por fazer a leitura dos dados dos sensores e transpô-los para os ossos do Humano Virtual. Esta biblioteca é composta por quatro classes, cada uma com funções diferentes. No final desta fase já era possível colocar os sensores no utilizador e ver o Humano Virtual refletir os movimentos no ambiente. Na terceira etapa, para realizar a biblioteca de física, foi necessário levar a cabo um levantamento sobre questões de física. Para não haver perda de imersão do utilizador no ambiente é necessário impedir situações como: (1) o Humano Virtual trespassar as paredes; ou (2) o Humano Virtual levar a mão a um objeto, e esta atravessá-lo. Para tal, todo o objeto tem de ter associadas massa, gravidade e forças para se deslocar no ambiente. Na última etapa, para desenvolver a biblioteca de interação com objetos, foi necessário fazer um levantamento sobre quais as ações que um utilizador podia realizar no sistema. Conclui-se que seria necessário poder agarrar, largar, puxar e pressionar. Ao realizar esta biblioteca decidiu-se que alguns objetos virtuais tinham de ter associados a si informação extra sobre os possíveis modos de interação que o utilizador pode realizar sobre eles. As bibliotecas desenvolvidas neste projeto constituem um módulo perfeitamente integrável no sistema ErgoVR e permitem a utilização de sensores nos membros superiores do utilizador cujos movimentos são refletidos no Humano Virtual correspondente. O utilizador pode, de modo natural, interagir com elementos do ambiente realizando gestos relativos às ações de agarrar, largar, puxar e pressionar. Considerou-se que o módulo desenvolvido é uma mais-valia para o ErgoVR porque permite a aplicação deste sistema de Realidade Virtual a diferentes cenários em diversos âmbitos, sempre que a interação de um utilizador humano com objectos presentes no Envolvimento Virtual seja requerida.The Virtual Reality (VR) is an interface between the user and a system and is main goal is simulate a Virtual Environment (VE) next to the reality. The advantage of use VR is the possibility of simulates the dangerous that exist in real world or allowing the repetition of situations and experiences. Nowadays VR is used in many areas, from Medicine, for surgical training in virtual patients, to the army in which the soldiers do virtual training. The project “Interaction in Virtual Environments with the Upper Body” is developed in the context of Virtual Reality and is a part of the project “Future Safety Warnings: Virtual Reality in the study of technology-based warnings” funded by the Portuguese Science Foundation (PTDC/PSI-PCO/100148/2008) . This project was developed in the Ergonomics Laboratory (ErgoLAB) of the Faculty of Human Kinetics of the Technical University of Lisbon more specifically in the research unit ErgoVR. In the project “Future Safety Warnings: Virtual Reality in the study of technology-based warnings”, VR is used to evaluate the participant’s behavior towards safety warnings in emergencies inside buildings. In this project the interaction was weak and due to the fact of a participant do not have virtual representation, the immersion was less. Therefore, the main goal of the described project is give to the participant the possibility of see is upper limbs’ movements reflected in a Virtual Human (VH) inside the VE, and have the possibility to interact with virtual objects, give more sensation of immersion. To complete with this goal sensors were used and place in the arm, to capture the participant’s movements. A VH was created to performed the participant´s movements in the VE. To this VH and to the VE, physics elements were added to give more credibility to the simulation and make possible the interaction with objects in the scene

A Utility Framework for Selecting Immersive Interactive Capability and Technology for Virtual Laboratories

There has been an increase in the use of virtual reality (VR) technology in the education community since VR is emerging as a potent educational tool that offers students with a rich source of educational material and makes learning exciting and interactive. With a rise of popularity and market expansion in VR technology in the past few years, a variety of consumer VR electronics have boosted educators and researchers’ interest in using these devices for practicing engineering and science laboratory experiments. However, little is known about how such devices may be well-suited for active learning in a laboratory environment. This research aims to address this gap by formulating a utility framework to help educators and decision-makers efficiently select a type of VR device that matches with their design and capability requirements for their virtual laboratory blueprint. Furthermore, a framework use case is demonstrated by not only surveying five types of VR devices ranging from low-immersive to full-immersive along with their capabilities (i.e., hardware specifications, cost, and availability) but also considering the interaction techniques in each VR device based on the desired laboratory task. To validate the framework, a research study is carried out to compare these five VR devices and investigate which device can provide an overall best-fit for a 3D virtual laboratory content that we implemented based on the interaction level, usability and performance effectiveness

Tangible user interfaces : past, present and future directions

In the last two decades, Tangible User Interfaces (TUIs) have emerged as a new interface type that interlinks the digital and physical worlds. Drawing upon users' knowledge and skills of interaction with the real non-digital world, TUIs show a potential to enhance the way in which people interact with and leverage digital information. However, TUI research is still in its infancy and extensive research is required in or- der to fully understand the implications of tangible user interfaces, to develop technologies that further bridge the digital and the physical, and to guide TUI design with empirical knowledge. This paper examines the existing body of work on Tangible User In- terfaces. We start by sketching the history of tangible user interfaces, examining the intellectual origins of this field. We then present TUIs in a broader context, survey application domains, and review frame- works and taxonomies. We also discuss conceptual foundations of TUIs including perspectives from cognitive sciences, phycology, and philoso- phy. Methods and technologies for designing, building, and evaluating TUIs are also addressed. Finally, we discuss the strengths and limita- tions of TUIs and chart directions for future research