Smartphone Based 3D Navigation Techniques in an Astronomical Observatory Context: Implementation and Evaluation in a Software Platform

International audience3D Virtual Environments (3DVE) come up as a good solution to transmit knowledge in a museum exhibit. In such contexts, providing easy to learn and to use interaction techniques which facilitate the handling inside a 3DVE is crucial to maximize the knowledge transfer. We took the opportunity to design and implement a software platform for explaining the behavior of the Telescope Bernard-Lyot to museum visitors on top of the Pic du Midi. Beyond the popularization of a complex scientific equipment, this platform constitutes an open software environment to easily plug different 3D interaction techniques. Recently, popular use of a smartphones as personal handled computer lets us envision the use of a mobile device as an interaction support with these 3DVE. Accordingly, we design and propose how to use the smartphone as a tangible object to navigate inside a 3DVE. In order to prove the interest in the use of smartphones, we compare our solution with available solutions: keyboard-mouse and 3D mouse. User experiments confirmed our hypothesis and particularly emphasizes that visitors find our solution more attractive and stimulating. Finally, we illustrate the benefits of our software framework by plugging alternative interaction techniques for supporting selection and manipulation task in 3D

Interação em realidade virtual usando dispositivos móveis

Mestrado em Engenharia de Computadores e Telem aticaTraditionally, keyboards and 3D controllers such as the Wiimote have been used to interact with Virtual Environments. Despite being simple to use, these types of input devices have a number of limitations: xed layout, require the user to remember the mapping between buttons and functions and indirect manipulation of virtual objects, being done using buttons. This dissertation proposes the use of mobile devices to interact with immersive virtual environments. These devices allow to have exible interfaces and the touchscreen combined with the onboard sensors in smartphones and tablets allow for new interaction styles, in tasks such as direct selection and manipulation of virtual objects and navigation. In order to validate the system a Virtual Museum application was developed. Based on this system two studies addressing two open research questions related to immersive virtual environments: the user virtual embodiment and the interaction methods to use for navigation and selection. This dissertation provides new insights into the e ects of virtual embodiment and even if is not always as robust as the use of 3D controllers, the interaction using mobile devices is viable and o ers several interesting interaction possibilities.Tradicionalmente, teclados e comandos 3D como o Wiimote têm sido usados para interagir com Ambientes Virtuais. Apesar de serem simples de usar, dispositivos deste tipo têm algumas limitações: layout fixo, necessidade de os utilizadores se lembrarem do mapeamento entre cada botão e função e manipulação de objetos virtuais indireta sendo feita através de botões. Esta dissertação propõe o uso de dispositivos móveis para interação com ambientes virtuais imersivos. Estes dispositivos apresentam algumas vantagens, nomeadamente permitem a existência de interfaces flexíveis e os touchscreens juntamente com os sensores internos dos smartphones e tablets permitem novos estilos de interação, para tarefas como a seleção e manipulação direta de objetos virtuais e navegação. Foi desenvolvida uma aplicação de Museu Virtual para validar o sistema proposto. Com base neste sistema foram feitos dois estudos que abordam duas questões ainda em aberto na área dos Ambientes Virtuais Imersivos: a representação virtual do corpo do utilizador e os métodos de interação a usar para navegação e seleção. Esta dissertação apresenta resultados sobre os efeitos da personificação virtual e mostra que apesar de por vezes não ser tão robusta como o uso de comandos 3D, a interação usando dispositivos móveis e viável e oferece v arias possibilidades de interação interessantes

Marco de trabajo para la adopción de un enfoque en el desarrollo de software para dispositivos móviles

El desarrollo de software que funciones en dispositivos móviles presenta una serie de características y requerimientos únicos que afectan cada uno de las fases del ciclo de vida del proyecto. En la actualidad son utilizados diferentes métodos y prácticas para la construcción de software para móviles provenientes de metodologías tradicionales, enfoques agiles y propuestas específicas destinadas exclusivamente a este propósito. La heterogeneidad de enfoques representa una dificultad al momento de afrontar un proyecto de esta naturaleza, el entorno complejo, dinámico y competitivo del mercado de software móvil representa una presión adicional, sumado a la complejidad inherente de los proyectos de software constituyen un importante desafío tanto para la comunidad científica de la ingeniería de software, desarrolladores e industria. El objetivo de esta tesis es desarrollar un marco de trabajo para el desarrollo de software orientado a dispositivos móviles, que sirva como un referente de solución para este tipo de proyectos .Permitiendo a desarrolladores, equipos y clientes la posibilidad de instanciar y adaptar el marco de trabajo según las necesidades de un proyecto móvil, orientando el camino adecuado en cada una de las fases del ciclo de vida que contribuya al desarrollo de software de calidad, con un óptimo esfuerzo de tiempo y recursos

Couplage de techniques d'interaction avancées avec des environnements virtuels 3D interactifs

The work of this thesis fit on the boundary between two complementary research areas: the field of 3D Virtual Environment (3DVE) from Computer Graphics (CG) and Virtual Reality (RV) and the field of Human-Computer Interaction (HCI). They rely on three assessments. Firstly, we observe that 3DVE takes more importance in our daily life (video games, serious games, e-commerce, museums, through the web and on mobile devices). Secondly, HCI becomes more complex with the emergence of advance forms of interaction like ambient computing, tangible interaction or spatial and gestural interactions. This evolution goes along with a diversification of devices (3D mouse, the Wiimote, the Kinect or the Leap Motion). Thirdly, the design of interaction techniques with 3DVE brings up some different considerations taken into account by the communities in the field of 3DVE and HCI. Therefore, take advantage of the latest considerations of EV3D communities (metaphors, quality of 3D interaction) and HCI (advance forms of interaction) results in the need to develop the coupling between advance forms of interaction techniques and EV3D. In this context, the objective of this thesis work is to contribute to the development of interactive 3D environments in multiple situations, including large audience situations. The approach we developed aimed to create a bridge between 3D and HCI design considerations. We intend to improve the coupling of advance interaction techniques with interactive 3D virtual environment. After analyzing methods for the design of interaction techniques for 3DVE, a first contribution consists in a design framework of 3D interaction. This framework aggregates design issues stem from 3D and HCI and help the designer to identify several elements involve in the coupling of interaction with a 3DVE. This design framework is based on the analysis of the links between user tasks and elements of the 3DVE impacted by these tasks. In order to precisely characterize each link, we have introduced the 3DIM (3D Interaction Modality) notation that describes the characteristics of the different elements constituting a "3D Interaction Modality" for the accomplishment of a user's interaction task in a 3DVE. We have grouped these elements into six blocks: the user, the physical actions, the physical objects, the input devices, the 3D behaviors and the 3D interactive objects. We complete our framework with analytical properties for guiding the designer and provide descriptive, evaluative and generative power at our conceptual model of advanced interaction techniques for 3DVE. Collaborating with the Museum of "Le Pic du Midi" observatory in France, we used our framework to design and implement tangible interaction and technique based on smartphone usage. Museum visitors can use these techniques in a 3DVE of the "Telescope Bernard Lyot" to explore and understand its functioning. We have conducted three users' studies in order to explore the design space of using a smartphone to interact with 3DVE. We used the smartphone in different ways to navigate, select and manipulate a 3D object displayed on a large remote screen. We explored several design solutions with a smartphone as a touch device, as a tangible object or mid-air interaction around the device.Les travaux de cette thèse s'inscrivent à la frontière entre deux domaines de recherche complémentaires : le domaine des Environnements Virtuels 3D (EV3D) issus de l'Informatique Graphique (IG) et de la Réalité Virtuelle (RV) et le domaine de l'Interaction Homme-Machine (IHM). Ils s'appuient sur trois constats. D'une part, on observe une place grandissante des EV3D dans notre quotidien (jeux vidéo, jeux sérieux, e-commerce, dans les musées, à travers le web et sur les dispositifs mobiles). D'autre part, les IHM se complexifient notamment avec l'apparition de formes avancées d'interaction comme l'informatique ambiante, l'interaction tangible, ou encore l'interaction spatiale et gestuelle, et s'accompagne d'une diversification des dispositifs d'interaction (souris 3D, la Wiimote, la Kinect, le Leap Motion). Enfin, la conception de techniques d'interaction avancées avec des EV3D fait apparaitre des considérations différentes prises en compte par les communautés des domaines EV3D et IHM. Par conséquent, tirer profit des considérations les plus récentes des communautés EV3D (métaphores, qualité de l'interaction 3D) et IHM (formes avancées de technique d'interaction) se traduit par un besoin de développer le couplage entre formes avancées de technique d'interaction et EV3D. Dans ce contexte, l'objectif de ces travaux de thèse est de contribuer à l'essor des environnements 3D interactifs dans de multiples situations, et notamment des situations grand public, en adoptant une approche visant à faire converger les approches 3D et IHM pour mieux établir le couplage de Techniques d'Interaction Avancées avec des Environnements Virtuels 3D Interactifs. Après une analyse des méthodes de conception de techniques d'interaction pour les EV3D, une première contribution de nos travaux consiste en un cadre de conception de l'interaction 3D. En y agrégeant les problématiques issues de la 3D et de l'IHM, ce cadre de conception permet d'identifier les différents éléments de couplages impliqués lors d'une interaction avec un EV3D. Il se base sur l'analyse des liens entre les tâches utilisateurs et les éléments de l'EV3D impactés par ces tâches. Afin de caractériser finement chaque lien, nous avons introduit la notation 3DIM (3D Interaction Modality) qui décrit les caractéristiques des différents éléments constituant une " modalité d'interaction 3D " permettant la réalisation d'une tâche d'interaction de l'utilisateur dans un EV3D. Nous avons regroupé ces éléments en 6 blocs : l'utilisateur, les actions physiques, les objets physiques manipulés, les dispositifs utilisés, les comportements 3D et les éléments 3D. Nous complétons ce cadre conceptuel par des propriétés analytiques qui permettent de guider le concepteur et procurent ainsi un caractère descriptif, évaluatif et génératif à notre modèle conceptuel de techniques d'interaction avancées pour des EV3D. Dans la cadre d'une collaboration avec le musée de l'observatoire du Pic du Midi, une mise en œuvre de ce cadre nous a conduit à concevoir et développer des techniques d'interaction tangibles et basées smartphone. Ces techniques sont utilisées par les visiteurs du musée dans un EV3D représentatif du Télescope Bernard Lyot pour l'explorer et comprendre son fonctionnement. Nous avons mené trois évaluations utilisateur afin d'explorer l'usage d'un smartphone utilisé de trois manière différentes : comme dispositif tactile, comme un objet tangible ou comme support pour une interaction gestuelle autour du dispositif pour naviguer, sélectionner ou manipuler un objet 3D dans un EV3D affiché sur un grand écran distant