Interacción Natural Basada en un Conjunto Mínimo de Sensores Inerciales para Realidad Virtual sin Cables

La Realidad Virtual tiene un enorme potencial aún por explotar. Esta tesis doctoral pretende ir un paso más allá en el desarrollo de sistemas de Realidad Virtual inmersivos. En concreto, su objetivo fundamental es diseñar, desarrollar y evaluar una plataforma experimental sin cables para investigación en Realidad Virtual inmersiva con navegación natural e interacción manual basada en un conjunto mínimo de sensores inerciales. Para ello se emplea metodología científica desde la perspectiva de la interacción persona computador (Human Computer Interaction, HCI). A partir del objetivo fundamental, se elaboran las recomendaciones de diseño y especificaciones del sistema a desarrollar. Tras revisar en detalle el estado del arte y establecer el planteamiento metodológico, comienza el desarrollo de herramientas en las que se basará la creación de prototipos. Durante la tesis doctoral se desarrollan 3 herramientas de investigación y 5 prototipos que se evalúan a través de diversas pruebas con usuarios y 2 experimentos. En total, participan generosamente más de 85 personas. El desarrollo de prototipos da lugar a técnicas específicas que resultan de interés por sí mismas para la comunidad científica. Por otra parte, los experimentos también aportan resultados susceptibles de ser divulgados. Uno de los experimentos realizados permite evaluar las técnicas desarrolladas para implementar un sistema de Realidad Virtual con navegación natural. El otro experimento, estudia el comportamiento del sistema de tracking para interacción manual desarrollado durante el proyecto de investigación. Además, utiliza una televisión 3D y el casco de Realidad Virtual Oculus Rift para realizar un estudio comparativo de diversos aspectos como el rendimiento, usabilidad, nivel de presencia, dificultad y preferencia. El proyecto de investigación asociado a esta tesis doctoral da lugar a varias aportaciones de distinta naturaleza como publicaciones científicas, herramientas de investigación, algoritmos y trazas de datos, además de la propia plataforma experimental que permitirá abordar nuevos estudios de Realidad Virtual inmersiva con navegación natural e interacción manual

Large Area Robust Hybrid Tracking with Life-size Avatar in Mixed Reality Environment – for Cultural and Historical Installation

International audienceWe have developed a system which enables us to track participant-observers accurately in a large area for the purpose of immersing them in a mixed reality environment. This system is robust even under uncompromising lighting conditions. Accurate tracking of the observer’s spatial and orientation point of view is achieved by using hybrid inertial sensors and computer vision techniques. We demonstrate our results by presenting a life-size, animated human avatar sitting in a real chair, in a stable and low-jitter manner. The system installation allows the observers to freely walk around and navigate themselves in the environment even while still being able to see the avatar from various angles. The project installation provides an exciting way for cultural and historical narratives to be presented vividly in the real present world