MVC-3D: Adaptive Design Pattern for Virtual and Augmented Reality Systems

International audienceIn this paper, we present MVC-3D design pattern to develop virtual and augmented (or mixed) reality interfaces that use new types of sensors, modalities and implement specific algorithms and simulation models. The proposed pattern represents the extension of classic MVC pattern by enriching the View component (interactive View) and adding a specific component (Library). The results obtained on the development of augmented reality interfaces showed that the complexity of M, iV and C components is reduced. The complexity increases only on the Library component (L). This helps the programmers to well structure their models even if the interface complexity increases. The proposed design pattern is also used in a design process called MVC-3D in the loop that enables a seamless evolution from initial prototype to the final system

Low-cost VR Collaborative System equipped with Haptic Feedback

International audienceIn this paper, we present a low-cost virtual reality (VR) collaborative system equipped with a haptic feedback sensation system. This system is composed of a Kinect sensor for bodies and gestures detection, a microcontroller and vibrators to simulate outside interactions, and smartphone powered cardboard, all of this are put into a network implemented with Unity 3D game engine. CCS CONCEPTS • Interaction paradigms → Virtual reality; Collaborative interaction; • Hardware → Sensors and actuators; Wireless devices; KEYWORDS collaborative virtual reality, haptic feedback system

Augmented reality for underwater activities with the use of the DOLPHYN

International audienceThe objective of this work is to introduce Augmented and Mixed Reality technologies in aquatic leisure activities. We have proposed a new device which is autonomous, mobile and easily transportable by one person. It can also be easily installed, equipped with GPS and wireless systems, and has positive buoyancy. The device will be used at water surface as well as underwater using a tuba. Moreover, the device is equipped with one (can be upgraded for more) video camera pointing downwards. Augmented Reality contents combining actual underwater images with 3D animated images will be one of the preferred ways to use the device

Vers l’immersion mobile en réalité augmentée : une approche basée sur le suivi robuste de cibles naturelles et sur l’interaction 3D

Pose estimation and 3D interaction are the essential basis for any Augmented Reality (AR) system. We aim to treat those two fields in order to offer a pertinent AR system that allows a mobile immersion and natural interaction. In this optic, this thesis provides an overall consistent state of the art in both pose estimation and 3D interaction for AR. In addition, this thesis details our contributions that consists of MOBIL: a binary descriptor that compares geometric moments of the patch through a binary test. Two improvements of this descriptor: MOBIL_2B and POLAR_MOBIL are proposed in order to enhance its robustness. We used this descriptor with PTAM technique to ensure the user pose estimation respectively for the selection/manipulation task and the navigation task. On the other hand, we proposed a novel 3D interaction technique called “Zoom-In”, designed for augmented reality applications. This technique is based on the zoom of the captured image. It calculates the 3D transformation relative to the selected object. This technique allows user selecting and manipulating distant virtual objects by bringing them within the user arm’s reach by zooming in the captured image, and re-estimating the user pose thanks to our proposed descriptor. Finally, we present a conclusion that describes the essential of this work and provide perspective and future work.L’estimation de pose et l’interaction 3D sont les fondements de base d’un système de réalité augmentée (RA). L’objectif de cette thèse étant de traiter ces deux problématiques, nous présentons dans ce mémoire un état de l’art qui regroupe : approches, techniques et technologies relatives à l’estimation de pose et à l’interaction 3D en RA. Puis nous faisons le bilan sur les travaux menés jusqu'à aujourd’hui. A cet effet, nos contributions dans ce vaste domaine sont dans les deux parties : vision et interaction 3D. Nous avons proposé un nouveau détecteur et descripteur binaire nommé MOBIL qui effectue une comparaison binaire des moments géométriques. Par la suite nous avons proposé deux améliorations de notre descripteur. MOBIL_2B et POLAR_MOBIL. En outre, nous avons utilisé notre descripteur avec l’approche PTAM (Parallel tracking and Mapping) afin d’assurer le recalage des objets virtuels en immersion mobile de l’utilisateur en RA. Nous avons également proposé une technique d’interaction pour la RA, appelée « Zoom-in » qui facilite la sélection et la manipulation des objets virtuels distants. Cette technique est basée sur le zoom de l’image et des objets virtuels recalé sur l’image. Les objets virtuels sont mis à la portée de l’utilisateur en gardant le recalage par rapport à la scène. Ce mémoire se termine par une conclusion générale qui fait le point sur l’essentiel de ce travail et ouvre de nouvelles perspectives

Toward mobile immersion in augmented reality : an approach based on robust natural feature tracking and 3D interaction

L’estimation de pose et l’interaction 3D sont les fondements de base d’un système de réalité augmentée (RA). L’objectif de cette thèse étant de traiter ces deux problématiques, nous présentons dans ce mémoire un état de l’art qui regroupe : approches, techniques et technologies relatives à l’estimation de pose et à l’interaction 3D en RA. Puis nous faisons le bilan sur les travaux menés jusqu'à aujourd’hui.A cet effet, nos contributions dans ce vaste domaine sont dans les deux parties : vision et interaction 3D. Nous avons proposé un nouveau détecteur et descripteur binaire nommé MOBIL qui effectue une comparaison binaire des moments géométriques. Par la suite nous avons proposé deux améliorations de notre descripteur. MOBIL_2B et POLAR_MOBIL.En outre, nous avons utilisé notre descripteur avec l’approche PTAM (Parallel Tracking and Mapping) afin d’assurer le recalage des objets virtuels en immersion mobile de l’utilisateur en RA.Nous avons également proposé une technique d’interaction pour la RA, appelée « Zoom-in » qui facilite la sélection et la manipulation des objets virtuels distants. Cette technique est basée sur le zoom de l’image et des objets virtuels recalé sur l’image. Les objets virtuels sont mis à la portée de l’utilisateur en gardant le recalage par rapport à la scène.Ce mémoire se termine par une conclusion générale qui fait le point sur l’essentiel de ce travail et ouvre de nouvelles perspectives.Pose estimation and 3D interaction are the essential basis for any Augmented Reality (AR) system. We aim to treat those two fields in order to offer a pertinent AR system that allows a mobile immersion and natural interaction. In this optic, this thesis provides an overall consistent state of the art in both pose estimation and 3D interaction for AR.In addition, this thesis details our contributions that consists of MOBIL: a binary descriptor that compares geometric moments of the patch through a binary test. Two improvements of this descriptor: MOBIL_2B and POLAR_MOBIL are proposed in order to enhance its robustness.We used this descriptor with PTAM technique to ensure the user pose estimation respectively for the selection/manipulation task and the navigation task.On the other hand, we proposed a novel 3D interaction technique called “Zoom-In”, designed for augmented reality applications. This technique is based on the zoom of the captured image. It calculates the 3D transformation relative to the selected object. This technique allows user selecting and manipulating distant virtual objects by bringing them within the user arm’s reach by zooming in the captured image, and re-estimating the user pose thanks to our proposed descriptor. Finally, we present a conclusion that describes the essential of this work and provide perspective and future work

Towards Method Time Measurement Identification Using Virtual Reality and Gesture Recognition

International audienc