Combination of Annealing Particle Filter and Belief Propagation for 3D Upper Body Tracking

3D upper body pose estimation is a topic greatly studied by the computer vision society because it is useful in a great number of applications, mainly for human robots interactions including communications with companion robots. However there is a challenging problem: the complexity of classical algorithms that increases exponentially with the dimension of the vectors’ state becomes too difficult to handle. To tackle this problem, we propose a new approach that combines several annealing particle filters defined independently for each limb and belief propagation method to add geometrical constraints between individual filters. Experimental results on a real human gestures sequence will show that this combined approach leads to reliable results

Is It Time to Rethink Motion Artifacts? Temporal Relationships between Electrodermal Activity and Body Movements in Real-Life Conditions

Digital inequality scholarship has rightly criticized the concept of the 'digital divide'for oversimplifying and distorting relations between digital media and social inequalities. Instead of focusing on binary conceptualizations of access, digital inequality scholars recommend studying 'differentiated use,'which depends on access, but which is mediated by additional factors such as skill. Despite these advances, much digita

Depth Perception Within Peripersonal Space Using Head-Mounted Display

Naceri A, Chellali R. Depth Perception Within Peripersonal Space Using Head-Mounted Display. Presence: Teleoperators and Virtual Environments. 2011;20(3):254-272

Is It Time to Rethink Motion Artifacts? Temporal Relationships between Electrodermal Activity and Body Movements in Real-Life Conditions

Digital inequality scholarship has rightly criticized the concept of the 'digital divide'for oversimplifying and distorting relations between digital media and social inequalities. Instead of focusing on binary conceptualizations of access, digital inequality scholars recommend studying 'differentiated use,'which depends on access, but which is mediated by additional factors such as skill. Despite these advances, much digita

La vision automatique pour la conception d'outils de communication Homme/Machine

Les outils de communication homme-machine sont une composante majeure dans les systèmes robotiques et plus spécialement les télérobots. Cette thèse porte sur deux volets principaux de ces outils : la communication de l'homme vers la machine et la communication de la machine vers l'homme. Le premier volet concerne la récupération des ordres que l'humain transmet au robot. Le second volet concerne la restitution sensorielle de l'environnement distant que le robot fournit à l'homme. La première partie de cette thèse décrit l'outil que nous avons développé et qui permet à un opérateur de piloter et de superviser un robot d'une façon naturelle. Ce pilotage se fait par le geste sans avoir à se munir de dispositifs spéciaux. Le processus d'interprétation du geste est basé sur le codage de la configuration de la main détectée. La principale contribution de nos travaux consiste en la mise en place d'une nouvelle technique de reconnaissance de gestes statiques basée sur les moments Zernike. La deuxième partie traite de la synthèse visuelle et la création de l'information visuelle synthétique qui aide et qui guide l'opérateur dans l'exécution des ses tâches. Cette synthèse se fait de deux manières : génération de nouvelles vues synthétiques et incrustation d'objets virtuels dans une scène réelle. Pour réaliser ces deux partie, nous avons développé un formalisme basé sur le théorème de Desargues. Nous montrons comment ce théorème s'applique à une configuration de trois images et les propriétés propres à cette configuration. Ce formalisme suppose la connaissance du graphe de correspondance. Il a été égalmement utilisé pour calculer la mise en correspondance d'une série d'images.Human-Machine communication tools are a major component in robotic systems and particularly in telerobots. This thesis focuses on two main aspects : communication from the human towards the machine and communication from the machine towards the human. The first aspect aims to interpret human orders in order to pilot the robot. The second one deals with the sensory restitution of the distant environment that the robot provide to humans. The first part describes our developed tool, which makes it possible for an operator to control and supervise a robot in a natural way with gestures without using special devices. The process of gesture interpretation is based on the coding of the detected hand configuration. The main unique aspect of our work is the use of a new technique of static gesture recognition based on Zernike moments. The second part deals with visual synthesis and creation of visual information, in order to help and guide the operator to execute his tasks. This synthesis is done into two manners: Generation of new synthetic image and Registration of virtual object in a real scene. In order to solve the previous problems, we have developed a new formalism based on the Desargues theorem. We show how this theorem is applied for the configuration of three images and the specific properties of this configuration. Indeed, this formalism assumes the knowlledge of dense correspondance of images. That's why we have developped a new method to match N images based on Desargues theorem.NANTES-BU Sciences (441092104) / SudocNANTES-Ecole Centrale (441092306) / SudocSudocFranceF

Analyse de séquences d'images pour la reconstruction 3D euclidienne (cas des scènes complexes pour des mouvements de caméra contraints et non contraints)

Ce sujet de thèse porte sur la mise au point de méthodologies d'analyse spatio-temporelle pour la reconstruction 3D d'environnements quelconques. Il s'agit d'obtenir des modèles 3D de scènes ou d'objets à partir d'une séquence d'images vidéo étalonnée ou non. L'idée développée tout au long de cette thèse est de contraindre le lieu géométrique des primitives images (ici des points) à travers la séquence, pour réduire l'espace des solutions du problème 3D et ainsi, permettre de remonter de l'espace en deux dimensions (les images) vers un résultat tridimensionnel (la scène ou l'objet 3D). Dans le cadre de notre travail, la précision dimensionnelle n'est pas un impératif absolu tout comme le temps de calcul dans la mesure où la reconstruction n'a pas à être réalisée en temps réel. Par ailleurs, le mouvement de la caméra est libre et ce dernier peut être mu selon les besoins de la reconstruction. Ces degrés de liberté, augmentés de connaissances locales au niveau de la scène ou de l'objet, nous permettent de choisir librement le type de contraintes à introduire pour réduire l'espace des solutions et pouvoir arriver à une interprétation unique. Ainsi, pour un objet en mouvement de rotation axiale, un rayon et une hauteur caractérisent le lieu géométrique des solutions 3D. Pour un mouvement libre, la connaissance de six points dans la scène dont quatre sont coplanaires, permet de définir les trajectoires des points image dans une base homographique. La principale contribution de cette thèse est de développer des algorithmes de reconstruction 3D originaux permettant d'utiliser au mieux l'ensemble des données de la séquence d'images, en contraignant le lieu géométrique des primitives d'un point de vue spatio-temporel.NANTES-BU Sciences (441092104) / SudocNANTES-Ecole Centrale (441092306) / SudocBOURGES-ENS Ingénieurs (180332301) / SudocSudocFranceF

Human gesture segmentation based on change point model for efficient gesture interface

International audienceIn order to control naturally robots and artificial agents, gestures is known to be an effective modality. Unfortunately, gestures based interactions are still heavy to use: demanding specific training sessions, clear separations between gestures, namely, specifying pre- and post-strokes as well as the gesture used to perform the command. These constraints are related to a common difficulty: time series segmentation. Indeed, clustering human motions into meaningful segments or isolating meaningful segments forming a continuous movement flow present the same problem: how to find the post and the pre strokes. For machine learning, this problem is solved by having training sets of carefully labelled data. Good segmentation improves the quality of the gesture recognition-based interface. In our contribution, we focus on developing a non-parametric stochastic segmentation algorithm. Once the segmentation has been validated, we show how any novice user can create in a semi-supervised way, his or her, own gestures library. In addition, we show how the obtained system is efficient in finding meaningful gestures (the once learned earlier) within continuous movements flow. Thus removing the constraint of performing manual specification of respectively the beginning of the movement and its end. The proposed technique is assessed through a real-life example, where a novice user creates an ad-hoc interface to control a robot in a natural way

SWIMMING AGAINST THE FLOW: A ROBOTICS SIMULATION FRAMEWORK

Fish in nature take advantage of some types of turbulence and even generate it to swim with a minimum expenditure of energy. This is the case observed in rainbow trout swimming against the flow in well patterned turbulence phenomenon called Karman Street. Robotic and Multiphysics simulators do not include the possibility of this sort of turbulent flow in interaction with the robot body, to train controllers. Therefore, to better understand how to design a robot that takes advantage of the turbulence, we have developed a simulation framework based on rigid body dynamics software (Webots) and a physics plugin. This plugin has been developed based on a generalized abstraction in the useful area of Karman vortex streets. This framework allows the simulation of user designed robots and their controller interaction with the environment