Kinect-Based Vision System of Mine Rescue Robot for Low Illuminous Environment

This paper presents Kinect-based vision system of mine rescue robot working in illuminous underground environment. The somatosensory system of Kinect is used to realize the hand gesture recognition involving static hand gesture and action. A K-curvature based convex detection method is proposed to fit the hand contour with polygon. In addition, the hand action is completed by using the NiTE library with the framework of hand gesture recognition. In addition, the proposed method is compared with BP neural network and template matching. Furthermore, taking advantage of the information of the depth map, the interface of hand gesture recognition is established for human machine interaction of rescue robot. Experimental results verify the effectiveness of Kinect-based vision system as a feasible and alternative technology for HMI of mine rescue robot

Hand posture recognition using modified Ensemble of Shape Functions and Global Radius-based Surface Descriptor

This paper presents an approach to recognition of static hand gestures based on data acquired from 3D cameras and point cloud descriptors: Ensemble of Shape Functions and Global Radius-based Surface Descriptor. We describe the recognition algorithm consisting of: hand segmentation, noise removal and downsampling of point cloud, dividing point cloud bounding box to cells, feature extraction and normalization, gesture classification. Modifications of the descriptors are proposed in order to increase hand posture recognition rates and decrease quantity of used features as well as computational cost of the algorithm. The experiments performed on four challenging datasets using cross-validation tests prove the usefulness of our approach

A seamless solution for 3D real-time interaction: design and evaluation

This paper aims to propose and evaluate a markerless solution for capturing hand movements in real time to allow 3D interactions in virtual environments (VEs). Tools such as keyboard and mice are not enough for interacting in 3D VE; current motion capture systems are expensive and require wearing equipment. We developed a solution to allow more natural interactions with objects and VE for navigation and manipulation tasks. We conducted an experimental study involving 20 participants. The goal was to realize object manipulation (moving, orientation, scaling) and navigation tasks in VE. We compared our solution (Microsoft Kinect-based) with data gloves and magnetic sensors (3DGloves) regarding two criteria: performance and acceptability. Results demonstrate similar performance (precision, execution time) but a better overall acceptability for our solution. Preferences of participants are mostly in favor of the 3DCam, mainly for the criteria of comfort, freedom of movement, and handiness. Our solution can be considered as a real alternative to conventional systems for object manipulation in virtual reality

Analyse du contenu expressif des gestes corporels

Nowadays, researches dealing with gesture analysis suffer from a lack of unified mathematical models. On the one hand, gesture formalizations by human sciences remain purely theoretical and are not inclined to any quantification. On the other hand, the commonly used motion descriptors are generally purely intuitive, and limited to the visual aspects of the gesture. In the present work, we retain Laban Movement Analysis (LMA – originally designed for the study of dance movements) as a framework for building our own gesture descriptors, based on expressivity. Two datasets are introduced: the first one is called ORCHESTRE-3D, and is composed of pre-segmented orchestra conductors’ gestures, which have been annotated with the help of lexicon of musical emotions. The second one, HTI 2014-2015, comprises sequences of multiple daily actions. In a first experiment, we define a global feature vector based upon the expressive indices of our model and dedicated to the characterization of the whole gesture. This descriptor is used for action recognition purpose and to discriminate the different emotions of our orchestra conductors’ dataset. In a second approach, the different elements of our expressive model are used as a frame descriptor (e.g., describing the gesture at a given time). The feature space provided by such local characteristics is used to extract key poses of the motion. With the help of such poses, we obtain a per-frame sub-representation of body motions which is available for real-time action recognition purposeAujourd’hui, les recherches portant sur le geste manquent de modèles génériques. Les spécialistes du geste doivent osciller entre une formalisation excessivement conceptuelle et une description purement visuelle du mouvement. Nous reprenons les concepts développés par le chorégraphe Rudolf Laban pour l’analyse de la danse classique contemporaine, et proposons leur extension afin d’élaborer un modèle générique du geste basé sur ses éléments expressifs. Nous présentons également deux corpus de gestes 3D que nous avons constitués. Le premier, ORCHESTRE-3D, se compose de gestes pré-segmentés de chefs d’orchestre enregistrés en répétition. Son annotation à l’aide d’émotions musicales est destinée à l’étude du contenu émotionnel de la direction musicale. Le deuxième corpus, HTI 2014-2015, propose des séquences d’actions variées de la vie quotidienne. Dans une première approche de reconnaissance dite « globale », nous définissons un descripteur qui se rapporte à l’entièreté du geste. Ce type de caractérisation nous permet de discriminer diverses actions, ainsi que de reconnaître les différentes émotions musicales que portent les gestes des chefs d’orchestre de notre base ORCHESTRE-3D. Dans une seconde approche dite « dynamique », nous définissons un descripteur de trame gestuelle (e.g. défini pour tout instant du geste). Les descripteurs de trame sont utilisés des poses-clés du mouvement, de sorte à en obtenir à tout instant une représentation simplifiée et utilisable pour reconnaître des actions à la volée. Nous testons notre approche sur plusieurs bases de geste, dont notre propre corpus HTI 2014-201

Objectivation et standardisation des évaluations ergonomiques des postes de travail à partir de données Kinect

Evaluation of potential risks of musculoskeletal disorders in real workstations is challenging as the environment is cluttered, which makes it difficult to correctly and accurately assess the pose of a worker. Most of the traditional motion capture systems cannot deal with these workplace constraints. Being marker-free and calibration-free, Microsoft Kinect is a promising device to assess these poses, but the validity of the delivered kinematic data under work conditions is still unknown. In this thesis we first propose an extensive validation of the Kinect system in an ergonomic assessment context with sub-optimal capture condition. As most of the large inaccuracies come from occlusions, we propose a new example-based method to correct unreliable poses delivered by the Kinect in such a situation. We introduced the Filtered Pose Graph structure to make the method select the most relevant candidates before combination. In an ergonomics context, we computed RULA scores and compared them to those computed from an optoelectronic mocap system. We also propose to challenge our method in real workplace environment and compared its performance to experts' evaluation in the Faurecia company. Finally, we evaluated the relevance of the proposed method to estimate internal joint torques thanks to inverse dynamics, even if occlusions occur. Our method opens new perspectives to define new fatigue or solicitation indexes based on continuous measurement contrary to classical static images generally used in ergonomics. The computation time enables real-time feedback and interaction with the operator.L'analyse ergonomique des postes de travail reste le point de départ de toute politique de prévention des risques de maladies professionnelles. De nombreux travaux scientifiques s'attachent à quantifier les déterminants à risque pour aboutir le plus souvent à un score de pénibilité. La difficulté actuelle des méthodes de cotation ergonomique se situe au niveau de la capture de ces déterminants. La majorité des systèmes se limitent à une collecte de données souvent subjective et très influencé par la personne effectuant la cotation. La volonté de l'entreprise par le biais de ce stage est d'objectiver l'analyse ergonomique des postes de travail par une capture du mouvement de l'opérateur. Le principale défi est le passage d'outil et de méthode scientifique à une utilisation de terrain avec toutes les contraintes qu'elle induit.L'apport des avancées technologiques et scientifiques encourage ce passage par des outils utilisable dans le contexte industriel. Les deux principaux objectif de ce stage se sont situer premièrement sur la limitation des biais de capture pour amener un précision et un standardisation de la mesure de terrain, ainsi que sur l'accès à de nouvelles données notamment l'aspect temporel de la tâche effectuée. Le matériel utilisé est le capteur de profondeur Kinect développé par Microsoft. Cet appareil fait l'objet d’études scientifique dans différents domaines et plus particulièrement dans son utilisation pour de la capture de mouvements.Lors de ce stage, nous nous somme attaché à traiter le signal émis par la Kinect, pour obtenir des données permettant le remplissage automatique de grille de cotation. Le bruit de mesure fût travailler à l'aide d'un filtre récursif passe bas utilisé fréquemment en laboratoire d'analyse du mouvement. Le traitement des données spatiales brut des articulations de l'opérateur pour obtenir des angles fit l'objet d'un grande partie du travail, car ne nombreux paramètre entre en jeu comme la position du capteur.La réussite du stage à permis de limiter la subjectivité de la mesure mais à également donnée l'accès à de nouveaux indices comme les pourcentage de temps de cycle passé à des angulations dangereuses pour l'opérateur. Le passage d'outil de laboratoire au terrain mérite encore d'être travaillé notamment dans la robustesse des systèmes développés et doit s'appuyer sur des expérimentations de laboratoire