Computer vision methods for unconstrained gesture recognition in the context of sign language annotation

Cette thèse porte sur l'étude des méthodes de vision par ordinateur pour la reconnaissance de gestes naturels dans le contexte de l'annotation de la Langue des Signes. La langue des signes (LS) est une langue gestuelle développée par les sourds pour communiquer. Un énoncé en LS consiste en une séquence de signes réalisés par les mains, accompagnés d'expressions du visage et de mouvements du haut du corps, permettant de transmettre des informations en parallèles dans le discours. Même si les signes sont définis dans des dictionnaires, on trouve une très grande variabilité liée au contexte lors de leur réalisation. De plus, les signes sont souvent séparés par des mouvements de co-articulation. Cette extrême variabilité et l'effet de co-articulation représentent un problème important dans les recherches en traitement automatique de la LS. Il est donc nécessaire d'avoir de nombreuses vidéos annotées en LS, si l'on veut étudier cette langue et utiliser des méthodes d'apprentissage automatique. Les annotations de vidéo en LS sont réalisées manuellement par des linguistes ou experts en LS, ce qui est source d'erreur, non reproductible et extrêmement chronophage. De plus, la qualité des annotations dépend des connaissances en LS de l'annotateur. L'association de l'expertise de l'annotateur aux traitements automatiques facilite cette tâche et représente un gain de temps et de robustesse. Le but de nos recherches est d'étudier des méthodes de traitement d'images afin d'assister l'annotation des corpus vidéo: suivi des composantes corporelles, segmentation des mains, segmentation temporelle, reconnaissance de gloses. Au cours de cette thèse nous avons étudié un ensemble de méthodes permettant de réaliser l'annotation en glose. Dans un premier temps, nous cherchons à détecter les limites de début et fin de signe. Cette méthode d'annotation nécessite plusieurs traitements de bas niveau afin de segmenter les signes et d'extraire les caractéristiques de mouvement et de forme de la main. D'abord nous proposons une méthode de suivi des composantes corporelles robuste aux occultations basée sur le filtrage particulaire. Ensuite, un algorithme de segmentation des mains est développé afin d'extraire la région des mains même quand elles se trouvent devant le visage. Puis, les caractéristiques de mouvement sont utilisées pour réaliser une première segmentation temporelle des signes qui est par la suite améliorée grâce à l'utilisation de caractéristiques de forme. En effet celles-ci permettent de supprimer les limites de segmentation détectées en milieu des signes. Une fois les signes segmentés, on procède à l'extraction de caractéristiques visuelles pour leur reconnaissance en termes de gloses à l'aide de modèles phonologiques. Nous avons évalué nos algorithmes à l'aide de corpus internationaux, afin de montrer leur avantages et limitations. L'évaluation montre la robustesse de nos méthodes par rapport à la dynamique et le grand nombre d'occultations entre les différents membres. L'annotation résultante est indépendante de l'annotateur et représente un gain de robustese important.This PhD thesis concerns the study of computer vision methods for the automatic recognition of unconstrained gestures in the context of sign language annotation. Sign Language (SL) is a visual-gestural language developed by deaf communities. Continuous SL consists on a sequence of signs performed one after another involving manual and non-manual features conveying simultaneous information. Even though standard signs are defined in dictionaries, we find a huge variability caused by the context-dependency of signs. In addition signs are often linked by movement epenthesis which consists on the meaningless gesture between signs. The huge variability and the co-articulation effect represent a challenging problem during automatic SL processing. It is necessary to have numerous annotated video corpus in order to train statistical machine translators and study this language. Generally the annotation of SL video corpus is manually performed by linguists or computer scientists experienced in SL. However manual annotation is error-prone, unreproducible and time consuming. In addition de quality of the results depends on the SL annotators knowledge. Associating annotator knowledge to image processing techniques facilitates the annotation task increasing robustness and speeding up the required time. The goal of this research concerns on the study and development of image processing technique in order to assist the annotation of SL video corpus: body tracking, hand segmentation, temporal segmentation, gloss recognition. Along this PhD thesis we address the problem of gloss annotation of SL video corpus. First of all we intend to detect the limits corresponding to the beginning and end of a sign. This annotation method requires several low level approaches for performing temporal segmentation and for extracting motion and hand shape features. First we propose a particle filter based approach for robustly tracking hand and face robust to occlusions. Then a segmentation method for extracting hand when it is in front of the face has been developed. Motion is used for segmenting signs and later hand shape is used to improve the results. Indeed hand shape allows to delete limits detected in the middle of a sign. Once signs have been segmented we proceed to the gloss recognition using lexical description of signs. We have evaluated our algorithms using international corpus, in order to show their advantages and limitations. The evaluation has shown the robustness of the proposed methods with respect to high dynamics and numerous occlusions between body parts. Resulting annotation is independent on the annotator and represents a gain on annotation consistency

Ingénierie de la conception de systèmes de réalité augmentée mobile. Applications de la réalité augmentée mobile au tourisme culturel

Le système M.A.R. T.S a été conçu avec l'objectif de proposer un nouveau mode de médiation au musée. Lorsque la visite au musée se déroule sans guide conférencier, les outils de médiation classiques comme l'audio-guide ou les étiquettes montrent rapidement leurs limites en termes d'interaction humaine. Nous proposons donc de permettre au visiteur d'interagir avec un guide humain virtuel appuyé de nos paradigmes d'interaction " Sélection Documentation Reconstruction", puisant leurs principes de la réalité augmentée. L'objectif, par le biais de nos propositions, est de créer les conditions propices à un contact riche avec la collection, et de donner au visiteur les outils nécessaires pour qu'il puisse vivre une expérience d'apprentissage riche au musée. Les expérimentations que nous avons menées vont dans ce sens, montrant l'efficacité de ce nouveau mode de médiation. Qui plus est, les principes d'interactions sont suffisamment généraux pour dépasser le cadre original de la visite guidée au musée et peuvent être exploitée pour une visite guidée à l'extérieur.M.A.R.T.S system was built in order to propose a new mode of museum mediation. When the museum visit take place without a human guide, classical mediation tools such as labels or audio-guide rapidly show their limits in terms of human interaction. We therefore propose to allow visitors to interact with a virtual human guide supported by our interaction paradigms "Selection Documentation Reconstruction", which are based on augmented reality. The aim behind our proposals is to ensure favorable conditions for a rich contact with collections, and provide the visitor with necessary tools enabling him to live a worthwhile learning experience in the museum. The experiments we have conducted go in this direction, showing the effectiveness of this new mode of museum mediation. Moreover, interactions principles are sufficiently general to be applied to other cultural heritage activities such as outdoor guided tours

Modélisation bayésienne et robotique

This document describes my research around Bayesian modeling and robotics. My work started with the modeling of biological processes before evolving towards robotics. In both cases, I was interested in both perception and action. I first proposed a model of human perception of planar surfaces with optic flow which fuses in a single framework two concurrent hypotheses of the literature. I also proposed and compared several models of eye movement selection in a Multiple Object Tracking task. I was able to show that the model with explicit uncertainty was the closest to the subjects eye movements.In robotics, I worked on the state estimation of several robots with classical filtering techniques but also including fusion of multiple sources of information of various nature and characteristics. I also discuss the Iterative Closest Point algorithm for which we proposed a more rigorous method for evaluating the different variants. The last piece of work I present deals with online three-dimensional path planning and execution of a tracked robot with significant climbing capabilities.I conclude this document with perspectives on what I call situated robotics, that is robots not taken in isolation but embedded in a sensorized environment shared with humans.Ce document décrit mes travaux de recherche autour de la modélisation bayésienne et de la robotique. Mon travail a commencé par la modélisation de processus biologiques avant, dans un deuxième temps, d'évoluer vers la robotique. Dans les deux cas, je me suis intéressé à la fois à la perception et à l'action. J'ai donc proposé un modèle de la perception humaine de plans par le flux optique qui réunit deux hypothèses de la littérature dans un cadre unique. J'ai aussi proposé et comparé différents modèle de la sélection de mouvement oculaire dans une tâche de suivi multi-cibles, et montré que le modèle prenant en compte explicitement l'incertitude proposait des mouvements plus proches de ceux des sujets.Du côté robotique, j'ai travaillé sur l'estimation d'état de plusieurs robots avec des techniques classiques de filtrage mais en incluant la fusion de plusieurs sources d'informations de nature et caractéristiques différentes. Je discute aussi de l'algorithme d'Iterative Closest Point pour proposer une méthode plus rigoureuse d'évaluation des différentes variantes. Le dernier travail que je présente concerne la planification en ligne et l'exécution de chemin pour un robot à chenille avec des capacités de franchissement importantes.Je conclus ce document par des perspectives de travail sur ce que j'appelle la robotique située, c'est-à-dire des robots non plus isolés mais plongés dans un environnement équipé de capteurs et partagé avec des humains

L'AIS : une donnée pour l'analyse des activités en mer

4 pages, session "Mer et littoral"International audienceCette contribution présente des éléments méthodologiques pour la description des activités humaines en mer dans une perspective d'aide à la gestion. Différentes procédures, combinant l'exploitation de bases de données spatio-temporelles issue de données AIS archivées à des analyses spatiales au sein d'un SIG, sont testées afin de caractériser le transport maritime en Mer d'Iroise (Bretagne, France) sur les plans spatiaux, temporels et quantitatifs au cours d'une année

13th International Conference on Modeling, Optimization and Simulation - MOSIM 2020

Comité d’organisation: Université Internationale d’Agadir – Agadir (Maroc) Laboratoire Conception Fabrication Commande – Metz (France)Session RS-1 “Simulation et Optimisation” / “Simulation and Optimization” Session RS-2 “Planification des Besoins Matières Pilotée par la Demande” / ”Demand-Driven Material Requirements Planning” Session RS-3 “Ingénierie de Systèmes Basées sur les Modèles” / “Model-Based System Engineering” Session RS-4 “Recherche Opérationnelle en Gestion de Production” / "Operations Research in Production Management" Session RS-5 "Planification des Matières et des Ressources / Planification de la Production” / “Material and Resource Planning / Production Planning" Session RS-6 “Maintenance Industrielle” / “Industrial Maintenance” Session RS-7 "Etudes de Cas Industriels” / “Industrial Case Studies" Session RS-8 "Données de Masse / Analyse de Données” / “Big Data / Data Analytics" Session RS-9 "Gestion des Systèmes de Transport” / “Transportation System Management" Session RS-10 "Economie Circulaire / Développement Durable" / "Circular Economie / Sustainable Development" Session RS-11 "Conception et Gestion des Chaînes Logistiques” / “Supply Chain Design and Management" Session SP-1 “Intelligence Artificielle & Analyse de Données pour la Production 4.0” / “Artificial Intelligence & Data Analytics in Manufacturing 4.0” Session SP-2 “Gestion des Risques en Logistique” / “Risk Management in Logistics” Session SP-3 “Gestion des Risques et Evaluation de Performance” / “Risk Management and Performance Assessment” Session SP-4 "Indicateurs Clés de Performance 4.0 et Dynamique de Prise de Décision” / ”4.0 Key Performance Indicators and Decision-Making Dynamics" Session SP-5 "Logistique Maritime” / “Marine Logistics" Session SP-6 “Territoire et Logistique : Un Système Complexe” / “Territory and Logistics: A Complex System” Session SP-7 "Nouvelles Avancées et Applications de la Logique Floue en Production Durable et en Logistique” / “Recent Advances and Fuzzy-Logic Applications in Sustainable Manufacturing and Logistics" Session SP-8 “Gestion des Soins de Santé” / ”Health Care Management” Session SP-9 “Ingénierie Organisationnelle et Gestion de la Continuité de Service des Systèmes de Santé dans l’Ere de la Transformation Numérique de la Société” / “Organizational Engineering and Management of Business Continuity of Healthcare Systems in the Era of Numerical Society Transformation” Session SP-10 “Planification et Commande de la Production pour l’Industrie 4.0” / “Production Planning and Control for Industry 4.0” Session SP-11 “Optimisation des Systèmes de Production dans le Contexte 4.0 Utilisant l’Amélioration Continue” / “Production System Optimization in 4.0 Context Using Continuous Improvement” Session SP-12 “Défis pour la Conception des Systèmes de Production Cyber-Physiques” / “Challenges for the Design of Cyber Physical Production Systems” Session SP-13 “Production Avisée et Développement Durable” / “Smart Manufacturing and Sustainable Development” Session SP-14 “L’Humain dans l’Usine du Futur” / “Human in the Factory of the Future” Session SP-15 “Ordonnancement et Prévision de Chaînes Logistiques Résilientes” / “Scheduling and Forecasting for Resilient Supply Chains

"Le present est plein de l’avenir, et chargé du passé" : Vorträge des XI. Internationalen Leibniz-Kongresses, 31. Juli – 4. August 2023, Leibniz Universität Hannover, Deutschland. Band 1

[No abstract available