Détection et suivi d'objets par vision fondés sur segmentation par contour actif base région

La segmentation et le suivi d'objets sont des domaines de recherche compétitifs dans la vision par ordinateur. Une de leurs applications importantes réside dans la robotique où la capacité à segmenter un objet d'intérêt du fond de l'image, d'une manière précise, est cruciale particulièrement dans des images acquises à bord durant le mouvement du robot. Segmenter un objet dans une image est une opération qui consiste à distinguer la région objet de celle du fond suivant un critère défini. Suivre un objet dans une séquence d'images est une opération qui consiste à localiser la région objet au fil du temps dans une vidéo. Plusieurs techniques peuvent être utilisées afin d'assurer ces opérations. Dans cette thèse, nous nous sommes intéressés à segmenter et suivre des objets en utilisant la méthode du contour actif en raison de sa robustesse et son efficacité à pouvoir segmenter et suivre des objets non rigides. Cette méthode consiste à faire évoluer une courbe à partir d'une position initiale, entourant l'objet à détecter, vers la position de convergence qui correspond aux bords de cet objet d'intérêt. Nous utilisons des critères qui dépendent des régions de l'image ce qui peut imposer certaines contraintes sur les caractéristiques de ces régions comme une hypothèse d'homogénéité. Cette hypothèse ne peut pas être toujours vérifiée du fait de l'hétérogénéité souvent présente dans les images. Dans le but de prendre en compte l'hétérogénéité qui peut apparaître soit sur l'objet d'intérêt soit sur le fond dans des images bruitées et avec une initialisation inadéquate du contour actif, nous proposons une technique qui combine des statistiques locales et globales pour définir le critère de segmentation. En utilisant un rayon de taille fixe, un demi-disque est superposé sur chaque point du contour actif afin de définir les régions d'extraction locale. Lorsque l'hétérogénéité se présente à la fois sur l'objet d'intérêt et sur le fond de l'image, nous développons une technique basée sur un rayon flexible déterminant deux demi-disques avec deux rayons de valeurs différentes pour extraire l'information locale. Le choix de la valeur des deux rayons est déterminé en prenant en considération la taille de l'objet à segmenter ainsi que de la distance séparant l'objet d'intérêt de ses voisins. Enfin, pour suivre un objet mobile dans une séquence vidéo en utilisant la méthode du contour actif, nous développons une approche hybride du suivi d'objet basée sur les caractéristiques de la région et sur le vecteur mouvement des points d'intérêt extraits dans la région objet. En utilisant notre approche, le contour actif initial à chaque image sera ajusté suffisamment d'une façon à ce qu'il soit le plus proche possible au bord réel de l'objet d'intérêt, ainsi l'évolution du contour actif basée sur les caractéristiques de la région ne sera pas piégée par de faux contours. Des résultats de simulations sur des images synthétiques et réelles valident l'efficacité des approches proposées.Object segmentation and tracking is a challenging area of ongoing research in computer vision. One important application lies in robotics where the ability to accurately segment an object of interest from its background is crucial and particularly on images acquired onboard during robot motion. Object segmentation technique consists in separating the object region from the image background according to a pre-defined criterion. Object tracking is a process of determining the positions of moving objects in image sequences. Several techniques can be applied to ensure these operations. In this thesis, we are interested to segment and track objects in video sequences using active contour method due to its robustness and efficiency to segment and track non-rigid objects. Active contour method consists in making a curve converge from an initial position around the object to be detected towards this object boundary according to a pre-defined criterion. We employ criteria which depend on the image regions what may impose certain constraints on the characteristics of these regions as a homogeneity assumption. This assumption may not always be verified due to the heterogeneity often present in images. In order to cope with the heterogeneity that may appear either in the object of interest or in the image background in noisy images using an inadequate active contour initialization, we propose a technique that combines local and global statistics in order to compute the segmentation criterion. By using a radius with a fixed size, a half-disk is superposed on each point of the active contour to define the local extraction regions. However, when the heterogeneity appears on both the object of interest and the image background, we develop a new technique based on a flexible radius that defines two half-disks with two different radius values to extract the local information. The choice of the value of these two radii is determined by taking into consideration the object size as well as the distance separating the object of interest from its neighbors. Finally, to track a mobile object within a video sequence using the active contour method, we develop a hybrid object tracking approach based on region characteristics and on motion vector of interest points extracted on the object region. Using our approach, the initial active contour for each image will be adequately adjusted in a way that it will be as close as possible to the actual boundary of the object of interest so that the evolution of active contour based on characteristics of the region will not be trapped by false contours. Simulation results on synthetic and real images validate the effectiveness of the proposed approaches

Positionnement visuel pour la réalité augmentée en environnement plan

Mesurer en temps réel la pose d'une caméra relativement à des repères tridimensionnels identifiés dans une image vidéo est un, sinon le pilier fondamental de la réalité augmentée. Nous proposons de résoudre ce problème dans des environnements bâtis, à l'aide de la visionpar ordinateur. Nous montrons qu'un système de positionnement plus précis que le GPS, et par ailleurs plus stable, plus rapide et moins coûteux en mémoire que d'autres systèmes de positionnement visuel introduits dans la littérature, peut êtreobtenu en faisant coopérer : approche probabiliste et géométrie aléatoire (détection a contrario des points de fuite del'image), apprentissage profond (proposition de boites contenant des façades, élaboration d'un descripteur de façades basé sur un réseau deneurones convolutifs), inférence bayésienne (recalage par espérance-maximisation d'un modèle géométrique et sémantique compactdes façades identifiées) et sélection de modèle (analyse des mouvements de la caméra par suivi de plans texturés). Nous décrivonsde plus une méthode de modélisation in situ, qui permet d'obtenir de manière fiable, de par leur confrontation immédiate à la réalité, des modèles 3D utiles au calcul de pose tel que nous l'envisageons

Interface humain-machine de détection visuelle de la posture de la main

Revue bibliographique sur l'interprétation visuelle des gestes -- Analyse du mouvement de la main -- Molélisation 3D de la main -- Modèle infographique de la main -- Cinématique des doigts -- Cinématique du pouce -- Détection et reconstruction de la main -- Recouvrement de la position et de l'orientation de la paume -- Recouvrement de la position des doigts -- Traitement des occlusions -- Conditions d'existence d'une occlusion -- Expressions mathématiques des conditions d'occlusion -- Reconstruction en cas d'occlusions -- Interface humain-machine de détection de la posture de la main en temps réel -- Étude de plusieurs gestes de préhension -- Application au contrôle d'une pince robotique -- Revue bibliographique sur l'asservissement visuel -- Modèle du manipulateur -- Modèle de la pince -- Contrôle de la pince par suivi de la main

Fouille de graphes pour le suivi d’objets dans les vidéos

Detecting and following the main objects of a video is necessary to describe its content in order to, for example, allow for a relevant indexation of the multimedia content by the search engines. Current object tracking approaches either require the user to select the targets to follow, or rely on pre-trained classifiers to detect particular classes of objects such as pedestrians or car for example. Since those methods rely on user intervention or prior knowledge of the content to process, they cannot be applied automatically on amateur videos such as the ones found on YouTube. To solve this problem, we build upon the hypothesis that, in videos with a moving background, the main objects should appear more frequently than the background. Moreover, in a video, the topology of the visual elements composing an object is supposed consistent from one frame to another. We represent each image of the videos with plane graphs modeling their topology. Then, we search for substructures appearing frequently in the database of plane graphs thus created to represent each video. Our contributions cover both fields of graph mining and object tracking. In the first field, our first contribution is to present an efficient plane graph mining algorithm, named PLAGRAM. This algorithm exploits the planarity of the graphs and a new strategy to extend the patterns. The next contributions consist in the introduction of spatio-temporal constraints into the mining process to exploit the fact that, in a video, the motion of objects is small from on frame to another. Thus, we constrain the occurrences of a same pattern to be close in space and time by limiting the number of frames and the spatial distance separating them. We present two new algorithms, DYPLAGRAM which makes use of the temporal constraint to limit the number of extracted patterns, and DYPLAGRAM_ST which efficiently mines frequent spatio-temporal patterns from the datasets representing the videos. In the field of object tracking, our contributions consist in two approaches using the spatio-temporal patterns to track the main objects in videos. The first one is based on a search of the shortest path in a graph connecting the spatio-temporal patterns, while the second one uses a clustering approach to regroup them in order to follow the objects for a longer period of time. We also present two industrial applications of our methodDétecter et suivre les objets principaux d’une vidéo est une étape nécessaire en vue d’en décrire le contenu pour, par exemple, permettre une indexation judicieuse des données multimédia par les moteurs de recherche. Les techniques de suivi d’objets actuelles souffrent de défauts majeurs. En effet, soit elles nécessitent que l’utilisateur désigne la cible a suivre, soit il est nécessaire d’utiliser un classifieur pré-entraîné à reconnaitre une classe spécifique d’objets, comme des humains ou des voitures. Puisque ces méthodes requièrent l’intervention de l’utilisateur ou une connaissance a priori du contenu traité, elles ne sont pas suffisamment génériques pour être appliquées aux vidéos amateurs telles qu’on peut en trouver sur YouTube. Pour résoudre ce problème, nous partons de l’hypothèse que, dans le cas de vidéos dont l’arrière-plan n’est pas fixe, celui-ci apparait moins souvent que les objets intéressants. De plus, dans une vidéo, la topologie des différents éléments visuels composant un objet est supposée consistante d’une image a l’autre. Nous représentons chaque image par un graphe plan modélisant sa topologie. Ensuite, nous recherchons des motifs apparaissant fréquemment dans la base de données de graphes plans ainsi créée pour représenter chaque vidéo. Cette approche nous permet de détecter et suivre les objets principaux d’une vidéo de manière non supervisée en nous basant uniquement sur la fréquence des motifs. Nos contributions sont donc réparties entre les domaines de la fouille de graphes et du suivi d’objets. Dans le premier domaine, notre première contribution est de présenter un algorithme de fouille de graphes plans efficace, appelé PLAGRAM. Cet algorithme exploite la planarité des graphes et une nouvelle stratégie d’extension des motifs. Nous introduisons ensuite des contraintes spatio-temporelles au processus de fouille afin d’exploiter le fait que, dans une vidéo, les objets se déplacent peu d’une image a l’autre. Ainsi, nous contraignons les occurrences d’un même motif a être proches dans l’espace et dans le temps en limitant le nombre d’images et la distance spatiale les séparant. Nous présentons deux nouveaux algorithmes, DYPLAGRAM qui utilise la contrainte temporelle pour limiter le nombre de motifs extraits, et DYPLAGRAM_ST qui extrait efficacement des motifs spatio-temporels fréquents depuis les bases de données représentant les vidéos. Dans le domaine du suivi d’objets, nos contributions consistent en deux approches utilisant les motifs spatio-temporels pour suivre les objets principaux dans les vidéos. La première est basée sur une recherche du chemin de poids minimum dans un graphe connectant les motifs spatio-temporels tandis que l’autre est basée sur une méthode de clustering permettant de regrouper les motifs pour suivre les objets plus longtemps. Nous présentons aussi deux applications industrielles de notre méthod

Développement d une méthodologie d'exploitation des images témoins en science forensique

Cette thèse de doctorat propose une méthodologie qui met en valeur le potentiel latent de l'image témoin pour la reconstruction forensique d'un évènement. Les images témoins englobent toutes les images liées à un évènement, qu'elles proviennent de systèmes de surveillance, de témoins, de protagonistes ou des premier s intervenants. De nature ambigüe, elles constituent une mémoire de ce qui se déroule avant, pendant et après un évènement. Elles sont décomposées en traces visuelles et auditives de l'évènement ainsi qu'en traces du système d'enregistrement. Omniprésentes dans les enquêtes actuelles, leur utilisation pose plusieurs défis : les intégrer à l'enquête pour obtenir des indices et des moyens de preuve ; exploiter tout leur potentiel lorsque l'évènement a une certaine durée et qu'une masse d'images doit être gérée ; combiner des photographies et des vidéos enregistrées par plusieurs appareils, fixes et mobiles. En vue d'amener des solutions concrètes à ces défis, cette recherche s'applique à formaliser l'exploitation des images témoins pour reconstruire des activités criminelles de manière efficiente. La première étape de recherche consiste en une revue de la littérature sur l'utilisation des images en science forensique et les bonnes pratiques, avec une réflexion sur le rôle des images. La seconde étape formalise une méthodologie appliquée, construite sur la base des cas pratiques traités par le chercheur . La troisième étape explore les expériences de praticiens suisses et européens à l'aide d'entretiens individuels et de groupe pour co-construire une méthodologie partagée. La quatrième étape confronte ces manières d'exploiter les images témoins pour proposer une méthodologie consolidée. Cette méthodologie amène une solution structurée pour gérer les questions, les informations et le matériel d'une affaire litigieuse. Elle intègre graduellement les images qui proviennent de différents appareils et permet d'obtenir des informations mesurables sur la réalité spatiale et le déroulement chronologique. La recherche a permis de mettre en avant plusieurs niveaux d'observation, d'exploitation et de communication qui combinent des traces fragmentaires, illisibles ou ambigües pour révéler des informations nouvelles. Ces nouveaux indices peuvent amener les enquêteurs et les magistrats à ajuster le périmètre et la fenêtre temporelle de 1'affaire, générer des hypothèses sur le déroulement des actions et interactions des protagonistes ou des témoins et modifier la direction de 1'enquête. La plus-value amenée par la reconstruction 3D, la chronologie ou les indices sonores devient plus explicite pour les praticiens et les parties prenantes de l'enquête. Le fait de percevoir ce potentiel latent des images constitue un nouveau paradigm e. Le potentiel de reconstruction des images est anticipé ; l'observation des images change. Les enjeux pour l'avenir sont de renforcer l'intégration des nouvelles technologies de l'image tout en développant l'accès à une reconstruction ouverte lors de l'enquête et du procès. Un tel accès permettrait aux parties de formuler et d'apprécier leurs propres hypothèses sur le déroulement de l'évènement

Les signatures neurobiologiques de la conscience

Dans le cadre de ses activités scientifiques, l’Académie Européenne Interdisciplinaire des Sciences a réuni durant la période 2016-2018, par l’intermédiaire de séminaires, conférences et colloque, divers spécialistes travaillant dans les domaines des neurosciences, de la psychologie cognitive, de l’intelligence artificielle, ou encore réfléchissant aux impacts sociétaux des avancées obtenues. Cet ouvrage est le fruit de toutes ces contributions et a pour ambition de présenter un certain nombre de résultats, de perspectives actuellement discernables, de points de vue concernant l’état des connaissances dans ces domaines avec un lien, parfois direct, parfois implicite, avec la question de la conscience. Une introduction générale, rédigée par le comité de lecture de l’AEIS, rappelle le contexte de l’émergence de ces résultats, perspectives et points de vue, dont le lecteur prendra connaissance dans le corps de l’ouvrage, qui comporte quatre parties : Travaux en neurosciences et psychologie expérimentale. Sciences cognitives et intelligence artificielle. Réflexions sur l’intelligence, la conscience et l’impact de l’IA sur les activités humaines. Synthèse des discussions de la table ronde tenue à l’issue du colloque de mars 2018. Un court épilogue rédigé par le comité de lecture met en avant des réflexions et questions qu’ont soulevé la lecture des différents chapitres de l’ouvrage et la prise de connaissance d’articles scientifiques foisonnants sur les travaux actuels pluridisciplinaires autour des interrogations liées à la conscience au sens large

Cognition et sclérose en plaques : développement de nouveaux outils d’évaluation « écologique » en réalité virtuelle et d'un programme spécifique de réhabilitation, caractérisation de l’humeur dépressive, évaluation de la qualité de vie et apport de l’imagerie cérébrale à l'étude de la réhabilitation.

The purpose of this work is to better understand the cognitive and brain changes associated with multiple sclerosis and the influencing factors to help improve cognitive support for people living with MS. We organized our work according to two axes. The first one was to optimize cognitive assessments. We have shown i) a decrease in quality of life (QoL) linked to cognitive impairment and its impact on the professional status and ii) interest in the use of Depressed Mood Scale self-questionnaire that we validated and whose lack of emotional control dimension was particularly associated with QoL. We also developed ecological tasks in virtual environment and showed their potential to evaluate several cognitive components or their interactions, suggesting an interest in evaluating the functional impact of cognitive impairment in daily activities of PwMS. The second, for which we presented the theoretical basis, methodology and preliminary results, was to improve cognitive care through its assessment and rehabilitation (REACTIV study in progress). We created fMRI paradigms and a specific rehabilitation program to guide brain plasticity phenomena in order to optimize the transfer of training in daily life and improve QoL. Preliminary results in multimodal imaging revealed MRI measures of two structures, the thalamus and the corpus callosum, which would be predictive of progression of certain cognitive performance during our therapies.L’objet de ce travail est de mieux comprendre les modifications cognitives et cérébrales liées à la sclérose en plaques (SEP) et les facteurs pouvant les affecter afin de contribuer à améliorer la prise en charge cognitive des personnes vivant avec une SEP. Nous avons orienté nos travaux selon 2 axes. Le premier visait à optimiser les évaluations cognitives. Nous avons montré une diminution de la qualité de vie (QdV) liée à l’atteinte cognitive et à son retentissement sur le statut professionnel, ainsi que l’intérêt d’utiliser l’Echelle d’Humeur Dépressive version auto-questionnaire que nous avons validée et dont la dimension « perte de contrôle émotionnel » était particulièrement associée à la QdV. Nous avons aussi élaboré des tâches « écologiques » en environnement virtuel et montré leur potentiel à évaluer plusieurs composantes cognitives, voire leurs interactions, suggérant leur intérêt pour évaluer l’impact des troubles cognitifs dans les activités quotidiennes. Le second, pour lequel nous avons présenté les bases théoriques, la méthodologie et les résultats préliminaires, consistait à améliorer la prise en charge cognitive grâce à son évaluation et à la réhabilitation (étude REACTIV, en cours). Nous avons créé des paradigmes en IRMf et un programme de réhabilitation spécifique visant à guider les phénomènes de plasticité cérébrale afin d’optimiser le transfert des acquis dans la vie quotidienne et améliorer la QdV. Lors des résultats préliminaires, nous avons identifié en imagerie multimodale des mesures IRM de deux structures prédictives de la progression de certaines performances cognitives au cours de nos thérapies : le thalamus et le corps calleux