Reconnaissance Biométrique par Fusion Multimodale de Visages

Biometric systems are considered to be one of the most effective methods of protecting and securing private or public life against all types of theft. Facial recognition is one of the most widely used methods, not because it is the most efficient and reliable, but rather because it is natural and non-intrusive and relatively accepted compared to other biometrics such as fingerprint and iris. The goal of developing biometric applications, such as facial recognition, has recently become important in smart cities. Over the past decades, many techniques, the applications of which include videoconferencing systems, facial reconstruction, security, etc. proposed to recognize a face in a 2D or 3D image. Generally, the change in lighting, variations in pose and facial expressions make 2D facial recognition less than reliable. However, 3D models may be able to overcome these constraints, except that most 3D facial recognition methods still treat the human face as a rigid object. This means that these methods are not able to handle facial expressions. In this thesis, we propose a new approach for automatic face verification by encoding the local information of 2D and 3D facial images as a high order tensor. First, the histograms of two local multiscale descriptors (LPQ and BSIF) are used to characterize both 2D and 3D facial images. Next, a tensor-based facial representation is designed to combine all the features extracted from 2D and 3D faces. Moreover, to improve the discrimination of the proposed tensor face representation, we used two multilinear subspace methods (MWPCA and MDA combined with WCCN). In addition, the WCCN technique is applied to face tensors to reduce the effect of intra-class directions using a normalization transform, as well as to improve the discriminating power of MDA. Our experiments were carried out on the three largest databases: FRGC v2.0, Bosphorus and CASIA 3D under different facial expressions, variations in pose and occlusions. The experimental results have shown the superiority of the proposed approach in terms of verification rate compared to the recent state-of-the-art method

Optimisation des Systèmes Multimodaux pour l’Identification dans l’Imagerie

Parmi les médias les plus populaires qui ont pris une place incontournable pour le développement des systèmes de reconnaissances biométriques en général et les systèmes de la reconnaissance de visage en particulier on trouve l’Image. L’une des utilisations les plus courantes des images est l’identification/vérification en biométrie qui connaît un intérêt grandissant depuis quelques années. L’efficacité des techniques d’identification en imagerie est aujourd’hui très fortement liée à des contraintes fortes imposées à l’utilisateur. Une voie de recherche actuelle se tourne donc vers la gestion de situations où l’acquisition des données est moins contrainte. Finalement, l’usage d’une seule modalité est souvent limité en termes de performance ou de difficultés d’usage, c’est pourquoi il apparaît intéressant d’évaluer l’apport de la multi-modalité dans ce contexte. L’objectif de la thèse est de mener un travail pour poursuivre une recherche tournée à la fois vers les techniques d’optimisation basées d’une part sur les descripteurs hybrides et les patchs ainsi que leurs techniques de fusions, et d’autre part sur le Deep Learning (Transfer Learning). Nous nous intéressons plus particulièrement à l’image du visage et nos approches sont validées sur plusieurs bases de données universelles pour défier tous les aléas d’acquisition et d’environnements non contrôlés

Représentation et reconnaissance des signaux acoustiques sous-marins

This thesis aims to identify and develop new representation methods of the underwater acoustic signals. Ourgoal is to interpret, recognize and automatically identify underwater signals from sonar system. The idea hereis not to replace the machine petty officer, whose experience and hearing finesse make it indispensable for thisposition, but to automate certain processing information to relieve the analyst and offer support to the decision.In this thesis, we are inspired by what is best in this area: the human. On board a submarine, they are experts inthe analysis of sounds that are entrusted to the listening task signals to identify suspicious sounds. Whatinterests us is the ability of the human to determine the class of a sound signal on the basis of his hearing.Indeed, the human ear has the power to differentiate two distinct sounds through psychoacoustic perceptualcriteria such as tone, pitch, intensity. The operator is also helped by representations of the sound signal in thetime-frequency plane coming displayed on the workstation. So we designed a representation that approximatesthe physiology of the human ear, i.e how humans hear and perceive frequencies. To construct thisrepresentation space, we will use an algorithm that we called the Hearingogram and a denoised version theDenoised Hearingoram. All these representations will input an automatic identification system, which wasdesigned during this thesis and is based on the use of SVM.Cette thèse a pour but de définir et concevoir de nouvelles techniques de représentation des signauxacoustiques sous-marins. Notre objectif est d’interpréter, reconnaître et identifier de façon automatique lessignaux sous-marins émanant du système sonar. L’idée ici n’est pas de substituer la machine à l’officiermarinier, dont l’expérience et la finesse d’ouïe le rendent indispensable à ce poste, mais d’automatiser certainstraitements de l’information pour soulager l’analyste et lui offrir une aide à la décision.Dans cette thèse, nous nous inspirons de ce qui se fait de mieux dans ce domaine : l’humain. A bord d’un sousmarin,ce sont des experts de l’analyse des sons à qui l’on confie la tâche d'écoute des signaux afin de repérerles sons suspects. Ce qui nous intéresse, c’est cette capacité de l’humain à déterminer la classe d’un signalsonore sur la base de son acuité auditive. En effet, l’oreille humaine a le pouvoir de différencier deux sonsdistincts à travers des critères perceptuels psycho-acoustiques tels que le timbre, la hauteur, l’intensité.L’opérateur est également aidé par des représentations du signal sonore dans le plan temps-fréquence quiviennent s’afficher sur son poste de travail. Ainsi nous avons conçu une représentation qui se rapproche de laphysiologie de l’oreille humaine, autrement dit de la façon dont l’homme entend et perçoit les fréquences. Pourconstruire cet espace de représentation, nous utiliserons un algorithme que nous avons appelé l’Hearingogramet sa version débruitée le Denoised Hearingoram. Toutes ces représentations seront en entrée d’un systèmed’identification automatique, qui a été conçu durant cette thèse et qui est basé sur l’utilisation des SVM

Concept lattices : a tool for primitives selection ?

In this paper, we present the problem of noisy images recognition and in particular the stage of primitives selection in a classification process. This selection stage appears after segmentation and statistical describers extraction on documentary images are realized. We describe precisely the use of decision tree in order to harmonize and compare it with another less studied method based on a concept lattice.Dans ce papier, nous présentons la problématique de la reconnaissance d'images détériorées et plus particulièrement l'étape de sélection de primitives au sein d'un traitement de classification supervisée. Cette étape de sélection a lieu après que la segmentation et l'extraction des descripteurs statistiques sur des images documentaires aient été réalisées. Nous exposons en détail l'utilisation d'un arbre de décision, afin de l'harmoniser puis la comparer avec une approche moins étudiée utilisant un treillis de Galois

Fusion pour la séparation de sources audio

Underdetermined blind source separation is a complex mathematical problem that can be satisfyingly resolved for some practical applications, providing that the right separation method has been selected and carefully tuned. In order to automate this selection process, we propose in this thesis to resort to the principle of fusion which has been widely used in the related field of classification yet is still marginally exploited in source separation. Fusion consists in combining several methods to solve a given problem instead of selecting a unique one. To do so, we introduce a general fusion framework in which a source estimate is expressed as a linear combination of estimates of this same source given by different separation algorithms, each source estimate being weighted by a fusion coefficient. For a given task, fusion coefficients can then be learned on a representative training dataset by minimizing a cost function related to the separation objective. To go further, we also propose two ways to adapt the fusion coefficients to the mixture to be separated. The first one expresses the fusion of several non-negative matrix factorization (NMF) models in a Bayesian fashion similar to Bayesian model averaging. The second one aims at learning time-varying fusion coefficients thanks to deep neural networks. All proposed methods have been evaluated on two distinct corpora. The first one is dedicated to speech enhancement while the other deals with singing voice extraction. Experimental results show that fusion always outperform simple selection in all considered cases, best results being obtained by adaptive time-varying fusion with neural networks.La séparation aveugle de sources audio dans le cas sous-déterminé est un problème mathématique complexe dont il est aujourd'hui possible d'obtenir une solution satisfaisante, à condition de sélectionner la méthode la plus adaptée au problème posé et de savoir paramétrer celle-ci soigneusement. Afin d'automatiser cette étape de sélection déterminante, nous proposons dans cette thèse de recourir au principe de fusion. L'idée est simple : il s'agit, pour un problème donné, de sélectionner plusieurs méthodes de résolution plutôt qu'une seule et de les combiner afin d'en améliorer la solution. Pour cela, nous introduisons un cadre général de fusion qui consiste à formuler l'estimée d'une source comme la combinaison de plusieurs estimées de cette même source données par différents algorithmes de séparation, chaque estimée étant pondérée par un coefficient de fusion. Ces coefficients peuvent notamment être appris sur un ensemble d'apprentissage représentatif du problème posé par minimisation d'une fonction de coût liée à l'objectif de séparation. Pour aller plus loin, nous proposons également deux approches permettant d'adapter les coefficients de fusion au signal à séparer. La première formule la fusion dans un cadre bayésien, à la manière du moyennage bayésien de modèles. La deuxième exploite les réseaux de neurones profonds afin de déterminer des coefficients de fusion variant en temps. Toutes ces approches ont été évaluées sur deux corpus distincts : l'un dédié au rehaussement de la parole, l'autre dédié à l'extraction de voix chantée. Quelle que soit l'approche considérée, nos résultats montrent l'intérêt systématique de la fusion par rapport à la simple sélection, la fusion adaptative par réseau de neurones se révélant être la plus performante

Extraction de relations en domaine de spécialité

La quantité d'information disponible dans le domaine biomédical ne cesse d'augmenter. Pour que cette information soit facilement utilisable par les experts d'un domaine, il est nécessaire de l'extraire et de la structurer. Pour avoir des données structurées, il convient de détecter les relations existantes entre les entités dans les textes. Nos recherches se sont focalisées sur la question de l'extraction de relations complexes représentant des résultats expérimentaux, et sur la détection et la catégorisation de relations binaires entre des entités biomédicales. Nous nous sommes intéressée aux résultats expérimentaux présentés dans les articles scientifiques. Nous appelons résultat expérimental, un résultat quantitatif obtenu suite à une expérience et mis en relation avec les informations permettant de décrire cette expérience. Ces résultats sont importants pour les experts en biologie, par exemple pour faire de la modélisation. Dans le domaine de la physiologie rénale, une base de données a été créée pour centraliser ces résultats d'expérimentation, mais l'alimentation de la base est manuelle et de ce fait longue. Nous proposons une solution pour extraire automatiquement des articles scientifiques les connaissances pertinentes pour la base de données, c'est-à-dire des résultats expérimentaux que nous représentons par une relation n-aire. La méthode procède en deux étapes : extraction automatique des documents et proposition de celles-ci pour validation ou modification par l'expert via une interface. Nous avons également proposé une méthode à base d'apprentissage automatique pour l'extraction et la classification de relations binaires en domaine de spécialité. Nous nous sommes intéressée aux caractéristiques et variétés d'expressions des relations, et à la prise en compte de ces caractéristiques dans un système à base d'apprentissage. Nous avons étudié la prise en compte de la structure syntaxique de la phrase et la simplification de phrases dirigée pour la tâche d'extraction de relations. Nous avons en particulier développé une méthode de simplification à base d'apprentissage automatique, qui utilise en cascade plusieurs classifieurs.The amount of available scientific literature is constantly growing. If the experts of a domain want to easily access this information, it must be extracted and structured. To obtain structured data, both entities and relations of the texts must be detected. Our research is about the problem of complex relation extraction which represent experimental results, and detection and classification of binary relations between biomedical entities. We are interested in experimental results presented in scientific papers. An experimental result is a quantitative result obtained by an experimentation and linked with information that describes this experimentation. These results are important for biology experts, for example for doing modelization. In the domain of renal physiology, a database was created to centralize these experimental results, but the base is manually populated, therefore the population takes a long time. We propose a solution to automatically extract relevant knowledge for the database from the scientific papers, that is experimental results which are represented by a n-ary relation. The method proceeds in two steps: automatic extraction from documents and proposal of information extracted for approval or modification by the experts via an interface. We also proposed a method based on machine learning for extraction and classification of binary relations in specialized domains. We focused on the variations of the expression of relations, and how to represent them in a machine learning system. We studied the way to take into account syntactic structure of the sentence and the sentence simplification guided by the task of relation extraction. In particular, we developed a simplification method based on machine learning, which uses a series of classifiers.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Catégorisation par mesures de dissimilitude et caractérisation d'images en multi échelle

Dans cette thèse, on introduit la métrique "Coefficient de forme" pour la classement des données de dissimilitudes. Cette approche est inspirée par l'analyse discriminante géométrique et on a défini des règles de décision pour imiter le comportement du classifieur linéaire et quadratique. Le nombre de paramètres est limité (deux par classe). On a également étendu et amélioré cette démarche avantageuse et rapide pour apprendre uniquement à partir des représentations de dissimilitudes en utilisant l'efficacité du classificateur des Machines à Vecteurs de Support. Comme contexte applicatif pour la classification par dissimilitudes, on utilise la recherche d'images à l'aide d'une représentation des images en multi échelle en utilisant la "Pyramide Réduite Différentielle". Une application pour la description de visages est développée. Des résultats de classification à partir du coefficient de forme et utilisant une version adaptée des Machines à Vecteurs de Support, sur des bases de données issues des applications du monde réel sont présentés et comparés avec d'autres méthodes de classement basées sur des dissimilitudes. Il en ressort une forte robustesse de la méthode proposée avec des perfommances supérieures ou égales aux algorithmes de l'état de l'art.The dissimilarity representation is an alternative for the use of features in the recognition of real world objects like images, spectra and time-signal. Instead of an absolute characterization of objects by a set of features, the expert or the system is asked to define a measure that estimates the dissimilarity between pairs of objects. Such a measure may also be defined for structural representations such as strings and graphs. The dissimilarity representation is potentially able to bridge structural and statistical pattern recognition. In this thesis we introduce a new fast Mahalanobis-like metric the Shape Coefficient for classification of dissimilarity data. Our approach is inspired by the Geometrical Discriminant Analysis and we have defined decision rules to mimic the behavior of the linear and quadratic classifier. The number of parameters is limited (two per class). We also expand and ameliorate this advantageous and rapid adaptive approach to learn only from dissimilarity representations by using the effectiveness of the Support Vector Machines classifier for real-world classification tasks. Several methods for incorporating dissimilarity representations are presented, investigated and compared to the Shape Coefficient in this thesis: Pekalska and Duin prototype dissimilarity based classifiers; Haasdonk's kernel based SVM classifier; KNN classifier. Numerical experiments on artificial and real data show interesting behavior compared to Support Vector Machines and to KNN classifier: (a) lower or equivalent error rate, (b) equivalent CPU time, (c) more robustness with sparse dissimilarity data. The experimental results on real world dissimilarity databases show that the Shape Coefficient can be an alternative approach to these known methods and can be as effective as them in terms of accuracy for classification.SAVOIE-SCD - Bib.électronique (730659901) / SudocGRENOBLE1/INP-Bib.électronique (384210012) / SudocGRENOBLE2/3-Bib.électronique (384219901) / SudocSudocFranceF

Contribution au pronostic de défaut dans les systèmes complexes par les techniques intelligentes

Nous avons présenté une nouvelle approche basée sur l'utilisation d'une méthode guidée par les données pour le pronostic des défauts. Cette méthode requiert des données décrivant le processus de dégradation. Lorsque les données sont insuffisantes, la prédiction des états devient difficile avec les modèles profonds de type mémoire à long terme (LSTM), qui nécessitent une quantité importante de données d'apprentissage. Pour résoudre ce problème de rareté des données dans la prédiction de la durée de vie restante (RUL), nous proposons d'adopter une stratégie d'augmentation des données. Les résultats obtenus sont démontrent que l'application d'une stratégie d'augmentation des données, peut améliorer les performances de prédiction de la RUL en utilisant les techniques LSTM. Nous avons validé cette approche en utilisant les données de la NASA Commercial Modular Aero-Propulsion System Simulation (C-MAPPS)

Techniques d'analyse de contenu appliquées à l'imagerie spatiale

Depuis les années 1970, la télédétection a permis d’améliorer l’analyse de la surface de la Terre grâce aux images satellites produites sous format numérique. En comparaison avec les images aéroportées, les images satellites apportent plus d’information car elles ont une couverture spatiale plus importante et une période de revisite courte. L’essor de la télédétection a été accompagné de l’émergence des technologies de traitement qui ont permis aux utilisateurs de la communauté d’analyser les images satellites avec l’aide de chaînes de traitement de plus en plus automatiques. Depuis les années 1970, les différentes missions d’observation de la Terre ont permis d’accumuler une quantité d’information importante dans le temps. Ceci est dû notamment à l’amélioration du temps de revisite des satellites pour une même région, au raffinement de la résolution spatiale et à l’augmentation de la fauchée (couverture spatiale d’une acquisition). La télédétection, autrefois cantonnée à l’étude d’une seule image, s’est progressivement tournée et se tourne de plus en plus vers l’analyse de longues séries d’images multispectrales acquises à différentes dates. Le flux annuel d’images satellite est supposé atteindre plusieurs Péta octets prochainement. La disponibilité d’une si grande quantité de données représente un atout pour développer de chaines de traitement avancées. Les techniques d’apprentissage automatique beaucoup utilisées en télédétection se sont beaucoup améliorées. Les performances de robustesse des approches classiques d’apprentissage automatique étaient souvent limitées par la quantité de données disponibles. Des nouvelles techniques ont été développées pour utiliser efficacement ce nouveau flux important de données. Cependant, la quantité de données et la complexité des algorithmes mis en place nécessitent une grande puissance de calcul pour ces nouvelles chaînes de traitement. En parallèle, la puissance de calcul accessible pour le traitement d’images s’est aussi accrue. Les GPUs («Graphic Processing Unit ») sont de plus en plus utilisés et l’utilisation de cloud public ou privé est de plus en plus répandue. Désormais, pour le traitement d’images, toute la puissance nécessaire pour les chaînes de traitements automatiques est disponible à coût raisonnable. La conception des nouvelles chaînes de traitement doit prendre en compte ce nouveau facteur. En télédétection, l’augmentation du volume de données à exploiter est devenue une problématique due à la contrainte de la puissance de calcul nécessaire pour l’analyse. Les algorithmes de télédétection traditionnels ont été conçus pour des données pouvant être stockées en mémoire interne tout au long des traitements. Cette condition est de moins en moins respectée avec la quantité d’images et leur résolution. Les algorithmes de télédétection traditionnels nécessitent d’être revus et adaptés pour le traitement de données à grande échelle. Ce besoin n’est pas propre à la télédétection et se retrouve dans d’autres secteurs comme le web, la médecine, la reconnaissance vocale,… qui ont déjà résolu une partie de ces problèmes. Une partie des techniques et technologies développées par les autres domaines doivent encore être adaptées pour être appliquée aux images satellites. Cette thèse se focalise sur les algorithmes de télédétection pour le traitement de volumes de données massifs. En particulier, un premier algorithme existant d’apprentissage automatique est étudié et adapté pour une implantation distribuée. L’objectif de l’implantation est le passage à l’échelle c’est-à-dire que l’algorithme puisse traiter une grande quantité de données moyennant une puissance de calcul adapté. Enfin, la deuxième méthodologie proposée est basée sur des algorithmes récents d’apprentissage automatique les réseaux de neurones convolutionnels et propose une méthodologie pour les appliquer à nos cas d’utilisation sur des images satellites