Fusion d'Experts pour une Biométrie Faciale 3D Robuste aux Déformations

Session "Posters"National audienceNous étudions dans cet article l'apport de la géométrie tridimensionnelle du visage dans la reconnaissance des individus. La principale contribution est d'associer plusieurs experts (matcheurs) de biométrie faciale 3D afin d'achever de meilleures performances comparées aux performances individuelles de chacun, notamment en présence d'expressions. Les experts utilisés sont : (E1) Courbes radiales élastiques, (E2) MS-eLBP, une version étendue multi-échelle de l'opérateur LBP, (E3) l'algorithme de recalage non-rigide TPS, en plus d'un expert de référence (Eref) l'algorithme de recalage rigide connu ICP. Profitant de la complémentarité de chacun des experts, la présente approche affiche un taux d'identification qui dépasse les 99% en présence d'expressions faciales sur la base FRGCv2. Une étude comparative avec l'état de l'art confirme le choix et l'intérêt de combiner plusieurs experts afin d'achever de meilleurs performance

Optimisation de stratégies de fusion pour la reconnaissance de visages 3D.

Face recognition (FR) was one of the motivations of computer vision for a long time, but only in recent years reliable automatic face recognition has become a realistic target of biometrics research. This interest is motivated by several reasons. First, the face is one of the most preferable biometrics for person identification and verification related applications, because it is natural, non-intrusive, and socially well accepted. The second reason relates to the challenges encountered in the FR domain, in which all human faces are similar to each other and hence offer low distinctiveness as compared with other biometrics, e.g., fingerprints and irises. Furthermore, when employing facial texture images, intra-class variations due to various factors as illumination and pose changes are usually greater than inter-class ones, preventing 2D face recognition systems from being completely reliable in real conditions.Recent, 3D acquisition systems are capable to capture the shape information of objects. Thus, 3D face recognition (3D FR) has been extensively investigated by the research community to deal with the unsolved issues in 2D face recognition, i.e., illumination and pose changes. Indeed, 3D cameras generally deliver the 3D scans of faces with their aligned texture images. 3D FR can benefit from the fusion of 2D texture and 3D shape information.This Ph.D thesis is dedicated to the optimization of fusion strategies based on three dimensional data. However, there are some problems. Indeed, since the 3D face scans provide both the facial surfaces for the 3D model and 2D texture images, the number of fusion method is high.In the literature, many fusion strategies exist that have been proposed for 3D face recognition. We can roughly classify the fusion strategies into two categories: early fusion and late fusion. Some intermediate strategies such as serial fusion and multi-level fusion have been proposed as well. Meanwhile, the search for an optimal fusion scheme remains extraordinarily complex because the cardinality of the space of possible fusion strategies. It is exponentially proportional to the number of competing features and classifiers. Thus, we require fusion technique to efficiently manage all these features and classifiers that constitute our contribution in this work. In addition, the optimality criteria of fusion strategies remain critical issues. By definition, an optimal fusion strategy is able to integrate and take advantage from different data.To overcome all these difficulties and propose an optimized solution, we adopted the following reflection. [...]La reconnaissance faciale (RF) est un domaine de recherche très actif en raison de ses nombreuses applications dans le domaine de la vision par ordinateur en général et en biométrie en particulier. Cet intérêt est motivé par plusieurs raisons. D'abord, le visage est universel. Ensuite, il est le moyen le plus naturel par les êtres humains de s'identifier les uns des autres. Enfin, le visage en tant que modalité biométrique est présente un caractère non intrusif, ce qui le distingue d'autres modalités biométriques comme l'iris ou l'emprunte digitale. La RF représente aussi des défis scientifiques importants. D'abord parce que tous les visages humains ont des configurations similaires. Ensuite, avec les images faciales 2D que l'on peut acquérir facilement, la variation intra-classe, due à des facteurs comme le changement de poses et de conditions d'éclairage, les variations d'expressions faciales, le vieillissement, est bien plus importante que la variation inter-classe.Avec l'arrivée des systèmes d'acquisition 3D capables de capturer la profondeur d'objets, la reconnaissance faciale 3D (RF 3D) a émergé comme une voie prometteuse pour traiter les deux problèmes non résolus en 2D, à savoir les variations de pose et d'éclairage. En effet, les caméras 3D délivrent généralement les scans 3D de visages avec leurs images de texture alignées. Une solution en RF 3D peut donc tirer parti d'une fusion avisée d'informations de forme en 3D et celles de texture en 2D. En effet, étant donné que les scans 3D de visage offrent à la fois les surfaces faciales pour la modalité 3D pure et les images de texture 2D alignées, le nombre de possibilités de fusion pour optimiser le taux de reconnaissance est donc considérable. L'optimisation de stratégies de fusion pour une meilleure RF 3D est l'objectif principal de nos travaux de recherche menés dans cette thèse.Dans l'état d'art, diverses stratégies de fusion ont été proposées pour la reconnaissance de visages 3D, allant de la fusion précoce "early fusion" opérant au niveau de caractéristiques à la fusion tardive "late fusion" sur les sorties de classifieurs, en passant par de nombreuses stratégies intermédiaires. Pour les stratégies de fusion tardive, nous distinguons encore des combinaisons en parallèle, en cascade ou multi-niveaux. Une exploration exhaustive d'un tel espace étant impossible, il faut donc recourir à des solutions heuristiques qui constituent nos démarches de base dans le cadre des travaux de cette thèse.En plus, en s'inscrivant dans un cadre de systèmes biométriques, les critères d'optimalité des stratégies de fusion restent des questions primordiales. En effet, une stratégie de fusion est dite optimisée si elle est capable d'intégrer et de tirer parti des différentes modalités et, plus largement, des différentes informations extraites lors du processus de reconnaissance quelque soit leur niveau d'abstraction et, par conséquent, de difficulté.Pour surmonter toutes ces difficultés et proposer une solution optimisée, notre démarche s'appuie d'une part sur l'apprentissage qui permet de qualifier sur des données d'entrainement les experts 2D ou 3D, selon des critères de performance comme ERR, et d'autre part l'utilisation de stratégie d'optimisation heuristique comme le recuit simulé qui permet d'optimiser les mélanges des experts à fusionner. [...

Optimisation de stratégies de fusion pour la reconnaissance de visages 3D.

Face recognition (FR) was one of the motivations of computer vision for a long time, but only in recent years reliable automatic face recognition has become a realistic target of biometrics research. This interest is motivated by several reasons. First, the face is one of the most preferable biometrics for person identification and verification related applications, because it is natural, non-intrusive, and socially well accepted. The second reason relates to the challenges encountered in the FR domain, in which all human faces are similar to each other and hence offer low distinctiveness as compared with other biometrics, e.g., fingerprints and irises. Furthermore, when employing facial texture images, intra-class variations due to various factors as illumination and pose changes are usually greater than inter-class ones, preventing 2D face recognition systems from being completely reliable in real conditions.Recent, 3D acquisition systems are capable to capture the shape information of objects. Thus, 3D face recognition (3D FR) has been extensively investigated by the research community to deal with the unsolved issues in 2D face recognition, i.e., illumination and pose changes. Indeed, 3D cameras generally deliver the 3D scans of faces with their aligned texture images. 3D FR can benefit from the fusion of 2D texture and 3D shape information.This Ph.D thesis is dedicated to the optimization of fusion strategies based on three dimensional data. However, there are some problems. Indeed, since the 3D face scans provide both the facial surfaces for the 3D model and 2D texture images, the number of fusion method is high.In the literature, many fusion strategies exist that have been proposed for 3D face recognition. We can roughly classify the fusion strategies into two categories: early fusion and late fusion. Some intermediate strategies such as serial fusion and multi-level fusion have been proposed as well. Meanwhile, the search for an optimal fusion scheme remains extraordinarily complex because the cardinality of the space of possible fusion strategies. It is exponentially proportional to the number of competing features and classifiers. Thus, we require fusion technique to efficiently manage all these features and classifiers that constitute our contribution in this work. In addition, the optimality criteria of fusion strategies remain critical issues. By definition, an optimal fusion strategy is able to integrate and take advantage from different data.To overcome all these difficulties and propose an optimized solution, we adopted the following reflection. [...]La reconnaissance faciale (RF) est un domaine de recherche très actif en raison de ses nombreuses applications dans le domaine de la vision par ordinateur en général et en biométrie en particulier. Cet intérêt est motivé par plusieurs raisons. D'abord, le visage est universel. Ensuite, il est le moyen le plus naturel par les êtres humains de s'identifier les uns des autres. Enfin, le visage en tant que modalité biométrique est présente un caractère non intrusif, ce qui le distingue d'autres modalités biométriques comme l'iris ou l'emprunte digitale. La RF représente aussi des défis scientifiques importants. D'abord parce que tous les visages humains ont des configurations similaires. Ensuite, avec les images faciales 2D que l'on peut acquérir facilement, la variation intra-classe, due à des facteurs comme le changement de poses et de conditions d'éclairage, les variations d'expressions faciales, le vieillissement, est bien plus importante que la variation inter-classe.Avec l'arrivée des systèmes d'acquisition 3D capables de capturer la profondeur d'objets, la reconnaissance faciale 3D (RF 3D) a émergé comme une voie prometteuse pour traiter les deux problèmes non résolus en 2D, à savoir les variations de pose et d'éclairage. En effet, les caméras 3D délivrent généralement les scans 3D de visages avec leurs images de texture alignées. Une solution en RF 3D peut donc tirer parti d'une fusion avisée d'informations de forme en 3D et celles de texture en 2D. En effet, étant donné que les scans 3D de visage offrent à la fois les surfaces faciales pour la modalité 3D pure et les images de texture 2D alignées, le nombre de possibilités de fusion pour optimiser le taux de reconnaissance est donc considérable. L'optimisation de stratégies de fusion pour une meilleure RF 3D est l'objectif principal de nos travaux de recherche menés dans cette thèse.Dans l'état d'art, diverses stratégies de fusion ont été proposées pour la reconnaissance de visages 3D, allant de la fusion précoce "early fusion" opérant au niveau de caractéristiques à la fusion tardive "late fusion" sur les sorties de classifieurs, en passant par de nombreuses stratégies intermédiaires. Pour les stratégies de fusion tardive, nous distinguons encore des combinaisons en parallèle, en cascade ou multi-niveaux. Une exploration exhaustive d'un tel espace étant impossible, il faut donc recourir à des solutions heuristiques qui constituent nos démarches de base dans le cadre des travaux de cette thèse.En plus, en s'inscrivant dans un cadre de systèmes biométriques, les critères d'optimalité des stratégies de fusion restent des questions primordiales. En effet, une stratégie de fusion est dite optimisée si elle est capable d'intégrer et de tirer parti des différentes modalités et, plus largement, des différentes informations extraites lors du processus de reconnaissance quelque soit leur niveau d'abstraction et, par conséquent, de difficulté.Pour surmonter toutes ces difficultés et proposer une solution optimisée, notre démarche s'appuie d'une part sur l'apprentissage qui permet de qualifier sur des données d'entrainement les experts 2D ou 3D, selon des critères de performance comme ERR, et d'autre part l'utilisation de stratégie d'optimisation heuristique comme le recuit simulé qui permet d'optimiser les mélanges des experts à fusionner. [...

Une approche multimodale pour la reconnaissance du visage inspirée d’une méthodologie anthropométrique

International audienceCet article présente une nouvelle approche multimodale et hybride de reconnaissance de visage inspirée par une méthodologie anthropométrique. De telles approches sont utilisées principalement par les experts médico-légaux pour identifier l’auteur d’un délit parmi un ensemble de suspects. L’expert possède une vidéo enregistrée au moment du délit ainsi que des clichés des suspects. Une signature invariante à la pose et aux expressions faciales est calculée à partir des points caractéristiques anthropométriques et constitue un descripteur local. Il est combiné avec les informations de couleur et de profondeur qui constituent deux descripteurs globaux. Ces trois descripteurs sont séparément redimensionnés par l’Analyse en Composantes Principales (couleur, profondeur et mesures anthropologiques) pour fournir trois scores qui sont normalisés puis combinés selon une procédure optimisée pendant la phase d’apprentissage. Les résultats des expérimentations menées sur 116 individus issus de la base FRGC1.0 montrent que les mesures anthropologiques et les informations couleur et profondeur sont complémentaires ; le taux de reconnaissance atteint de 96.12%

Adaptive Feature and Score Level Fusion Strategy Using Genetic Algorithms

International audienceClassifier fusion is considered as one of the best strategies for improving performances upon general purpose classification systems. On the other hand, fusion strategy space strongly depends on classifiers, features and data spaces. As the cardinality of this space is exponential, one needs to resort to a heuristic to find out a sub-optimal fusion strategy. In this work, we present a new adaptive feature and score level fusion strategy (AFSFS) based on adaptive genetic algorithm. AFSFS tunes itself between feature and matching score levels, and improves the final performance over the original on two levels, and as a fusion method, not only it contains fusion strategy to combine the most relevant features so as to achieve adequate and optimized results, but also has the extensive ability to select the most discriminative features. Experiments are provided on the FRGC database and show that the proposed method produces significantly better results than the baseline fusion methods

Une approche multimodale pour la reconnaissance du visage inspirée d’une méthodologie anthropométrique

International audienceCet article présente une nouvelle approche multimodale et hybride de reconnaissance de visage inspirée par une méthodologie anthropométrique. De telles approches sont utilisées principalement par les experts médico-légaux pour identifier l’auteur d’un délit parmi un ensemble de suspects. L’expert possède une vidéo enregistrée au moment du délit ainsi que des clichés des suspects. Une signature invariante à la pose et aux expressions faciales est calculée à partir des points caractéristiques anthropométriques et constitue un descripteur local. Il est combiné avec les informations de couleur et de profondeur qui constituent deux descripteurs globaux. Ces trois descripteurs sont séparément redimensionnés par l’Analyse en Composantes Principales (couleur, profondeur et mesures anthropologiques) pour fournir trois scores qui sont normalisés puis combinés selon une procédure optimisée pendant la phase d’apprentissage. Les résultats des expérimentations menées sur 116 individus issus de la base FRGC1.0 montrent que les mesures anthropologiques et les informations couleur et profondeur sont complémentaires ; le taux de reconnaissance atteint de 96.12%

Une approche multimodale pour la reconnaissance du visage inspirée d’une méthodologie anthropométrique

International audienceCet article présente une nouvelle approche multimodale et hybride de reconnaissance de visage inspirée par une méthodologie anthropométrique. De telles approches sont utilisées principalement par les experts médico-légaux pour identifier l’auteur d’un délit parmi un ensemble de suspects. L’expert possède une vidéo enregistrée au moment du délit ainsi que des clichés des suspects. Une signature invariante à la pose et aux expressions faciales est calculée à partir des points caractéristiques anthropométriques et constitue un descripteur local. Il est combiné avec les informations de couleur et de profondeur qui constituent deux descripteurs globaux. Ces trois descripteurs sont séparément redimensionnés par l’Analyse en Composantes Principales (couleur, profondeur et mesures anthropologiques) pour fournir trois scores qui sont normalisés puis combinés selon une procédure optimisée pendant la phase d’apprentissage. Les résultats des expérimentations menées sur 116 individus issus de la base FRGC1.0 montrent que les mesures anthropologiques et les informations couleur et profondeur sont complémentaires ; le taux de reconnaissance atteint de 96.12%

Comparison of 2D/3D Features and Their Adaptive Score Level Fusion for 3D Face Recognition

International audience3D face has been introduced in the literature to deal withthe unsolved issues of 2D face recognition, namely lightingand pose variations. In this paper, we study and comparethe distinctiveness of features extracted from both the registered2D face images and 3D face models. Sparse RepresentationClassifier (SRC) is exploited to calculate all similaritymeasures which are compared with the ones by abaseline of Nearest Neighbor (NN). As individual featuresof 2D and 3D are far from distinctive for discriminatinghuman faces, we further present an adaptive score level fusionstrategy for multimodal 2D-3D face recognition. Thenovel fusion strategy consists of an offline and an onlineweight learning process, both of which automatically selectthe most relevant weights of all the scores for each probeface in each modality. The weights calculated offline arebased on the EER value of each type of features, while theonline ones are dynamically obtained according to matchingscores. Both types of weights are then fused to generatea final weight. Tested on the complete FRGC v2.0dataset, the best rank-one recognition rate using only 3Dor 2D features is 79.72% and 77.89%, respectively; whilethe new proposed adaptive fusion strategy achieves 95.48%with a 97.03% verification rate at 0.001 FAR, highlightingthe benefit of exploring both 3D and 2D clues as well as theeffectiveness of our adaptive fusion strategy

Modèle de fusion de classifieurs basé sur le recuit simuléet son application à la vérification de visages en 3D

International audienceLa fusion de classifieurs est une solution efficace et séduisante permettant de générerune décision optimale à partir de plusieurs classifieurs et de surmonter les limitations dessystèmes mono-classifieur. Une telle stratégie est souvent adoptée dans des problèmes dereconnaissance variés comme par exemple la biométrie. Toutefois, la recherche d’un schéma defusion optimale n’est pas une tâche triviale. Ceci est principalement dû à la cardinalité de l’espacede recherche des stratégies de fusion qui croit de manière exponentielle avec le nombre declassifieurs. Dans cet article, nous proposons une méthode de fusion combinant 24 classifieursdifférents et utilisée pour la vérification de visages en 3D. L’optimisation de la fusion est baséesur l’algorithme de recuit simulé. Notre approche permet de sélectionner et de fusionnerautomatiquement les meilleurs scores de similarité générés par ces différents classifieurs. Lesrésultats des expérimentations menées sur la base FRGC2.0 montrent la performance et lastabilité de notre solution