Numérisation 3D de visages par une approche de super-résolution spatio-temporelle non-rigide

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l insuffisance de la texture faciale. L information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.3D face measurement is increasingly demanded for many applications such as bio-metrics, animation and facial surgery. Current solutions often employ a structured light camera/projector device to overcome the relatively uniform appearance of skin. Depth in-formation is recovered by decoding patterns of the projected structured light. One of the most widely used structured-light coding is sinusoidal phase shifting which allows a 3Ddense resolution. Current solutions mostly utilize more than three phase-shifted sinusoidal patterns to recover the depth information, thus impacting the acquisition delay. They further require projector-camera calibration whose accuracy is crucial for phase to depth estimation step. Also, they need an unwrapping stage which is sensitive to ambient light, especially when the number of patterns decreases. An alternative to projector-camera systems consists of recovering depth information by stereovision using a multi-camera system. A stereo matching step finds correspondence between stereo images and the 3D information is obtained by optical triangulation. However, the model computed in this way generally is quite sparse. To up sample and denoise depth images, researchers looked into super-resolution techniques. Super-resolution was especially proposed for time-of-flight cameras which have very low data quality and a very high random noise. This thesis proposes a3D acquisition solution with a 3D space-time non-rigid super-resolution capability, using a calibrated multi-camera system coupled with a non calibrated projector device, which is particularly suited to 3D face scanning, i.e. rapid and easily movable. The proposed solution is a hybrid stereovision and phase-shifting approach, using two shifted patterns and a texture image, which not only takes advantage of the assets of stereovision and structured light but also overcomes their weaknesses. The super-resolution scheme involves a 3D non-rigid registration for 3D artifacts correction in the presence of small non-rigid deformations as facial expressions.LYON-Ecole Centrale (690812301) / SudocSudocFranceF

Numérisation 3D de visages par une approche de super-résolution spatio-temporelle non-rigide

3D face measurement is increasingly demanded for many applications such as bio-metrics, animation and facial surgery. Current solutions often employ a structured light camera/projector device to overcome the relatively uniform appearance of skin. Depth in-formation is recovered by decoding patterns of the projected structured light. One of the most widely used structured-light coding is sinusoidal phase shifting which allows a 3Ddense resolution. Current solutions mostly utilize more than three phase-shifted sinusoidal patterns to recover the depth information, thus impacting the acquisition delay. They further require projector-camera calibration whose accuracy is crucial for phase to depth estimation step. Also, they need an unwrapping stage which is sensitive to ambient light, especially when the number of patterns decreases. An alternative to projector-camera systems consists of recovering depth information by stereovision using a multi-camera system. A stereo matching step finds correspondence between stereo images and the 3D information is obtained by optical triangulation. However, the model computed in this way generally is quite sparse. To up sample and denoise depth images, researchers looked into super-resolution techniques. Super-resolution was especially proposed for time-of-flight cameras which have very low data quality and a very high random noise. This thesis proposes a3D acquisition solution with a 3D space-time non-rigid super-resolution capability, using a calibrated multi-camera system coupled with a non calibrated projector device, which is particularly suited to 3D face scanning, i.e. rapid and easily movable. The proposed solution is a hybrid stereovision and phase-shifting approach, using two shifted patterns and a texture image, which not only takes advantage of the assets of stereovision and structured light but also overcomes their weaknesses. The super-resolution scheme involves a 3D non-rigid registration for 3D artifacts correction in the presence of small non-rigid deformations as facial expressions.La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable

Numérisation 3D de visages par une approche de super-résolution spatio-temporelle non-rigide

3D face measurement is increasingly demanded for many applications such as bio-metrics, animation and facial surgery. Current solutions often employ a structured light camera/projector device to overcome the relatively uniform appearance of skin. Depth in-formation is recovered by decoding patterns of the projected structured light. One of the most widely used structured-light coding is sinusoidal phase shifting which allows a 3Ddense resolution. Current solutions mostly utilize more than three phase-shifted sinusoidal patterns to recover the depth information, thus impacting the acquisition delay. They further require projector-camera calibration whose accuracy is crucial for phase to depth estimation step. Also, they need an unwrapping stage which is sensitive to ambient light, especially when the number of patterns decreases. An alternative to projector-camera systems consists of recovering depth information by stereovision using a multi-camera system. A stereo matching step finds correspondence between stereo images and the 3D information is obtained by optical triangulation. However, the model computed in this way generally is quite sparse. To up sample and denoise depth images, researchers looked into super-resolution techniques. Super-resolution was especially proposed for time-of-flight cameras which have very low data quality and a very high random noise. This thesis proposes a3D acquisition solution with a 3D space-time non-rigid super-resolution capability, using a calibrated multi-camera system coupled with a non calibrated projector device, which is particularly suited to 3D face scanning, i.e. rapid and easily movable. The proposed solution is a hybrid stereovision and phase-shifting approach, using two shifted patterns and a texture image, which not only takes advantage of the assets of stereovision and structured light but also overcomes their weaknesses. The super-resolution scheme involves a 3D non-rigid registration for 3D artifacts correction in the presence of small non-rigid deformations as facial expressions.La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable

Pattern Analysis for an Automatic and Low-cost 3D Face Acquisition Technique

International audienceThis paper proposes an automatic 3D face modeling and localizing, based on active stereovision. In offline stage, the optical and geometrical parameters of the stereosensor are estimated. In online acquisition stage, alternate complementary patterns are successively projected. The captured right and left images are separately analyzed in order to localize left and right primitives with a sub pixel precision. Also, this analysis provides us an efficient segmentation of facial informative region. Epipolar geometry transforms stereo matching problem into a one-dimensional search problem. Indeed, we employ an adapted and optimized dynamic programming algorithm to pairs of primitives which are already located in each epiline. 3D geometry is retrieved by computing the intersection of optical rays coming from the pair of matched features. A pipeline of geometric modeling techniques is applied to densify obtained 3D point cloud, mesh and texturize 3D final face model. An adequate evaluation strategy is proposed and experimental results are provided

Biométrie faciale 3D ‐ Acquisition, prétraitement et reconnaissance

National audienceLa reconnaissance faciale à partir d'images fixes ou animées est séduisante pour de nombreuses applications. Cependant, cette modalité donne des performances non satisfaisantes comparées à celles obtenues par d’autres modalités comme les empreintes digitales. Une réponse de la communauté scientifique est l’utilisation des informations géométriques 3D à la place ou en complément des informations texturales 2D. Or, l’étendu et la complexité des systèmes et approches biométriques font qu’une réponse robuste et efficace ne peut être qu’une combinaison de solutions robustes et efficaces. Dans un tel contexte, les contributions et progrès en acquisition, identification, prétraitement, organisation et la multi-modalité sont conjuguées pour apporter la meilleure réponse. L’objectif de cette communication est d’exposer les travaux de recherche de l’équipe du LIRIS à l’Ecole Centrale de Lyon dans le cadre du projet ANR-FAR3D

A Space-Time Depth Super-Resolution Scheme For 3D Face Scanning

International audienceCurrent 3D imaging solutions are often based on rather specialized and complex sensors, such as structured light camera/projector systems, and require explicit user cooperation for 3D face scanning under more or less controlled lighting conditions. In this paper, we propose a cost effective 3D acquisition solution with a 3D space-time super-resolution scheme which is particularly suited to 3D face scanning. The proposed solution uses a low-cost and easily movable hardware involving a calibrated camera pair coupled with a non calibrated projector device. We develop a hybrid stereovision and phase-shifting approach using two shifted patterns and a texture image, which not only takes advantage of the assets of stereovision and structured light but also overcomes their weaknesses. We carry out a new super-resolution scheme to correct the 3D facial model and to enrich the 3D scanned view. Our scheme performs the super-resolution despite facial expression variation using a CPD non-rigid matching. We demonstrate both visually and quantitatively the efficiency of the proposed technique

Contribution de la biométrique de similarité à l'identification des auteurs de vols à main armée : le projet IDASOR

National audienceAvec l'augmentation de l'usage des systèmes de vidéosurveillance dans les banques, les anthropologues judiciaires sont de plus en plus concernés par l'identification des auteurs de vol à main armée. Depuis 1990 le Laboratoire d' Anthropologie Anatomique et de Paléopathologie , Université Claude Bernard, Lyon1 (L2AP/UCBL) développe une méthode manuelle de comparaison biométrique de plans fixes provenant de la vidéo avec des photographies du prévenu. Sur les deux types de clichés ( photos issues de la vidéo montrant l'inconnu auteur du VMA / photo du prévenu ) sont positionnés des points anatomiques qui reliés entre - eux fournissent des paramètres, des indices et des valeurs angulaires. Il est important de noter que l'expertise ne prend jamais en compte la comparaison des valeurs brutes d’un même paramètre sur les deux clichés mais celle des rapports indiciaires confrontant les paramètres deux à deux , dans chaque cliché: ce qui offre l’avantage considérable de pouvoir travailler sur des instantanés n’étant pas à la même échelle !Actuellement, le matériel de vidéosurveillance utilisé par les banques ne permet pas, une identification formelle des auteurs du délit. Cette difficulté, que l'anthropologue judiciaire essaie de compenser par son expertise, est due à plusieurs raisons :•nombre insuffisant de caméras [en 2D seulement] filmant en contre-plongée et à grande distance, entraînant une perte considérable d’informations morphologiques et biométriques de la personne pénétrant dans la banque •très mauvaise qualité des vidéos et, par conséquent, des plans fixes qui en sont extraits pour déterminer les points faciométriques utilisés dans l’expertisePour pallier des difficultés inhérentes aux dispositifs actuels de surveillance, Les partenaires (UCBL/L2AP et ECL/LIRIS) ont élaboré un programme de recherche (IDASOR : Identification Assistée par Ordinateur des auteurs de vol à main armée) dont le but est l'augmentation du nombre de données morphologiques, en utilisant plusieurs caméras en haute définition : les images prises en compte pour l'opération d'identification seront donc de meilleure qualité, et en plus grand nombre. L'accès au relief via l'acquisition selon plusieurs points de vue fournira des informations plus sélectives. L'introduction d'algorithmes pour la sélection d'images, la mesure des distances et des angles devra, à terme, garantir la reproductibilité et surtout l'objectivité qui sont susceptibles de faire défaut à l'opérateur humain agissant seul. Cette dernière est particulièrement sensible dans le contexte humain d'une expertise judiciaire de VAM dont le résultat doit confirmer ou infirmer la culpabilité d'un individu

Pattern-based Face Localization and Online Projector Parameterization for Multi-Camera 3D Scanning

International audience3D face modeling is a very important and challenging task in computer vision especially in the presence of an expression variation. It plays an important role in a wide range of applications including facial animation, human-computer interaction and surgery. Current 3D face imaging solutions are often based on structured light camera/projector systems to overcome the relatively uniform appearance of skin. This paper proposes a space-time scheme for 3D face scanning, employing three calibrated cameras coupled with a non calibrated projector device. The proposed solution is a hybrid stereovision and phase-shifting approach, using two π-shifted sinusoid patterns and a texture image. It involves a pattern-based face localization approach and an online projector parameterization. The experimental results further validated the effectiveness of the proposed approach

Une approche de super-résolution spatio-temporelle pour l'acquisition 3D de visages

International audienceLes solutions actuelles d'acquisition 3D sont souvent basées sur des systèmes projecteur/caméra calibrés, utilisent une lumière structurée avec la projection de plusieurs motifs déphasés ce qui impacte le délai d'acquisition et nécessitent une coopération explicite du sujet pour la numérisation 3D de son visage. Dans ce papier, nous proposons une solution d'acquisition 3D à faible coût avec un schéma de super-résolution spatio-temporel, qui utilise deux caméras calibrées et un système de projection de lumière non-calibré. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide, mobile et robuste aux variations de la lumière ambiante. La solution proposée est une approche hybride qui associe la stéréovision et l'analyse de déphasage, et qui non seulement profite des avantages de la stéréovision et de la lumière structurée mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de complèter la vue scannée malgrès la présence de déformations non-rigides de la forme 3D causées par les expressions faciales

Pattern Analysis for an Automatic and Low-cost 3D Face Acquisition Technique

International audienceThis paper proposes an automatic 3D face modeling and localizing, based on active stereovision. In offline stage, the optical and geometrical parameters of the stereosensor are estimated. In online acquisition stage, alternate complementary patterns are successively projected. The captured right and left images are separately analyzed in order to localize left and right primitives with a sub pixel precision. Also, this analysis provides us an efficient segmentation of facial informative region. Epipolar geometry transforms stereo matching problem into a one-dimensional search problem. Indeed, we employ an adapted and optimized dynamic programming algorithm to pairs of primitives which are already located in each epiline. 3D geometry is retrieved by computing the intersection of optical rays coming from the pair of matched features. A pipeline of geometric modeling techniques is applied to densify obtained 3D point cloud, mesh and texturize 3D final face model. An adequate evaluation strategy is proposed and experimental results are provided