Automatic human face tracking in video sequences

Abstract

La recherche sur la modélisation et la poursuite du visage humain dans des séquences d'images est un des sujets les plus étudiés en Infographie aussi bien qu'en Vision par ordinateur. Les travaux présentés dans cette thèse sont consacrés au problème du suivi 3D du visage dans des séquences vidéos. Ils utilisent une approche basée sur la collaboration entre la vision par ordinateur et l'infographie qui permet de reconstituer la position et l'expression du visage dans chaque image de la séquence. L'approche emploie un modèle spécifique du visage, ainsi qu'un système d'animation permettant de simuler les expressions du visage. Les techniques développées dans cette thèse se décomposent en trois parties. Tout d'abord, nous présentons une approche originale de modélisation 3D d'un visage à partir de seulement quelques images. Elle utilise un mod- èle générique du visage (3D) qui est déformé de manière à ce qu'un certain nombre de points caractéristiques ainsi que les silhouettes de ce modèle 3D se calent sur ceux des images données en entrée. L'accent principal dans l'algorithme de suivi est mis sur la détection précise d'expressions faciales. Dans la deuxième partie nous présentons deux approches de la modélisation d'animation du visage: une approche pseudo-musculaire et une méthode basée sur la spécification du standard MPEG-4. Basée sur ces deux modèles d'animation nous avons développé une technique hybride en les combinant d'une manière hiérarchique. Finalement, dans la troisième et dernière partie nous décrivons notre technique du suivi qui permet d'obtenir la position et l'expression d'un visage sans aucune interaction de la part de l'utilisateur sauf dans la phase d'initialisation du système sur la première imageHuman faces are one of the most researched topics in the domains of both computer graphics and computer vision. This thesis addresses the problem of 3D face tracking from standard video sequences and proposes an approach based upon computer vision/computer graphics collaboration techniques to recover face position and expression in each video frame. Precision of tracking being of major importance, we use a model-based approach with a model adapted to the specific tracked face, and an animation layer built over it. This work consists of three different parts. We start by investigating the possible ways of creation of a customized face model and propose an efficient markerless method for face reconstruction using only a small set of images driving the morphological deformation of a predefined generic mesh. The main focus in tracking is made on precise detection of facial expressions. In this context, several approaches to facial animation are presented: a pseudomuscular approach and a method based on MPEG-4 specification. Based upon these animation systems we developed a hybrid technique by combining them in a hierarchical manner, which allows us to benefit from strong points of both. Finally, in the third and last part we present our tracking technique that allows to obtain the 3D pose and expression of a face in a video sequence without any interaction of the user, except at the initialization stage (first image).PARIS-BIUSJ-Mathématiques rech (751052111) / SudocSudocFranceF