Contributions à la caractérisation & structuration d’images et de séquences vidéo

Abstract

The paper presents a summary of work in sequence analysis of images and video.In the first part, I present my work in spatio-temporal regularization based graphs to resolve open issues in image processing: the restoration of noisy images and sequences of missing data, and the classification of data in images. Several applications are proposed.To do this, we use some properties of the graph (energy, ...) as well as its intrinsic space obtained by a nonlinear dimensionality reduction analysis of random walks through the space.The second part is devoted to the analysis and characterization of video sequences. At first, I present a hybrid model of skin based on induction graphs and my work related to the convex segmentation by volume of a moving object using active contours, and optical flow. Then, a section is devoted to work from multidisciplinary projects related to the analysis of gestures and gaze. Databases share specific videos are analyzed using discrete regularization on graphs and spatio-temporal moments such as Zernike ....The last theme is dedicated to the analysis of real-time look where we focus on the prediction of gaze using Gaussian processes.Le mémoire présente une synthèse des travaux en analyse de séquences d’images et de vidéo.En première partie, je présente mes travaux en régularisation spatio-temporelle basée graphes pour résoudre des problématiques ouvertes en traitement des images : la restauration de séquences d'images bruitées et données manquantes, ainsi que la classification de données dans les images. Plusieurs applications sont proposées.Pour ce faire, nous exploitons certaines propriétés du graphe (énergie, ...) ainsi que son espace intrinsèque obtenu par une réduction non linéaire de dimension de l’espace d’analyse grâce aux marches aléatoires.La seconde partie est consacrée à l’analyse et caractérisation de séquences vidéo. Dans un premier temps, je présente un modèle de peau hybride basé sur les graphes d'induction ainsi que mes travaux liés à la segmentation convexe en volume d’un objet en mouvement à partir des contours actifs et du flot optique. Ensuite, un volet est consacré à des travaux, issus de projets pluridisciplinaires, liés à l’analyse de gestes et du regard. Des bases de vidéos d'actions spécifiques sont analysées en utilisant la régularisation discrète sur graphe et les moments spatio-temporels tels que Zernike ....Enfin, le dernier thème abordé est dédié à l'analyse du regard en temps réel où l'on se focalisera sur la prédiction du regard en utilisant des processus gaussiens