Geometric shape constraints for region-based active contours using Legendre moments

In this paper, we present a novel approach to incorporate geometric shape priors in region-based active contours, in order to provide more robustness to noise and occlusions. We define as shape descriptor a set of Legendre moments computed from the characteristic function of the shape. Such a representation is invariant with respect to some geometric transformations and can handle topologically complex objects. The shape prior is then defined as a function of the distance, in terms of descriptors, between the active contour and a reference shape. We derive the evolution equation that minimizes the prior energy, using a rigorous mathematical framework. Experimental results show the ability of the geometric shape prior to constrain an evolving curve to resemble a target shape. We finally introduce the new shape prior into a two-class segmentation functional and show its benefits on segmentation results, in presence of occlusions and clutter.Dans cet article, nous présentons une approche originale permettant d'incorporer une contrainte géométrique de forme dans les contours actifs orientés région, de façon à améliorer leur robustesse au bruit non gaussien, aux fonds d'images texturés et aux occultations. Pour cela, nous définissons un descripteur de forme à partir des moments de Legendre de la fonction caractéristique de la forme. Cette représentation est invariante à certaines transformations géométriques et permet de gérer des objets à topologie complexe. L' a priori de forme est alors défini à partir de la distance entre les descripteurs associés au contour actif et à une forme de référence. Nous utilisons un cadre théorique permettant une dérivation rigoureuse de l'équation d'évolution du contour actif pour minimiser l'énergie a priori. Nous illustrons expérimentalement les capacités de ce nouvel a priori géométrique à contraindre l'évolution d'une courbe vers une forme cible. Enfin, nous introduisons cette nouvelle contrainte dans une fonctionnelle de segmentation à deux classes, mettant en évidence son apport en présence d'occultations et de fonds d'images texturés

Détection de chute à l'aide d'une caméra de profondeur

Les chutes chez les personnes âgées représentent un problème important de santé publique. Des études montrent qu’environ 30 % des personnes âgées de 65 ans et plus chutent chaque année au Canada, entraînant des conséquences néfastes sur les plans individuel, familiale et sociale. Face à une telle situation la vidéosurveillance est une solution efficace assurant la sécurité de ces personnes. À ce jour de nombreux systèmes d’assistance de services à la personne existent. Ces dispositifs permettent à la personne âgée de vivre chez elle tout en assurant sa sécurité par le port d'un capteur. Cependant le port du capteur en permanence par le sujet est peu confortable et contraignant. C'est pourquoi la recherche s’est récemment intéressée à l’utilisation de caméras au lieu de capteurs portables. Le but de ce projet est de démontrer que l'utilisation d'un dispositif de vidéosurveillance peut contribuer à la réduction de ce fléau. Dans ce document nous présentons une approche de détection automatique de chute, basée sur une méthode de suivi 3D du sujet en utilisant une caméra de profondeur (Kinect de Microsoft) positionnée à la verticale du sol. Ce suivi est réalisé en utilisant la silhouette extraite en temps réel avec une approche robuste d’extraction de fond 3D basée sur la variation de profondeur des pixels dans la scène. Cette méthode se fondera sur une initialisation par une capture de la scène sans aucun sujet. Une fois la silhouette extraite, les 10% de la silhouette correspondant à la zone la plus haute de la silhouette (la plus proche de l'objectif de la Kinect) sera analysée en temps réel selon la vitesse et la position de son centre de gravité. Ces critères permettront donc après analyse de détecter la chute, puis d'émettre un signal (courrier ou texto) vers l'individu ou à l’autorité en charge de la personne âgée. Cette méthode a été validée à l’aide de plusieurs vidéos de chutes simulées par un cascadeur. La position de la caméra et son information de profondeur réduisent de façon considérable les risques de fausses alarmes de chute. Positionnée verticalement au sol, la caméra permet donc d'analyser la scène et surtout de procéder au suivi de la silhouette sans occultation majeure, qui conduisent dans certains cas à des fausses alertes. En outre les différents critères de détection de chute, sont des caractéristiques fiables pour différencier la chute d'une personne, d'un accroupissement ou d'une position assise. Néanmoins l'angle de vue de la caméra demeure un problème car il n'est pas assez grand pour couvrir une surface conséquente. Une solution à ce dilemme serait de fixer une lentille sur l'objectif de la Kinect permettant l’élargissement de la zone surveillée.Elderly falls are a major public health problem. Studies show that about 30% of people aged 65 and older fall each year in Canada, with negative consequences on individuals, their families and our society. Faced with such a situation a video surveillance system is an effective solution to ensure the safety of these people. To this day many systems support services to the elderly. These devices allow the elderly to live at home while ensuring their safety by wearing a sensor. However the sensor must be worn at all times by the subject which is uncomfortable and restrictive. This is why research has recently been interested in the use of cameras instead of wearable sensors. The goal of this project is to demonstrate that the use of a video surveillance system can help to reduce this problem. In this thesis we present an approach for automatic detection of falls based on a method for tracking 3D subject using a depth camera (Kinect from Microsoft) positioned vertically to the ground. This monitoring is done using the silhouette extracted in real time with a robust approach for extracting 3D depth based on the depth variation of the pixels in the scene. This method is based on an initial capture the scene without any body. Once extracted, 10% of the silhouette corresponding to the uppermost region (nearest to the Kinect) will be analyzed in real time depending on the speed and the position of its center of gravity . These criteria will be analysed to detect the fall, then a signal (email or SMS) will be transmitted to an individual or to the authority in charge of the elderly. This method was validated using several videos of a stunt simulating falls. The camera position and depth information reduce so considerably the risk of false alarms. Positioned vertically above the ground, the camera makes it possible to analyze the scene especially for tracking the silhouette without major occlusion, which in some cases lead to false alarms. In addition, the various criteria for fall detection, are reliable characteristics for distinguishing the fall of a person, from squatting or sitting. Nevertheless, the angle of the camera remains a problem because it is not large enough to cover a large surface. A solution to this dilemma would be to fix a lens on the objective of the Kinect for the enlargement of the field of view and monitored area

Détection et suivi d'objets par vision fondés sur segmentation par contour actif base région

La segmentation et le suivi d'objets sont des domaines de recherche compétitifs dans la vision par ordinateur. Une de leurs applications importantes réside dans la robotique où la capacité à segmenter un objet d'intérêt du fond de l'image, d'une manière précise, est cruciale particulièrement dans des images acquises à bord durant le mouvement du robot. Segmenter un objet dans une image est une opération qui consiste à distinguer la région objet de celle du fond suivant un critère défini. Suivre un objet dans une séquence d'images est une opération qui consiste à localiser la région objet au fil du temps dans une vidéo. Plusieurs techniques peuvent être utilisées afin d'assurer ces opérations. Dans cette thèse, nous nous sommes intéressés à segmenter et suivre des objets en utilisant la méthode du contour actif en raison de sa robustesse et son efficacité à pouvoir segmenter et suivre des objets non rigides. Cette méthode consiste à faire évoluer une courbe à partir d'une position initiale, entourant l'objet à détecter, vers la position de convergence qui correspond aux bords de cet objet d'intérêt. Nous utilisons des critères qui dépendent des régions de l'image ce qui peut imposer certaines contraintes sur les caractéristiques de ces régions comme une hypothèse d'homogénéité. Cette hypothèse ne peut pas être toujours vérifiée du fait de l'hétérogénéité souvent présente dans les images. Dans le but de prendre en compte l'hétérogénéité qui peut apparaître soit sur l'objet d'intérêt soit sur le fond dans des images bruitées et avec une initialisation inadéquate du contour actif, nous proposons une technique qui combine des statistiques locales et globales pour définir le critère de segmentation. En utilisant un rayon de taille fixe, un demi-disque est superposé sur chaque point du contour actif afin de définir les régions d'extraction locale. Lorsque l'hétérogénéité se présente à la fois sur l'objet d'intérêt et sur le fond de l'image, nous développons une technique basée sur un rayon flexible déterminant deux demi-disques avec deux rayons de valeurs différentes pour extraire l'information locale. Le choix de la valeur des deux rayons est déterminé en prenant en considération la taille de l'objet à segmenter ainsi que de la distance séparant l'objet d'intérêt de ses voisins. Enfin, pour suivre un objet mobile dans une séquence vidéo en utilisant la méthode du contour actif, nous développons une approche hybride du suivi d'objet basée sur les caractéristiques de la région et sur le vecteur mouvement des points d'intérêt extraits dans la région objet. En utilisant notre approche, le contour actif initial à chaque image sera ajusté suffisamment d'une façon à ce qu'il soit le plus proche possible au bord réel de l'objet d'intérêt, ainsi l'évolution du contour actif basée sur les caractéristiques de la région ne sera pas piégée par de faux contours. Des résultats de simulations sur des images synthétiques et réelles valident l'efficacité des approches proposées.Object segmentation and tracking is a challenging area of ongoing research in computer vision. One important application lies in robotics where the ability to accurately segment an object of interest from its background is crucial and particularly on images acquired onboard during robot motion. Object segmentation technique consists in separating the object region from the image background according to a pre-defined criterion. Object tracking is a process of determining the positions of moving objects in image sequences. Several techniques can be applied to ensure these operations. In this thesis, we are interested to segment and track objects in video sequences using active contour method due to its robustness and efficiency to segment and track non-rigid objects. Active contour method consists in making a curve converge from an initial position around the object to be detected towards this object boundary according to a pre-defined criterion. We employ criteria which depend on the image regions what may impose certain constraints on the characteristics of these regions as a homogeneity assumption. This assumption may not always be verified due to the heterogeneity often present in images. In order to cope with the heterogeneity that may appear either in the object of interest or in the image background in noisy images using an inadequate active contour initialization, we propose a technique that combines local and global statistics in order to compute the segmentation criterion. By using a radius with a fixed size, a half-disk is superposed on each point of the active contour to define the local extraction regions. However, when the heterogeneity appears on both the object of interest and the image background, we develop a new technique based on a flexible radius that defines two half-disks with two different radius values to extract the local information. The choice of the value of these two radii is determined by taking into consideration the object size as well as the distance separating the object of interest from its neighbors. Finally, to track a mobile object within a video sequence using the active contour method, we develop a hybrid object tracking approach based on region characteristics and on motion vector of interest points extracted on the object region. Using our approach, the initial active contour for each image will be adequately adjusted in a way that it will be as close as possible to the actual boundary of the object of interest so that the evolution of active contour based on characteristics of the region will not be trapped by false contours. Simulation results on synthetic and real images validate the effectiveness of the proposed approaches

Propagation de Marquages pour le Matting Vidéo

Cette thèse porte sur l élaboration d un système de manipulation de vidéo. De manière plus précise il s agit d extraction et de composition d objets vidéo. Dans le domaine du traitement d image fixe, les techniques d extraction et de démélange (connus sous le nom de matting) et de composition ont vu une réelle amélioration au cours de la dernière décennie, surtout avec l apparition de méthodes semi-automatiques profitant d une interaction avec l utilisateur pour surmonter le gap sémantique. Cela a permis d aboutir à des algorithmes de plus en plus rapides et de plus en plus robustes. Dans le cadre du traitement de vidéo, cette problématique forme encore un très intéressant challenge, issu du caractère volumineux, en termes complexité de données et de nombre d images dans la vidéo. Cet élément fait en sorte que la tâche accomplie par l utilisateur pour marquer un objet d intérêt peut être très fastidieuse ou souvent impossible. Les travaux que nous avons réalisés au cours de cette thèse se sont concentrés sur l extension et l adaptation de la transformée en distance et des courbes actives pour la propagation des marquages d objets vidéo. Nous avons aussi proposé une amélioration d une technique pouvant être utilisée avec ces marquages pour l extraction d objet vidéo.Dans le premier chapitre nous présentons le contexte et la problématique de nos travaux. Dans le deuxième chapitre nous faisons un tour d horizon des approches, des outils d édition de vidéo existant sur le marché, tout en les classant en deux familles : édition par morceaux ou par blocs et édition par objets vidéo. Ensuite, nous présentons un rapide état de l art sur la segmentation que nous décomposons en trois parties : la segmentation classique, la segmentation interactive et l image matting. Aussi nous détaillons l extension de l image matting au video matting en présentant les principales approches existantes. Le chapitre 3 présente notre première approche pour la propagation de marquage dans les vidéos. Cette approche est une approche volumique 2D+T tirant sa puissance de ce que nous avons bâti une CDT (transformée en distance couleur). Le chapitre 4, lui, présente notre évolution de perception vers un processus de propagation de marquages plus robuste et plus performant basé sur les courbes actives. Nous commençons par faire un état de l art abrégé sur les courbes actives et nous présentons par la suite notre modélisation et son application. Nous détaillons, aussi le mécanisme de gestion dynamique des poids que nous avons mis en place. Dans le chapitre 5, nous allons discuter de l application de notre système pour le matting vidéo et nous présentons les améliorations que nous avons apportés à l approche Spectral Matting, dans ce butPas de résumé en anglaisPARIS5-Bibliotheque electronique (751069902) / SudocSudocFranceF

Analyse sémantique d'un trafic routier dans un contexte de vidéo-surveillance

Les problématiques de sécurité, ainsi que le coût de moins en moins élevé des caméras numériques, amènent aujourd'hui à un développement rapide des systèmes de vidéosurveillance. Devant le nombre croissant de caméras et l'impossibilité de placer un opérateur humain devant chacune d'elles, il est nécessaire de mettre en oeuvre des outils d'analyse capables d'identifier des évènements spécifiques. Le travail présenté dans cette thèse s'inscrit dans le cadre d'une collaboration entre le Laboratoire Bordelais de Recherche en Informatique (LaBRI) et la société Adacis. L'objectif consiste à concevoir un système complet de vidéo-surveillance destiné à l'analyse automatique de scènes autoroutières et la détection d'incidents. Le système doit être autonome, le moins supervisé possible et doit fournir une détection en temps réel d'un évènement.Pour parvenir à cet objectif, l'approche utilisée se décompose en plusieurs étapes. Une étape d'analyse de bas-niveau, telle que l'estimation et la détection des régions en mouvement, une identification des caractéristiques d'un niveau sémantique plus élevé, telles que l'extraction des objets et la trajectoire des objets, et l'identification d'évènements ou de comportements particuliers, tel que le non respect des règles de sécurité. Les techniques employées s'appuient sur des modèles statistiques permettant de prendre en compte les incertitudes sur les mesures et observations (bruits d'acquisition, données manquantes, ...).Ainsi, la détection des régions en mouvement s'effectue au travers la modélisation de la couleur de l'arrière-plan. Le modèle statistique utilisé est un modèle de mélange de lois, permettant de caractériser la multi-modalité des valeurs prises par les pixels. L'estimation du flot optique, de la différence de gradient et la détection d'ombres et de reflets sont employées pour confirmer ou infirmer le résultat de la segmentation.L'étape de suivi repose sur un filtrage prédictif basé sur un modèle de mouvement à vitesse constante. Le cas particulier du filtrage de Kalman (filtrage tout gaussien) est employé, permettant de fournir une estimation a priori de la position des objets en se basant sur le modèle de mouvement prédéfini.L'étape d'analyse de comportement est constituée de deux approches : la première consiste à exploiter les informations obtenues dans les étapes précédentes de l'analyse. Autrement dit, il s'agit d'extraire et d'analyser chaque objet afin d'en étudier son comportement. La seconde étape consiste à détecter les évènements à travers une coupe du volume 2d+t de la vidéo. Les cartes spatio-temporelles obtenues sont utilisées pour estimer les statistiques du trafic, ainsi que pour détecter des évènements telles que l'arrêt des véhicules.Pour aider à la segmentation et au suivi des objets, un modèle de la structure de la scène et de ses caractéristiques est proposé. Ce modèle est construit à l'aide d'une étape d'apprentissage durant laquelle aucune intervention de l'utilisateur n'est requise. La construction du modèle s'effectue à travers l'analyse d'une séquence d'entraînement durant laquelle les contours de l'arrière-plan et les trajectoires typiques des véhicules sont estimés. Ces informations sont ensuite combinées pour fournit une estimation du point de fuite, les délimitations des voies de circulation et une approximation des lignes de profondeur dans l'image. En parallèle, un modèle statistique du sens de direction du trafic est proposé. La modélisation de données orientées nécessite l'utilisation de lois de distributions particulières, due à la nature périodique de la donnée. Un mélange de lois de type von-Mises est utilisée pour caractériser le sens de direction du trafic.Automatic traffic monitoring plays an important role in traffic surveillance. Video cameras are relatively inexpensive surveillance tools, but necessitate robust, efficient and automated video analysis algorithms. The loss of information caused by the formation of images under perspective projection made the automatic task of detection and tracking vehicles a very challenging problem, but essential to extract a semantic interpretation of vehicles behaviors. The work proposed in this thesis comes from a collaboration between the LaBRI (Laboratoire Bordelais de Recherche en Informatique) and the company Adacis. The aim is to elaborate a complete video-surveillance system designed for automatic incident detection.To reach this objective, traffic scene analysis proceeds from low-level processing to high-level descriptions of the traffic, which can be in a wide variety of type: vehicles entering or exiting the scene, vehicles collisions, vehicles' speed that are too fast or too low, stopped vehicles or objects obstructing part of the road... A large number of road traffic monitoring systems are based on background subtraction techniques to segment the regions of interest of the image. Resulted regions are then tracked and trajectories are used to extract a semantic interpretation of the vehicles behaviors.The motion detection is based on a statistical model of background color. The model used is a mixture model of probabilistic laws, which allows to characterize multimodal distributions for each pixel. Estimation of optical flow, a gradient difference estimation and shadow and highlight detection are used to confirm or invalidate the segmentation results.The tracking process is based on a predictive filter using a motion model with constant velocity. A simple Kalman filter is employed, which allow to predict state of objets based on a \textit{a priori} information from the motion model.The behavior analysis step contains two approaches : the first one consists in exploiting information from low-level and mid-level analysis. Objects and their trajectories are analysed and used to extract abnormal behavior. The second approach consists in analysing a spatio-temporal slice in the 3D video volume. The extracted maps are used to estimate statistics about traffic and are used to detect abnormal behavior such as stopped vehicules or wrong way drivers.In order to help the segmentaion and the tracking processes, a structure model of the scene is proposed. This model is constructed using an unsupervised learning step. During this learning step, gradient information from the background image and typical trajectories of vehicles are estimated. The results are combined to estimate the vanishing point of the scene, the lanes boundaries and a rough depth estimation is performed. In parallel, a statistical model of the trafic flow direction is proposed. To deal with periodic data, a von-Mises mixture model is used to characterize the traffic flow direction.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF

Segmentation interactive d'images cardiaques dynamiques.

This thesis focuses on the spatio-temporal and interactive segmentation of dynamiccardiac images. It is a part of the ANR 3DSTRAIN project of program "Technologiesfor Health and Autonomy" which aims to estimate full, dense and on several3D+t imaging modalities (such as Magnetic Resonance Imaging (MRI), Single PhotonEmission Computed Tomography (SPECT) and echocardiography) the indexof deformation of the heart muscle : the strain. The strain estimation requires asegmentation step which must be as precise as possible to provide a good estimationof this index. Our work was focused on two main areas : (1) the development of asegmentation model conforms to the shape of the heart muscle and (2) the abilityto interactively and intuitively correct the segmentation's result obtained with thismodel.La thèse porte sur la segmentation spatio-temporelle et interactive d'images cardiaquesdynamiques. Elle s'inscrit dans le projet ANR 3DSTRAIN du programme"Technologies pour la Santé et l'Autonomie" qui a pour objectif d'estimer de façoncomplète, dense et sur plusieurs modalités d'imagerie 3D+t (telles que l'imageriepar résonance magnétique (IRM), la tomographie par émission monophotonique(TEMP) et l'échocardiographie) l'indice de déformation du muscle cardiaque : lestrain. L'estimation du strain nécessite une étape de segmentation qui doit être laplus précise possible pour fournir une bonne évaluation de cet indice. Nos travauxse sont orientés sur deux axes principaux : (1) le développement d'un modèle desegmentation conforme à la morphologie du muscle cardiaque et (2) la possibilitéde corriger interactivement et intuitivement le résultat de la segmentation obtenuegrâce à ce modèle

Annotation sémantique 2D/3D d'images spatialisées pour la documentation et l'analyse d'objets patrimoniaux

In the field of architecture and historic preservation , the information and communication technologies enable the acquisition of large amounts of data introducing analysis media for different purposes and at different levels of details ( photographs, point cloud, scientific imaging, ...). The organization and the structure of these resources is now a major problem for the description, the analysis and the understanding of cultural heritage objects. However the existing solutions in semantic annotations on images or on 3D model are insufficient, especially in the linking of different analysis media.This thesis proposes an approach for conducting annotations on different two-dimensional media while allowing the propagation of these annotations between different representations (2D or 3D) of the object. The objective is to identify solutions to correlate (from a spatial, temporal and semantic point of view) sets of annotations within sets of images. Thus, the system is based on the principle of data spatialization for establishing a relationship between the 3D representations, incorporating all the geometric complexity of the object and therefore to the metric information extraction, and 2D representations of object. The approach seeks to the establishment of an information continuity from the image acquisition to the construction of 3D representations semantically enhanced by incorporating multi-media and multi-temporal aspects. This work resulted in the definition and the development of a set of software modules that can be used by specialists of conservation of architectural heritage as by the general public.Dans le domaine de l’architecture et de la conservation du patrimoine historique, les technologies de l’information et de la communication permettent l’acquisition de grandes quantités de données introduisant des supports d’analyses pour différentes finalités et à différents niveaux de détails (photographies, nuages de points, imagerie scientifique, …). L’organisation et la structuration de ces ressources est aujourd’hui un problème majeur pour la description, l’analyse et la compréhension d’objets patrimoniaux. Cependant les solutions existantes d’annotations sémantiques d’images ou de modèle 3D se révèlent insuffisantes notamment sur l’aspect de mise en relation des différents supports d’analyse.Cette thèse propose une approche permettant de conduire des annotations sur les différents supports bidimensionnels tout en permettant la propagation de ces annotations entre les différentes représentations (2D ou 3D) de l’objet. L’objectif est d’identifier des solutions pour corréler (d’un point de vue spatial, temporel et sémantique) des jeux d’annotations au sein d’un jeu d’images. Ainsi le système repose sur le principe de spatialisation des données permettant d’établir une relation entre les représentations 3D, intégrant toute la complexité géométrique de l’objet et par conséquent permettant l’extraction d’informations métriques, et les représentations 2D de l’objet. L’approche cherche donc à la mise en place d’une continuité informationnelle depuis l’acquisition d’images jusqu’à la construction de représentations 3D sémantiquement enrichies en intégrant des aspects multi-supports et multi-temporels. Ce travail a abouti à la définition et le développement d’un ensemble de modules informatiques pouvant être utilisés par des spécialistes de la conservation d’un patrimoine architectural comme par le grand public