Efficient methods for image composition in video sequences

We present an augmented reality system for image composition . We have worked with a view to avoiding strong and tedious interactions with the user. Because accurate registration between real and virtual objects is crucial for augmented reality applications, we especially focus on the temporal model-based registration method we have devised . It integrates tracking, pose determination and updating of the visible features in a very robust way and is able to retain up to date the scene-camera pose relationships even when tracking error occurs . While current augmented reality systems simply overlay computer-generated objects on real imagery, our system is capable of resolving occlusions between real and virtual objects for scenes where contour information is relevant . We demonstrate the efficiency of our system on real experiments .Nous présentons dans cet article le système de réalité augmentée que nous avons réalisé. Notre objectif est de concevoir des outils et des méthodes permettant d'incruster des objets virtuels dans des séquences d'images le plus automatiquement possible. Nous commençons par étudier les différents problèmes qui se posent lors de la composition d'images (calcul du point de vue, gestion des occultations entre les objets virtuels et la scène filmée, interactions photométriques entre monde réel et monde virtuel.,). Puis nous décrivons dans le détail les solutions que nous avons apportées au problème du calcul automatique du point du vue et à celui de la résolution des occultations. Nous avons en particulier conçu un système autonome permettant un calcul robuste du point de vue à partir de la connaissance de certains éléments tri-dimensionnels de la scène. Nous montrons de plus comment notre système est capable de gérer d'éventuelles occultations entre les objets virtuels et la scène observée. Des exemples variés d'application grandeur réelle viennent illustrer nos travaux

Détection de chute à l'aide d'une caméra de profondeur

Les chutes chez les personnes âgées représentent un problème important de santé publique. Des études montrent qu’environ 30 % des personnes âgées de 65 ans et plus chutent chaque année au Canada, entraînant des conséquences néfastes sur les plans individuel, familiale et sociale. Face à une telle situation la vidéosurveillance est une solution efficace assurant la sécurité de ces personnes. À ce jour de nombreux systèmes d’assistance de services à la personne existent. Ces dispositifs permettent à la personne âgée de vivre chez elle tout en assurant sa sécurité par le port d'un capteur. Cependant le port du capteur en permanence par le sujet est peu confortable et contraignant. C'est pourquoi la recherche s’est récemment intéressée à l’utilisation de caméras au lieu de capteurs portables. Le but de ce projet est de démontrer que l'utilisation d'un dispositif de vidéosurveillance peut contribuer à la réduction de ce fléau. Dans ce document nous présentons une approche de détection automatique de chute, basée sur une méthode de suivi 3D du sujet en utilisant une caméra de profondeur (Kinect de Microsoft) positionnée à la verticale du sol. Ce suivi est réalisé en utilisant la silhouette extraite en temps réel avec une approche robuste d’extraction de fond 3D basée sur la variation de profondeur des pixels dans la scène. Cette méthode se fondera sur une initialisation par une capture de la scène sans aucun sujet. Une fois la silhouette extraite, les 10% de la silhouette correspondant à la zone la plus haute de la silhouette (la plus proche de l'objectif de la Kinect) sera analysée en temps réel selon la vitesse et la position de son centre de gravité. Ces critères permettront donc après analyse de détecter la chute, puis d'émettre un signal (courrier ou texto) vers l'individu ou à l’autorité en charge de la personne âgée. Cette méthode a été validée à l’aide de plusieurs vidéos de chutes simulées par un cascadeur. La position de la caméra et son information de profondeur réduisent de façon considérable les risques de fausses alarmes de chute. Positionnée verticalement au sol, la caméra permet donc d'analyser la scène et surtout de procéder au suivi de la silhouette sans occultation majeure, qui conduisent dans certains cas à des fausses alertes. En outre les différents critères de détection de chute, sont des caractéristiques fiables pour différencier la chute d'une personne, d'un accroupissement ou d'une position assise. Néanmoins l'angle de vue de la caméra demeure un problème car il n'est pas assez grand pour couvrir une surface conséquente. Une solution à ce dilemme serait de fixer une lentille sur l'objectif de la Kinect permettant l’élargissement de la zone surveillée.Elderly falls are a major public health problem. Studies show that about 30% of people aged 65 and older fall each year in Canada, with negative consequences on individuals, their families and our society. Faced with such a situation a video surveillance system is an effective solution to ensure the safety of these people. To this day many systems support services to the elderly. These devices allow the elderly to live at home while ensuring their safety by wearing a sensor. However the sensor must be worn at all times by the subject which is uncomfortable and restrictive. This is why research has recently been interested in the use of cameras instead of wearable sensors. The goal of this project is to demonstrate that the use of a video surveillance system can help to reduce this problem. In this thesis we present an approach for automatic detection of falls based on a method for tracking 3D subject using a depth camera (Kinect from Microsoft) positioned vertically to the ground. This monitoring is done using the silhouette extracted in real time with a robust approach for extracting 3D depth based on the depth variation of the pixels in the scene. This method is based on an initial capture the scene without any body. Once extracted, 10% of the silhouette corresponding to the uppermost region (nearest to the Kinect) will be analyzed in real time depending on the speed and the position of its center of gravity . These criteria will be analysed to detect the fall, then a signal (email or SMS) will be transmitted to an individual or to the authority in charge of the elderly. This method was validated using several videos of a stunt simulating falls. The camera position and depth information reduce so considerably the risk of false alarms. Positioned vertically above the ground, the camera makes it possible to analyze the scene especially for tracking the silhouette without major occlusion, which in some cases lead to false alarms. In addition, the various criteria for fall detection, are reliable characteristics for distinguishing the fall of a person, from squatting or sitting. Nevertheless, the angle of the camera remains a problem because it is not large enough to cover a large surface. A solution to this dilemma would be to fix a lens on the objective of the Kinect for the enlargement of the field of view and monitored area

Analyse et amélioration de méthodes de reconstruction 3D de l'aorte à partir d'une séquence d'images tomodensitométriques

Le sujet concerne la reconstruction 3D de l'aorte à partir d'une séquence de coupes issues d'un appareil scanner à rayons X. Nous analysons des méthodes utilisées dans les services d'imagerie médicale, principalement basées sur des techniques de seuillage et de soustraction d'images. Nous proposons ensuite des techniques d'amélioration de ces méthodes en réalisant semi-automatiquement l'extraction d'une seule structure anatomique ciblée. Notre méthode vise à mettre en oeuvre un modèle de contours actifs

Motion-based segmentation and tracking of dynamic radar clutters

This paper deals with radar clutter classification and spatial short term forecasting (clutter types recognition and trackin g of shifting and geometrical deformation parameters) . This functionality is provided by use of, spatial and spatio—tempora l statistical segmentation to differentiate static clutter from dynamic ones, and either snakes technics together with kalman filte r or hierarchical deformation model methods to forecast homogenous clutters . This process could have numerous applications : dynamic classification of clutters provides an environment synthesis used to operate automatic radar management of both emissio n modes and reception algorithms alike (signal and data processing, tracking), as well as short term forecasting of harsh atmospheri c disturbance (storm, lashing rain clouds, hail storm, powder snow clouds, . . .) for an optimal and secure civil air traffic management.Cet article traite de la classification et de l'estimation spatiale «à court terme » des fouillis radar (reconnaissance du type de fouillis et pistage de ses paramètres de déplacement et de déformation). Pour ce faire, nous utilisons des algorithmes de segmentations spatiale et spatio-temporelle statistiques pour la localisation différençiée entre fouillis « statiques » et fouillis « dynamiques », ainsi que l'utilisation, soient conjointement des techniques de contours actifs et de filtrage de Kalman, soient des méthodes de modélisation hiérarchique des déformations pour le suivi dynamique des fouillis homogènes. Ce procédé peut avoir différentes applications: une synthèse de l'environnement par une classification dynamique des fouillis permettant la gestion automatique du radar tant à l'émission (modes du radar) qu'à la reception (traitement du signal et des données, pistage), ainsi que l'estimation « à court terme » de l'évolution de certains phénomènes atmosphériques sévères (orages, fronts de pluie intense, grêle, neige compacte,...) pour une gestion optimisée et sécurisée du trafic aérien civil

Analyse sémantique d'un trafic routier dans un contexte de vidéo-surveillance

Les problématiques de sécurité, ainsi que le coût de moins en moins élevé des caméras numériques, amènent aujourd'hui à un développement rapide des systèmes de vidéosurveillance. Devant le nombre croissant de caméras et l'impossibilité de placer un opérateur humain devant chacune d'elles, il est nécessaire de mettre en oeuvre des outils d'analyse capables d'identifier des évènements spécifiques. Le travail présenté dans cette thèse s'inscrit dans le cadre d'une collaboration entre le Laboratoire Bordelais de Recherche en Informatique (LaBRI) et la société Adacis. L'objectif consiste à concevoir un système complet de vidéo-surveillance destiné à l'analyse automatique de scènes autoroutières et la détection d'incidents. Le système doit être autonome, le moins supervisé possible et doit fournir une détection en temps réel d'un évènement.Pour parvenir à cet objectif, l'approche utilisée se décompose en plusieurs étapes. Une étape d'analyse de bas-niveau, telle que l'estimation et la détection des régions en mouvement, une identification des caractéristiques d'un niveau sémantique plus élevé, telles que l'extraction des objets et la trajectoire des objets, et l'identification d'évènements ou de comportements particuliers, tel que le non respect des règles de sécurité. Les techniques employées s'appuient sur des modèles statistiques permettant de prendre en compte les incertitudes sur les mesures et observations (bruits d'acquisition, données manquantes, ...).Ainsi, la détection des régions en mouvement s'effectue au travers la modélisation de la couleur de l'arrière-plan. Le modèle statistique utilisé est un modèle de mélange de lois, permettant de caractériser la multi-modalité des valeurs prises par les pixels. L'estimation du flot optique, de la différence de gradient et la détection d'ombres et de reflets sont employées pour confirmer ou infirmer le résultat de la segmentation.L'étape de suivi repose sur un filtrage prédictif basé sur un modèle de mouvement à vitesse constante. Le cas particulier du filtrage de Kalman (filtrage tout gaussien) est employé, permettant de fournir une estimation a priori de la position des objets en se basant sur le modèle de mouvement prédéfini.L'étape d'analyse de comportement est constituée de deux approches : la première consiste à exploiter les informations obtenues dans les étapes précédentes de l'analyse. Autrement dit, il s'agit d'extraire et d'analyser chaque objet afin d'en étudier son comportement. La seconde étape consiste à détecter les évènements à travers une coupe du volume 2d+t de la vidéo. Les cartes spatio-temporelles obtenues sont utilisées pour estimer les statistiques du trafic, ainsi que pour détecter des évènements telles que l'arrêt des véhicules.Pour aider à la segmentation et au suivi des objets, un modèle de la structure de la scène et de ses caractéristiques est proposé. Ce modèle est construit à l'aide d'une étape d'apprentissage durant laquelle aucune intervention de l'utilisateur n'est requise. La construction du modèle s'effectue à travers l'analyse d'une séquence d'entraînement durant laquelle les contours de l'arrière-plan et les trajectoires typiques des véhicules sont estimés. Ces informations sont ensuite combinées pour fournit une estimation du point de fuite, les délimitations des voies de circulation et une approximation des lignes de profondeur dans l'image. En parallèle, un modèle statistique du sens de direction du trafic est proposé. La modélisation de données orientées nécessite l'utilisation de lois de distributions particulières, due à la nature périodique de la donnée. Un mélange de lois de type von-Mises est utilisée pour caractériser le sens de direction du trafic.Automatic traffic monitoring plays an important role in traffic surveillance. Video cameras are relatively inexpensive surveillance tools, but necessitate robust, efficient and automated video analysis algorithms. The loss of information caused by the formation of images under perspective projection made the automatic task of detection and tracking vehicles a very challenging problem, but essential to extract a semantic interpretation of vehicles behaviors. The work proposed in this thesis comes from a collaboration between the LaBRI (Laboratoire Bordelais de Recherche en Informatique) and the company Adacis. The aim is to elaborate a complete video-surveillance system designed for automatic incident detection.To reach this objective, traffic scene analysis proceeds from low-level processing to high-level descriptions of the traffic, which can be in a wide variety of type: vehicles entering or exiting the scene, vehicles collisions, vehicles' speed that are too fast or too low, stopped vehicles or objects obstructing part of the road... A large number of road traffic monitoring systems are based on background subtraction techniques to segment the regions of interest of the image. Resulted regions are then tracked and trajectories are used to extract a semantic interpretation of the vehicles behaviors.The motion detection is based on a statistical model of background color. The model used is a mixture model of probabilistic laws, which allows to characterize multimodal distributions for each pixel. Estimation of optical flow, a gradient difference estimation and shadow and highlight detection are used to confirm or invalidate the segmentation results.The tracking process is based on a predictive filter using a motion model with constant velocity. A simple Kalman filter is employed, which allow to predict state of objets based on a \textit{a priori} information from the motion model.The behavior analysis step contains two approaches : the first one consists in exploiting information from low-level and mid-level analysis. Objects and their trajectories are analysed and used to extract abnormal behavior. The second approach consists in analysing a spatio-temporal slice in the 3D video volume. The extracted maps are used to estimate statistics about traffic and are used to detect abnormal behavior such as stopped vehicules or wrong way drivers.In order to help the segmentaion and the tracking processes, a structure model of the scene is proposed. This model is constructed using an unsupervised learning step. During this learning step, gradient information from the background image and typical trajectories of vehicles are estimated. The results are combined to estimate the vanishing point of the scene, the lanes boundaries and a rough depth estimation is performed. In parallel, a statistical model of the trafic flow direction is proposed. To deal with periodic data, a von-Mises mixture model is used to characterize the traffic flow direction.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF

Video object tracking by label propagation and backward projection

This paper presents an approach dedicated to the tracking of one or several semantic objects in a video shot. A state of the art on spatio-temporal segmentation techniques allows us to introduce our own approach. It combines three different steps: label prediction based on partition projection, local segmentation associated with a label propagation, and classification by backward projection. Experimental results highlight the visual quality obtained with this method. Different kinds of objects can be accurately tracked in different kinds of video sequences.Cet article présente nos travaux sur le suivi d'objets dans un plan séquence. Un état de l'art sur les techniques de segmentation spatio-temporelle nous permet d'introduire notre propre méthode de suivi temporel d'objets. Elle est constituée de trois phases distinctes : une prédiction d'étiquettes par projection de partition, une segmentation locale associée à une propagation d'étiquettes, et une classification par rétro-projection. L'association de ces trois étapes cumule les avantages de chaque approche pour un suivi rigoureux d'objets et réduit le temps de traitement de chaque image. La qualité visuelle des résultats obtenus par cette méthode est illustrée en fin d'article. Pour cela nous avons considéré le suivi d'objets ayant des caractéristiques différentes au niveau de leur composition et de leur déplacement

Etude morphologique et métrologique des sinus de Valsalva par traitement d'images tomographiques

L'objectif de cette thèse est l'élaboration et l'application de traitements d'images pour permettre une étude objective et fiable des sinus de Valsalva, importantes cavités de la base de l'aorte. Les méthodes proposées s'appliquent aux séquences ciné-IRM et aux examens de scanner sans qu'il n'y ait à modifier le paramétrage entre deux examens. Pour cela, nous avons d'abord étudié la morphologie de cette zone anatomique puis détaillé les différentes propriétés communes à toutes les images de sinus. Ceux-ci font en l'occurrence partie des principaux organes clairs et peu mobiles. Nous avons donc développé un algorithme qui détecte ces éléments et caractérise chacun d'entre eux par une trajectoire unique. Divers outils de morphologie mathématique ont été utilisés à cette occasion, tout comme pour l'extraction du contour des sinus dans chaque image. L'étape de segmentation repose elle sur la reconstruction géodésique, qui s'avère plus efficace et surtout plus robuste que l'usage de contours actifs usuels. L'intérieur des sinus forme un domaine simplement connexe et étoilé. Grâce à ce postulat, nous avons conçu une nouvelle reconstruction, nommée transformée en aurore, qui limite la propagation des intensités aux supports radiaux et présente les résultats dans un repère polaire pour une meilleure lecture des contours.Les points caractéristiques des sinus ont également été détectés, par étude de rayons et détermination de points dominants. Ces points fournissent les éléments nécessaires à une mesure automatique des sinus, mesure cohérente avec les mesures actuellement réalisées manuellement et les variations intra et inter-observateurs de celles-ci. D'autres outils sont enfin esquissés pour modéliser le contour par coniques, classer les images d'examens cinétiques en fonction du moment du cycle et suivre le mouvement des valves dans ces mêmes examens.L'ensemble de ces travaux ont amené à la réalisation d'un logiciel d'aide au diagnostic qui intègre nos méthodes et dont l'interface est également présentée dans le présent mémoire.This Phd thesis deals with the design and the use of image processing tools in order to allow a reliable and objective study of the sinuses of Valsalva which are important cavities of the aortic root. The proposed methods can be applied on cine-MR sequences and CT examinations without any change in the settings between two examinations.Firstly, we studied the morphology of this anatomical area and its constant properties in all images of the dataset. Sinuses are one of the main bright organs with limited movements. Hence a new algorithm has been designed. It detects and characterizes each bright organ by a single trajectory. Various tools of mathematical morphology are used for this step, as for the extraction of the contour of the sinuses in each image.The segmentation step is based on the geodesic reconstruction, which is more effective and more robust than the usual active contours. The shape depicting the sinuses is simply connected and a star domain. With this assumption, a new reconstruction is proposed, called the Aurora transform. This transform limits the spread of intensities only on the radial lines and shows its results in a polar space for a better reading of edges.The relevant points of the sinuses are also detected by a study of radii and the determination of dominant points along edges. An automatic measurement of the sinuses is deduced from these points. The values are very close to the manual measures currently done according to the intra-and inter-observer variations.Some other tools are finally outlined. They includes the modeling of edges by conics, the image classification depending on the time of the cycle in sequences and the tracking of the aortic valves in these examinations.This work led to the devlopement of a diagnostic aid software based on our methods. Its interface is also presented herein.DIJON-BU Doc.électronique (212319901) / SudocSudocFranceF

Detection of regular boundaries in noisy and textured images : a multiscale active contour approach

This article deals with the detection of edges in noisy and textured images . After an overview of the shortcomings of local operators, we assess active contour models, which constrain the detection using a priori information . The implementation of active contours is difficult due to several problems . We suggest two methods which make this global approach more robust and easier to use . On one hand, the parameters are set using a calibration algorithm which relies on geometrical a priori . The value of the parameters depends upon the maximum curvature . On the other hand, a multiscale strategy reduces the need for an accurate initialization of active contours . The convergence is robust at coarse scales and the localization of edges is enhanced at fine scales . Several efficient algorithms are proposed to track contours over decreasing scale, using a prediction on the distorsion of boundaries caused by gaussian blurring . The experiments show the validity of our approach and the relevance of a cooperation between segmentation processes, especially to solve the initialization problem .Cet article traite de la détection de contours dans des images fortement bruitées et texturées. Après avoir exposé les limitations des opérateurs locaux, nous suggérons de contraindre la détection grâce aux modèles de contours actifs, qui introduisent des informations a priori sur la géométrie et la régularité des objets cherchés. La mise en oeuvre des contours actifs est difficile en raison de nombreux problèmes pratiques. Nous proposons deux techniques rendant cette approche globale plus robuste et plus facile d'emploi. D'une part, nous facilitons le choix des paramètres en adaptant un algorithme de calibrage ayant une explication géométrique : les paramètres dépendent de la valeur de la courbure maximale. L'association des contours actifs et d'une représentation multiéchelle permet d'autre part de réduire la dépendance vis-à-vis de l'initialisation. Après une convergence robuste vers une solution grossière, la localisation des contours est améliorée en diminuant progressivement l'échelle d'analyse. Nous proposons alors plusieurs techniques efficaces de suivi des contours dans l'espace-échelle, s'appuyant sur une prédiction du déplacement des frontières sous l'effet du lissage gaussien. Les résultats expérimentaux montrent la validité de notre approche, et mettent en évidence l'apport d'une collaboration entre processus de segmentation, en particulier pour automatiser l'initialisation