Motion Tracking and Potentially Dangerous Situations Recognition in Complex Environment

In recent years, video surveillance systems have been playing a significantly important role in the human safety and security field by monitoring public or private areas. In this chapter, we have discussed the development of an intelligent surveillance system to detect, track and identify potentially hazardous events that may occur at level crossings (LC). This system starts by detecting and tracking objects on the level crossing. Then, a danger evaluation method is built using hidden Markov model in order to predict trajectories of the detected objects. The trajectories are analyzed with a credibility model to evaluate dangerous situations at level crossings. Synthetics and real data are used to test the effectiveness and the robustness of the proposed algorithms and the whole approach by considering various scenarios within several situations

Street crossing pedestrian detection system A comparative study of descriptor and classification methods

International audiencein recent years, the number of people killed on roads has increased enormously, several pedestrian detection techniques in monocular images have been proposed to address this problem. We present our pedestrian protection system from moving vehicles using video cameras installed on the vehicle, this system combines pedestrian detection, trajectory estimation, risk evaluation, and driver alert. First, we focus on the pedestrian recognition task. Different combinations of image descriptors and classification methods have been evaluated on this task. Experiments are performed on a dataset captured on-board a vehicle driving through urban environments. Results show that the best model is HOG&RbfSVM

Local feature extraction based facial emotion recognition: a survey

Notwithstanding the recent technological advancement, the identification of facial and emotional expressions is still one of the greatest challenges scientists have ever faced. Generally, the human face is identified as a composition made up of textures arranged in micro-patterns. Currently, there has been a tremendous increase in the use of local binary pattern based texture algorithms which have invariably been identified to being essential in the completion of a variety of tasks and in the extraction of essential attributes from an image. Over the years, lots of LBP variants have been literally reviewed. However, what is left is a thorough and comprehensive analysis of their independent performance. This research work aims at filling this gap by performing a large-scale performance evaluation of 46 recent state-of-the-art LBP variants for facial expression recognition. Extensive experimental results on the well-known challenging and benchmark KDEF, JAFFE, CK and MUG databases taken under different facial expression conditions, indicate that a number of evaluated state-of-the-art LBP-like methods achieve promising results, which are better or competitive than several recent state-of-the-art facial recognition systems. Recognition rates of 100%, 98.57%, 95.92% and 100% have been reached for CK, JAFFE, KDEF and MUG databases, respectively

Segmentation d'images par combinaison adaptative couleur-texture et classification de pixels. (Applications à la caractérisation de l'environnement de réception de signaux GNSS)

En segmentation d images, les informations de couleur et de texture sont très utilisées. Le premier apport de cette thèse se situe au niveau de l utilisation conjointe de ces deux sources d informations. Nous proposons alors une méthode de combinaison couleur/texture, adaptative et non paramétrique, qui consiste à combiner un (ou plus) gradient couleur et un (ou plus) gradient texture pour ensuite générer un gradient structurel utilisé comme image de potentiel dans l algorithme de croissance de régions par LPE. L originalité de notre méthode réside dans l étude de la dispersion d un nuage de point 3D dans l espace, en utilisant une étude comparative des valeurs propres obtenues par une analyse des composantes principales de la matrice de covariance de ce nuage de points. L approche de combinaison couleur/texture proposée est d abord testée sur deux bases d images, à savoir la base générique d images couleur de BERKELEY et la base d images de texture VISTEX. Cette thèse s inscrivant dans le cadre des projets ViLoc (RFC) et CAPLOC (PREDIT), le deuxième apport de celle-ci se situe au niveau de la caractérisation de l environnement de réception des signaux GNSS pour améliorer le calcul de la position d un mobile en milieu urbain. Dans ce cadre, nous proposons d exclure certains satellites (NLOS dont les signaux sont reçus par réflexion voir totalement bloqués par les obstacles environnants) dans le calcul de la position d un mobile. Deux approches de caractérisation, basées sur le traitement d images, sont alors proposées. La première approche consiste à appliquer la méthode de combinaison couleur/texture proposée sur deux bases d images réelles acquises en mobilité, à l aide d une caméra fisheye installée sur le toit du véhicule de laboratoire, suivie d une classification binaire permettant d obtenir les deux classes d intérêt ciel (signaux LOS) et non ciel (signaux NLOS). Afin de satisfaire la contrainte temps réel exigée par le projet CAPLOC, nous avons proposé une deuxième approche basée sur une simplification de l image couplée à une classification pixellaire adaptée. Le principe d exclusion des satellites NLOS permet d améliorer la précision de la position estimée, mais uniquement lorsque les satellites LOS (dont les signaux sont reçus de manière direct) sont géométriquement bien distribués dans l espace. Dans le but de prendre en compte cette connaissance relative à la distribution des satellites, et par conséquent, améliorer la précision de localisation, nous avons proposé une nouvelle stratégie pour l estimation de position, basée sur l exclusion des satellites NLOS (identifiés par le traitement d images), conditionnée par l information DOP, contenue dans les trames GPS.Color and texture are two main information used in image segmentation. The first contribution of this thesis focuses on the joint use of color and texture information by developing a robust and non parametric method combining color and texture gradients. The proposed color/texture combination allows defining a structural gradient that is used as potential image in watershed algorithm. The originality of the proposed method consists in studying a 3D points cloud generated by color and texture descriptors, followed by an eigenvalue analysis. The color/texture combination method is firstly tested and compared with well known methods in the literature, using two databases (generic BERKELEY database of color images and the VISTEX database of texture images). The applied part of the thesis is within ViLoc project (funded by RFC regional council) and CAPLOC project (funded by PREDIT). In this framework, the second contribution of the thesis concerns the characterization of the environment of GNSS signals reception. In this part, we aim to improve estimated position of a mobile in urban environment by excluding NLOS satellites (for which the signal is masked or received after reflections on obstacles surrounding the antenna environment). For that, we propose two approaches to characterize the environment of GNSS signals reception using image processing. The first one consists in applying the proposed color/texture combination on images acquired in mobility with a fisheye camera located on the roof of a vehicle and oriented toward the sky. The segmentation step is followed by a binary classification to extract two classes sky (LOS signals) and not sky (NLOS signals). The second approach is proposed in order to satisfy the real-time constraint required by the application. This approach is based on image simplification and adaptive pixel classification. The NLOS satellites exclusion principle is interesting, in terms of improving precision of position, when the LOS satellites (for which the signals are received directly) are well geometrically distributed in space. To take into account the knowledge of satellite distribution and then increase the precision of position, we propose a new strategy of position estimation, based on the exclusion of NLOS satellites (identified by the image processing step), conditioned by DOP information, which is provided by GPS data.BELFORT-UTBM-SEVENANS (900942101) / SudocSudocFranceF

Nouvelle approche neuronale Faster R-CNN pour la recherche d’instances d’images

Les caractéristiques d'images dérivées des réseaux neuronaux convolutifs (CNN) pré-entrénés sont devenues la norme dans les tâches de vision par ordinateur telle que la récupération d'instances. Ce travail explore la pertinence de la récupération de caractéristiques d'images et de régions à partir d'un CNN de détection d'objets tel que Faster R-CNN. Nous profitons des propositions d'objets appris par un RPN (Region Proposal Network) et de leurs caractéristiques associées prises d’un CNN pour construire un pipeline de recherche d'instances composées d’un filtrage puis d’un reclassement. Plus encore, nous étudions la pertinence des caractéristiques de Faster R-CNN lorsque le réseau est affiné pour les mêmes objets que ceux qu’on veut récupérer. Nous évaluons la performance du système avec les deux datasets: Oxford Buildings 5k et Paris Buildings 6k. Les résultats obtenus par notre algorithme comparé avec d’autres techniques sont encourageants

Software-hardware Integration and Human-centered Benchmarking for Socially-compliant Robot Navigation

The social compatibility (SC) is one of the most important parameters for service robots. It characterises the interaction quality between a robot and a human. In this paper, we first introduce an open-source software-hardware integration scheme for socially-compliant robot navigation and then propose a human-centered benchmarking framework. For the former, we integrate one 3D lidar, one 2D lidar, and four RGB-D cameras for robot exterior perception. The software system is entirely based on the Robot Operating System (ROS) with high modularity and fully deployed to the embedded hardware-based edge while running at a rate that exceeds the release frequency of sensor data. For the latter, we propose a new human-centered performance evaluation metric that can be used to measure SC quickly and efficiently. The values of this metric correlate with the results of the Godspeed questionnaire, which is believed to be a golden standard approach for SC measurements. Together with other commonly used metrics, we benchmark two open-source socially-compliant robot navigation methods, in an end-to-end manner. We clarify all aspects of the benchmarking to ensure the reproducibility of the experiments. We also show that the proposed new metric can provide further justification for the selection of numerical metrics (objective) from a human perspective (subjective).Comment: 8 pages, 8 figure

Segmentation d'images couleur par combinaison LPE-régions/LPE-contours et fusion de régions. Application à la segmentation de toitures à partir d'orthophotoplans

D un point de vue général, les travaux de recherche de cette thèse s inscrivent dans le cadre d une approche globale quiconsiste à extraire des informations relatives aux toitures de bâtiments à partir de photos aériennes (orthophotoplans). L objectifétant de pouvoir reconnaître des toitures extraites d images aériennes en utilisant une base de connaissances, puisaffiner/déformer des modèles 3D générés automatiquement à partir de données géographiques. Pour cela, une premièreétape consiste tout d abord à partitionner l image aérienne en différentes régions d intérêt (pans de toiture, cheminées,chiens assis, fenêtres, etc.), c est la contribution de cette thèse.La méthodologie permettant d atteindre cet objectif est composée de trois étapes : (i) Une étape de simplification qui consisteà simplifier l image initiale avec un couple invariant/gradient approprié et optimisé pour l application. Pour cela, unesérie de tests permettant de choisir, d une part, l invariant colorimétrique le plus approprié parmi 24 invariants et, d autrepart, le meilleur gradient parmi 14 gradients issus de la littérature est réalisée. (ii) La deuxième étape comporte deux stratégiesde segmentation par LPE. L image simplifiée est segmentée d une part par une LPE-régions couplée à une stratégiede fusion de régions, et d autre part, par une LPE-contours. Le processus de fusion de régions intègre des critères defusion fondés sur des grandeurs radiométriques et géométriques adaptés aux particularités des orthophotoplans traités.Une technique de caractérisation 2D des arêtes de toitures par une analyse des segments est proposée afin de calculerl un des critères de fusion. (iii) La troisième étape consiste à combiner les avantages de chaque méthode dans un mêmeschéma de segmentation coopératif afin d aboutir à un résultat de segmentation fiable. Les tests ont été effectués sur unorthophotoplan contenant 100 toitures de complexité variée et évaluées avec le critère de VINET utilisant une segmentationde référence afin de prouver la robustesse et la fiabilité de l approche proposée. Une étape de comparaison permettantde situer les résultats obtenus via notre approche proposée par rapport à ceux obtenus pas les principales méthodes desegmentation de la littérature est finalement effectuée.The work presented in this thesis is developed in a global approach that consists in recognizing roofs extracted from aerialimages using a knowledge database, and bending out 3D models automatically generated from geographical data. Themain step presented in this thesis consists in segmenting roof images in different regions of interest in order to provideseveral measures of roofs (section of roofs, chimneys, roof light, etc).The method aimed at achieving this goal is composed of three principal steps: (i) A simplification step that consists insimplifying the image with an appropriate (optimized for the application) couple of invariant/gradient. For that, several testshave been performed to choose a suitable colorimetric invariant among a set of 24 invariants and define the best gradientamong 14 gradients (eight gray level gradients and six color gradients) of the literature. (ii) The second step is composedof two main treatments: On the one hand, the preliminary orthophotoplan segmentation is produced using the watershedregions applied on the simplified image. An efficient region merging strategy is then applied in order to deal with theover-segmentation problem. The regions merging procedure includes a merging criteria adapted to the orthophotoplanparticularities. In order to calculate one of the merging criteria, a 2D modeling of roof ridges strategy is proposed. Onthe other hand, the simplified image is segmented by the watershed lines. (iii) The third step consists in integrating bothsegmentation strategies by watershed algorithm into a single cooperative segmentation scheme to achieve satisfactorysegmentation results. Tests have been performed on an orthophotoplan containing 100 roofs with varying complexity andevaluated with VINET criteria using a ground truth image segmentation. Comparison results with five popular segmentationtechniques of the literature demonstrates the effectiveness and the reliability of the proposed approach.BELFORT-UTBM-SEVENANS (900942101) / SudocSudocFranceF