Adaboost Discret Hétérogène à Contrainte Temps Réel : Application à la Détection de Piétons par Stéréovision

Session "Posters"National audienceCet article présente une méthode de détection de piétons basée sur la combinaison de classifieurs d'apparence et de profondeur. Des travaux récents ont montré l'intérêt de cette approche. Nous proposons deux contributions : 1) une étude comparative de différents classifieurs de profondeur, dans laquelle nous montrons que les meilleures performances sont atteintes par un classifieur simple, basé sur la moyenne des distances dans une sous-fenêtre de la région testée et 2) une adaptation de l'algorithme d'apprentissage Adaboost prenant en compte des classifieurs hétérogènes en terme de coût algorithmique. L'objectif de cette approche est de construire un classifieur à la fois performant en terme de taux de détection et de temps d'exécution. Nous montrons la pertinence de l'algorithme ainsi développé sur des séquences d'images réelle

Vers une détection de piétons temps réel par apprentissage de forme dans l'image de profondeur

National audienceThis paper presents a method for detecting pedestrians in a depth image, established from a pair of calibrated cameras (stereoscopic head). We propose to learn the characteristics of a pedestrian thanks to a boosting type algorithm, using weak classifiers created from simple statistical characteristics of distance within a sub-window of the area of analysis. These assumptions will then be confirmed by a second, classic detector based on analysis of the visual appearance of pedestrians. Our resulting method allows for the detection of pedestrians at a rate close to real time, using the concept of integral image, applied to the calculation of 3D descriptors. The proposed method is compared with a traditional method for detecting vertical obstacles on a real annotated video sequence. Our method reduces the number of false positives by approximately 60% compared to an obstacle-detection method, while reducing the computation time.Cet article présente une méthode pour la détection des piétons dans une image de profondeur, acquise à partir d'une paire de caméras calibrées (tête stéréoscopique). Nous proposons d'apprendre les caractéristiques d'un piéton à l'aide d'un algorithme de type boosting, à partir de classifieurs faibles issus de caractéristiques statistiques simples des distances à l'intérieur d'une sous-fenêtre de la zone d'analyse. Ces hypothèses seront ensuite confirmées par un second détecteur, classique, basé sur l'analyse de l'apparence visuel des piétons. La méthode ainsi obtenue permet une détection des piétons, à une cadence proche du temps réel, grâce à l'utilisation de la notion d'image intégrale, appliquée au calcul des descripteurs 3D. La méthode proposée est comparée à une méthode de détection d'obstacles verticaux classique sur une séquence vidéo réelle annotée. Elle permet de réduire le nombre de faux positifs d'approximativement 60% par rapport à une méthode de détection d'obstacles, tout en diminuant le temps de calcul

Mise en correspondance multi-échelle

National audienceCette article traite de la mise en correspondance de primitives de type point d'intérêt. Ces primitives sont extraites automatiquement de zones de l'image riches en information de luminance. Elles sont donc particulièrement intéressantes dans un contexte de mise en correspondance. Nous proposons ici une description locale et multi-échelles de ces primitives directement basée sur le signal de luminance. Cette description est invariante aux rotations et translations de l'image et très robuste aux changements d'échelles. L'algorithme de mise en correspondance comprend 4 étapes : l'extraction des primitives, leurs caractérisation, la recherche des points semblables, et enfin le filtrage des couples erronés

Detection of Thermal Events by Semi-Supervised Learning for Tokamak First Wall Safety

This paper explores a semi-supervised object detection approach to detect hot spots on the internal wall of Tokamaks. A huge amount of data is produced during an experimental campaign by the infrared (IR) viewing systems used to monitor the inner thermal shields during machine operation. The amount of data to be processed and analysed is such that protecting the first wall is an overwhelming job. Automatizing this job with artificial intelligence (AI) is an attractive solution, but AI requires large labelled databases which are not readily available for Tokamak walls. Semi-supervised learning (SSL) is a possible solution to being able to train deep learning models with a small amount of labelled data and a large amount of unlabelled data. SSL is explored as a possible tool to rapidly adapt a model trained on an experimental campaign A of Tokamak WEST to a new experimental campaign B by using labelled data from campaign A, a little labelled data from campaign B and a lot of unlabelled data from campaign B. Model performances are evaluated on two labelled datasets and two methods including semi-supervised learning. Semi-supervised learning increased the mAP metric by over six percentage points on the first smaller scale database and over four percentage points on the second larger scale dataset depending on the employed method

SIMD, SMP and MIMD-DM approaches for real-time 2D image stabilization

We present a real-time image stabilization method, based on a 2D motion model, and exploiting different levels of parallelism in its implementation. This stabilization method is decomposed into three parts. First, the image matching is determined by a feature-based technique. In the second part, the motion between consecutive frames is estimated and filtered to extract the unwanted motion component. Finally, these component is used to correct (warp) the images, resulting in a stable sequence. To validate our stabilization approach in a real-time on-board system context, the algorithm was implemented and tested over different hardware platforms, allowing a performance evaluation in function of the adopted architecture. In this paper, we present some results concerning the parallel implementation of the algorithm, using the SIMD ALTIVEC instructions set, a symmetric multi-processor architecture (SMP) and a MIMD-DM architecture.Nous présentons une méthode de stabilisation de séquence d'images en temps réel, basée sur un modèle de mouvement 2D, avec mise en correspondance par détection et suivi de primitives. Le déplacement estimé entre deux images est filtré afin d'isoler la composante non voulue du mouvement, et finalement utilisé pour corriger les images rendant la séquence stable. Afin de valider l'approche dans un contexte de système temps réel embarqué, l'algorithme a été implanté et testé sur plusieurs plateformes matérielles différentes, permettant l'évaluation des performances selon l'architecture adoptée. Nous montrons ici quelques résultats obtenus, concernant notamment la parallélisation de l'algorithme au moyen des instructions SIMD ALTIVEC, l'adoption d'une architecture symétrique multiprocesseur (SMP) et l'implantation sur une architecture de type MIMD-DM

Audio-Video Event Recognition System For Public Transport Security

International audienceThis paper presents an audio-video surveillance system for the automatic surveillance in public transport vehicle. The system comprises six modules including in particular three novel ones: (i) Face Detection and Tracking, (ii) Audio Event Detection and (iii) Audio-Video Scenario Recognition. The Face Detection and Tracking module is responsible for detecting and tracking faces of people in front of cameras. The Audio Event Detection module detects abnormal audio events which are precursor for detecting scenarios which have been predefined by end-users. The Audio-Video Scenario Recognition module performs high level interpretation of the observed objects by combining audio and video events based on spatio-temporal reasoning. The performance of the system is evaluated for a series of pre-defined audio, video and audio-video events specified using an audio-video event ontology

Création automatique d'un détecteur adapté à la scène

Session "Posters"National audienceCet article se place dans le cadre de la détection temps-réel de piétons à l'aide d'une caméra fixe non calibrée. Plus précisément, il s'agit d'adapter un classifieur au contexte d'une scène. L'approche développée ici repose sur une méthode offline semi-supervisée basée sur l'utilisation d'un oracle. Le rôle de ce dernier est de labelliser automatiquement une vidéo pour obtenir une base d'apprentissage spécialisée. Il est constitué de plusieurs détecteurs, chacun appris sur un signal différent (apparence, segmentation fond/forme, flot optique), dont les réponses sont ensuite fusionnées. Un détecteur final, contextualisé, est ensuite appris sur cette base. Cette méthode est totalement automatique et ne nécessite aucune connaissance a priori de la scène et peut donc être utilisée lors de la phase de déploiement d'un réseau de caméra

Recognition of 3D Textured Objects by Mixing View-Based and Model-Based Representations

International audienceA strategy combining advantages of view-based and model-based object recognition approaches has been developed. Textured 3D models are used to produce local appearances of object key-points. Correspondences between 3D points and local appearances are also established during this learning stage. The recognition consists first in matching these local appearances and those extracted from the image. A robust 3D pose estimation is then carried out, discarding spurious correspondences. This algorithm is computationally very efficient. It can analyse images including several objects and can also handle partial object occultations as well as important changes of brightness and contrast

Real-Time Humans Detection in Urban Scenes

We address the issue of real-time pedestrians detection in a urban environment. This is a challenging task owing to the high variability of appearances and poses that humans can have and to the complexity of backgrounds. We propose a solution made of gradient-based local descriptors combined to form strong classifiers and organized in a cascaded detector. We developed for this an extension of the Histograms of Oriented Gradients (HOGs) and added a new component to the histogram which represents the strength of edges or the amount of information in the histogram support. We also implemented a learning algorithm based on Real Adaboost where two phases – selection first, then refinement of weights – provide more robustness to the detector. We evaluated our system by comparing it to the cascaded detector of Haar features of Viola & Jones [7] and to the SVM of HOGs features of Dalal & Triggs [1]. To ensure an equitable and valid comparison, we used the database proposed in [1]. Our system outperforms them in detection results and in time needs.

Automatic multi-label classification of bridge components and defects based on inspection photographs

International audienceWhen performing visual inspections of bridges, experts collect photographs of defects to assess the overall condition of the structure and schedule maintenance plans. Such inspections are labor-intensive, and computer vision-based systems are being investigated as automated tools to assist the experts in their inspections. An important aspect however remains to ensure the representativeness of the data accounting for the sheer size, complexity and variety of the bridge components and defects being reported. Here, we perform a multi-label classification on a dataset (SOFIA dataset) that consists of 139,455 images of types of bridge components and defects among which 53,805 are labeled (13 classes for each type). The dataset containing class imbalance and noisy labeling is processed using visual embedding computed from unsupervised deep learning methods. A combination of class-balancing techniques is investigated on the state-of-the-art Vision Transformer model. Interclass relations, which determine whether a class of defect should be part of a class of bridge component, are implemented with an additional filtering step. The whole method is also deployed on the CODEBRIM benchmark dataset resulting in an improved accuracy score