Cross-View Gait Recognition Using View-Dependent Discriminative Analysis

Abstrac

Human shape modelling for carried object detection and segmentation

La détection des objets transportés est un des prérequis pour développer des systèmes qui cherchent à comprendre les activités impliquant des personnes et des objets. Cette thèse présente de nouvelles méthodes pour détecter et segmenter les objets transportés dans des vidéos de surveillance. Les contributions sont divisées en trois principaux chapitres. Dans le premier chapitre, nous introduisons notre détecteur d’objets transportés, qui nous permet de détecter un type générique d’objets. Nous formulons la détection d’objets transportés comme un problème de classification de contours. Nous classifions le contour des objets mobiles en deux classes : objets transportés et personnes. Un masque de probabilités est généré pour le contour d’une personne basé sur un ensemble d’exemplaires (ECE) de personnes qui marchent ou se tiennent debout de différents points de vue. Les contours qui ne correspondent pas au masque de probabilités généré sont considérés comme des candidats pour être des objets transportés. Ensuite, une région est assignée à chaque objet transporté en utilisant la Coupe Biaisée Normalisée (BNC) avec une probabilité obtenue par une fonction pondérée de son chevauchement avec l’hypothèse du masque de contours de la personne et du premier plan segmenté. Finalement, les objets transportés sont détectés en appliquant une Suppression des Non-Maxima (NMS) qui élimine les scores trop bas pour les objets candidats. Le deuxième chapitre de contribution présente une approche pour détecter des objets transportés avec une méthode innovatrice pour extraire des caractéristiques des régions d’avant-plan basée sur leurs contours locaux et l’information des super-pixels. Initiallement, un objet bougeant dans une séquence vidéo est segmente en super-pixels sous plusieurs échelles. Ensuite, les régions ressemblant à des personnes dans l’avant-plan sont identifiées en utilisant un ensemble de caractéristiques extraites de super-pixels dans un codebook de formes locales. Ici, les régions ressemblant à des humains sont équivalentes au masque de probabilités de la première méthode (ECE). Notre deuxième détecteur d’objets transportés bénéficie du nouveau descripteur de caractéristiques pour produire une carte de probabilité plus précise. Les compléments des super-pixels correspondants aux régions ressemblant à des personnes dans l’avant-plan sont considérés comme une carte de probabilité des objets transportés. Finalement, chaque groupe de super-pixels voisins avec une haute probabilité d’objets transportés et qui ont un fort support de bordure sont fusionnés pour former un objet transporté. Finalement, dans le troisième chapitre, nous présentons une méthode pour détecter et segmenter les objets transportés. La méthode proposée adopte le nouveau descripteur basé sur les super-pixels pour iii identifier les régions ressemblant à des objets transportés en utilisant la modélisation de la forme humaine. En utilisant l’information spatio-temporelle des régions candidates, la consistance des objets transportés récurrents, vus dans le temps, est obtenue et sert à détecter les objets transportés. Enfin, les régions d’objets transportés sont raffinées en intégrant de l’information sur leur apparence et leur position à travers le temps avec une extension spatio-temporelle de GrabCut. Cette étape finale sert à segmenter avec précision les objets transportés dans les séquences vidéo. Nos méthodes sont complètement automatiques, et font des suppositions minimales sur les personnes, les objets transportés, et les les séquences vidéo. Nous évaluons les méthodes décrites en utilisant deux ensembles de données, PETS 2006 et i-Lids AVSS. Nous évaluons notre détecteur et nos méthodes de segmentation en les comparant avec l’état de l’art. L’évaluation expérimentale sur les deux ensembles de données démontre que notre détecteur d’objets transportés et nos méthodes de segmentation surpassent de façon significative les algorithmes compétiteurs.Detecting carried objects is one of the requirements for developing systems that reason about activities involving people and objects. This thesis presents novel methods to detect and segment carried objects in surveillance videos. The contributions are divided into three main chapters. In the first, we introduce our carried object detector which allows to detect a generic class of objects. We formulate carried object detection in terms of a contour classification problem. We classify moving object contours into two classes: carried object and person. A probability mask for person’s contours is generated based on an ensemble of contour exemplars (ECE) of walking/standing humans in different viewing directions. Contours that are not falling in the generated hypothesis mask are considered as candidates for carried object contours. Then, a region is assigned to each carried object candidate contour using Biased Normalized Cut (BNC) with a probability obtained by a weighted function of its overlap with the person’s contour hypothesis mask and segmented foreground. Finally, carried objects are detected by applying a Non-Maximum Suppression (NMS) method which eliminates the low score carried object candidates. The second contribution presents an approach to detect carried objects with an innovative method for extracting features from foreground regions based on their local contours and superpixel information. Initially, a moving object in a video frame is segmented into multi-scale superpixels. Then human-like regions in the foreground area are identified by matching a set of extracted features from superpixels against a codebook of local shapes. Here the definition of human like regions is equivalent to a person’s probability map in our first proposed method (ECE). Our second carried object detector benefits from the novel feature descriptor to produce a more accurate probability map. Complement of the matching probabilities of superpixels to human-like regions in the foreground are considered as a carried object probability map. At the end, each group of neighboring superpixels with a high carried object probability which has strong edge support is merged to form a carried object. Finally, in the third contribution we present a method to detect and segment carried objects. The proposed method adopts the new superpixel-based descriptor to identify carried object-like candidate regions using human shape modeling. Using spatio-temporal information of the candidate regions, consistency of recurring carried object candidates viewed over time is obtained and serves to detect carried objects. Last, the detected carried object regions are refined by integrating information of their appearances and their locations over time with a spatio-temporal extension of GrabCut. This final stage is used to accurately segment carried objects in frames. Our methods are fully automatic, and make minimal assumptions about a person, carried objects and videos. We evaluate the aforementioned methods using two available datasets PETS 2006 and i-Lids AVSS. We compare our detector and segmentation methods against a state-of-the-art detector. Experimental evaluation on the two datasets demonstrates that both our carried object detection and segmentation methods significantly outperform competing algorithms

Application of CBIR techniques for the purpose of biometric identification based on human gait

Intenzivan razvoj informaciono-komunikacionih tehnologija otvorio je vrata primeni biometrijskih tehnologija u menadžmentu identiteta. Biometrijski modalitet koji ima veliki potencijal za primenu u praksi je ljudski hod. Njega odlikuju neinvazivnost i neintruzivnost. Ovakve osobine posebno pogoduju primeni u uslovima tehnologije prismotre. Zahvaljujući tome, ovaj biometrijski modalitet tokom prethodnih godina izaziva veliko interesovanje akademske zajednice. Ovo interesovanje rezultiralo je razvojem velikog broja pristupa za prepoznavanje osoba na osnovu hoda. Uprkos tome, primena biometrijskih tehnologija zasnovanih na ljudskom hodu u praksi i dalje zaostaje za dobro ustanovljenim modalitetima poput otiska prsta, lica ili glasa. Glavni razlog je nedostatak odgovarajućeg pristupa koji bi omogućio stabilnu primenu u realnim uslovima. Cilj ovog rada je predlog novog postupka za prepoznavanje osoba na osnovu hoda koji bi omogućio razvoj robusnog i pristupačnog biometrijskog sistema. Inicijalno, urađen je sveobuhvatan pregled oblasti i aktuelnih istraživanja na osnovu čega je predložen novi postupak. Predloženi postupak se zasniva na ideji da se sekvenca ljudskog hoda može predstaviti kao jedna nepomična 2D slika. Ovakav postupak omogućio bi da se za potrebe prepoznavanja primene generičke metode za pretragu slika na osnovu sadržaja. Na ovakav način problem bi bio prenet iz prostorno-vremenskog domena u prostorni domen, konkretno domen 2D nepomične slike, koji je poznat i u kome postoji veliki broj dokazanih rešenja. Za potrebe akvizicije, postupak se oslanja na novu tehnologiju iz oblasti interakcije čovek-računar, Microsoft Kinect. Na osnovu predloženog postupka razvijen je modularni laboratorijski prototip kao i okruženje za testiranje i evaluaciju. Naučna zasnovanost i opravdanost predloženog postupka proverena je nizom eksperimenata. Eksperimenti su organizovani na takav način da ispitaju različite faktore koji tokom primene postupka mogu uticati na konačne performanse u prepoznavanju. Na osnovu dobijenih rezultata može se zaključiti da predloženi postupak odlilkuje visok stepen robusnosti kao i visoka preciznost u prepoznavanju...Intense progress of information and communications technology enabled application of biometric technology in identity management. Human gait, as a biometric modality, has great potential for practical application. This is due to its noninvasive and nonintrusive nature. Surveillance technology is especially fertile ground for recognition based on human gait. These facts caused spike in academic interest for this biometric modality. This in turn resulted in development of large number of different approaches to human gait recognition. Nevertheless, practical application of biometric technology based on human gait still trails those well established modalities such as fingerprint, face or voice. Main reason for this is lacking of such approach that would enable stable use in realistic conditions. Goal of this paper is to propose a new approach for human gait recognition that would result in robust and affordable biometric system. Initially, a comprehensive review of research area and existing research was done that served as a base for the proposition of new approach. This new approach is based on the idea that human gait sequence can be represented as a single 2D still image. Using images would open the possibility of applying Content Based Image Retrieval (CBIR) techniques for the purpose of final recognition. This procedure shifts the problem form spatio-temporal towards spatial domain, specifically the space of 2D still image that is well researched and familiar. For acquisition purposes approach relies on new human-computer interaction technology, Microsoft Kinect. As proof of concept, a modular laboratory prototype was developed as well as environment for testing and evaluation. Foundation of the proposed approach was tested through a series of experiments. Empirical evaluation was performed in such a manner to investigate the influence of different contributing factors to system performance. Based on retrieved results a conclusion is reached that the proposed approach is highly robust and achieves high recognition rates..