Abandoned object detection in long-term video-surveillance

Due to recent events, global security concern is significantly increasing in our society. This area of concern is directly connected with the growing demand of video surveillance systems, mainly in public and crowded scenarios, such as railway stations, due to the potential risk they present. In order to avoid the arduous manual task of supervising a video surveillance system, automatic analysis and detection of this kind of events is the challenging task to be achieved. Although diverse systems trying to reach this goal have been proposed in the literature there is a lack of evaluation within this field. An end-to-end configurable system for abandoned and stolen object detection has been designed and developed by integrating available techniques. This systems integrates several algorithms in each module of the system, thus it allows the evaluation of several state-of-the art techniques combinations. An evaluation protocol considering short and long-term sequences has been designed by classifying available datasets and analysis evaluation metrics. A graphical user interface has been developed allowing the algorithms and parameters selection and adjustment for each stage of the system, as well as displaying the results. In addition, a new different system integrating recent and innovative state of the art proposals has been proposed.Debido a los acontecimientos recientes, la preocupación por la seguridad global está incrementando en nuestra sociedad. Este motivo de preocupación está directmente realacionado con la creciente demanda de sistemas de vídeo vigilancia, principalmente en espacios publicos y transitados, tales como estaciones de tren, debido al potencial riesgo que presentan. Con el fin de evitar la ardua tarea manual de supervisar un sistema de video vigilancia, surge la difícil tarea de analizar y detectar automáticamente eventos como el robo y abandono de objetos. Aunque se han propuesto diversos sistemas tratando de alcanzar esta meta, aún se carece de un marco de evaluación en este área. En este trabajo se ha diseñado y desarrollado un sistema completo configurable para la detección de eventos abandonados y robados integrando las técnicas disponibles en el estado del arte. El sistema integra diferentes algoritmos en cada uno de sus módulos, haciendo posible la evaluación de diferentes combinaciones. Se ha diseñado también un protocolo de evaluación para secuencias de corto y largo plazo, mediante la clasificación de las mismas y el análisis de métricas de evaluación. Se ha desarrollado una interfaz gráfica de usuario que permite la selección y ajuste de los algoritmos y parámetros para cada módulo, así como la visualización de los resultados de cada etapa. Además, se ha propuesto un nuevo sistema que integra diferentes técnicas recientes del estado del arte

Integración y evaluación de sistemas de robo-abandono de objetos en vídeo-seguridad

En este trabajo se propone un sistema configurable de detección de robo-abandono de objetos en vídeo-seguridad que integra las técnicas más relevantes en cada una de sus etapas. Se presenta una formalización del problema, seguida de una descripción de las distintas etapas de análisis requeridas para la detección. En primer lugar, se realiza un estudio del estado del arte para conocer los problemas actuales en la materia. Después el trabajo se centra en integrar los algoritmos más recientes y relevantes de la literatura en cada una de las etapas del sistema y diseñar las interfaces necesarias para su ejecución de manera secuencial. Por último se evalúan y comparan distintas configuraciones del sistema a nivel de detección de regiones estáticas y clasificación robo-abandono sobre un conjunto de secuencias de vídeo heterogéneo. La detección de eventos de robo y abandono es muy dependiente de los parámetros que modulan la absorción de elementos del frente estático por parte del modelo de fondo. Puesto que la discriminación robo-abandono de objetos es la última etapa del sistema de análisis de vídeo, sus resultados se ven afectados por la acumulación de errores de las etapas anteriores.This work proposes a configurable abandoned-stolen object detection system in security-video that integrates the most relevant techniques in each one of its stages. A formalization of the problem is presented, followed by a description of the different analysis stages required for the detection. Firslty, this work analyses the state of the art to know the present date problems about the matter. Secondly, the work focuses on the integration of the most recent and relevant algorithms of the literature in every single phase of the system. It also designs the necesary interfaces for its execution in a sequential order. To conclude, the different configurations of the system regarding the detection of static regions as well are evaluated and compared, while it is classified as abandoned-stolen about a compound of heterogeneous videos sequences. Abandoned/stolen object event detection depends on the parameters that modulate the absorption of the blobs from the static foreground by the background model. The results of abandoned/stolen detection stage are affected by the propagation of errors in the earlier stages as it is the last stage of video analysis system

Méthodes de vision à la motion et leurs applications

La détection de mouvement est une opération de base souvent utilisée en vision par ordinateur, que ce soit pour la détection de piétons, la détection d’anomalies, l’analyse de scènes vidéo ou le suivi d’objets en temps réel. Bien qu’un très grand nombre d’articles ait été publiés sur le sujet, plusieurs questions restent en suspens. Par exemple, il n’est toujours pas clair comment détecter des objets en mouvement dans des vidéos contenant des situations difficiles à gérer comme d'importants mouvements de fonds et des changements d’illumination. De plus, il n’y a pas de consensus sur comment quantifier les performances des méthodes de détection de mouvement. Aussi, il est souvent difficile d’incorporer de l’information de mouvement à des opérations de haut niveau comme par exemple la détection de piétons. Dans cette thèse, j’aborde quatre problèmes en lien avec la détection de mouvement: 1. Comment évaluer efficacement des méthodes de détection de mouvement? Pour répondre à cette question, nous avons mis sur pied une procédure d’évaluation de telles méthodes. Cela a mené à la création de la plus grosse base de données 100\% annotée au monde dédiée à la détection de mouvement et organisé une compétition internationale (CVPR 2014). J’ai également exploré différentes métriques d’évaluation ainsi que des stratégies de combinaison de méthodes de détection de mouvement. 2. L’annotation manuelle de chaque objet en mouvement dans un grand nombre de vidéos est un immense défi lors de la création d’une base de données d’analyse vidéo. Bien qu’il existe des méthodes de segmentation automatiques et semi-automatiques, ces dernières ne sont jamais assez précises pour produire des résultats de type “vérité terrain”. Pour résoudre ce problème, nous avons proposé une méthode interactive de segmentation d’objets en mouvement basée sur l’apprentissage profond. Les résultats obtenus sont aussi précis que ceux obtenus par un être humain tout en étant 40 fois plus rapide. 3. Les méthodes de détection de piétons sont très souvent utilisées en analyse de la vidéo. Malheureusement, elles souffrent parfois d’un grand nombre de faux positifs ou de faux négatifs tout dépendant de l’ajustement des paramètres de la méthode. Dans le but d’augmenter les performances des méthodes de détection de piétons, nous avons proposé un filtre non linéaire basée sur la détection de mouvement permettant de grandement réduire le nombre de faux positifs. 4. L’initialisation de fond ({\em background initialization}) est le processus par lequel on cherche à retrouver l’image de fond d’une vidéo sans les objets en mouvement. Bien qu’un grand nombre de méthodes ait été proposé, tout comme la détection de mouvement, il n’existe aucune base de donnée ni procédure d’évaluation pour de telles méthodes. Nous avons donc mis sur pied la plus grosse base de données au monde pour ce type d’applications et avons organisé une compétition internationale (ICPR 2016).Abstract : Motion detection is a basic video analytic operation on which many high-level computer vision tasks are built upon, e.g., pedestrian detection, anomaly detection, scene understanding and object tracking strategies. Even though a large number of motion detection methods have been proposed in the last decades, some important questions are still unanswered, including: (1) how to separate the foreground from the background accurately even under extremely challenging circumstances? (2) how to evaluate different motion detection methods? And (3) how to use motion information extracted by motion detection to help improving high-level computer vision tasks? In this thesis, we address four problems related to motion detection: 1. How can we benchmark (and on which videos) motion detection method? Current datasets are either too small with a limited number of scenarios, or only provide bounding box ground truth that indicates the rough location of foreground objects. As a solution, we built the largest and most objective motion detection dataset in the world with pixel accurate ground truth to evaluate and compare motion detection methods. We also explore various evaluation metrics as well as different combination strategies. 2. Providing pixel accurate ground truth is a huge challenge when building a motion detection dataset. While automatic labeling methods suffer from a too large false detection rate to be used as ground truth, manual labeling of hundreds of thousands of frames is extremely time consuming. To solve this problem, we proposed an interactive deep learning method for segmenting moving objects from videos. The proposed method can reach human-level accuracies while lowering the labeling time by a factor of 40. 3. Pedestrian detectors always suffer from either false positive detections or false negative detections all depending on the parameter tuning. Unfortunately, manual adjustment of parameters for a large number of videos is not feasible in practice. In order to make pedestrian detectors more robust on a large variety of videos, we combined motion detection with various state-of-the-art pedestrian detectors. This is done by a novel motion-based nonlinear filtering process which improves detectors by a significant margin. 4. Scene background initialization is the process by which a method tries to recover the RGB background image of a video without foreground objects in it. However, one of the reasons that background modeling is challenging is that there is no good dataset and benchmarking framework to estimate the performance of background modeling methods. To fix this problem, we proposed an extensive survey as well as a novel benchmarking framework for scene background initialization