Modeling metadata of CCTV systems and Indoor Location Sensors for automatic filtering of relevant video content

The following topics are dealt with: formal specification; social networking (online); Internet of Things; data analysis; business data processing; human factors; Internet; data mining; learning (artificial intelligence); and decision making

Querying indoor spatio-temporal data by hybrid trajectories

GPS has become the reference for outdoor positioning, implementing a direct connection between the GPS satellite and a receiver device. Indoor positioning raises new challenges, locating a target device requires the wireless sensors networks and other technologies. Sensor networks deployed in buildings are commonly used for many applications based on location: surveillance, detection, navigation, etc. These indoor locating sensors generate lot of data related to tracking information. Exploiting this information for investigation issues for example remains a relevant purpose. The context of this paper is related to indoor locations systems based on wireless cell, ICCARD sensors and video surveillance cameras. In this context, as no global reference system similar to GPS is available, the location information issued from various systems, platforms, devices, etc. have neither standards nor common formats, and remain heterogeneous. This heterogeneity is mainly due to the different types of positions (geometric, symbolic, etc.) expressed w.r.t. various reference systems. In order to manage them in a given framework, it is necessary to homogenize the relevant (Meta) data to process the global knowledge they can give. This paper presents a contribution to extend our framework [1] to information generated by location sensor networks deployed in an indoor environment. The use case is illustrated in a forensic application [2]

Modélisation des métadonnées multi sources et hétérogènes pour le filtrage négatif et l'interrogation intelligente de grands volumes de données : application à la vidéosurveillance

En raison du déploiement massif et progressif des systèmes de vidéosurveillance dans les grandes métropoles, l'analyse a posteriori des vidéos issues de ces systèmes est confrontée à de nombreux problèmes parmi lesquels: (i) l'interopérabilité, due aux différents formats de données (vidéos) et aux spécifications des caméras propres à chaque système ; (ii) le grand temps d'analyse lié à l'énorme quantité de données et métadonnées générées ; et (iii) la difficulté à interpréter les vidéos qui sont parfois à caractère incomplet. Face à ces problèmes, la nécessité de proposer un format commun d'échange des données et métadonnées de vidéosurveillance, de rendre le filtrage et l'interrogation des contenus vidéo plus efficaces, et de faciliter l'interprétation des contenus grâce aux informations exogènes (contextuelles) est une préoccupation incontournable. De ce fait, cette thèse se focalise sur la modélisation des métadonnées multi sources et hétérogènes afin de proposer un filtrage négatif et une interrogation intelligente des données, applicables aux systèmes de vidéosurveillance en particulier et adaptables aux systèmes traitant de grands volumes de données en général. L'objectif dans le cadre applicatif de cette thèse est de fournir aux opérateurs humains de vidéosurveillance des outils pour les aider à réduire le grand volume de vidéo à traiter ou à visionner et implicitement le temps de recherche. Nous proposons donc dans un premier temps une méthode de filtrage dit "négatif", qui permet d'éliminer parmi la masse de vidéos disponibles celles dont on sait au préalable en se basant sur un ensemble de critères, que le traitement n'aboutira à aucun résultat. Les critères utilisés pour l'approche de filtrage négatif proposé sont basés sur une modélisation des métadonnées décrivant la qualité et l'utilisabilité/utilité des vidéos. Ensuite, nous proposons un processus d'enrichissement contextuel basé sur les métadonnées issues du contexte, et permettant une interrogation intelligente des vidéos. Le processus d'enrichissement contextuel proposé est soutenu par un modèle de métadonnées extensible qui intègre des informations contextuelles de sources variées, et un mécanisme de requêtage multiniveaux avec une capacité de raisonnement spatio-temporel robuste aux requêtes floues. Enfin, nous proposons une modélisation générique des métadonnées de vidéosurveillance intégrant les métadonnées décrivant le mouvement et le champ de vue des caméras, les métadonnées issues des algorithmes d'analyse des contenus, et les métadonnées issues des informations contextuelles, afin de compléter le dictionnaire des métadonnées de la norme ISO 22311/IEC 79 qui vise à fournir un format commun d'export des données extraites des systèmes de vidéosurveillance. Les expérimentations menées à partir du framework développé dans cette thèse ont permis de démontrer la faisabilité de notre approche dans un cas réel et de valider nos propositions.Due to the massive and progressive deployment of video surveillance systems in major cities, a posteriori analysis of videos coming from these systems is facing many problems, including the following: (i) interoperability, due to the different data (video) formats and camera specifications associated to each system; (ii) time-consuming nature of analysis due to the huge amount of data and metadata generated; and (iii) difficulty to interpret videos which are sometimes incomplete. To address these issues, the need to propose a common format to exchange video surveillance data and metadata, to make video content filtering and querying more efficient, and to facilitate the interpretation of content using external (contextual) information is an unavoidable concern. Therefore, this thesis focuses on heterogeneous and multi-source metadata modeling in order to propose negative filtering and intelligent data querying, which are applicable to video surveillance systems in particular and adaptable to systems dealing with large volumes of data in general. In the applicative context of this thesis, the goal is to provide human CCTV operators with tools that help them to reduce the large volume of video to be processed or viewed and implicitly reduce search time. We therefore initially propose a so-called "negative" filtering method, which enables the elimination from the mass of available videos those that it is know in advance, based on a set of criteria, that the processing will not lead to any result. The criteria used for the proposed negative filtering approach are based on metadata modeling describing video quality and usability/usefulness. Then, we propose a contextual enrichment process based on metadata from the context, enabling intelligent querying of the videos. The proposed contextual enrichment process is supported by a scalable metadata model that integrates contextual information from a variety of sources, and a multi-level query mechanism with a spatio-temporal reasoning ability that is robust to fuzzy queries. Finally, we propose a generic metadata modeling of video surveillance metadata integrating metadata describing the movement and field of view of cameras, metadata from content analysis algorithms, and metadata from contextual information, in order to complete the metadata dictionary of the ISO 22311/IEC 79 standard, which aims to provide a common format to export data extracted from video surveillance systems. The experiments performed using the framework developed in this thesis showed the reliability of our approach in a real case and enabled the validation of our proposals