Dealing with Television Archives: Television Structuring

This paper investigates the problem of managing very large digital television archives. This problem is called television structuring (Or TV broadcast macro-segmentation) and is defined as the process of identifying the structure of a television stream as watchers perceive it: a succession of programs. This is the very first step in order to manage a television collection. In this report, a complete solution for television structuring is proposed, which makes use of simple yet efficient methods in order to deal with huge datasets. Methods from commercial detection are generalized to be able to distinguish regular programs from non-programs. It is shown how television program guides can be used to label the identified programs. It is finally shown how an update procedure can improve the segmentation results over time. Results are provided on 3 weeks of French television.Ce rapport de recherche s'intéresse à la structuration de larges volumes d'archives de télévision. Par structuration, nous entendons l'identification des programmes de télévision, leur début, leur fin, dans le flux, et donc le découpage de ce flux en une succession de programmes. Ceci est la toute première étape dans un processus d'indexation d'un flux de télévision, afin de le rendre facilement navigable et requêtable. Nous présentons une solution somplète basée sur des méthodes simples afin de pouvoir traiter de très importantes quantités de données. Nous généralisons des méthodes provenant de la détection de publicités télévisées afin de distinguer les programmes et les inter-programmes. Il est également montré comment les guides de programmes peuvent être utilisés afin d'étiqueter les programmes identifiés. Nous proposons finalement une procédure de mise à jour, qui permet d'obtenir des résultats constants au cours du temps. Des résultats sur trois semaines de télévision française permettent de vérifier l'efficacité des méthodes

Detecting queues at vending machines: a statistical layered approach

This paper presents a method for monitoring activities at a ticket vending machine in a video-surveillance context. Rather than relying on the output of a tracking module, which is prone to errors, the events are direclty recognized from image measurements. This especially does not require tracking. A statistical layered approach is proposed, where in the first layer, several sub-events are defined and detected using a discriminative approach. The second layer uses the result of the first and models the temporal relationships of the high-level event using a Hidden Markov Model (HMM). Results are assessed on 3h30 hours of real video footage coming from Turin metro station

Understanding Metro Station Usage using Closed Circuit Television Cameras Analysis

In this paper, we propose to show how video data available in standard CCTV transportation systems can represent a useful source of information for transportation infrastructure management, optimization and planning if adequately analyzed (e.g. to facilitate equipment usage understanding, to ease diagnostic and planning for system managers). More precisely, we present two algorithms allowing to estimate the number of people in a camera view and to measure the platform time-occupancy by trains. A statistical analysis of the results of each algorithm provide interesting insights regarding station usage. It is also shown that combining information from the algorithms in different views provide a finer understanding of the station usage. An end-user point of view confirms the interest of the proposed analysis

Structuration automatique de flux vidéos de télévision

Automatic television structuring is a new research topic. Its development is motivated by the growth of digital television archives. This thesis proposes a framework for television structuring, which allows to automatically segment and label television streams. The work is composed of four parts: tools definition, stream segmentation, labeling, and update. Television streams are inherently repetitive. One of the main ideas of this thesis is to take advantage of the repetations to help structuring the stream. Repetitions are especially useful to detect non-programs, because of their repetitive nature. A fast method for detecting repetitions is proposed, which can deal with large amount of video, and which uses a manually labeled reference video dataset. Together with the detection of commercial separations, the repetition detection is used as an input to the segmentation process, resulting in a partition of the stream into programs ans non-programs. The program guide is then used to label each segment, using a dynamic time warping algorithm. Eventually, a method for updating the reference video dataset is proposed, which allows to be less dependent from a manually lebeled dataset. This update step also helps to minatain a constant quality over time.La structuration automatique de flux de télévision est un nouveau sujet de recherche, dont l'apparition est liée à l'augmentation de volume des archives de vidéos numériques de télévision. Cette thèse propose une chaîne complète de structuration, qui permet de segmenter et d'étiqueter automatiquement un flux télévisé. Les travaux présentés se divisent en quatre parties : la définition d'outils, la segmentation, l'étiquetage, et la mise à jour. Un flux de télévision est intrinsèquement répétitif. L'une des idées directrices de la thèse est de considérer les répétitions comme une aide essentielle pour la structuration, en particulier pour réaliser la distinction entre les programmes et les inter-programmes. Une méthode rapide de détection des répétitions dans des flux vidéos est proposée, permettant de gérer d'importants volumes vidéos, à partir d'une base de vidéos de référence, étiquetée manuellement. Grâce à un outil, ainsi qu'à la détection des séparations entre publicités, une segmentation en programmes/inter-programmes est réalisée. Les segments sont alors étiquetés à partir du guide des programmes, en réalisant un alignement global par dynamic time warping. Enfin, une étape de mise à jour permet de réduire la dépendance à une base de Référence manuelle, ainsi que de réduire la baisse de qualité des résultats de structuration au cours du temps

Structuration automatique de flux vidéos de télévision

La structuration automatique de flux de télévision est un nouveau sujet de recherche, dont l'apparition est liée à l'augmentation de volume des archives de vidéos numériques de télévision. Cette thèse propose une chaîne complète de structuration, qui permet de segmenter et d'étiqueter automatiquement un flux télévisé. Les travaux présentés se divisent en quatre parties : la définition d'outils, la segmentation, l'étiquetage, et la mise à jour. Une méthode rapide de détection des répétitions dans des flux vidéos est proposée. Grâce à cet outil, ainsi qu'à la détection des séparations entre publicités, une segmentation en programmes/inter-programmes est réalisée. Les segments sont alors étiquetés à partir du guide des programmes, en réalisant un alignement global par dynamic time warping . Enfin, une étape de mise à jour permet de réduire la dépendance à une base de référence manuelle et la baisse de qualité des résultats de structuration au cours du temps.Automatic television structuring is a new research topic. Its development is motivated by the growth of digital television archives. This thesis proposes a framework for television structuring, which allows to automatically segment and label television streams. The work is composed of four parts : tools definition, stream segmentation, labeling and update. A fast method for detecting repetitions is proposed, which is used together with detection of commercial separations, as an input to the segmentation process. The segmentation results in a partition of the stream into programs and non-programs. The program guide is then used to label each segment, using a dynamic time warping algorithm. Eventually, a method for updating the reference video dataset is proposed, which allows to be less dependant from a manually labeled dataset. This update step also helps to maintain a constant structuring quality over time.RENNES1-BU Sciences Philo (352382102) / SudocRENNES-INRIA Rennes Irisa (352382340) / SudocSudocFranceF

Detecting Repeats for Video Structuring

Television daily produces massive amounts of videos. Digital video is unfortunately an unstructured document in which it is very difficult to find any information. Television streams have however a strong and stable but hidden structure that we want to discover by detecting repeating objects in the video stream i.e.\textit{ self-similarities}. This report shows that television streams are actually highly redundant and that detecting repeats clearly outlines the underlying structure of the video. A method for detecting these self-similarities is presented here with an emphasis on the efficiency of the search in a large video corpus. Very good results are obtained both in terms of effectivness (98\% in recall and precision) as well as efficiency since one day of video is queried against a three weeks dataset in only one second. \\ La télévision produit en permanence des flux vidéo d'une ampleur considérable, sans que l'on sache pourtant ce qui a été exactement diffusé. Nous nous intéressons ici à la détection de répétitions dans des vidéos de grande taille. On montre que les flux de la télévision sont en effet extrêmement répétitifs et que la détection des \textit{auto-similarités} permet de découvrir la structure sous-jacente du flux. Ce rapport présente en détail une méthode de détection d'objets répétitifs dans une optique de recherche rapide dans d'importants volumes vidéos. De très bons résultats sont obtenus tant en qualité (98\% de rappel et précision) qu'en rapidité, puisqu'il suffit d'une seconde pour requêter une journée entière de vidéo contre une base de trois semaines

Detecting Repeats for Video Structuring

International audienceTelevision daily produces massive amounts of videos. Digital video is unfortunately an unstructured document in which it is very difficult to find any information. Television streams have however a strong and stable but hidden structure that we want to discover by detecting repeating objects in the video stream. This paper shows that television streams are actually highly redundant and that detecting repeats can be an effective way to detect the underlying structure of the video. A method for detecting these repetitions is presented here with an emphasis on the efficiency of the search in a large video corpus. Very good results are obtained both in terms of effectiveness (98% in recall and precision) as well as efficiency since one day of video is queried against a 3 weeks dataset in only 1 s

Detecting Queues at Vending Machines: a Statistical Layered Approach

This paper presents a method for monitoring activities at a ticket vending machine in a video-surveillance context. Rather than relying on the output of a tracking module, which is prone to errors, the events are direclty recognized from image measurements. This especially does not require tracking. A statistical layered approach is proposed, where in the first layer, several sub-events are defined and detected using a discriminative approach. The second layer uses the result of the first and models the temporal relationships of the highlevel event using a Hidden Markov Model (HMM). Results are assessed on 3h30 hours of real video footage coming from Turin metro station.