Multi-Clip Video Editing from a Single Viewpoint

International audienceWe propose a framework for automatically generating multiple clips suitable for video editing by simulating pan-tilt-zoom camera movements within the frame of a single static camera. Assuming important actors and objects can be localized using computer vision techniques, our method requires only minimal user input to define the subject matter of each sub-clip. The composition of each sub-clip is automatically computed in a novel L1-norm optimization framework. Our approach encodes several common cinematographic practices into a single convex cost function minimization problem, resulting in aesthetically pleasing sub-clips which can easily be edited together using off-the-shelf multi-clip video editing software. We demonstrate our approach on five video sequences of a live theatre performance by generating multiple synchronized subclips for each sequence

Seguimiento de objetos en vídeo a largo plazo

En este proyecto se propone un análisis del seguimiento de objetos en secuencias de largo plazo. Recientemente se han incrementado los desarrollos de algoritmos de seguimiento enfocados a vídeos de corta duración. Sin embargo ante la constante evolución de los trackers y del aumento en el tiempo de las secuencias de vídeo en el uso diario, surge la necesidad de estudiar mecanismos que mejoren los ya desarrollados y la creación de nuevos algoritmos destinados para tratar especialmente con secuencias de largo plazo. El objetivo principal del proyecto ha sido el estudio, diseño y evaluación de un algoritmo que combinase otros trackers desarrollados previamente tanto en secuencias de corto como de largo plazo. Para ello, en primer lugar se ha realizado un estudio del estado del arte en referencia al seguimiento de objetos, con especial atención en el caso de vídeos de largo plazo. Después el trabajo se centra en la selección y descripción de los algoritmos de seguimiento escogidos para evaluar y comparar el conjunto de vídeos de este proyecto. Una vez se han estudiado estos trackers, se avanza al diseño e implementación de un algoritmo de fusión. Esta propuesta pretende examinar el comportamiento de la combinación de algoritmo en el marco del largo plazo. Finalmente se procede a la evaluación del nuevo algoritmo sobre numerosas secuencias a fin de poder realizar una comparación con los algoritmos individuales. Debido a que las secuencias de largo plazo presentan un gran número de problemas, los resultados obtenidos en su mayoría por todos los trackers son relativamente bajos.In this master thesis an analysis of tracking objects in long-term sequences is proposed. Recently, the development of video tracking algorithms has been focused on short videos. However, the need to operate for long times (e.g. 24/7 video-surveillance) have increased need to study mechanisms to improve and update existing tracking algorithms for their use in long-term sequences. The main aim of the project is the study, design and evaluation of an algorithm that combines other trackers sequences previously developed both short and long term. For this objective, first it has conducted a study of the state of art related to object tracking, focused on the case of long-term videos. After, this project focuses on the selection and description of the chosen tracking algorithms to evaluate and compare the set of videos of this project. Once these trackers have been studied, a fusion algorithm is implemented which examines the behavior of the combination of algorithm under the long-term framework. Finally this project proceeds to evaluate the combination-based algorithms on numerous sequences in order to make a comparison with the individual algorithms. Because long-term sequences have a large number of problems, the performance obtained mostly by all trackers are relatively low