UPC system for the 2016 MediaEval multimodal person discovery in broadcast TV task

The UPC system works by extracting monomodal signal segments (face tracks, speech segments) that overlap with the person names overlaid in the video signal. These segments are assigned directly with the name of the person and used as a reference to compare against the non-overlapping (unassigned) signal segments. This process is performed independently both on the speech and video signals. A simple fusion scheme is used to combine both monomodal annotations into a single one.Postprint (published version

Identificación no-supervisada de personas en programas de TV

The enormous amount of visual data generated nowadays creates a strong need for annotation tools to enable search and retrieval of information present in the videos. One of the most relevant information is the identity of people. The aim of this project is to implement non-supervised algorithms of text and face recognition, to identify relevant people appearing in Broadcast TV. This project achieves avoiding manual annotations with an automatic annotation system.La enorme cantidad de datos visuales generados hoy en día crea una fuerte necesidad de obtener técnicas de anotación para poder realizar búsquedas de información en los vídeos. Una de la información más relevante es la identidad de las personas. El objetivo de este proyecto es proponer unos algoritmos no supervisados de reconocimiento facial y de texto para la identificación de las personas en transmisiones de TV, para obtener un sistema de anotación de vídeo automático y así evitar las anotaciones manuales.La enorme quantitat de dades visuals que es genera avui en dia crea una forta necessitat de obtenir tècniques d’anotació per a poder realitzar cerques d’informació en els vídeos. Una de la informació més rellevant és la identitat de les persones. L’objectiu d’aquest projecte és proposar uns algorismes no supervisats de reconeixement facial i de text per a la identificació de les persones en les transmissions de TV, per obtenir un sistema d’anotació de vídeo automàtic, i evitar així les anotacions manuals

Reconocimiento facial no supervisado en programas de televisión

La enorme cantidad de datos visuales que se genera actualmente, especialmente vídeos, crea una fuerte necesidad de herramientas de anotación que hagan posible la búsqueda y recuperació n de información presente en dichos datos visuales. La anotación automática en programas de televisión es una funcionalidad clave en aplicaciones de video retrieval sobre grandes bases de datos visuales. Una de las informaciones más relevantes es la identidad de las personas. En este contexto, la anotación consiste en determinar de forma automática la identidad y la localización temporal de las personas que aparecen en el programa de televisión utilizando técnicas de video tracking y de reconocimiento facial . En este proyecto se realiza una anotación autom ática en programas de televisión , la cual consiste en ir creando automáticamente una base de datos con las identidades de las personas que van apareciendo, donde a cada identidad le asignamos todos los frames que pertenecen a la misma person a y que se han obtenido de distintos instantes de tiempo. Cada identidad tendrá asociado su correspondiente nombre. El reconocimiento facial empleado para identificar no se supervisa puesto que no interviene ningún supervisor externo que previamente haya e stablecido unos determinados modelos de identidades con los que comparar para reconocer , sino que es la propia base de datos la que se va creando a partir de la inf ormación presente en los vídeos. Esta información es el nombre de las identidades que van apareciendo. La técnica de reconocimiento facial utilizada es la llamada « Sparse Representation ». Se basa en imágenes frontales y es robusta tanto a cambios de expresión facial y de iluminación, como a algún tipo de oclusión, corrupción u objeto de máscara o disfraz