Can adversarial networks hallucinate occluded people with a plausible aspect?

When you see a person in a crowd, occluded by other persons, you miss visual information that can be used to recognize, re-identify or simply classify him or her. You can imagine its appearance given your experience, nothing more. Similarly, AI solutions can try to hallucinate missing information with specific deep learning architectures, suitably trained with people with and without occlusions. The goal of this work is to generate a complete image of a person, given an occluded version in input, that should be a) without occlusion b) similar at pixel level to a completely visible people shape c) capable to conserve similar visual attributes (e.g. male/female) of the original one. For the purpose, we propose a new approach by integrating the state-of-the-art of neural network architectures, namely U-nets and GANs, as well as discriminative attribute classification nets, with an architecture specifically designed to de-occlude people shapes. The network is trained to optimize a Loss function which could take into account the aforementioned objectives. As well we propose two datasets for testing our solution: the first one, occluded RAP, created automatically by occluding real shapes of the RAP dataset created by Li et al. (2016) (which collects also attributes of the people aspect); the second is a large synthetic dataset, AiC, generated in computer graphics with data extracted from the GTA video game, that contains 3D data of occluded objects by construction. Results are impressive and outperform any other previous proposal. This result could be an initial step to many further researches to recognize people and their behavior in an open crowded world

Aprendizaje y corrección de errores en sistemas de seguimiento basados en redes convolucionales siamesas

Este Trabajo de Fin de Máster tiene como objetivo el estudio y mejora de los sistemas de seguimiento (trackers) basados en redes neuronales siamesas frente a diferentes problemas clásicos en el seguimiento de objetos (tracking) como pueden ser las oclusiones o los distractores (presencia de objetos idénticos al que se desea seguir en la misma secuencia). Desde la explosión de los sistemas de aprendizaje profundo hace unos años y el aumento en complejidad y tamaño de las bases de datos que esto ha conllevado no hay prácticamente campo de la ingeniería que no se haya visto afectado por estos avances y, sin duda, el campo por excelencia que representa estos cambios ha sido el de la visión artificial o computer vision. Este es un campo grande con gran variedad de aplicaciones distintas, cada una con sus propios desafíos. De entre todas estas aplicaciones una de las más complejas es la del seguimiento de objetos debido a la variedad de situaciones posibles que requieren de sistemas capaces de adaptarse a cualquier situación. Para ello, en este trabajo se han propuesto dos algoritmos basados en seguimiento hacia atrás (o backtracking) e implementados en Matlab con el objetivo de paliar los problemas de los trackers frente a dos problemas concretos; las oclusiones y los distractores. Estos sistemas funcionan como módulos que se pueden añadir sobre la salida de las redes siamesas empleadas para el seguimiento en diferentes trackers y refinan sus predicciones, lo cual hace de estos sistemas especialmente versátiles ya que puede ser empleados en diferentes situaciones y trackers. También, para validar correctamente los resultados obtenidos ha sido necesario generar un dataset propio, a partir de un subconjunto de videos obtenidos de otros datasets, con todos estos problemas etiquetados, tanto a nivel de video como a nivel de frame. Finalmente se han comprobado los diferentes resultados obtenidos en cada una de estas situaciones utilizando el dataset creado y se han analizado las diferentes mejoras, así como los problemas encontrados