Spatio-temporal Representation and Analysis of Facial Expressions with Varying Intensities

PhDFacial expressions convey a wealth of information about our feelings, personality and mental state. In this thesis we seek efficient ways of representing and analysing facial expressions of varying intensities. Firstly, we analyse state-of-the-art systems by decomposing them into their fundamental components, in an effort to understand what are the useful practices common to successful systems. Secondly, we address the problem of sequence registration, which emerged as an open issue in our analysis. The encoding of the (non-rigid) motions generated by facial expressions is facilitated when the rigid motions caused by irrelevant factors, such as camera movement, are eliminated. We propose a sequence registration framework that is based on pre-trained regressors of Gabor motion energy. Comprehensive experiments show that the proposed method achieves very high registration accuracy even under difficult illumination variations. Finally, we propose an unsupervised representation learning framework for encoding the spatio-temporal evolution of facial expressions. The proposed framework is inspired by the Facial Action Coding System (FACS), which predates computer-based analysis. FACS encodes an expression in terms of localised facial movements and assigns an intensity score for each movement. The framework we propose mimics those two properties of FACS. Specifically, we propose to learn from data a linear transformation that approximates the facial expression variation in a sequence as a weighted sum of localised basis functions, where the weight of each basis function relates to movement intensity. We show that the proposed framework provides a plausible description of facial expressions, and leads to state-of-the-art performance in recognising expressions across intensities; from fully blown expressions to micro-expressions

Clasificación de género con análisis racial en imágenes de espectro visual mediante técnicas de Deep Learning

Tesis (Ingeniero Civil Informático)Estudios recientes demuestran que los algoritmos de deep learning logran notables desempeños en tareas de reconocimiento facial y clasificación de género. Sin embargo, algunos afirman la existencia de sesgo de raza y género en esta tecnología para las tareas mencionadas. Se han establecido diversas conjeturas controversiales respecto a esta tecnología y movimientos que señalan no deben ser aplicadas en algunas áreas. Es así, como establecen en alto el riesgo de utilizar esta tecnología debido al sesgo inherente que ésta podría tener. El presente trabajo establece un enfoque automático en la obtención y categorización del color de piel facial a través de un algoritmo de segmentación y extracción del color facial predominante por medio de clústers, diferenciándose así del utilizado en la mayoría de los estudios, el cual es manual y conlleva un alto grado de subjetividad, dependiendo así del criterio o punto de vista del observador en base a alguna escala de comparación. Por otro lado, se elabora una base de datos distribuida equitativamente en género, la cual proporciona diferenciación fenotípica y geográfica. Estos enfoques buscan a través de un clasificador de género utilizando técnicas de deep learning corroborar o refutar los sesgos afirmados por distintos estudios