Facial Expression Recognition via Joint Deep Learning of RGB-Depth Map Latent Representations

Humans use facial expressions successfully for conveying their emotional states. However, replicating such success in the human-computer interaction domain is an active research problem. In this paper, we propose deep convolutional neural network (DCNN) for joint learning of robust facial expression features from fused RGB and depth map latent representations. We posit that learning jointly from both modalities result in a more robust classifier for facial expression recognition (FER) as opposed to learning from either of the modalities independently. Particularly, we construct a learning pipeline that allows us to learn several hierarchical levels of feature representations and then perform the fusion of RGB and depth map latent representations for joint learning of facial expressions. Our experimental results on the BU-3DFE dataset validate the proposed fusion approach, as a model learned from the joint modalities outperforms models learned from either of the modalities

Técnica eficiente para reconocimiento facial global utilizando wavelets y máquinas de vectores de soporte en imágenes 3D

La presente investigación se desarrolla en el marco de los sistemas de reconocimiento facial automático de imágenes, que consisten en procesar las imágenes de caras de personas utilizando métodos estadísticos y matemáticos de extracción de características y de clasificación de imágenes, para conocer si un individuo se encuentra en una determinada clase, y finalmente hallar su identidad. El tratamiento automático de una cara es complicado, debido a que se presenta varios factores que le afectan, como la posición de la cara, la expresión, la edad, la raza, el tipo de iluminación, el ruido, y objetos como lentes, sombrero, barba entre otros. El procesamiento se realiza de forma global, en donde se procesa toda la cara. Se sabe que procesar las imágenes de manera global es más rápido, práctico y fiable que las basadas en rasgos. Además, se conoce que procesar imágenes en tres dimensiones es más real y consistente que en dos dimensiones. El principal objetivo de la tesis que se propuso fue desarrollar una técnica eficiente de reconocimiento facial con rasgos globales, y con imágenes en tres dimensiones. Para ello, se seleccionó los algoritmos más eficientes para extracción de características, filtros de Gabor, y el algoritmo para clasificación, máquina de vectores de soporte (SVM). Este último algoritmo, su eficiencia varía de acuerdo a la función núcleo o kernel, por ello en esta tesis se trabajaron con tres kernel: líneal, gauseano y cúbico. Estos sistemas constan de dos procesos necesarios: 1) Entrenamiento, y 2) Pruebas. Lo que permitió establecer un modelo de reconocimiento facial global para dos y tres dimensiones respectivamente. La técnica fue procesada primero para imágenes 2D, luego para imágenes 3D. Y se utilizó el método de validación cruzada en ambos casos para aprobarlo. Los mejores resultados obtenidos con la técnica alcanzada son 96% de eficiencia con base de datos de imágenes de dos dimensiones; y 98,4% con base de datos de imágenes de tres dimensiones. Finalmente, se hace una comparación de los resultados alcanzados con otros trabajos de investigación similares, obteniéndose mayor eficiencia con este trabajo

Deformation Based Curved Shape Representation

Representation and modelling of an objects' shape is critical in object recognition, synthesis, tracking and many other applications in computer vision. As a result, there is a wide range of approaches in formulating representation space and quantifying the notion of similarity between shapes. A similarity metric between shapes is a basic building block in modelling shape categories, optimizing shape valued functionals, and designing a classifier. Consequently, any subsequent shape based computation is fundamentally dependent on the computational efficiency, robustness, and invariance to shape preserving transformations of the defined similarity metric. In this thesis, we propose a novel finite dimensional shape representation framework that leads to a computationally efficient, closed form solution, and noise tolerant similarity distance function. Several important characteristics of the proposed curved shape representation approach are discussed in relation to earlier works. Subsequently, two different solutions are proposed for optimal parameter estimation of curved shapes. Hence, providing two possible solutions for the point correspondence estimation problem between two curved shapes. Later in the thesis, we show that several statistical models can readily be adapted to the proposed shape representation framework for object category modelling. The thesis finalizes by exploring potential applications of the proposed curved shape representation in 3D facial surface and facial expression representation and modelling