Robust Face Representation and Recognition Under Low Resolution and Difficult Lighting Conditions

This dissertation focuses on different aspects of face image analysis for accurate face recognition under low resolution and poor lighting conditions. A novel resolution enhancement technique is proposed for enhancing a low resolution face image into a high resolution image for better visualization and improved feature extraction, especially in a video surveillance environment. This method performs kernel regression and component feature learning in local neighborhood of the face images. It uses directional Fourier phase feature component to adaptively lean the regression kernel based on local covariance to estimate the high resolution image. For each patch in the neighborhood, four directional variances are estimated to adapt the interpolated pixels. A Modified Local Binary Pattern (MLBP) methodology for feature extraction is proposed to obtain robust face recognition under varying lighting conditions. Original LBP operator compares pixels in a local neighborhood with the center pixel and converts the resultant binary string to 8-bit integer value. So, it is less effective under difficult lighting conditions where variation between pixels is negligible. The proposed MLBP uses a two stage encoding procedure which is more robust in detecting this variation in a local patch. A novel dimensionality reduction technique called Marginality Preserving Embedding (MPE) is also proposed for enhancing the face recognition accuracy. Unlike Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA), which project data in a global sense, MPE seeks for a local structure in the manifold. This is similar to other subspace learning techniques but the difference with other manifold learning is that MPE preserves marginality in local reconstruction. Hence it provides better representation in low dimensional space and achieves lower error rates in face recognition. Two new concepts for robust face recognition are also presented in this dissertation. In the first approach, a neural network is used for training the system where input vectors are created by measuring distance from each input to its class mean. In the second approach, half-face symmetry is used, realizing the fact that the face images may contain various expressions such as open/close eye, open/close mouth etc., and classify the top half and bottom half separately and finally fuse the two results. By performing experiments on several standard face datasets, improved results were observed in all the new proposed methodologies. Research is progressing in developing a unified approach for the extraction of features suitable for accurate face recognition in a long range video sequence in complex environments

Correlaciones invariantes de objetos tridimensionales

RESUMEN La detección de objetos tridimensionales (3D) puede considerarse, hasta cierto punto, como una extensión al reconocimiento clásico en el caso bidimensional. Son múltiples las aplicaciones prácticas de este campo, como por ejemplo las militares, las relacionadas con el tráfico, médicas, etc. Una de las mayores dificultades que se presenta en el reconocimiento de objetos, ya sea 2D o 3D, es la diversidad de alteraciones que puede presentar el objeto que queremos reconocer. En general, una modificación del objeto dificulta o imposibilita su detección. Así, se hace necesario el desarrollo de técnicas específicas para reconocer un mismo objeto de manera invariante a una alteración concreta o un conjunto de ellas, tales como cambios de orientación, de escala, de proyección, etc. En este trabajo planteamos diversos métodos para superar las limitaciones producidas por los diferentes cambios del objeto al reconocimiento tridimensional. Todos los métodos que hemos desarrollado tienen en común el uso de correlaciones. Esta es la herramienta básica del reconocimiento bidimensional ya da un criterio de similitud entre funciones, está relacionada de forma inversa con el error cuadrático medio y es fácil de implementar, tanto óptica como digitalmente. También el propio reconocimiento de objetos 3D plantea una serie de problemas cuya naturaleza es diferente a los que nos encontramos en el caso 2D. El hecho de tener una dimensión espacial adicional amplía la necesidad de cálculos y la obtención y almacenamiento de una mayor cantidad de información. Además, el considerar algún tipo de alteración al objeto implica un aumento de complejidad mayor en el caso de reconocimiento 3D que el experimentado en el 2D. Por ejemplo, el caso de reconocimiento 2D es un problema con dos grados de libertad mientras que el 3D tiene tres grados de libertad. Considerando rotaciones en el objeto: en 2D se han de concretar tres grados de libertad, dos coordenadas espaciales más la rotación. En el caso 3D se han de concretar seis grados de libertad, tres coordenadas espaciales más tres ángulos para la rotación. Por todo esto, el principal objetivo de este trabajo es desarrollar métodos de reconocimiento que permitan reconocer objetos 3D sometidos a diversas alteraciones, o conjunto de ellas. Comenzaremos abordando el caso de reconocimiento frente a cambios de iluminación y continuaremos con diversas alteraciones geométricas, como cambios en la rotación y la escala. Esta distinción entre los capítulos no es casual sino que responde a la metodología usada. En el capítulo 2 veremos cómo el reconocimiento invariante frente a una alteración, en principio compleja, los cambios de iluminación, equivale a determinar la pertenencia de un vector a un determinado subespacio vectorial. En el resto de capítulos usaremos una codificación que nos permita reducir ciertas modificaciones del objeto 3D a problemas similares al tratado en el segundo capítulo. En el capítulo 3 tratará en detalle la codificación que proponemos, viéndose como la aplicación de dicha codificación a las imágenes de rango, posee unas propiedades que permiten su aplicación directa al reconocimiento y estimación de rotaciones de objetos tridimensionales. En el cuarto capítulo veremos cómo una de las propiedades de dicha codificación nos permite reducir la complejidad de la variación de escala a una mera multiplicación por una constante. En el quinto y último capítulo trataremos, con una combinación de los métodos desarrollados en los capítulos 2 y 3, el caso en el que se someta a un objeto simultáneamente a cambios de escala y rotación que, nuevamente, se puede reducir a un caso más sencillo matemáticamente mediante un proceso de codificación. __________________________________________________________________________________________________Detection of three-dimensional (3D) objects can be usually considered as an extension of classic 2D object recognition. Therere many practical applications of this field as military, traffic related, medical, etc. One of the main difficulties for object recognition, both in 2D or 3D, is the diversity of alterations that can affect the target. Generally, a modification of the target difficults or makes impossible its detection. So, its useful the development of some specific techniques in order to detect a target object under some kind of alteration as rotation, scale, projection, etc. , or many of them simultaneously. In this work we introduce methods for 3D recognition when the object is affected by one or several alterations. All the methods will use correlations. Correlation is the basic operation for 2D object recognition because it gives a similarity criterion, and it is easy to implement, both optically and digitally. Also, the recognition of 3D objects has associated a set of different drawbacks in comparison with 2D recognition. Having an additional spatial dimension implies an increase of mathematical and information storage requirements. Also, considering some kind of alteration of the target increases the cost of such implementation. The work is structured in chapters, devoting in each of them a different method of recognition geared to a particular alteration. We will start with object recognition under illumination changes and follow with different geometric alterations. The distinction between chapters reflects the methodology elected. In chapter 2 we show how an alteration, potentially complex, is equivalent to determine if a vector is part of a particular vectorial sub-space. In the rest of chapters we use a codification previous to the detection that simplifies the 3D object alterations. Chapter 3 shows how this codification has relevant properties when they are applied to 3D object detection and rotation estimation. In chapter four we study another property of this codification that allows lessening the scale change problem to a multiplication by a constant. In fifth and last chapter we propose a combination of methods previously exposed that deal with simultaneous scale and rotation changes of 3D objects