Facial emotion recognition: spanish psychometric validation of a NIMSTIM stimuli subset.

Treball Final de Grau en Psicologia. Codi: PS1048. Curs: 2018/2019.Facial expressions are used to guide us and make us to understand the experiences that others have towards us, and also to lead our behavior in an adaptive way. Facial expressions have a communicative value as Darwin said, and their interpretation is of interest to researches because of the links between emotional experience and facial expressions (Tottenham et al., 2009). Nowadays, several sets of emotional facial pictures sets are currently available (Adolph & Georg, 2010). However, these pictures sets are anything but uniform and vary extensively in terms of physical characteristics. One of the most used databases is the NimSim set of facial expressions (Tottenham et al., 2009). The purpose of this study is the psychometric validation of a 367 stimuli from the NimStim into the Spanish population for the emotional facial recognition. In this study, 127 students (105 women) participated. The task consisted of the emotional facial recognition of the six basic emotions and one neutral expression. Repeated measures ANOVA showed that type of motion, the type of mouth, and the interaction betweenthem, were statistically significant variables for the emotional facial expressions recognition. The results showed that: a) The Spanish and American population follow the same pattern of emotional facial expressions recognition (happiness is the best recognized emotion, and fear the worst); 2) the type of mouth is an important moderator variable for the facial emotional expressions recognition; and c) there are not significant gender differences in the facial emotional recognition. The results of the present research empirically corroborate the validity of the NimStim for its use in Spanish samples in the affective neuroscientific research, particularly in the emotional facial expressions recognition field.Las expresiones faciales nos sirven para guiarnos y hacernos comprender las experiencias que tienen los demás hacia nosotros, y también para dirigir nuestra conducta de manera adaptativa. Darwin argumentaba que las expresiones faciales tenían un valor comunicativo y la interpretación de éstas es de interés para los investigadores debido a la relación entre la experiencia emocional y las expresiones faciales (Tottenham et al., 2009). Actualmente son varios los conjuntos de imágenes de expresiones faciales emocionales que están disponibles (Adolph & Georg, 2010). Sin embargo, estas bases de datos no son uniformes y varían ampliamente en sus parámetros físicos. Una de las bases de datos más utilizada en la investigación afectiva es el the NimSim set of facial expressions (Tottenham et al., 2009). El propósito de este estudio es la validación psicométrica de un subconjunto de 367 estímulos del NimStim en la población española para el reconocimiento de expresiones faciales emocionales. En este estudio participaron 127 estudiantes (105 mujeres). La tarea consistía en el reconocimiento de la expresión facial de las seis emociones básicas y una neutra. El ANOVA de medidas repetidas mostró que el tipo de emoción, la forma de la boca y, especialmente, la interacción entre ambas, son variables estadísticamente significativas para el reconocimiento de expresiones faciales emocionales. Los resultados mostraron que: a) el patrón de reconocimiento de las distintas emociones obtenido en la muestra española es muy similar al publicado para muestras norteamericanas (la alegría fue la mejor reconocida y el miedo la peor); b) la forma de la boca al expresar una emoción es una importante variable moduladora para el reconocimiento de la expresión faciales emocionales (especialmente, para el miedo y la tristeza); y c) no hay diferencias significativas entre hombres y mujeres a la hora de reconocer expresiones faciales emocionales. Los resultados de la presente investigación corroboran empíricamente la validez del NimStim para su uso en muestras españolas en investigaciones en el ámbito de la neurociencia afectiva, particularmente en el reconocimiento de expresiones faciales emocionales

Prestaciones de la Normalización del Rostro en el Reconocimiento Facial

10 pages, 4 figures.-- Contributed to: V Jornadas de Reconocimiento Biométrico de Personas (JRBP 2010, Huesca, Spain, Sep 2-3, 2010).En este trabajo se estudia la influencia de la normalización facial sobre las prestaciones globales de un sistema de reconocimiento. Para ello se evalúan las prestaciones de un sistema basado en Principal Component Analysis (PCA) cuando se aplica normalización facial mediante Active Shape Models (ASM) en un escenario de verificación de identidad.Este trabajo ha sido desarrollado dentro del Proyecto BRAVO (TIN2007-67407-C03-01), financiado por el Ministerio de Ciencia e Innovación.Publicad

Percepción y reconocimiento facial: bases teóricas de las ruedas de reconocimiento

Frecuentemente testigos de un suceso deben describir al sospechoso. En muchas ocasiones destacan aspectos sobresalientes como una cicatriz o un rasgo facial muy destacado. ¿Cómo se produce la percepción facial? La psicología de la percepción explica este proceso que analizamos a continuación. Se discute si la percepción es analítica u holística, el fenómeno de la ilusión de Thatcher y el peso de los esquemas representacionales.Witnesses of an event often must describe the suspect. Frequently they include highlights like a scar or a prominent facial feature. How facial perception occurs? Perception psychology explains this process. We analyze the importance of analytical perception, holistic perception, Thatcher Illusion and representational schemes to explain i

Hybrid CNN+LSTM for face recognition in videos

El reconocimiento de caras, junto con la identificación de las acciones y gestos humanos, es en la actualidad una de las aplicaciones informáticas, más exitosas de análisis automatizado del comportamiento humano. Durante los últimos diez años aproximadamente, se ha convertido en un área muy popular de la investigación en computer vision y ha recibido mucha atención por parte de las organizaciones internacionales (Thumos, ChaLearn, etc). [1] El sistema de reconocimiento facial es una aplicación creada para identificar o verificar una persona a partir de una imagen digital o un fotograma de vídeo. Estos, Verificación e identificación son dos problemas muy distintos en el reconocimiento de los rostros. Los sistemas de verificación tratan de responder a la pregunta “¿Es esta persona la que dice de ser?” En este sistema, un individuo se presenta a sí mismo como una persona específica, y el problema de verificación se describe generalmente como un mapeo 1-a-1, donde el sistema intenta comparar la presencia de un individuo contra una información específica del mismo individuo ya presente en el sistema. Un sistema de identificación, por otro lado, tratan de responder a la pregunta “Quién es esta persona?”, Y su objetivo es identificar a una persona desconocida, comparando la información individual con la que ya están en el sistema de todos los demás. En otras palabras: la identificación es un problema de clasificación múltiple descrito como un mapeo 1-a-n (donde n es el número total de individuos en el sistema), mientras la verificación, es una tarea de clasificación binaria con par de ejemplos. En este proyecto se aborda el problema de la identificación facial mediante técnicas de aprendizaje profundo. El aprendizaje profundo es un área de estudio del aprendizaje automático, estrictamente relacionado con las redes neuronales artificiales, cuya aproximación al problema consiste en aprender representaciones de alto nivel de los datos mediante la parametrización de múltiples capas de procesamiento no lineal. Estas técnicas permiten la extracción automática de características en escenarios supervisados y no supervisados tanto para tareas de clasificación como de regresión [29] [?]. Diferentes arquitecturas de aprendizaje profundo han sido utilizadas con éxito en el reconocimiento de rostros [19, 26, 33, 50], en el reconocimiento de expresiones faciales [24, 53] y en la detección des las emociones [21, 23, 34]. Al igual que en muchas otras tareas de visión artificial, los datos de entrada para el reconocimiento facial pueden ser muy diferentes, incluyendo imágenes, vídeos, mapas de profundidad [49] [30], imágenes térmicas [48] [37], modelos 3D de la cara [5], entre otros. Por supuesto, el tipo de datos de entrada plantea diferentes limitaciones y oportunidades a nivel de modelación. En el caso en que los datos de entrada son videos, parece natural que la información temporal deba ser explotado para realizar tareas de reconocimiento. De hecho, trabajos recientes con- firman las ventajas de utilizar modelos temporales como Redes Neuronales Recurrentes (RNN) o Long-Short Term Memory (LSTM) para problemas de análisis de caras humanas, como la detección y seguimiento de los rostros [52], el reconocimiento de la expresión facial [3] y el reconocimiento de emociones [11] [7]. Sin embargo, después de una revisión exhaustiva de las fuentes bibliográficas, llegamos a la conclusión que muy pocos trabajos han abordado el problema del reconocimiento facial usando modelos neuronales temporales, y ninguno de ellos se ha ocupado de reconocimiento de caras en los videos. En nuestra opinión, esto representa una oportunidad interesante de investigación con espacio para contribuciones originales. En esta tesis, se propone de abordar el problema de diseñar modelos de aprendizaje profundos adaptados para explotar la información temporal contenida en los videos, para el reconocimiento de rostros. En concreto, nos proponemos estudiar una arquitectura basada en la CNN-LSTM, utilizada con éxito para otras tareas de análisis de vídeo como el reconocimiento y la descripción de objetos (image captioning) [10] [46], análisis de sentimiento [47] y clasificación del texto [54], y comparar los resultados obtenidos con otros métodos de reconocimiento facial en estado del arte [16] [50] [42] [6]. Este trabajo se organiza en diferentes etapas. En primer lugar, se llevará a cabo una revisión exhaustiva de los trabajos más recientes en el campo de computer vision en relación con los modelos de aprendizaje profundo, para el reconocimiento de caras en videos. En segundo lugar, queremos realizar un análisis preciso de los métodos más recientes y eficaces, junto con el estudio de los resultados observados hasta la fecha. Una vez reunida la información necesaria para estar informado sobre el estado de la arte, el siguiente paso importante será la definición de las arquitecturas implicadas, Red Neuronal Convolutivas y Long-Short Term Memory, junto con la elección de las bases de datos a utilizar para la validación experimental. La disponibilidad de datos para el reconocimiento facial en videos es grande. La más utilizada (y también la más difícil) es sin ninguna duda la colección Youtube Face (YTF). Sin embargo, en este trabajo se propone también construir una nueva base de datos a partir de la conocida Motion of Body database (MoBo). La colección MoBo DB está destinada a ser utilizada en tareas de detección y reconocimiento de movimientos. Por lo tanto, las imágenes de las que se compone son fotos de cuerpo entero de varios temas. En nuestro proyecto aplicamos técnicas de procesamiento de imágenes para detectar el rostro, recortar la región de la cara y almacenar la imagen resultante en un formato adecuado. La nueva base de datos sería una contribución adicional importante de este trabajo. Al diseño de la arquitectura y la elección de las bases de datos seguirá la aplicación y un conjunto de experimentos

Incorporación de atributos faciales a sistemas de reconocimiento facial

Máster Universitario en Investigación e Innovación en Tecnologías de la Información y las ComunicacionesLa aparición de redes neuronales profundas ha provocado un gran progreso en el ámbito de la biometría. Los sistemas de reconocimiento facial son cada vez más utilizados y cada vez requieren una mayor precisión. Un modo habitual de mejorar estos sistemas es el refuerzo mediante atributos característicos de cada persona, los llamados soft biometrics. El género, la edad o la raza son algunos de los atributos más habituales. Al analizar el rendimiento de los sistemas de reconocimiento facial se observan diferencias dentro de cada grupo demográ co. Atendiendo al género, las mujeres son las que peores resultados obtienen. Para el caso de la raza, son las personas de raza negra o asiática las que normalmente presentan más di cultades en el reconocimiento facial. Este problema radica principalmente en los conjuntos de entrenamiento con los que los modelos han aprendido. Estos no suelen estar balanceados y se re eja en los resultados cuando analizamos cada clase. Normalmente las bases de datos incluyen más hombres y más identidades de raza blanca. En este trabajo se desarrollan sistemas especí cos para los grupos demográ cos de género y raza. Los resultados experimentales demuestran que utilizando modelos entrenados con imágenes pertenecientes a una única clase se mejora el rendimiento de un sistema de reconocimiento facial genérico que ha sido entrenado con imágenes de todas las clases. Se proponen también dos estimadores para los atributos de género y raza. Se compara el rendimiento del sistema cuando la información de dichos atributos es obtenida de manera manual, es decir mediante etiquetas y cuando se extrae de manera automática. Además se propone un sistema más completo que fusiona la información de género y raza. Y se analizan las alternativas de fusión a nivel de features y a nivel de scores.The research in deep neural networks has produced a great improvement in the world of biometrics. Facial recognition systems are used more often and require a higher accuracy. A common way of improving these systems is the reinforcement through characteristic attributes from each person which are known as soft biometrics. The gender, age or ethnic group are the most common attributes. Analyzing the performance of facial recognition systems, di erences are observed within each demographic group. Considering the gender, women obtain the worst results. Regarding the ethnicity group, dark skin persons or asian have more di culties in the facial recognition. This problem is mainly due to the training sets used for the learning process of the models. These are not usually balanced and that is re ected in the results obtained for each class. Usually datasets include more men and more white race identities. In this project, speci c models are developed for the demographic groups of gender and ethnicity. The experimental results show that using trained models with images from a single class, it is possible to improve the performance of a generic facial recognition system trained with images from all classes. Two estimators for the gender and ethnic group attributes are also proposed. System performance is compared when race and gender information is obtained automatically or manually, through label. Moreover, a more complete system is proposed combining gender and ethnic group information. Proposing a fusion of this information at the scores or the features level

Sistema de reconocimiento facial para control de acceso a viviendas

Trabajo de InvestigaciónEste trabajo de grado presenta el desarrollo de un sistema de reconocimiento facial el cual permitirá el control de acceso a una casa. Debido a la alta inseguridad que se evidencia en la ciudad, por este hecho, se vio la necesidad de crear una solución que disminuya estos porcentajes de hurto. Con este sistema no solo se pretende brindar seguridad y confort al usuario si no incentivar el uso herramientas tecnológicas como el reconocimiento facial, y dispositivos que están en el mercado, para implementar un control de acceso para viviendas seguro y de un bajo costo.1. INTRODUCCIÓN 2. ANTECEDENTES Y JUSTIFICACIÓN 3. PLANTEAMIENTO Y FORMULACIÓN DEL PROBLEMA 4. MARCO DE REFERENCIA 5. OBJETIVOS 6. ALCANCES Y LIMITACIONES 7. METODOLOGÍA 8. RECOPILACIÓN DE INFORMACIÓN 9. DEFINICIÓN DE REQUERIMIENTOS 10. SELECCIÓN DE LAS HERRAMIENTAS DEL SISTEMA 11. IMPLEMENTACIÓN DEL PROTOTIPO 12. RESULTADOS ESPERADOS 13. CONCLUSIONES 14. RECOMENDACIONES Y TRABAJOS FUTUROS 15. BIBLIOGRAFÍA 16. ANEXOSPregradoIngeniero Electrónic

Diseño de un sistema biométrico de reconocimiento facial en tiempo real

A medida que el mundo evoluciona, la humanidad se ve en la necesidad de optimizar la forma en que protege sus empresas o industrias. La biometría informática, es una rama de la biometría, que nos permite restringir el acceso a zonas privadas de las empresas o industrias. Con el reconocimiento facial, podemos realizar la identificación y reconocimiento de personas, permitiendo elegir que personas tienen acceso a ciertas zonas. Este proyecto estudia de manera general algunos de los tipos de reconocimiento biométricos del rostro. Los métodos seleccionados, estudiados y puestos a prueba son: la técnica de Análisis de Componentes Principales (PCA) y la Transformada Discreta del Coseno (DCT). Por otra parte, se tienen como estudio de los pasos para el reconocimiento, las técnicas LPP y EBGM. Para las técnicas puestas a prueba, se toman dos bases de datos con imágenes del rostro de diferentes personas a las cuales se entrenan dos imágenes y se ponen a prueba 4 imágenes en diferentes posiciones y gestos. Se realizó el procedimiento y análisis pertinente para el reconocimiento de los individuos, y los resultados obtenidos por la prueba de validez de los algoritmos, se sometieron a procesos estadísticos con porcentajes de eficiencia de: PCA, con base de datos MUG 67,5% y ORL 22,5%. DCT, base de datos MUG 80% y ORL 75%

Reducción del vector de características de reconocimiento facial

In this present work, we are proposing a characteristics reduction system for a facial biometric identification system, using transformed domains such as discrete cosine transformed (DCT) and discrete wavelets transformed (DWT) as parameterization; and Support Vector Machines (SVM) and Neural Network (NN) as classifiers. The size reduction has been done with Principal Component Analysis (PCA) and with Independent Component Analysis (ICA). This system presents a similar success results for both DWT-SVM system and DWT-PCA-SVM system, about 98%. The computational load is improved on training mode due to the decreasing of input’s size and less complexity of the classifier

Recognition of facial expression of emotions in Parkinson’s disease: a theoretical review

Introducción. La expresión facial emocional constituye una guía básica en la interacción social y, por ello, las alteraciones en su expresión o reconocimiento suponen una importante limitación para la comunicación. Objetivo. Examinar las capacidades de reconocimiento de expresiones faciales y su posible deterioro en la enfermedad de Parkinson. Desarrollo. En primer lugar, se revisan las investigaciones sobre este tema y que no han encontrado resultados totalmente afines. En segundo lugar, se analizan los factores que pueden explicar estas divergencias y, en particular, como tercer objetivo, se valora la relación entre los problemas en el reconocimiento emocional y el deterioro cognitivo asociado a la enfermedad. Por último, se proponen estrategias alternativas para el desarrollo de estudios que contribuyan a clarificar el estado de estas habilidades en la enfermedad de Parkinson. Conclusiones. La mayoría de los estudios indica deficiencias en el reconocimiento de expresiones, sobre todo en las de contenido emocional negativo. No obstante, es posible que dichas alteraciones estén relacionadas con las que también aparecen en otros procesos perceptivos y ejecutivos propios de la enfermedad. Para avanzar en esta cuestión, consideramos necesario diseñar estudios sobre reconocimiento emocional que impliquen diferencialmente a los procesos cognitivos mencionados o que contrasten la ejecución de los individuos con estímulos no emocionales y con expresiones faciales. Además de incrementar nuestro conocimiento sobre las consecuencias funcionales del deterioro cerebral característico de la enfermedad, estos estudios pueden indicarnos si debe prestarse atención adicional a su rehabilitación dentro de los programas que se aplicanEmotional facial expression is a basic guide during social interaction and, therefore, alterations in their expression or recognition are important limitations for communication. Aim. To examine facial expression recognition abilities and their possible impairment in Parkinson’s disease. Development. First, we review the studies on this topic which have not found entirely similar results. Second, we analyze the factors that may explain these discrepancies and, in particular, as third objective, we consider the relationship between emotional recognition problems and cognitive impairment associated with the disease. Finally, we propose alternatives strategies for the development of studies that could clarify the state of these abilities in Parkinson’s disease. Conclusions. Most studies suggest deficits in facial expression recognition, especially in those with negative emotional content. However, it is possible that these alterations are related to those that also appear in the course of the disease in other perceptual and executive processes. To advance in this issue, we consider necessary to design emotional recognition studies implicating differentially the executive or visuospatial processes, and/or contrasting cognitive abilities with facial expressions and non emotional stimuli. The precision of the status of these abilities, as well as increase our knowledge of the functional consequences of the characteristic brain damage in the disease, may indicate if we should pay special attention in their rehabilitation inside the programs implementedProyecto ref. PSI2009-09067, financiado por el Ministerio de Ciencia e Innovación

Schizotypy, Alexithymia and Affect as predictors of Facial Emotion Recognition Capability using static and dynamic images

The main purpose of the present study is to investigate the capacity of schizotypy and alexithymia traits, in combination with affectivity to predict facial emotion recognition capability in a sample of nonclinical adults. Consecutive healthy participants (N= 98) were investigated using the Toronto Alexithymia Scale-20 (TAS-20), the Oxford-Liverpool Inventory of Feelings and Experiences-Reduced Version (O-LIFE-R), and the Positive and NA Schedule (PANAS). A set of validated photographs (static images) and virtual faces (dynamic images) for presenting the basic emotions was used to assess emotion recognition. Pearson correlations were applied to investigate the relationship between the study variables; the amount of variance in emotion recognition capability predicted by OLIFE-R, TAS-20 and PANAS was calculated by using the linear regression model. Results showed that alexithymia was strongly associated with schizotypy and NA; furthermore, alexithymia and NA made a significant contribution to the prediction of emotion recognition capability. The predictive model was fitted for two types of presentations (photographs and virtual reality). The inclusion of virtual faces emerges as a response to the need to consider computer characters as new assessment and treatment material for research and therapy in psychologyEl objetivo principal del presente estudio es investigar la capacidad de predicción de los rasgos de esquizotípia y alexitímia, en combinación con la afectividad, de la habilidad de reconocimiento de emociones en una muestra de adultos sanos. Noventa y ocho pacientes sanos (N =98) fueron evaluados mediante la Escala de Alexitímia Toronto-20 (TAS-20), el Inventario de Sentimientos y Experiencias Oxford-Liverpool-Versión Reducida (O-LIFE-R), y la Escala de Afecto Positivo y Negativo (PANAS). Para la evaluación de la capacidad de reconocimiento de emociones a nivel facial, se utilizó un set validado de fotografías (imágenes estáticas) y caras en realidad virtual (imágenes dinámicas). Para el análisis correlacional de las variables de estudio se aplicó la prueba de correlación de Pearson; para el análisis de predicción de la capacidad de reconocimiento emocional se utilizó un modelo de regresión lineal en el que se incluyeron las variables derivadas de las escalas OLIFE-R, TAS-20 y PANAS. Los resultados mostraron la existencia de una relación significativa entre alexitímia, esquizotípia y afecto negativo; el modelo de regresión reveló una aportación significativa de la alexitímia y el afecto negativo en la predicción de los errores cometidos en la tarea de reconocimiento facial. El modelo predictivo propuesto fue válido para ambos tipos de presentación de las emociones (fotografías y caras virtuales). La inclusión de las caras virtuales surge como respuesta a la necesidad de considerar los personajes computarizados como nuevo material de evaluación y tratamiento para la investigación y psicoterapia en psicología