Aplicación del paradigma semiótico en una implementación de reconocimiento facial – Estado del Arte

Investiga y trata todos los aspectos relacionados con el diseño y la implementación de las interfaces entre los humanos y las computadoras. Dada la naturaleza y objetivos, la HCI en forma innata involucra múltiples disciplinas relacionadas con la ciencia de la computación, (procesamiento de imágenes, visión computarizada, lenguajes de programación y otras similares), así como disciplinas relacionadas con las ciencias humanas (ergonomía, factores humanos, psicología cognitiva, y otras similares) (Montuschi et al., 2014)

Detección automatizada de emociones a través del rostro, una revisión del estado del arte

En el presente trabajo, se muestra un compendio de las características más destacadas de los sistemas y algoritmos que permiten el reconocimiento automatizado de emociones de una persona a través del análisis del rostro. En primera instancia, se exponen las técnicas y algoritmos para la detección del rostro, posteriormente se realiza la revisión del estado del arte de los algoritmos de mayor relevancia para el reconocimiento de emociones a partir del estudio de la expresión facial, con el propósito de ofrecer información de utilidad a los lectores interesados en el tema

Aprendizaje de representaciones faciales emocionalmente ciegas con redes neuronales profundas

Máster Universitario en Ingeniería de TelecomunicaciónAnte el desarrollo e implementación de los algoritmos, y su utilización en procesos de toma de decisiones automáticas en nuestra sociedad, diversos gobiernos del mundo han adoptado nuevas regulaciones con las que proteger los derechos de sus usuarios finales, tanto en cuestiones de justicia algorítmica, como en la privacidad de sus datos personales. En este trabajo nos planteamos el potencial riesgo a la privacidad que pueden suponer tanto la monitorización, como la toma en consideración de nuestras emociones por parte de un sistema con capacidades afectivas. Por este motivo, y en el marco de las tecnologías de análisis facial, buscamos aprender nuevas representaciones faciales emocionalmente ciegas. Entendemos por representación ciega a un cierto atributo como aquella que, manteniendo la información necesaria para una tarea principal (e.g. reconocimiento facial), no permite extraer información acerca de un atributo sensible como puede ser la emoción. Con este fin, en primer lugar llevamos a cabo una revisión del Estado del Arte en el campo del reconocimiento de emociones a partir de expresiones faciales, complementándola con una investigación de los métodos desarrollados en los últimos años para eliminar información sensible, y corregir sesgos en los algoritmos de aprendizaje automático. Tras esta revisión, proponemos dos métodos del Estado del Arte con los cuales generar las nuevas representaciones faciales emocionalmente ciegas a partir de un modelo pre-entrenado de reconocimiento facial muy popular en los últimos años. Nuestros experimentos iniciales demuestran la presencia de información relacionada con las expresiones faciales en las representaciones extraídas por el modelo pre-entrenado, estando fuertemente embebida en estas. Mediante la adaptación y aplicación de los métodos propuestos al modelo pre-entrenado, generamos dos representaciones faciales emocionalmente ciegas, en las que la información emocional se ve significativamente reducida, a la vez que se mantiene un rendimiento considerable en verificación facial, reconocimiento de etnia y género. Finalmente, planteamos una aplicación relacionada con la clasificación de atractivo, en la que el uso de las representaciones emocionalmente ciegas nos permite entrenar clasificadores más justos en presencia de un sesgo relacionado con la expresión facia

PATRONES DE CONDUCTA FACIAL, PARA IDENTIFICAR ACCESOS INFORMÁTICOS NO AUTORIZADOS

El rostro humano, por naturaleza es una estructura muy compleja que varía en función del tiempo y de la raza étnica. Existen numerosas técnicas y métodos para detectar y reconocer rostros dentro de un sistema de reconocimiento facial (Ver Estado del arte). El sistema de reconocimiento facial como cualquier otro sistema presenta diferentes ataques de seguridad. El más común es la presentación de una fotografía. Esto sucede porque en trabajos de investigación (Patrascu, 2016), (Juhong, Pintavirooj, 2017) los algoritmos de reconocimiento facial utilizan una imagen estática para identificar el rostro humano. La presentación de video de alta calidad es otro ataque muy común, así como también cuando se habla de personas gemelas, sumado a los factores ambientales que pueden afectar la correcta extracción de las características faciales (Sole, 2014). Por este motivo, en el presente trabajo se propone un sistema que permita identificar un rostro real, con la finalidad de mejorar la seguridad en el reconocimiento facial en tiempo real basado en la identificación de patrones de conducta facial. El punto de partida empieza con la detección del rostro, para ello se evalúa dos técnicas de detección de objetos, filtros de haar y el histograma de degradados de orientación con un clasificador líneal SVM. Posteriormente, se procede con la detección de 68 puntos de referencia facial empleando el método de (Kazemi & Sullivan, 2014). Estos puntos característicos, se evalúan utilizando vectores en el espacio y distancias para determinar diferentes patrones conductuales del rostro: parpadeo, sonrisa, boca abierta o cerrada. Dichos patrones conductuales, serán evaluados, con la finalidad de poder identificar un rostro real y poder brindar un nivel de seguridad extra en un sistema de reconocimiento facial.Tesi

Hybrid CNN+LSTM for face recognition in videos

El reconocimiento de caras, junto con la identificación de las acciones y gestos humanos, es en la actualidad una de las aplicaciones informáticas, más exitosas de análisis automatizado del comportamiento humano. Durante los últimos diez años aproximadamente, se ha convertido en un área muy popular de la investigación en computer vision y ha recibido mucha atención por parte de las organizaciones internacionales (Thumos, ChaLearn, etc). [1] El sistema de reconocimiento facial es una aplicación creada para identificar o verificar una persona a partir de una imagen digital o un fotograma de vídeo. Estos, Verificación e identificación son dos problemas muy distintos en el reconocimiento de los rostros. Los sistemas de verificación tratan de responder a la pregunta “¿Es esta persona la que dice de ser?” En este sistema, un individuo se presenta a sí mismo como una persona específica, y el problema de verificación se describe generalmente como un mapeo 1-a-1, donde el sistema intenta comparar la presencia de un individuo contra una información específica del mismo individuo ya presente en el sistema. Un sistema de identificación, por otro lado, tratan de responder a la pregunta “Quién es esta persona?”, Y su objetivo es identificar a una persona desconocida, comparando la información individual con la que ya están en el sistema de todos los demás. En otras palabras: la identificación es un problema de clasificación múltiple descrito como un mapeo 1-a-n (donde n es el número total de individuos en el sistema), mientras la verificación, es una tarea de clasificación binaria con par de ejemplos. En este proyecto se aborda el problema de la identificación facial mediante técnicas de aprendizaje profundo. El aprendizaje profundo es un área de estudio del aprendizaje automático, estrictamente relacionado con las redes neuronales artificiales, cuya aproximación al problema consiste en aprender representaciones de alto nivel de los datos mediante la parametrización de múltiples capas de procesamiento no lineal. Estas técnicas permiten la extracción automática de características en escenarios supervisados y no supervisados tanto para tareas de clasificación como de regresión [29] [?]. Diferentes arquitecturas de aprendizaje profundo han sido utilizadas con éxito en el reconocimiento de rostros [19, 26, 33, 50], en el reconocimiento de expresiones faciales [24, 53] y en la detección des las emociones [21, 23, 34]. Al igual que en muchas otras tareas de visión artificial, los datos de entrada para el reconocimiento facial pueden ser muy diferentes, incluyendo imágenes, vídeos, mapas de profundidad [49] [30], imágenes térmicas [48] [37], modelos 3D de la cara [5], entre otros. Por supuesto, el tipo de datos de entrada plantea diferentes limitaciones y oportunidades a nivel de modelación. En el caso en que los datos de entrada son videos, parece natural que la información temporal deba ser explotado para realizar tareas de reconocimiento. De hecho, trabajos recientes con- firman las ventajas de utilizar modelos temporales como Redes Neuronales Recurrentes (RNN) o Long-Short Term Memory (LSTM) para problemas de análisis de caras humanas, como la detección y seguimiento de los rostros [52], el reconocimiento de la expresión facial [3] y el reconocimiento de emociones [11] [7]. Sin embargo, después de una revisión exhaustiva de las fuentes bibliográficas, llegamos a la conclusión que muy pocos trabajos han abordado el problema del reconocimiento facial usando modelos neuronales temporales, y ninguno de ellos se ha ocupado de reconocimiento de caras en los videos. En nuestra opinión, esto representa una oportunidad interesante de investigación con espacio para contribuciones originales. En esta tesis, se propone de abordar el problema de diseñar modelos de aprendizaje profundos adaptados para explotar la información temporal contenida en los videos, para el reconocimiento de rostros. En concreto, nos proponemos estudiar una arquitectura basada en la CNN-LSTM, utilizada con éxito para otras tareas de análisis de vídeo como el reconocimiento y la descripción de objetos (image captioning) [10] [46], análisis de sentimiento [47] y clasificación del texto [54], y comparar los resultados obtenidos con otros métodos de reconocimiento facial en estado del arte [16] [50] [42] [6]. Este trabajo se organiza en diferentes etapas. En primer lugar, se llevará a cabo una revisión exhaustiva de los trabajos más recientes en el campo de computer vision en relación con los modelos de aprendizaje profundo, para el reconocimiento de caras en videos. En segundo lugar, queremos realizar un análisis preciso de los métodos más recientes y eficaces, junto con el estudio de los resultados observados hasta la fecha. Una vez reunida la información necesaria para estar informado sobre el estado de la arte, el siguiente paso importante será la definición de las arquitecturas implicadas, Red Neuronal Convolutivas y Long-Short Term Memory, junto con la elección de las bases de datos a utilizar para la validación experimental. La disponibilidad de datos para el reconocimiento facial en videos es grande. La más utilizada (y también la más difícil) es sin ninguna duda la colección Youtube Face (YTF). Sin embargo, en este trabajo se propone también construir una nueva base de datos a partir de la conocida Motion of Body database (MoBo). La colección MoBo DB está destinada a ser utilizada en tareas de detección y reconocimiento de movimientos. Por lo tanto, las imágenes de las que se compone son fotos de cuerpo entero de varios temas. En nuestro proyecto aplicamos técnicas de procesamiento de imágenes para detectar el rostro, recortar la región de la cara y almacenar la imagen resultante en un formato adecuado. La nueva base de datos sería una contribución adicional importante de este trabajo. Al diseño de la arquitectura y la elección de las bases de datos seguirá la aplicación y un conjunto de experimentos

A study of deep learning and its applications to face recognition techniques

El siguiente trabajo es el resultado de la tesis de maestría de Fernando Suzacq. La tesis se centró alrededor de la investigación sobre el reconocimiento facial en 3D, sin la reconstrucción de la profundidad ni la utilización de modelos 3D genéricos. Esta investigación resultó en la escritura de un paper y su posterior publicación en IEEE Transactions on Pattern Analysis and Machine Intelligence. Mediante el uso de iluminación activa, se mejora el reconocimiento facial en 2D y se lo hace más robusto a condiciones de baja iluminación o ataques de falsificación de identidad. La idea central del trabajo es la proyección de un patrón de luz de alta frecuencia sobre la cara de prueba. De la captura de esta imagen, nos es posible recuperar información real 3D, que se desprende de las deformaciones de este patrón, junto con una imagen 2D de la cara de prueba. Este proceso evita tener que lidiar con la difícil tarea de reconstrucción 3D. En el trabajo se presenta la teoría que fundamenta este proceso, se explica su construcción y se proveen los resultados de distintos experimentos realizados que sostienen su validez y utilidad. Para el desarrollo de esta investigación, fue necesario el estudio de la teoría existente y una revisión del estado del arte en este problema particular. Parte del resultado de este trabajo se presenta también en este documento, como marco teórico sobre la publicación

Beneficios que obtienen las fintech en Colombia a través de la incorporación de sistemas de reconocimiento facial en el otorgamiento de crédito.

El presente documento se enfocará en la industria Fintech: “firmas que se apalancan en la tecnología para transformar productos, servicios y procesos de la actividad financiera tradicional” (Colombia Fintech, 2019a, p.1) y dentro de aquellas que otorgan créditos digitales. Adicionalmente, esta investigación se centrará en la tecnología de reconocimiento facial para descubrir los beneficios que proporcionaría el uso este tipo de sistemas en el otorgamiento de crédito en las Fintech de Colombia. Así mismo, se analizará si la inclusión de estos sistemas de reconocimiento facial en el proceso de otorgamiento de crédito se encuentra alineados con los enfoques descritos en el modelo DIPLOMA (Digital, Innovative, Pricing, Learning, Openness, Modern, and Agile), el cual describe el impacto de la transformación digital en la creación de valor en los servicios Fintech.1. Introducción ; 2. Planteamiento del problema ; 3. Preguntas e hipótesis ; 4. Objetivos ; 5. Estado del arte ; 6. Marco teórico ; 7. Metodología ; 8. Resultados ; 9. Conclusiones ; 10. Recomendaciones.Magíster en Administración de Empresas, CESA.Maestrí

Reconocimiento facial en imágenes

Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2018.En este trabajo se abordará el problema de reconocimiento facial en imágenes utilizando redes neuronales convolucionales. El éxito actual en los resultados obtenidos por este tipo de modelos yace principalmente en la posibilidad de contar con grandes volúmenes de datos anotados para su entrenamiento. Con respecto al reconocimiento facial, la disponibilidad de bases de datos públicas para este tipo de problemas es escasa, restringiendo los avances en el área de los últimos años a grandes empresas como Facebook, Google, Baidu, etc. En nuestros experimentos, tomaremos como punto de partida una red neuronal convolucional entrenada sobre una base de datos de rostros varios órdenes de magnitud menor a aquellas utilizadas comúnmente por el estado del arte. Usaremos vectores de características obtenidos con este modelo para entrenar un mapeo bilineal mediante una función de costo conocida como Triplet Loss. El objetivo del modelo final es obtener resultados cercanos al estado del arte, pero, utilizando un conjunto de datos de entrenamiento reducido.In this work we address the problem of facial recognition on images using convolutional neural networks. Successful results obtained by these models relies mainly on the availability of large amounts of manually annotated data for training. For the task of facial recognition, the lack of large-scale publicly available datasets has restricted most advances in the field to big companies like Facebook, Google, Baidu, etc. In our experiments, we start from a simple convolutional neural network trained on a standard facial recognition dataset several orders of magnitude smaller than those used by the state-of-the-art. We use features extracted from this model to train a bilinear map using a cost function known in the literature as Triplet Loss. The goal of such model is to get results as close as possible to those obtained by state-of-the-art models but using a much smaller training set

Incorporación de atributos faciales a sistemas de reconocimiento facial

Máster Universitario en Investigación e Innovación en Tecnologías de la Información y las ComunicacionesLa aparición de redes neuronales profundas ha provocado un gran progreso en el ámbito de la biometría. Los sistemas de reconocimiento facial son cada vez más utilizados y cada vez requieren una mayor precisión. Un modo habitual de mejorar estos sistemas es el refuerzo mediante atributos característicos de cada persona, los llamados soft biometrics. El género, la edad o la raza son algunos de los atributos más habituales. Al analizar el rendimiento de los sistemas de reconocimiento facial se observan diferencias dentro de cada grupo demográ co. Atendiendo al género, las mujeres son las que peores resultados obtienen. Para el caso de la raza, son las personas de raza negra o asiática las que normalmente presentan más di cultades en el reconocimiento facial. Este problema radica principalmente en los conjuntos de entrenamiento con los que los modelos han aprendido. Estos no suelen estar balanceados y se re eja en los resultados cuando analizamos cada clase. Normalmente las bases de datos incluyen más hombres y más identidades de raza blanca. En este trabajo se desarrollan sistemas especí cos para los grupos demográ cos de género y raza. Los resultados experimentales demuestran que utilizando modelos entrenados con imágenes pertenecientes a una única clase se mejora el rendimiento de un sistema de reconocimiento facial genérico que ha sido entrenado con imágenes de todas las clases. Se proponen también dos estimadores para los atributos de género y raza. Se compara el rendimiento del sistema cuando la información de dichos atributos es obtenida de manera manual, es decir mediante etiquetas y cuando se extrae de manera automática. Además se propone un sistema más completo que fusiona la información de género y raza. Y se analizan las alternativas de fusión a nivel de features y a nivel de scores.The research in deep neural networks has produced a great improvement in the world of biometrics. Facial recognition systems are used more often and require a higher accuracy. A common way of improving these systems is the reinforcement through characteristic attributes from each person which are known as soft biometrics. The gender, age or ethnic group are the most common attributes. Analyzing the performance of facial recognition systems, di erences are observed within each demographic group. Considering the gender, women obtain the worst results. Regarding the ethnicity group, dark skin persons or asian have more di culties in the facial recognition. This problem is mainly due to the training sets used for the learning process of the models. These are not usually balanced and that is re ected in the results obtained for each class. Usually datasets include more men and more white race identities. In this project, speci c models are developed for the demographic groups of gender and ethnicity. The experimental results show that using trained models with images from a single class, it is possible to improve the performance of a generic facial recognition system trained with images from all classes. Two estimators for the gender and ethnic group attributes are also proposed. System performance is compared when race and gender information is obtained automatically or manually, through label. Moreover, a more complete system is proposed combining gender and ethnic group information. Proposing a fusion of this information at the scores or the features level

Identificando emociones en el museo: Arte vs Alzheimer

Presentamos el proceso metodológico de la investigación que, en la Universidad de Murcia, se está desarrollando sobre la identificación de emociones en personas con Enfermedad de Alzheimer (EA) inmersas en experiencias artístico- museísticas. Así, este trabajo resume parte de un proyecto más amplio cuya  meta última es proponer un proceso de intervención y mediación cultural en personas con EA, para mejorar su calidad de vida y propiciar su inclusión social. La EA degenera progresivamente el estado emocional, la memoria semántica, el lenguaje y la capacidad comunicativa, por ello el lenguaje no verbal es nuestra principal fuente de información. El arte ha sido utilizado como un medio de comunicación y un estímulo visual. En pacientes de Alzheimer el arte es un catalizador emocional que despierta recuerdos y sensaciones, a los que estas personas ya no pueden acceder espontáneamente, facilitándoles la expresión de sus emociones cuando reciben estímulos artísticos evocadores. La observación ha sido el método utilizado para la obtención de información y conocimiento científico, en la identificación de emociones de los EA, concretamente de sus expresiones faciales. Para ello, se ha utilizado el  software Micro Expression Training Tool (METT) (Ekman, 2003). Así mismo, nuestro referente de análisis de expresión facial ha sido Facial Action Coding System (FACS) (Ekman, Wallace, Friesen y Hager, 1978). Nuestra finalidad última es diseñar un proceso metodológico para investigar las respuestas emocionales del público que visita los museos. Se trata de una vía de conocimiento sistemática y rigurosa que pretende abrir nuevas líneas de investigación museística relacionadas con la mediación cultural y la inclusión social. Palabras clave: Emoción, arte, museo, enfermedad de Alzheimer, expresiones faciales