thesis

Facial expression recognition system based on active appearance models

Abstract

Català: L’objectiu d’aquest projecte és el desenvolupament d’un sistema automàtic de reconeixement de les expressions facials. El sistema consta de dues parts: la detecció i extracció dels trets facials i la classificació de l’expressió utilitzant els trets extrets. Se’ns va proposar basar la detecció i extracció dels trets facials en la teoria dels models actius d’aparença i en la implementació d’aquesta feta per Mikkel Stegmann. El primer pas, doncs, és l’estudi dels models actius d’aparença i de la implementació AAM-API. En aquest punt proposem un sistema per a la classificació de les expressions facials. Aquest sistema utilitza els models AAM de la següent forma: es generaran un conjunt de models AAM on cadascun d’ells contindrà la informació de l’expressió facial d’una emoció. D’aquesta manera, donada una imatge d’entrada, sintetitzant-la per a cada model i avaluant quina d’elles s’ajusta millor podrem estimar quina serà la seva expressió facial i, per tant, la seva emoció. La nostra feina, doncs, és trobar la millor opció per avaluar quin dels models s’ajusta millor a la imatge original. Això ho farem, primer, proposant i estudiant una sèrie de paràmetres que quantifiquin l’error entre la imatge original i la imatge sintetitzada. I, després, proposant i estudiant diversos mètodes de decisió basats en aquests paràmetres per a cada model AAM utilitzat. El resultat és un mètode de classificació que aconsegueix taxes d’error no menyspreables, degudes als error inherents al sistema de models AAM així com a l’ambigüitat entre les diferents expressions analitzades.Castellano: El objetivo de este proyecto es el desarrollo de un sistema automático de reconocimiento de las expresiones faciales. El sistema consta de dos partes: la detección y la extracción de las características faciales y la clasificación de la expresión utilizando las características extraídas. Se nos propuso basar la detección i extracción de las características faciales en la teoría de modelos activos de apariencia y en la implementación de ésta hecha por Mikkel Stegmann. El primer paso, así, es el estudio de los modelos activos de apariencia y de la implementación AAM-API. En este punto proponemos un sistema para la clasificación de las expresiones faciales. Este sistema utiliza los modelos AAM de la siguiente forma: se generaran un conjunto de modelos AAM donde cada uno de ellos contendrá la información de la expresión facial de una emoción. De este modo, dada una imagen de entrada, sintetizándola por cada modelo y evaluando cuál de ellas se ajusta mejor podremos estimar cual será su expresión facial y, por tanto, su emoción. Nuestro trabajo, así, es encontrar la mejor opción para evaluar cual de los modelos se ajusta mejor a la imagen original. Esto lo haremos, primero, proponiendo y estudiando una serie de parámetros que cuantifiquen el error entre la imagen original y la sintetizada. Y, después, proponiendo y estudiando diversos métodos de decisión basados en estos parámetros para cada modelo AAM utilizado. El resultado es un método de clasificación que consigue tasas de error no despreciables, debidas a los errores inherentes al sistema de modelos AAM, así como a la ambigüedad que existe entre las diferentes expresiones analizadas.English: The aim of this project is the development of an automatic facial expression recognition system. The system has two parts: the detection and extraction of the facial features and the expression classification based on the extracted features. It is suggested to base the detection and extraction of the facial features on the Active Appearance models theory and its implementation done by Mikkel Stegmann. The first step we have to do is to study the Active appearance models and the AAM-API implementation. At this moment, a facial features classification system is proposed. This system uses the AAM models as follows: a set of AAM models will be created, each model will contain the facial expressions information that belongs to a specific emotion. Then, having an input image, it is synthesized for each model and then each model synthesis is evaluated to find the one that fits better with the original image. This way, we could estimate which facial expression has the input image and so its emotion. So, our work is find the best evaluation mode, so we could know which model fits better with the original image. We will do this, first, proposing and studying several parameters that could quantify the error between the original and synthesized image. And, then, proposing and studying several decision methods, based on these parameters, for each used AAM model. The result is a classification method that obtains not insignificant error taxes, due to the inherent errors in the AAM models system, as well as the ambiguity between the analyzed facial expressions

    Similar works