Visual modeling of human face in real time with applications in recognition

Abstract

142 σ.Η αναγνώριση ανθρώπινων προσώπων από στατικές εικόνες ή βίντεο στοχεύει στην λήψη αυτόματων αποφάσεων για την ύπαρξη ανθρώπων σε μια σκηνή, τη θέση τους, την ταυτοποίηση τους και σηματοδοτεί γεγονότα όπως για παράδειγμα ομιλία, διάλογοι, δράσεις, χειρονομίες, αφηγηματικά περιστατικά κ.λπ. Μια ιδιαίτερη υποκατηγορία του γενικότερου προβλήματος είναι η μοντελοποίηση και αναγνώριση των εκφράσεων του προσώπου με εφαρμογές στις περιοχές της αναγνώρισης φωνής, μελέτης συμπεριφοράς, αναγνώρισης δράσεων, επικοινωνίας ανθρώπου-ρομπότ, γραφικής με υπολογιστές και συναισθηματικής υπολογιστικής (συναίσθηση, ανίχνευση και ερμηνεία των ανθρώπινων συναισθηματικών καταστάσεων). Οι εκφράσεις του προσώπου αποτελούν την οπτική εκδήλωση της συναισθηματικής κατάστασης, της γνωσιακής δραστηριότητας, της πρόθεσης, της προσωπικότητας ή της ψυχολογικής κατάστασης. Για την αυτόματη αναγνώριση το μεγαλύτερο τμήμα της τρέχουσας βιβλιογραφίας έχει εμπνευστεί από το Σύστημα Κωδικοποίησης Δράσεων του Προσώπου (Facial Action Coding System, FACS) που εισάχθηκε στην συμπεριφοριστική επιστήμη από τους Ekman και Friesen. Βασίζεται σε ένα πρωτότυπο των βασικών ανθρώπινων εκφράσεων και επιτρέπει την μελέτη τους με βάση την ανατομική ανάλυση των κινήσεων του προσώπου. Στόχος της διπλωματικής είναι η ανάπτυξη τεχνικών και αλγορίθμων στην κατεύθυνση της αυτόματης ανάλυσης και αναγνώρισης δράσεων του προσώπου (facial actions) με χρήση τεχνικών της Όρασης Υπολογιστών. Η προσπάθεια μπορεί να έχει ως αφετηρία τη βελτίωση της επίδοσης τεχνικών βασισμένων σε ειδικά διαμορφωμένα, αντικειμενοστραφή μοντέλα όπως είναι τα Μοντέλα Ενεργής Εμφάνισης (Active Appearance Models, AAMs). Έμφαση θα δοθεί στην ανάπτυξη μηχανισμών προσαρμογής και την εξαγωγή περιγραφέων ανεξάρτητων της ταυτότητας του προσώπου, με σκοπό την ανάδειξη χαρακτηριστικών της καθολικότητας των εκφράσεων του ανθρώπινου προσώπου. Πιθανές εφαρμογές περιλαμβάνουν την αναγνώριση νοηματικής γλώσσας, τη σύνθεση φωνής με συναισθηματική χροιά, και την εξαγωγή μοντέλων συναισθηματικής προσοχής και σημαντικότητας από δεδομένα ταινιών.Face recognition on static images or video sequences makes decisions automatically about the existence of human people in a scene, their positions, their identities and marks events such as speech, dialogues, actions , gestures, narrative events etc. A special subcategory of the general problem is modeling and automatic recognition of facial expressions, with applications in the regions of voice recognition, behaviour study, actions recognition, human-robot interaction, graphics with computers and emotional computing (consciousness, detection and explanation of human emotional states). Facial expressions are the visual demonstration of emotional state, cognitive activity, intention, personality or psychological state. For the automatic recognition, the majority of current bibliography is based on the Facial Action Coding System (FACS), which was introduced in behavioral science by Ekman and Friesen. It is based on a prototype of basic human expressions and allows their study with anatomic analysis of the movements of the face. The purpose of this diploma thesis is the development of techniques and algorithms on the direction of automatic analysis and recognition of facial actions, based on techniques of Computer Vision. The attempt may begin from the improvement of the performance of techniques based on specially designed object-oriented models such as Active Appearance Models (AAMs). There will be emphasis on the development of adaptive techniques and the extraction of descriptors independent of the face's identity, to highlight features of the universality of human facial expressions. Possible applications include recognition of sign language, voice synthesis with emotional tinge and extraction of models of emotional attention and significance from movies data.Επαμεινώνδας Π. Αντωνάκο