Extraction and selection of muscle based features for facial expression recognition

In this study we propose a new set of muscle activity based features for facial expression recognition. We extract muscular activities by observing the displacements of facial feature points in an expression video. The facial feature points are initialized on muscular regions of influence in the first frame of the video. These points are tracked through optical flow in sequential frames. Displacements of feature points on the image plane are used to estimate the 3D orientation of a head model and relative displacements of its vertices. We model the human skin as a linear system of equations. The estimated deformation of the wireframe model produces an over-determined system of equations that can be solved under the constraint of the facial anatomy to obtain muscle activation levels. We apply sequential forward feature selection to choose the most descriptive set of muscles for recognition of basic facial expressions.Publisher's VersionAuthor Post Prin

Driver recognition using gaussian mixture models and decision fusion techniques

In this paper we present our research in driver recognition. The goal of this study is to investigate the performance of different classifier fusion techniques in a driver recognition scenario. We are using solely driving behavior signals such as break and accelerator pedal pressure, engine RPM, vehicle speed; steering wheel angle for identifying the driver identities. We modeled each driver using Gaussian Mixture Models, obtained posterior probabilities of identities and combined these scores using different fixed mid trainable (adaptive) fusion methods. We observed error rates is low as 0.35% in recognition of 100 drivers using trainable combiners. We conclude that the fusion of multi-modal classifier results is very successful in biometric recognition of a person in a car setting.Publisher's Versio

Programlamaya Giriş Dersini Alan Öğrencilerin Programlama Öz Yeterlilik Algılarının ve Programlamaya Bakış Açılarının İncelenmesi

Bu çalışmada üniversite öğrencilerinin Java programlama öz yeterlilik algıları, programlama öğrenme istekleri ve çalışma alışkanlıkları çeşitli değişkenlere göre (cinsiyet, bölüm, eğitim dili, harf notu, ders tekrarları vb.) istatistiksel yöntemler kullanılarak (T-testi, Mann Whitney U-testi, Kruskal Wallis H testi, tek yönlü varyans analizi, Ki-Kare testi) incelenmiştir. Çalışma grubu, farklı bölümlerde zorunlu olarak programlamaya giriş dersini alan 191 lisans öğrencisinden oluşmaktadır. Elde edilen sonuçlara göre öğrencilerin Java programlama öz yeterlilik algıları bölümlerine ve programlama öğrenme isteklerine göre farklılaşmaktadır. Çalışmada ayrıca Apriori algoritması kullanılarak birliktelik kuralları çıkartılmıştır. En yüksek güven değeri elde edilen kurala göre, programlama öğrenmeyi çok fazla isteyen, programlama öğrenmenin iş hayatında kendisine fayda sağlayacağını düşünen ve programlama dersinden başarı ile geçen öğrencilerin programlama öz yeterlilikleri yüksektir

Investigating introduction to programming course students’programming self efficacy perceptions and perspectives on programming

Bu çalışmada üniversite öğrencilerinin Java programlama öz yeterlilik algıları, programlama öğrenme istekleri ve çalışma alışkanlıkları çeşitli değişkenlere göre (cinsiyet, bölüm, eğitim dili, harf notu, ders tekrarları vb.) istatistiksel yöntemler kullanılarak (T-testi, Mann Whitney U-testi, Kruskal Wallis H testi, tek yönlü varyans analizi, Ki-Kare testi) incelenmiştir. Çalışma grubu, farklı bölümlerde zorunlu olarak programlamaya giriş dersini alan 191 lisans öğrencisinden oluşmaktadır. Elde edilen sonuçlara göre öğrencilerin Java programlama öz yeterlilik algıları bölümlerine ve programlama öğrenme isteklerine göre farklılaşmaktadır. Çalışmada ayrıca Apriori algoritması kullanılarak birliktelik kuralları çıkartılmıştır. En yüksek güven değeri elde edilen kurala göre, programlama öğrenmeyi çok fazla isteyen, programlama öğrenmenin iş hayatında kendisine fayda sağlayacağını düşünen ve programlama dersinden başarı ile geçen öğrencilerin programlama öz yeterlilikleri yüksektir.This study investigates university student’s (Java) programming self-efficacy, perspectives on programming, and study habits with respect to various variables (gender, department, course language, letter grade, course repeats) by using statistical methods (T-test, Mann Whitney U-test, Kruskal Wallis H test, one-way analysis of variance, Chi-Square test). The study group consisted of 191 undergraduate students who had to take the introductory programming course from different departments. The results indicate that students’ Java programming selfefficacy have relationships with their department and desire to learn programming. Furthermore, in this study, association rules were obtained by using Apriori algorithm. The highest confidence value rule suggests that higher programming self-efficacy can be associated with higher levels of desire to learn programming, higher belief in the utility of programming in professional life and having successfully passed the programming course.Publisher's Versio

Veri madenciliği teknikleri kullanılarak sürücü tanıma ve sürücü doğrulama

Text in English; Abstract: English and TurkishIncludes bibliographical references (leaves 83-84)xvi, 85 leavesIn this thesis we present our research in driver recognition and driver verification. The goal of this study is to investigate the affect of different classifier fusion techniques on the performance of driver recognition and driver verification. We are using five different driving behavior signals for identifying the driver identities. Driving features were extracted from these signals and Gaussian Mixture Models were used for modeling the driver behavior. Gaussian Mixture Model training was performed using the well-known EM algorithm. In recognition study posterior probabilities of identities called scores were obtained with the given test data. These scores were combined using different fixed and trainable (adaptive) combination methods. In verification study we compared posterior probabilities with fixed threshold values for each classifier. For different thresholds, false-accept rate versus falsereject rate was plotted using the receiver operating characteristics curve. We observed lower error rates when we used trainable combiners. We conclude that combined multi-modal signal or classifier methods are very successful in biometric recognition and verification of a person in a car environment.Bu tez sürücü tanıma ve sürücü onaylama çalışmalarını içermektedir. Bu çalışmalar için sürücülerden toplanan beş değişik davranış işaretleri kullanılmıştır. Bu işaretler yardımıyla sürücülerin öznitelikleri çıkarılmış ve Karma Gauss Dağılım Modelleri kullanılarak sürücü davranışları modellenmistir. Karma Gauss Dagılım Modellerinin eğitilmesi için Beklenti Enbüyütme algoritması kullanılmıstır. Sürücü tanıma çalışması için kimlikleri sınama verileri kullanılarak art olasılıklar elde edilmiş ve bu olasılıklar aynı zamanda her sınıf için puan olarak kabul edilmiştir. Bu puanların tümleştirilmesi için sabit kurallar ve egitilebilir tümleştiriciler kullanılmıştır. Sürücü doğrulama çalışması için olabilirlik oranının bir eşikle karşılaştırılması yapılmıştır. Değişik eşik değerleri için yanlış kabul-yanlış red sıklıklarını grafiklemek için alıcı isletim eğrisi kullanılmıştır. Bu çalısmanın amacı değişik sınıflandırıcı tümleştirme yöntemlerinin sürücü tanıma ve sürücü doğrulama performanslarına etkilerinin incelenmesidir. Eğitilebilir tümleştirme yöntemleri ve sürücü davranış sinyalleri kullanılarak sürücü tanımasında ve dogrulamasında düşük hata oranları elde edilmiştir. Sonuçlarımız çok modlu sürüs sinyallerinin sınıflandırıcı tümleştirme yöntemleri ile kullanıldıgında sürücünün araba içi sartlarda tanınması ve onaylanmasında çok etkili olduklarını göstermiştir

Yüz anatomisine dayalı ifade tanıma

Text in English; Abstract: Turkish and EnglishIncludes bibliographical references (leaves 102-117)xiv, 118 leavesIn this thesis we propose to determine the underlying muscle forces that compose a facial expression under the constraint of facial anatomy. Muscular activities are novel features that are highly representative of facial expressions. We model human face with a 3D generic wireframe model that embeds all major muscles. The input to our expression recognition system is a video with marked set of landmark points on the first frame. We use these points and a semi-automatic fitting algorithm to register the 3D face model to the subject's face. The influence regions of facial muscles are estimated and projected to the image plane to determine feature points. These points are tracked on the image plane using optical flow algorithm. We estimate the rigid body transformation of the head through a greedy search algorithm. This stage enables us to align the 3D face model with the subject's head in consecutive frames of the video. We use ray tracing from the perspective reference point and through the image plane to estimate the new coordinates of model vertices. The estimated vertex coordinates indicate how the subject's face is deformed in the progression of an expression. The relative motion of model vertices provides us an over-determined linear system of equations where unknown parameters are the muscle activation levels. This system of equations is solved using constrained least square optimization. Muscle activity based features are evaluated in a classification problem of seven basic facial expressions. We demonstrate the representative power of muscle force based features on four classifiers; Linear Discriminant Analysis, Naive Bayes, k-Nearest Neighbor and Support Vector Machine. The best performance on the classification problem of seven expressions including neutral was 87.1 %, obtained by use of Support Vector Machine. The results we attained in this study are close to the human recognition ceiling of 87-91.7 % and comparable with the state of the art algorithms in the literature.Bu tezin amacı yüz ifadelerini oluşturan kas kuvvetlerinin yüz anatomisi kısıtı altında tespit edilmesidir. Kas aktivasyonları yüz ifadelerini büyük ölçüde temsil eden yeni özniteliklerdir. insan yüzü temel yüz kaslarını içeren üç boyutlu genel bir telkafes ile modellenmiştir. İfade tanıma sisteminin girdisi imge dizisinin ilk çerçevesi üzerinde işaretlenmiş olan nirengi noktalarıdır. İşaretlenmiş olan nirengi noktaları ve yarı-otomatik yüz modelleme algoritması kullanılarak üç boyutlu yüz modeli denge uyarlanır. Yüz kaslarının etki alanları tahmin edilir ve kamera düzlemine izdüşümleri öznitelik noktaları olarak belirlenir. Bu noktalar kamera düzleminde optik akış algoritması ile izlenir. Basın katı devinimi fırsatçı algoritma ile tahmin edilir. Bu aşama 3 boyutlu yüz modeli ile deneğin kafasının videonun ardışık çerçevelerinde hizalanmasını sağlar. Kamera referans noktasından kamera düzlemi boyunca ışın izleme yöntemi kullanılarak modelin düğüm noktalarının yeni koordinatları tahmin edilir. Tahmin edilen düğüm koordinatları ifade oluşumu sırasında deneğin yüzünün nasıl şekil değiştirdiğini gösterir. Modelin düğüm noktalarının bağıl hareketleri ile bilinmeyen değişkenleri kas aktivasyon seviyeleri olan artık-belirtilmiş denklemler sistemi elde edilir. Bu denklemler sistemi kısıtlı en küçük kareler yöntemi kullanılarak çözülür. Kas aktivasyonlarına dayalı öznitelikler yedi temel yüz ifadesinin sınıflandırılması probleminde kullanılır. Kas kuvvetlerine dayalı özniteliklerin temsili gücü Doğrusal Ayırtaç Analizi, Naive Bayes, En Yakın K Komsu ve Destek Vektör Makineleri sınıflandırıcıları ile gösterilir. Nötr ifade de dahil olmak üzere yedi ifadenin sınıflandırılmasında en iyi performans 87.1 % ile Destek Vektör Makineleri kullanılarak elde edilir. Bu çalışmada elde edilen sonuçlar insanın yüz ifadesi tanımadaki yetkinlik oranı olan 87-91.7 % aralığına yakın olup literatürde yer alan çalışmaların başarıları ile kıyaslanabilir durumdadır.This research is part of project “Expression Recognition based on Facial Anatomy”, grant number 109E061, supported by The Support Programme for Scientific and Technological Research Projects of The Scientific and Technological Research Council of Turkey (TÜBİTAK)

Facial expression recognition based on anatomy

In this study, we propose a novel approach to facial expression recognition that capitalizes on the anatomical structure of the human face. We model human face with a high-polygon wireframe model that embeds all major muscles. Influence regions of facial muscles are estimated through a semi-automatic customization process. These regions are projected to the image plane to determine feature points. Relative displacement of each feature point between two image frames is treated as an evidence of muscular activity. Feature point displacements are projected back to the 3D space to estimate the new coordinates of the wireframe vertices. Muscular activities that would produce the estimated deformation are solved through a least squares algorithm. We demonstrate the representative power of muscle force based features on three classifiers; NB, SVM and Adaboost Ability to extract muscle forces that compose a facial expression will enable detection of subtle expressions, replicating an expression on animated characters and exploration of psychologically unknown mechanisms of facial expressions.This research is part of project “Expression Recognition based on Facial Anatomy”, Grant No. 109E061 , supported by The Support Programme for Scientific and Technological Research Projects of The Scientific and Technological Research Council of Turkey (TÜBİTAK)Publisher's Versio

Anatomy based Features for Facial Expression Recognition

Bu çalışmada yüz ifadesi tanıma için kas kuvvetlerine dayalı yeni öznitelikler öneriyoruz. Yüz üzerinde seçtiğimiz noktaların video üzerindeki hareketlerini izleyerek kas kuvvetlerini çözüyoruz. Yüz noktaları, ilk video çerçevesi üzerinde, kas kuvvet alanları üzerinde ilklendirilir. Bu noktalar optik akış algoritması ile izlenir. Noktaların devinimleri yüzün 3 boyutlu yönelimi ve yüz ifadesine dayalı bağıl devinimleri kestirmek için kullanılır. İnsan yüzünü yaylarla, artık-belirtilmiş doğrusal bir denklem sistemi olarak modelliyoruz. Bu sistemi yüz anatomisi kısıtı altında, kas kuvvetleri için çözüyoruz. Ardışık ileri seçim yaparak, temel yüz ifadeleri için en betimleyici kas kümesini belirliyoruz.In this study we propose a set of anatomy based features for facial expression recognition. The muscle forces that constitute an expression are solved by tracking carefully selected facial feature points. These points are initialized in the muscular regions of influence on the first frame of the video. They are tracked using the optical flow algorithm. The displacements of facial feature points are used for estimation of 3 dimensional head orientation and deformations due to expressions. We model human face with springs as an over-determined and linear system of equations. This system is solved under the constraint of facial anatomy for muscular activities. We use sequential forward selection to determine the most descriptive set of features for classification of basic expressions.Publisher's Versio

Nearest neighbor weighted average customization for modeling faces

In this paper, we present an anatomically accurate generic wireframe face model and an efficient customization method for modeling human faces. We use a single 2D image for customization of the generic model. We employ perspective projection to estimate 3D coordinates of the 2D facial landmarks in the image. The non-landmark vertices of the 3D model are shifted using the translations of k nearest landmark vertices, inversely weighted by the square of their distances. We demonstrate on Photoface and Bosphorus 3D face data sets that the proposed method achieves substantially low relative error values with modest time complexity.This research is part of project "Expression Recognition based on Facial Anatomy", grant number 109E061, supported by The Support Programme for Scientific and Technological Research Projects (1001) of The Scientific and Technological Research Council of Turkey (TUBITAK)Publisher's Versio

Semi-automatic adaptation of high-polygon wireframe face models through inverse perspective projection

Precise registration of a generic 3D face model with a subject's face is a critical stage for model based analysis of facial expressions. In this study we propose a semi-automatic model fitting algorithm to fit a high-polygon wireframe model to a single image of a face. We manually mark important landmark points both on the wireframe model and the face image. We carry out an initial alignment by translating and scaling the wireframe model. We then translate the landmark vertices in the 3D wireframe model so that they coincide with inverse perspective projections of image landmark points. The vertices that are not manually labeled as landmark are translated with a weighted sum of vectorial displacement of k neighboring landmark vertices, inversely weighted by their 3D distances to the vertex under consideration. Our experiments indicate that we can fit a high-polygon model to the subject's face with modest computational complexity.This research is part of project "Expression Recognition based on Facial Anatomy", grant number 109E061, supported by The Support Programme for Scientific and Technological Research Projects (1001) of The Scientific and Technological Research Council of Turkey (TUBITAK)Publisher's Versio