Shallow Triple Stream Three-dimensional CNN (STSTNet) for Micro-expression Recognition

In the recent year, state-of-the-art for facial micro-expression recognition have been significantly advanced by deep neural networks. The robustness of deep learning has yielded promising performance beyond that of traditional handcrafted approaches. Most works in literature emphasized on increasing the depth of networks and employing highly complex objective functions to learn more features. In this paper, we design a Shallow Triple Stream Three-dimensional CNN (STSTNet) that is computationally light whilst capable of extracting discriminative high level features and details of micro-expressions. The network learns from three optical flow features (i.e., optical strain, horizontal and vertical optical flow fields) computed based on the onset and apex frames of each video. Our experimental results demonstrate the effectiveness of the proposed STSTNet, which obtained an unweighted average recall rate of 0.7605 and unweighted F1-score of 0.7353 on the composite database consisting of 442 samples from the SMIC, CASME II and SAMM databases.Comment: 5 pages, 1 figure, Accepted and published in IEEE FG 201

KLASIFIKASI MICRO-EXPRESSION MENGGUNAKAN K-NEAREST NEIGHBORS MENGGUNAKAN FITUR CAS DAN HOG

Micro-Expression adalah ekspresi yang muncul dalam waktu singkat, hanya berlangsung sepersekian detik. Hal ini mungkin merupakan akibat dari aktivitas komunikasi antar manusia selama interaksi sosial. Reaksi ekspresi mikro wajah terjadi secara alami dan segera, sehingga hanya menyisakan sedikit ruang untuk manipulasi. Namun, karena Micro-Expression bersifat sementara dan memiliki intensitas rendah, pengenalan dan pengenalannya sulit dan sangat bergantung pada pengalaman para ahli. Karena kekhususan dan kompleksitas intrinsiknya, klasifikasi Micro-Expression menggunakan 2 ekstraksi yaitu CAS dan HOG menarik tetapi menantang, dan baru-baru ini menjadi area penelitian yang aktif. context-aware saliency (CAS) yang bertujuan untuk mendeteksi wilayah gambar yang mewakili pemandangan. Tutujuannya adalah untuk mendeteksi objek dominan. Histogram Oriented Gradient (HOG) Bertujuan sebagai deskriptor yang efektif untuk pengenalan dan deteksi objek. Metode K-Nearest Neighbors (K-NN) digunakan untuk klasifikasi Micro-Expression berdasarkan fitur HOG dari citra saliency. Dataset yang digunakan pada penelitian ini dari data sampel siswa SMK Ma’arif NU Prambon jurusan Multimedia sebanyak 45 siswa dan ditambahkan dataset dari affecnet. Hasil yang didapatkan dari total dataset sebanyak 4116 citra yang dibagi menjadi 6 Micro-Expression yaitu anger, disgust, fear, happy, sad dan surprise, mendapatkan hasil akurasi diatas 80% dari perbandingan dataset sejumlah 4116 terbagi menjadi 2 dengan persentase 70% training dan 30% data testing

Klasifikasi Micro-Expression Menggunakan K-Nearest Neighbors Menggunakan Fitur CAS dan HOG

Micro-Expression adalah ekspresi yang muncul dalam waktu singkat, hanya berlangsung sepersekian detik. Hal ini mungkin merupakan akibat dari aktivitas komunikasi antar manusia selama interaksi sosial. Reaksi ekspresi mikro wajah terjadi secara alami dan segera, sehingga hanya menyisakan sedikit ruang untuk manipulasi. Namun, karena Micro-Expression bersifat sementara dan memiliki intensitas rendah, pengenalan dan pengenalannya sulit dan sangat bergantung pada pengalaman para ahli. Karena kekhususan dan kompleksitas intrinsiknya, klasifikasi Micro-Expression menggunakan 2 ekstraksi yaitu CAS dan HOG menarik tetapi menantang, dan baru-baru ini menjadi area penelitian yang aktif. context-aware saliency (CAS) yang bertujuan untuk mendeteksi wilayah gambar yang mewakili pemandangan. Tutujuannya adalah untuk mendeteksi objek dominan. Histogram Oriented Gradient (HOG) Bertujuan sebagai deskriptor yang efektif untuk pengenalan dan deteksi objek. Metode K-Nearest Neighbors (K-NN) digunakan untuk klasifikasi Micro-Expression berdasarkan fitur HOG dari citra saliency. Dataset yang digunakan pada penelitian ini dari data sampel siswa SMK Ma’arif NU Prambon jurusan Multimedia sebanyak 45 siswa dan ditambahkan dataset dari affecnet. Hasil yang didapatkan dari total dataset sebanyak 4116 citra yang dibagi menjadi 6 Micro-Expression yaitu anger, disgust, fear, happy, sad dan surprise, mendapatkan hasil akurasi diatas 80% dari perbandingan dataset sejumlah 4116 terbagi menjadi 2 dengan persentase 70% training dan 30% data testing

A review of automated micro-expression analysis

Micro-expression is a type of facial expression that is manifested for a very short duration. It is difficult to recognize the expression manually because it involves very subtle facial movements. Such expressions often occur unconsciously, and therefore are defined as a basis to help identify the real human emotions. Hence, an automated approach to micro-expression recognition has become a popular research topic of interest recently. Historically, the early researches on automated micro-expression have utilized traditional machine learning methods, while the more recent development has focused on the deep learning approach. Compared to traditional machine learning, which relies on manual feature processing and requires the use of formulated rules, deep learning networks produce more accurate micro-expression recognition performances through an end-to-end methodology, whereby the features of interest were extracted optimally through the training process, utilizing a large set of data. This paper reviews the developments and trends in micro-expression recognition from the earlier studies (hand-crafted approach) to the present studies (deep learning approach). Some of the important topics that will be covered include the detection of micro-expression from short videos, apex frame spotting, micro-expression recognition as well as performance discussion on the reviewed methods. Furthermore, major limitations that hamper the development of automated micro-expression recognition systems are also analyzed, followed by recommendations of possible future research directions