Implementasi Arsitektur MTCNN pada Kelas Dimensi Piksel Berbeda dan Plotting Multi-Wajah pada Hasil Deteksi

Abstract

Face detection is a computer vision task to identify and verify a person based on a photo of their face. Face detection and alignment in unconstrained environments are very challenging due to various poses, illumination, and occlusions. The human face is difficult to model because there are many variables that can change, such as facial expression, orientation, lighting conditions, and partial occlusions, such as sunglasses, scarves, masks, and others. Recent studies have shown that deep learning approaches can achieve impressive performance on these two tasks. In this paper, face detection on multi-faces will be carried out as well as mapping one by one the results of the face detection obtained (face crop) for the needs of various systems related to face detection using the Multi-Task Cascaded Convolutional Neural Network (MTCNN) approach. This study aims to implement the MTCNN architecture using TensorFlow and OpenCV, with two main benefits. First, this study is expected to provide a pre-training model that performs optimally and strengthens evidence from previous studies that have examined this model. Second, this model can be used as input for other systems. The input variable is a photo image of a face containing one or more to be processed. This photo image will have various pixel dimensions to represent different resolutions. The output variable produced is in the form of coordinates of the detected face location or in the form of landmarks of key facial points, such as the position of the eyes, the corner of the nose, and the mouth. The results of the study showed an average score on various pixel dimensions in the dataset, with an accuracy of 93%, a precision of 95%, a recall of 96%, an F1-score of 95%, and an ROC-AUC of 90.89%.Deteksi wajah merupakan tugas computer vision untuk mengidentifikasi dan memverifikasi seseorang berdasarkan foto wajah mereka. Deteksi dan penyelarasan wajah di lingkungan yang tidak dibatasi sangat menantang karena berbagai pose, iluminasi, dan oklusi. Wajah manusia sulit untuk dimodelkan karena ada banyak variabel yang dapat berubah, misalnya ekspresi wajah, orientasi, kondisi pencahayaan, dan oklusi parsial, seperti kacamata hitam, syal, topeng, dan lainnya.. Studi terbaru menunjukkan bahwa pendekatan deep learning (pembelajaran yang mendalam) dapat mencapai kinerja yang mengesankan pada dua tugas ini. Pada penelitian ini akan dilakukan pendeteksian wajah pada multi-wajah sekaligus memetakan satu persatu hasil deteksi wajah yang didapat (face crop) untuk kebutuhan berbagai sistem yang berkaitan dengan pendeteksian wajah dengan menggunakan pendekatan Multi-Task Cascaded Convolutional Neural Network  (MTCNN). Penelitian ini bertujuan untuk mengimplementasikan arsitektur MTCNN menggunakan TensorFlow dan OpenCV, dengan dua manfaat utama. Pertama, penelitian ini diharapkan dapat menyediakan model pra-pelatihan yang berkinerja optimal serta memperkuat bukti dari penelitian-penelitian sebelumnya yang telah meneliti model ini. Kedua, model ini dapat digunakan sebagai input bagi sistem lain. Variabel input berupa gambar foto wajah yang berisi satu atau lebih untuk diproses. Gambar foto wajah ini akan memiliki berbagai dimensi piksel untuk mewakili resolusi yang berbeda. Variabel output yang dihasilkan berupa koordinat lokasi wajah terdeteksi ataupun berupa landmark titik-titik kunci wajah, seperti posisi mata, sudut hidung, dan mulut. Hasil penelitian menunjukkan skor rata-rata pada berbagai dimensi piksel dalam dataset, dengan akurasi sebesar 93%, presisi 95%, recall 96%, F1-score 95%, dan ROC-AUC 90,89%.