Facial landmark detection on mobile devices

Abstract. Human facial expressions are very important part of the way people communicate. Even though people are very capable of recognizing different faces and expressions, understanding facial expressions has been one of the common challenges of computer vision. One of the methods used to help in the recognition of the face is facial landmark detection where the human face is depicted as a set of keypoints. The common problem with the facial landmark detection is the high amount of different possible variance that the human faces have. Just like with most of the other machine vision tasks, different types of deep learning based methods have started to become the standard solution for facial landmark detection. These methods have proven themselves to be very capable in handling the variations. The high performance of modern mobile devices has offered possibilities to run different types of deep neural networks (DNNs) using the device’s own hardware. Even though the computational power of the modern mobile devices is very high, it is still considered to be limiting factor when implementing DNNs. In this thesis, three different deep learning based facial landmark detectors based were implemented. These networks were tested to see if it is possible to run DNN based facial landmark detector on mobile device in real-time with good enough prediction accuracy for practical use. The results showed that the more lightweight DNNs are very capable of running even on mobile central processing units (CPUs). The digital signal processors (DSPs) of the mobile devices proved to be very efficient even when computing the larger DNNs. In some cases, the DSP nearly outperformed the desktop graphics processing unit (GPU) which further displays the efficiency of using DSP for computing DNNs.Kasvojen kiintopisteiden tunnistus mobiililaitteilla. Tiivistelmä. Kasvot ovat tärkeä osa ihmisten välistä kommunikaatiota. Vaikka ihmiset pystyvät helposti tunnistamaan eri kasvot ja ihmiset, näiden tunnistaminen on ollut yksi konenäön yleisimmistä haasteista. Yksi kasvojen tunnistukseen käytettävistä menetelmistä on kasvojen kiintopisteiden tunnistus, jossa ihmisen kasvot esitetään kiintopisteiden sarjana. Yksi kasvojen kiintopisteiden tunnistamisen yleisimmistä ongelmista on kasvoissa sekä ilmeissä esiintyvät suuret erot. Aivan kuten monissa muissakin konenäön sovelluksissa, syväoppimiseen perustuvista menetelmistä on tullut vakioratkaisu kasvojen kiintopisteiden tunnistamisessa. Nämä menetelmät ovat erittäin kykeneviä käsittelemään kasvoissa esiintyvät suuret erot. Modernien mobiililaitteiden korkea suorituskyky on avannut uuden mahdollisuuden erilaisten syvien neuroverkkojen ajamisesta laitteiden omalla laitteistolla. Vaikka modernien mobiililaitteiden laitteisto on erittäin suorituskykyistä, tämä on silti rajoittavat tekijä syvien neuroverkkojen toteuttamiselle näille laitteille. Tässä diplomityössä on toteutettu kolme erilaista syväoppimiseen perustuvaa kasvojen kiintopisteiden tunnistinta. Näiden verkkojen testaamisella on selvitetty, onko mobiililaitteella mahdollista ajaa syvään neuroverkkoon perustuvaa kasvojen kiintopisteiden tunnistinta reaaliajassa hyvällä tarkkuudella. Tulokset osoittivat että kevyemmät syvät neuroverkot toimivat erittäin hyvin jopa mobiililaitteen prosessorilla. Mobiililaitteen digitaalinen signaaliprosessori osoittautui erittäin tehokkaaksi suurempien neuroverkkojen laskennassa. Jossain tapauksissa digitaalinen signaaliprosessori suoriutui melkein paremmin kuin pöytäkoneen grafiikkaprosessori