Facial landmark detection on mobile devices

Abstract. Human facial expressions are very important part of the way people communicate. Even though people are very capable of recognizing different faces and expressions, understanding facial expressions has been one of the common challenges of computer vision. One of the methods used to help in the recognition of the face is facial landmark detection where the human face is depicted as a set of keypoints. The common problem with the facial landmark detection is the high amount of different possible variance that the human faces have. Just like with most of the other machine vision tasks, different types of deep learning based methods have started to become the standard solution for facial landmark detection. These methods have proven themselves to be very capable in handling the variations. The high performance of modern mobile devices has offered possibilities to run different types of deep neural networks (DNNs) using the device’s own hardware. Even though the computational power of the modern mobile devices is very high, it is still considered to be limiting factor when implementing DNNs. In this thesis, three different deep learning based facial landmark detectors based were implemented. These networks were tested to see if it is possible to run DNN based facial landmark detector on mobile device in real-time with good enough prediction accuracy for practical use. The results showed that the more lightweight DNNs are very capable of running even on mobile central processing units (CPUs). The digital signal processors (DSPs) of the mobile devices proved to be very efficient even when computing the larger DNNs. In some cases, the DSP nearly outperformed the desktop graphics processing unit (GPU) which further displays the efficiency of using DSP for computing DNNs.Kasvojen kiintopisteiden tunnistus mobiililaitteilla. Tiivistelmä. Kasvot ovat tärkeä osa ihmisten välistä kommunikaatiota. Vaikka ihmiset pystyvät helposti tunnistamaan eri kasvot ja ihmiset, näiden tunnistaminen on ollut yksi konenäön yleisimmistä haasteista. Yksi kasvojen tunnistukseen käytettävistä menetelmistä on kasvojen kiintopisteiden tunnistus, jossa ihmisen kasvot esitetään kiintopisteiden sarjana. Yksi kasvojen kiintopisteiden tunnistamisen yleisimmistä ongelmista on kasvoissa sekä ilmeissä esiintyvät suuret erot. Aivan kuten monissa muissakin konenäön sovelluksissa, syväoppimiseen perustuvista menetelmistä on tullut vakioratkaisu kasvojen kiintopisteiden tunnistamisessa. Nämä menetelmät ovat erittäin kykeneviä käsittelemään kasvoissa esiintyvät suuret erot. Modernien mobiililaitteiden korkea suorituskyky on avannut uuden mahdollisuuden erilaisten syvien neuroverkkojen ajamisesta laitteiden omalla laitteistolla. Vaikka modernien mobiililaitteiden laitteisto on erittäin suorituskykyistä, tämä on silti rajoittavat tekijä syvien neuroverkkojen toteuttamiselle näille laitteille. Tässä diplomityössä on toteutettu kolme erilaista syväoppimiseen perustuvaa kasvojen kiintopisteiden tunnistinta. Näiden verkkojen testaamisella on selvitetty, onko mobiililaitteella mahdollista ajaa syvään neuroverkkoon perustuvaa kasvojen kiintopisteiden tunnistinta reaaliajassa hyvällä tarkkuudella. Tulokset osoittivat että kevyemmät syvät neuroverkot toimivat erittäin hyvin jopa mobiililaitteen prosessorilla. Mobiililaitteen digitaalinen signaaliprosessori osoittautui erittäin tehokkaaksi suurempien neuroverkkojen laskennassa. Jossain tapauksissa digitaalinen signaaliprosessori suoriutui melkein paremmin kuin pöytäkoneen grafiikkaprosessori

Shakkirobotin pelitekoäly rajallisen laskentatehon ympäristössä

Tiivistelmä. Shakki pelinä on kiinnostanut tiedemiehiä jo vuosisatoja. Peliä on käytetty historiassa erilaisten matemaattisten ongelmien ja varhaisten algoritmien havainnollistamiseen. Myös nykyaikana shakista on tullut laaja mielenkiinnon aihe varsinkin erilaisten tekoälyjen kehittämisessä. Shakki on pelinä liian monimutkainen ratkaistavaksi raa’alla laskentateholla, mikä tekee siitä erinomaisen kehitysalustan tekoälyjen tehokkuuden vertailemiseen. Tässä työssä toteutettiin tekoäly shakkia pelaavalle robotille. Robotin työlle merkittävät osat koostuivat mekaanisesta käsivarresta ja kamerasta, joka tunnisti pelilaudan tilanteen konenäön avulla. Laiteympäristönä käytettiin erittäin rajallisen laskentatehon Raspberry Pi 3 -minitietokonetta. Laskentateho vaikuttaa suoraan sekä algoritmin pelikykyyn että ihmisvastustajan kokemaan odotusaikaan siirtojen välillä, joten tekoälyn suorituskyky oli tärkeässä asemassa työn kannalta. Suorituskykyä testattiin vaiheittaisesti, aloittaen naiivista minimax-algoritmista siirtyen alfa-beta karsintaan ja sen erilaisiin optimisaatiotekniikoihin. Näitä eri algoritmillisia toteutuksia ja niiden suoritusaikoja vertailtiin keskenään, mikä auttoi määrittämään minimax-pohjaisten algoritmien soveltuvuutta vakuuttavan shakkitekoälyn luomiseen vähäisellä laskentateholla. Vertailuissa havaittiin selvästi perinteisen minimaxin hitaus suhteessa alfa-beta -karsintaan, varsinkin suuremmilla hakusyvyyksillä. Nopein suorituskyky ilman pelaamisen tason vähentymistä saavutettiin alfa-beta -karsintaa optimoimalla shakin avauskirjoja hyödyntämällä.Artificial intelligence of a chess robot in a system with limited computational power. Abstract. Chess as a game has interested scientists for centuries. In history, the game has been used to demonstrate different kinds of mathematical problems and early algorithms. Even today, chess has become a subject of great interest, especially in the development of various artificial intelligence. Chess is too complex to solve by raw computing power, which makes it excellent platform to compare the strength of artificial intelligence. In this work, an artificial intelligence was made for a chess robot. The parts of the robot that were relevant to the work consisted of a mechanical arm and a camera that recognized the situation of the game board with the help of machine vision. Raspberry Pi 3 was used as a hardware of the artificial intelligence. Computational power directly effects the strength of the algorithm and the time experienced by the human opponent which makes the performance of the artificial intelligence very important factor for the project. Performance was tested step by step, starting with a stripped minimax algorithm and moving to alpha-beta pruning and its various optimization techniques. These different algorithmic implementations and their execution times were compared to help determining the suitability of minimax-based algorithms to create convincing chess artificial intelligence with limited computing power. Comparisons clearly showed the slowness of the traditional minimax relative to alpha-beta pruning, especially at higher search depths. The fastest performance without any reduction in the level of gaming was achieved by optimizing alpha-beta pruning by utilizing the chess opening books

Mining Security discussions in Suomi24

Abstract This study examines how social network based approach can be applied in order to mine the security oriented discussions in Suomi24 online forum. The approach employs a student survey questionnaire to collect a dictionary related to Finland national security. In subsequent analysis, the vocabulary terms are mapped to Suomi24 corpus in order to construct the associated social network analysis that quantifies the dependency among the various vocabulary terms. Especially, the analysis of the dynamic variation of the network topology would enable the decision-maker to devise appropriate communication scheme to maximize intervention in the public sphere and reach a wider audience. Besides, a parser that finds the keywords from VeRticalzed text data format is developed to aid the construction of the underlined social network