Drone heading calculation indoors

Abstract. Aim of this master’s thesis was to study drone flying indoors and propose a drone-implemented system that enables the drone heading calculation. In the outdoors, the heading is calculated effectively with a drone’s sensors but using them indoors is limited. Indoor positioning currently has not both low-cost and reliable solution for drone heading calculating. The differences between indoor flying principles and outdoor flying principles of the drone are described in the beginning of the thesis. Then different ways to determine the drone’s heading indoors and how they compare with one another are discussed. Finally, two different heading calculation methods are implemented and tested. The methods are based on using multiple location measurements on the drone and using machine vision together with machine learning. Both methods are affordable and are evaluated to see if they could enable drone flying indoors. First method gives out potential results based on testing results, but it needs further development to be able to always provide reliable heading. Second method shows poor results based on verification.Dronen lentosuunnan laskenta sisätiloissa. Tiivistelmä. Työn tavoitteena oli tutkia dronen lentämistä sisätiloissa ja ehdottaa sitä varten droneen implementoitavaa systeemiä, joka mahdollistaa dronen suunnan laskennan. Ulkona suuntatieto saadaan dronen sensorien avulla, mutta sisätiloissa niiden tarkkuus ei riitä samalla tavalla. Sisätilapaikannuksessa ei ole olemassa sekä edullista että luotettavaa ratkaisua dronen suunnan laskentaan. Työssä perehdytään aluksi dronen lentämisen periaatteisiin sisätiloissa ja miten ne eroavat ulkona lentämisestä. Sitten kerrotaan erilaisista keinoista määrittää dronen suunta sisätiloissa ja niiden keskinäisestä vertailusta. Lopuksi testataan kahta erilaista suunnan-laskenta-menetelmää, jotka perustuvat paikkatiedon käyttöön ja konenäköön yhdessä koneoppimisen kanssa. Menetelmät ovat edullisia ja niiden sopivuutta dronen sisälennätykseen arvioidaan. Ensimmäinen menetelmä antaa hyviä testituloksia mutta tarvitsee lisää jatkokehitystä, jotta se voisi antaa aina luotettavaa suuntatietoa. Toinen menetelmä antaa heikkoja tuloksia verifioinnin perusteella

Silmien liikkeiden simulointi etäläsnäolorobotissa

Tiivistelmä. Koronaviruspandemian takia etätyöskentely on lisääntynyt valtavasti. Opiskelijat katsovat luentoja kotoaan ja työkaverit näkevät toisiaan vain videokuvan välityksellä. Kysymykseksi jää, voiko läsnäoloa parantaa etätyöskentelyssä äänen ja videokuvan lisäksi. Tässä työssä esitellään järjestelmä, joka kopioi käyttäjän silmien liikettä robotin silmien liikkeiksi reaaliajassa. Käyttäjän kasvoja kuvaamalla saadaan tietoon käyttäjän silmien asento tunnistamalla kuvasta kasvot ja sitten rajaamalla silmät. Silmien asentojen tieto lähetetään UDP (User Datagram Protocol) tiedonsiirtoprotokollan avulla toiselle tietokoneelle. Siellä tieto otetaan vastaan ja lähetetään virtuaalikoneelle, jolla käytetään ROS2 (Robot Operating System 2) käyttöjärjestelmää. ROS2-järjestelmässä käytetään action client ja data publisher -osaohjelmia. Data publisher lähettää action clientille paikkatietoa, jonka avulla robotin liikkuminen tapahtuu. Action client antaa käskyjä robotin XL-320 -servoille, jotka liikuttavat robotin silmiä samaan asentoon käyttäjän kanssa. Järjestelmän viivettä testattiin pyytämällä käyttäjää katsomaan puolelta toiselle ja mittaamalla viivettä videokuvasta. Aikaväli valittiin käyttäjän silmien liikkeiden ja robotin silmien liikkeiden pysähtymisen välillä. Viivettä syntyi tietokoneen laskiessa tunnistusalgorimejä ja robotin liikuttaessa servoja. Tuloksena saatu viive on liian pitkä luomaan luonnollista etäläsnäolokokemusta.Simulation of eye movement in a telepresence robot. Abstract. Because of the Coronavirus pandemic, remote working has been increasing significantly. Students watch lectures from home and coworkers see each other only through video. Question remains whether presence can be improved with remote working in addition to voice and video. In this project a system was developed that copies user’s eye movements to robot’s eye movements in real time. Filming the user’s face will give the user’s eyes position by recognizing their face and then cropping their eyes. The eyes position is sent with UDP (User Datagram Protocol) data transfer protocol to another computer. There information is received and sent to virtual machine, which uses ROS2 (Robot Operating System) operating system. ROS2 system uses action client and data publisher nodes. Data publisher sends position information to action client which controls the robot. Action client gives commands to robot’s XL-320 servo motors, which move robot’s eyes to same position as the user’s. System’s delay was tested by asking user to look from side to side and measuring the delay from video. Time interval was chosen between the end of user’s eye movement and the end of robots eye movement. Delay was produced with computer calculating recognition algorithms and robot moving the servos. Resulting delay is too long to create natural telepresence experience

Esineiden mittaaminen älypuhelimella

Tiivistelmä. Tämä työ esittelee ohjelmistoratkaisun esineiden mittaamiseen Android-älypuhelimelle. Mittaaminen tapahtuu kameran kuvaa hyödyntäen vertaamalla mitattavia kohteita referenssiesinein, jonka mitat tunnetaan. Mitattavat kohteet ja oleelliset mitat täydennetään kameranäkymään. Sovelluksen kannalta tärkeimmät prosessit ovat referenssiesineen ja mitattavan esineen tunnistaminen. Referenssiesineen tunnistus tapahtuu värin perusteella. Aluksi kuva muutetaan harmaasävykuvaksi, minkä jälkeen sovelletaan Cannyn algoritmia reunojen tunnistamiseen. Syntyvä binäärikuva käsitellään dilaatio-operaatioilla, jonka jälkeen hyödynnetään OpenCV-kirjaston findContours-metodia, joka etsii kuvasta suljetut alueet (contours). Löytyneiden alueiden joukkoa karsitaan värisävyn perusteella. Mitattavan esineen tunnistusprosessi alkaa myös harmaasävymuunnoksella, josta syntyvä kuva kynnystetään binäärikuvaksi. Syntyneeseen binäärikuvaan sovelletaan findContours-metodia ja löytyneet alueet suodatetaan pinta-alan mukaan. Sovelluksesta toteutettiin kaksi versiota, jotka molemmat testattiin ennalta määritellyillä testipattereilla. Testien perusteella näyttää siltä, että sovellus toimii hyvin tasaisissa valaistusolosuhteissa, mutta kuvioitu pinta ja haastava valaistus saattavat hankaloittaa tunnistamista. Ongelmia syntyy myös referenssiesineen ja mitattavan esineen ollessa toistensa päällä ja silloin, kun mitattava esine ei erotu tarpeeksi hyvin taustasta.Measuring objects with a smartphone. Abstract. This bachelor’s thesis presents an Android-based solution to measure ubiquitous objects. The measurement process is executed by comparing measurable objects to a known reference object. The measures of the object will be added on top of camera feed. The crucial processes of the application are detecting the reference object and the measurable object. The detection of the reference object is achieved on the basis of color information. The process starts with converting the camera feed to grayscale, and then applying Canny’s edge detection algorithm. The resulting binary image is dilated, and the contours of the image are detected using findCountours-method from OpenCV-library. The detected contour areas are filtered by color and size. The detection of a measurable object begins also with grayscale-transform followed by binary thresholding. FindContours-method is applied to the resulting binary image, and the areas detected are filtered by size. Two versions of the application were implemented, and they both were tested with predefined test suites. According to the tests, it seems the application succeeds to carry out the measurement process. However, there is still work to be done to enhance the detection rate especially in a challenging lightning environment and on patterned surfaces