Silmien liikkeiden simulointi etäläsnäolorobotissa

Tiivistelmä. Koronaviruspandemian takia etätyöskentely on lisääntynyt valtavasti. Opiskelijat katsovat luentoja kotoaan ja työkaverit näkevät toisiaan vain videokuvan välityksellä. Kysymykseksi jää, voiko läsnäoloa parantaa etätyöskentelyssä äänen ja videokuvan lisäksi. Tässä työssä esitellään järjestelmä, joka kopioi käyttäjän silmien liikettä robotin silmien liikkeiksi reaaliajassa. Käyttäjän kasvoja kuvaamalla saadaan tietoon käyttäjän silmien asento tunnistamalla kuvasta kasvot ja sitten rajaamalla silmät. Silmien asentojen tieto lähetetään UDP (User Datagram Protocol) tiedonsiirtoprotokollan avulla toiselle tietokoneelle. Siellä tieto otetaan vastaan ja lähetetään virtuaalikoneelle, jolla käytetään ROS2 (Robot Operating System 2) käyttöjärjestelmää. ROS2-järjestelmässä käytetään action client ja data publisher -osaohjelmia. Data publisher lähettää action clientille paikkatietoa, jonka avulla robotin liikkuminen tapahtuu. Action client antaa käskyjä robotin XL-320 -servoille, jotka liikuttavat robotin silmiä samaan asentoon käyttäjän kanssa. Järjestelmän viivettä testattiin pyytämällä käyttäjää katsomaan puolelta toiselle ja mittaamalla viivettä videokuvasta. Aikaväli valittiin käyttäjän silmien liikkeiden ja robotin silmien liikkeiden pysähtymisen välillä. Viivettä syntyi tietokoneen laskiessa tunnistusalgorimejä ja robotin liikuttaessa servoja. Tuloksena saatu viive on liian pitkä luomaan luonnollista etäläsnäolokokemusta.Simulation of eye movement in a telepresence robot. Abstract. Because of the Coronavirus pandemic, remote working has been increasing significantly. Students watch lectures from home and coworkers see each other only through video. Question remains whether presence can be improved with remote working in addition to voice and video. In this project a system was developed that copies user’s eye movements to robot’s eye movements in real time. Filming the user’s face will give the user’s eyes position by recognizing their face and then cropping their eyes. The eyes position is sent with UDP (User Datagram Protocol) data transfer protocol to another computer. There information is received and sent to virtual machine, which uses ROS2 (Robot Operating System) operating system. ROS2 system uses action client and data publisher nodes. Data publisher sends position information to action client which controls the robot. Action client gives commands to robot’s XL-320 servo motors, which move robot’s eyes to same position as the user’s. System’s delay was tested by asking user to look from side to side and measuring the delay from video. Time interval was chosen between the end of user’s eye movement and the end of robots eye movement. Delay was produced with computer calculating recognition algorithms and robot moving the servos. Resulting delay is too long to create natural telepresence experience