thesis

Analyzing mutual gaze statistically in video conversation

Abstract

Multimediatekniikan nykykehitys on tuomassa vuorovaikutteisten, animoitujen virtuaalihahmojen toteutuksen osaksi käyttöliittymäsuunnittelua. Mitä luonnollisempi ihmisen ja hahmon välisestä vuorovaikutustilanteesta halutaan, sitä enemmän hahmon tulee katsekäyttäytymiseltään muistuttaa ihmistä. Vaikka erilaisia katseenohjausalgoritmeja on viime vuosina testattu monia, ei niistä yksikään ole vielä tiettävästi perustunut parametreihin, jotka olisi mitattu suoraan kahden ihmisen välisestä aidosta keskustelusta. Tässä diplomityössä tutkittiin kahden henkilön katsekäyttäytymistä reaaliaikaisessa videokeskustelussa. Tavoitteena oli selvittää, millaista tilastollista dataa henkilöiden katseen kohdistamisista voidaan erityisesti katsekontaktin osalta saada, kun katseiden suunnat mitataan molemmilta henkilöiltä samanaikaisesti. Diplomityö toteutettiin mittaamalla koehenkilöparien silmänliikkeet kahden videopohjaisen katseenseurantalaitteiston avulla kolmessa erilaisessa kokeessa. Lähtökohtana oli ajatus, että kahden ihmisen välinen videokeskustelu on tilanteena vertailukelpoinen ihmisen ja virtuaalihahmon välisen kommunikaation kanssa. Työn tuloksena saatiin laskettua 32 yksittäistä tunnuslukua koehenkilöiden katsekäyttäytymisestä. Lukujen väliset keskinäiset riippuvuudet laskettiin myös. Voimakkaita yhteyksiä havaittiin esimerkiksi yksilön katseen prosentuaalisen kokonaismäärän ja katseen keskipituuden välillä. Tuloksia voidaan hyödyntää kehitettäessä ja testattaessa olemassa olevia katseenohjausalgoritmeja virtuaalihahmojen suunnittelutyössä.The development of multimedia technology is making the implementation of interactive, animated, Embodied Conversational Agents (ECAs) a part of interface designing. The more natural interaction one wants, the more should the agent's gaze behaviour resemble that of a human being. Even though various different gaze control algorithms have been tested in the past few years, as far as is known, none of them have been based on parameters measured directly from an authentic conversation between two people. This Master's Thesis examined gaze behaviour between two people in real-time video conversation. The goal was to discover what kind of statistical data of the subjects' gaze behaviour, mutual gaze in particular, can be gathered when gaze directions of both subjects are measured simultaneously. The Master's Thesis was carried out by measuring the dyads' eye movements with the help of two video-based eye trackers in three different experiments. The experiments were based on the notion that as a situation, a video conversation between two people is comparable to communication between a person and an ECA. As a result, one was able to calculate 32 separate key figures in the subjects' gaze behaviour. The correlations between the figures were also calculated. Significant correlations were observed between, for example, subjects' total gaze and mean duration of gaze. The results can be used in developing and testing existing gaze control algorithms and in designing ECAs

    Similar works