Non-Verbal Behaviour of a VR Agent Playing a Board Game

Imagine a scenario where you are playing a board-game within a virtual environment. In this environment, you are playing against another player. This player can converse with you, show emotions and give you the feeling of playing against a real person. This project builds on a final project done by three Bachelor students at Reykjavik University called the Virtual General Game Playing Agent. In their project a user can play against a virtual player that makes his moves based, among other things, his personality and shows non-verbal behaviour such as looking at the user and showing impatience. The focus of this project is to increase the believability of the agent, by improving its non-verbal expression capabilities during a board-game. This was done by collecting and analysing real human behaviour data as well as adding options for complex expressions by incorporating a morphable 3D character model. To collect data, volunteers were recorded while they were playing a board-game. The recordings were then annotated in regards to behaviour type such as eye gaze and actions such as hand movement in relation to the board-game. A tool was created to analyse the data, summarizing both how often each behaviour occurs and how long it lasts as well as analysing co-occurrence of annotation belonging to separate types (co-occurrence of behaviour with action). Finally, a data-driven module was created and added to the agent. The data module uses the analysed data when generating and selecting behaviour. At the moment it only uses the module to generate and select gaze behaviour when making a move. The results showed that out of 12 distinct behaviours evaluated the mean duration of each behaviour of the new agent was closer to the real data in 7 of them and the existing agent in 5. With this work, we are closer to our scenario even though much work is still to be done.Settu upp í huganum sviðsmynd þar sem þú ert að spila borðspil innan sýndarumhverfis. Í þessu umhverfi ertu að spila við annan leikmann. Þessi leikmaður getur spjallað við þig, sýnt tilfinningar og gefið þér þá tilfinningu að þú sért að spila á móti raunverulegri manneskju. Þetta verkefni byggir á lokaverkefni þriggja BS nemenda við Háskólann í Reykjavík sem kallast Almennur sýndarleikmaður (Virtual General Game Playing Agent). Í þeirra verk- efni getur notandi spilað á móti sýndarleikmanni sem framkvæmir sína leiki byggt á ýmsu svo sem persónuleika og sýnir látbragð eins og að horfa á notandann og sýna óþolinmæði. Áhersla verkefnisins er að auka trúverðugleika leikmannsins með því að bæta líkamstján- ingu hans meðan á borðspili stendur. Þetta var gert með því að safna og greina gögn um mannlega hegðun ásamt því að bæta við möguleikum á flókinni tjáningu með því að bæta inn umbreytalega (e. morphable) 3D persónu. Til að safna gögnum voru sjálfboðaliðar teknir upp á meðan þeir spiluðu borðspil. Upptökurnar voru síðan merktar með tilliti til hegðunargerðar svo sem augnaráð og aðgerða eins og handahreyfingar í tengslum við borð- leikinn. Til að greina gögnin var tól búið til sem dregur saman bæði hversu oft hegðun á sér stað og hversu lengi hún gerist ásamt því að greina hvað á sér stað samtímis (hegðun sem gerist á sama tíma og aðgerð). Að lokum var búið til gagnadrifið líkan og því bætt við nýja leikmanninn. Gagnalíkanið notar gögnin sem koma úr greiningunni við að búa til og velja hegðun. Á þessum tímapunkti notar það aðeins líkanið til að búa til og velja augnaráð þegar hann leikur. Niðurstöður samanburðar á 12 hegðunum sýndi að meðaltími hverrar hegðunn- ar hjá uppfærða leikmanninum var nær raungögnum í 7 tilvikum, en eldri leikmaðurinn nær í 5 tilvikum. Með þessari vinnu erum við nær sviðsmyndinni jafnvel þó að mikil vinna sé enn eftir