Ranteesta mitattavat tunteet tietokoneen ja ihmisen vuorovaikutuksessa

Abstract

The role of emotion in human-computer interaction (HCI) has seen an increase in interest during the last decades. Technological advancements have made studying them much more viable for example because of the availability of affordable and accurate wrist-based sensors. However, this subfield of HCI still lacks theory and it has many unsolved engineering problems, especially considering naturalistic and automated emotion recognition. This thesis provides an overview of wrist- based emotion recognition in human-computer interaction by tying in the views and theoretical background of emotion from philosophy, psychology, neuroscience and economics. The thesis also includes an experimental set-up in naturalistic settings. The experiment uses an Empatica E4 device that can be worn on the wrist and which can be used to measure electrodermal activity (EDA) and heartrate variability (HRV). Both EDA and HRV are known biomarkers for various emotional reactions, such as emotional arousal or mental stress. The study explores the possibilities of EDA and HRV to measure emotional arousal and valence. Furthermore, the correlations between psychological surveys and emotional biosignal markers are explored. We used the Affect Intensity Measure (AIM) -survey, which measures the intensity of experienced and shown emotion, and Rational- Experiential Inventory (REI) -survey, which measures an individual preferred style of information processing. Five custom experiments and a data analysis method with custom analyzer code were designed for this thesis. Our findings suggest that EDA is a good marker for arousal, but that HRV is a problematic measure. Furthermore, we found evidence that there would be correlations between psychological traits and biosignals. However, there were limitations within our experiments. In conclusions, we provide suggestions for futher research and a new theoretical framework that could be used to understand emotions better in HCI.Kiinnostus tunteiden merkityksestä ihmisen ja tietokoneen vuorovaikutuksessa on kasvanut. Teknologian kehityksen myötä tunteisiin liittyviä biosignaaleja voidaan mitata hyvinkin huomaamattomasti esimerkiksi rannetietokoneilla. Alan teoria on kuitenkin vähäistä ja erityisesti naturalistiseen ja automatisoituun tunteiden tunnistamiseen liittyy monia ratkaisemattomia teknologisia ongelmia. Tämän diplomityön tarkoituksena on tarjota lukijalleen kattava teoreettinen näkemys monilta tieteen aloilta, jotka tutkivat tunteita. Työ yhdistää tunteisiin liittyvää teoriaa filosofiasta, psykologiasta, neurotieteestä sekä ihmistietokonevuorovaikutuksen tutkimuksesta rakentaakseen yhtenäisen teoreettisen viitekehyksen ongelman ymmärtämiseksi. Työhön kuuluu myös kokeellinen osuus, jossa mitataan tunteita oikeassa ympäristössä. Kokeessa käytetään Empatica E4-rannetietokonetta, jolla voidaan mitata ihon sähkönjohtavuutta (EDA) ja sydämen sykevälivaihtelua (HRV). Sekä EDA että HRV ovat molemmat tunnettuja biosignaaleja erilaisissa tunnetiloissa. Kokeen tarkoitus on tutkia EDA:n ja HRV:n kykyä mitata tunteellista virittäytyneisyyttä ja tunnearvoa. Tämän lisäksi koe tutkii erilaisten psykologisten kyselylomakkeiden korrelaatioita mitattujen biosignaalejen välillä. Kokeessa käytetään Affect Intensity Measure (AIM) -kyselykaavaketta, joka mittaa koettujen ja näytettyjen tunteiden vahvuutta, sekä Rational Experiential Inventory (REI) -kyselykaavaketta, joka mittaa yksilön suosimaa sisäisen tiedonkäsittelyn menetelmää. Koetta varten kehitettiin viisi koeasetelmaa ja metodi, jolla voitiin analysoida mitattua dataa. Tulokset vahvistavat käsityksen, että EDA on hyvä virittäytyneisyyden mittari, mutta HRV:n käytössä löydettiin vain ongelmia. Tuloksissa on myös todisteita psykologisten luonteenpiirteiden ja biosignaalien korrelaatiolle. Lopussa annamme suosituksia seuraaville tutkimuksille ja esittelemme kehittämämme uuden teoreettisen viitekehyksen, jolla tunteita voisi ymmärtää paremmin ihmisen ja tietokoneen vuorovaikutuksessa

    Similar works