Promoting Sustainable Mobility Beliefs with Persuasive and Anthropomorphic Design: Insights from an Experiment with a Conversational Agent

Sustainable mobility behavior is increasingly relevant due to the vast environmental impact of current transportation systems. With the growing variety of transportation modes, individual decisions for or against specific mobility options become more and more important and salient beliefs regarding the environmental impact of different modes influence this decision process. While information systems have been recognized for their potential to shape individual beliefs and behavior, design-oriented studies that explore their impact, in particular on environmental beliefs, remain scarce. In this study, we contribute to closing this research gap by designing and evaluating a new type of artifact, a persuasive and human-like conversational agent, in a 2x2 experiment with 225 participants. Drawing on the Theory of Planned Behavior and Social Response Theory, we find empirical support for the influence of persuasive design elements on individual environmental beliefs and discover that anthropomorphic design can contribute to increasing the persuasiveness of artifacts

Understanding the Impact that Response Failure has on How Users Perceive Anthropomorphic Conversational Service Agents: Insights from an Online Experiment

Conversational agents (CAs) have attracted the interest from organizations due to their potential to provide automated services and the feeling of humanlike interaction. Emerging studies on CAs have found that humanness has a positive impact on customer perception and explored approaches for their anthropomorphic design, which comprises both their appearance and behavior. While these studies provide valuable knowledge on how to design humanlike CAs, we still do not sufficiently understand this technology’s limited conversational capabilities and their potentially detrimental impact on user perception. These limitations often lead to frustrated users and discontinued CAs in practice. We address this gap by investigating the impact of response failure, which we understand a CA’s inability to provide a meaningful reply, in a service context. To do so, we draw on the computers are social actors paradigm and the theory of the uncanny valley. Via an experiment with 169 participants, we found that 1) response failure harmed the extent to which people perceived CAs as human and increased their feelings of uncanniness, 2) humanness (uncanniness) positively (negatively) influenced familiarity and service satisfaction, and 3) the response failure had a significant negative impact on user perception yet did not lead to a sharp drop as the uncanny valley theory posits. Thus, our study contributes to better explaining the impact that text-based CAs’ failure to respond has on customer perception and satisfaction in a service context in relation to the agents’ design

로봇의 신체 언어가 사회적 특성과 인간 유사성에 미치는 영향

학위논문 (석사) -- 서울대학교 대학원 : 사회과학대학 심리학과, 2021. 2. Sowon Hahn.The present study investigated the role of robots’ body language on perceptions of social qualities and human-likeness in robots. In experiment 1, videos of a robot’s body language varying in expansiveness were used to evaluate the two aspects. In experiment 2, videos of social interactions containing the body languages in experiment 1 were used to further examine the effects of robots’ body language on these aspects. Results suggest that a robot conveying open body language are evaluated higher on perceptions of social characteristics and human-likeness compared to a robot with closed body language. These effects were not found in videos of social interactions (experiment 2), which suggests that other features play significant roles in evaluations of a robot. Nonetheless, current research provides evidence of the importance of robots’ body language in judgments of social characteristics and human-likeness. While measures of social qualities and human-likeness favor robots that convey open body language, post-experiment interviews revealed that participants expect robots to alleviate feelings of loneliness and empathize with them, which require more diverse body language in addition to open body language. Thus, robotic designers are encouraged to develop robots capable of expressing a wider range of motion. By enabling complex movements, more natural communications between humans and robots are possible, which allows humans to consider robots as social partners.본 연구는 로봇의 신체 언어가 사회적 특성과 인간과의 유사성에 대한 인간의 인식에 미치는 영향을 탐색하였다. 실험 1에서는 로봇의 개방적 신체 언어가 묘사된 영상과 폐쇄적 신체 언어가 묘사된 영상을 통해 이러한 세 가지 측면을 살펴보았다. 실험 2에서는 실험 1의 신체 언어가 포함된 로봇과 사람 간의 상호작용 영상을 활용하여 로봇의 신체 언어가 위 두 가지 측면에 미치는 영향을 탐색하였다. 결과적으로, 사람들은 폐쇄적 신체 언어를 표현하는 로봇에 비해 개방적 신체 언어를 표현하는 로봇을 사회적 특성과 인간과의 유사성에 대한 인식 면에서 더 높게 평가한다는 것을 확인하였다. 그러나 사람과의 상호작용을 담은 영상을 통해서는 이러한 효과가 발견되지 않았으며, 이는 실험 2에 포함된 음성 등의 다른 특징이 로봇에 대한 평가에 중요한 역할을 한다는 것을 시사한다. 그럼에도 불구하고, 본 연구는 로봇의 신체 언어가 사회적 특성 및 인간과의 유사성에 대한 인식의 중요한 요인이 된다는 근거를 제공한다. 사회적 특성과 인간과의 유사성의 척도에서는 개방적 신체 언어를 표현하는 로봇이 더 높게 평가되었지만, 실험 후 인터뷰에서는 로봇이 외로운 감정을 완화하고 공감하기를 기대하는 것으로 나타나 이 상황들에 적절한 폐쇄적 신체 언어 또한 배제할 수 없다고 해석할 수 있다. 이에 따라 본 연구에서는 로봇 디자이너들이 더욱 다양한 범위의 움직임을 표현할 수 있는 로봇을 개발하도록 장려한다. 그렇다면 섬세한 움직임에 따른 자연스러운 의사소통을 통해 인간이 로봇을 사회적 동반자로 인식할 수 있을 것이다.Chapter 1. Introduction 1 1. Motivation 1 2. Theoretical Background and Previous Research 3 3. Purpose of Study 12 Chapter 2. Experiment 1 13 1. Objective and Hypotheses 13 2. Methods 13 3. Results 21 4. Discussion 31 Chapter 3. Experiment 2 34 1. Objective and Hypotheses 34 2. Methods 35 3. Results 38 4. Discussion 50 Chapter 4. Conclusion 52 Chapter 5. General Discussion 54 References 60 Appendix 70 국문초록 77Maste

Artificial Empathy in Marketing Interactions: Bridging the Human-AI Gap in Affective and Social Customer Experience

Artificial intelligence (AI) continues to transform firm-customer interactions. However, current AI marketing agents are often perceived as cold and uncaring and can be poor substitutes for human-based interactions. Addressing this issue, this article argues that artificial empathy needs to become an important design consideration in the next generation of AI marketing applications. Drawing from research in diverse disciplines, we develop a systematic framework for integrating artificial empathy into AI-enabled marketing interactions. We elaborate on the key components of artificial empathy and how each component can be implemented in AI marketing agents. We further explicate and test how artificial empathy generates value for both customers and firms by bridging the AI-human gap in affective and social customer experience. Recognizing that artificial empathy may not always be desirable or relevant, we identify the requirements for artificial empathy to create value and deduce situations where it is unnecessary and, in some cases, harmful

Learning Icelandic in Virtual Reykjavik: Simulating real-life conversations with embodied conversational agents using multimodal clarification requests

Þessi doktorsritgerð er hluti af verkefninu Icelandic Language and Culture Training in Virtual Reykjavik, þrívíddartölvuleik sem gerir þeim sem eru að læra íslensku sem annað mál kleift að æfa tal og hlustun. Markmið verkefnisins var að búa til tölvuleik með sýndarspjallverum (e. embodied conversational agents) sem byggju yfir raunsærri fjölþættri hegðun, með það langtímamarkmið að styðja við hagnýta kennslu á íslensku máli og menningu þar sem mál úr raunverulegum samskiptum er notað. Markmið doktorsverkefnisins beindist að því að rannsaka raunveruleg yrt og óyrt atriði í skýringarbeiðnum meðal Íslendinga (e. clarification requests, CRs). Lögð voru til sex fjölþætt líkön af skýringarbeiðnum sem áttu að stuðla að raunhæfari samspili manna og sýndarspjallvera í Virtual Reykjavik. Þróun doktorsritgerðar fór fram í þremur lotum. Fyrst var gerð stutt könnun til að komast að því hvaða væntingar notendur hefðu til Virtual Reykjavik-þrívíddarforritsins. Nemendurnir sögðust eiga í erfiðleikum með að æfa sig í að tala íslensku við þá sem hafa íslensku að móðurmáli og kynnu því að meta að fá sýndarnámsumhverfi til að æfa sig í tali. Kennslufræðilegur grunnur Virtual Reykjavik tekur mið af samskiptaaðferðum, námi á grundvelli verkefna og leikja og fjölþættum og einstaklingsmiðuðum aðferðum í tungumálanámi. Sýndarspjallverur Virtual Reykjavik búa yfir fjölþættri hegðun sem er í samræmi við íslenska menningu. Með því að taka þátt í leiknum komast notendur í tæri við íslenskt mál og menningu í sýndarnámsveruleika áður en þeir eiga samskipti við Íslendinga. Meginviðfang rannsóknarinnar var samskiptaþátturinn skýringarbeiðni (CR) en nauðsynlegt var að afmarka rannsóknina við einn samskiptaþátt svo unnt væri að nota fjölþætta greiningu sem dugði til að forrita sýndarverurnar. Skýringarbeiðni er ein algengasta tegund segða í samtölum (Purver, 2004). Hún hjálpar til við að skýra það sem áður hefur verið sagt en sem viðmælandi hefur af einhverjum sökum ekki skilið og stuðlar þannig að góðu samtalsflæði. Af þessum sökum eru skýringarbeiðnir mjög mikilvægar til þess að ná fram raunsæjum samskiptum milli notanda og sýndarspjallveru í kerfum eins og okkar sem sameina sjálfvirka talgreiningu og samtöl sem skipulögð eru fyrir fram. Í næstu lotu rannsóknarinnar var málgögnum safnað til þess að greina yrta og óyrta þætti í mismunandi tegundum af skýringarbeiðnum. Vegna þess hversu flókið talmál er og fjölbreytileg samtöl geta verið var aðeins safnað samtölum þar sem ókunnugir spurðu til vegar í miðbæ Reykjavíkur. Þetta endurspeglaðist svo í þeim verkefnum sem nemendur þyrftu að leysa í Virtual Reykjavik. Þar spyrja þeir sýndarspjallverur til vegar í miðbæ Reykjavíkur og verurnar nota skýringaraðferðir til að vísa til vegar á sem raunsæjastan hátt. Þó ber ekki að líta svo á að þetta sé tæmandi rannsókn á eðli skýringarbeiðna heldur fjölþætt lýsing á skýringarbeiðnum, notkun þeirra í sérstökum samræðuaðstæðum í leiknum og beitingu þeirra til að líkja eftir mannlegri hegðun. Sex mismunandi fjölþættar skýringarbeiðnategundir voru búnar til á grundvelli gagnagrunns með myndbandsupptökum af raunverulegum samtölum milli fólks með íslensku að móðurmáli og fólks sem ekki hefur íslensku að móðurmáli. Þetta voru í heild 165 upptökur, 1.59.02 klst. á lengd, 108 pör fólks þar sem annar aðilinn hefur íslensku að móðurmáli en hinn ekki og 57 pör þar sem báðir aðilar hafa íslensku að móðurmáli, karlmenn og konur. Aldur þeirra sem höfðu íslensku að móðurmáli var á bilinu 18–70 ár og meðalaldurinn u.þ.b. 35 ár en þeir sem ekki höfðu íslensku að móðurmáli voru á aldrinum 20–40 ára og meðalaldur þar u.þ.b. 30 ár. Úr þessum gagnagrunni var búinn til fjölþættur stofn skýringarbeiðna sem samanstóð af yrtum og óyrtum gögnum fyrir hverja tegund af skýringarbeiðni. Myndbandsupptökur voru greindar með ELAN merkingar- og skýringapakkanum. Í hverri greiningu var fjölþættum gögnum lýst. Fjölþættri nálgun við tungumál og fjölþættri greiningu á samskiptum var beitt til að greina yrta og óyrta þætti skýringarbeiðna. Vegna takmarka á umfangi rannsóknarinnar voru aðeins tvær gerðir beiðna notaðar, úrfelling og innskotsaðferð. Að lokum var framkvæmd notendakönnun til að komast að því hvernig nemendur skynjuðu fjölþætta hegðun sýndarspjallveranna í leiknum og hvort þeir tækju eftir þessum tveimur tegundum skýringarbeiðna í honum. Nemendum þótti innskotsaðferðin vera eðlilegust þótt þeim hefði fundist henni stundum vera beitt dálítið ruddalega eða hún verið notuð of mikið af sýndarspjallverunum. Það hversu spjallverurnar notuðu mikið skýringarbeiðnirnar var ekki mælt þar sem einblínt var á nemendur sem notendur í þessari frumútgáfu leiksins. Könnunin leiddi í ljós fjölda möguleika til að betrumbæta fjölþætta hegðun spjallveranna í framtíðarútgáfum leiksins. Sérstaklega bentu notendur á að ákveðin svipbrigði og að spjallverurnar gætu ekki brosað gerði það að verkum að þær virkuðu „óhugnanlegar“. Í stuttu máli eru færð rök fyrir því í ritgerðinni að þrívíddartölvuleikir nýtist vel til að kenna íslenska tungu og menningu, með sérstakri áherslu á að æfa talmálsfærni. Fjallað er um og stutt með kennslufræðilegum kenningum hvernig bæta megi námsupplifun og kalla fram alvörusamskipti í sýndarveruleika með raunsærri og fjölþættri hegðun spjallvera. Skoðaðar voru sex skýringaraðferðir sem fólk með íslensku að móðurmáli notaði til að vísa til vegar, annars vegar af fólki með íslensku að móðurmáli og hins vegar þeim sem ekki hafa íslensku að móðurmáli. Í ritgerðinni er einnig bent á hugsanlegar nýjar rannsóknir í sambandi við skýringarbeiðnir og Virtual Reykjavik. Skoða mætti frekar fjölþættar skýringarbeiðnir í samtölum við aðrar aðstæður og í öðrum tungumálum. Slíkt myndi gagnast við að betrumbæta þær skýringarbeiðnir sem sýndarspjallverur í Virtual Reykjavik nota. Ágætis byrjun á áframhaldandi vinnu væri að framkvæma nýja könnun með fullkomnari leiðbeiningum, námsefni og stoðbúnaði, talgreinikerfi sem virkar á allan hátt í Virtual Reykjavik og með sýndarspjallverum sem byggju yfir fleiri eiginleikum, gætu t.d. brosað.This thesis forms part of the project Icelandic Language and Culture Training in Virtual Reykjavik, a 3D computer game that enables learners of Icelandic to practise oral language and listening. The aim of the project was to build a computer game populated with embodied conversational agents (ECAs) endowed with realistic multimodal behaviour, with a long-term goal of supporting authentic teaching of Icelandic language and culture. The part of the project reported in this thesis focused on examining human verbal and non-verbal features in clarification requests (CRs). Six multimodal CR models were suggested for implementation, with the intention of promoting a more realistic human-agent interaction in Virtual Reykjavik. The research took place in three phases. First, a small survey was carried out, eliciting learners’ expectations from Virtual Reykjavik. It informed about learners’ expectations of a 3D application. Learners reported difficulties in practising spoken Icelandic with native speakers in real life and for this reason said they would appreciate a virtual learning environment for practising oral language. The pedagogical foundation of Virtual Reykjavik considers the communicative approach in language instruction, task- and game-based learning, and multimodal and individual language learning approaches. Virtual Reykjavik was populated with ECAs endowed with multimodal behaviour that is authentic to Icelandic culture. Engaging in the game provided learners with an opportunity to experience Icelandic language as it is spoken in the target culture but in a virtual learning environment, and prior to engaging with speakers in the real world. The communicative function CR was chosen as the main object of multimodal analysis, in order to narrow down the focus to a specific topic in natural language research. CR is one of the most commonly used utterance-types in spoken conversations (Purver, 2004); it helps to clarify what has previously been said but for whatever reason not understood by the recipient, and as such facilitates smooth conversational flow. For these reasons, CR is very important in achieving a realistic human-agent interaction in systems, like ours, which combine automatic speech recognition and pre-planned dialogues. In this second phase, natural language data was collected in order to analyse the verbal and non-verbal features in various types of CRs. Due to the complexity of spoken language and a wide range of possible conversational scenarios, data were collected only during first encounters asking for directions to a location in central Reykjavik. This in turn reflected the same task learners would need to do in Virtual Reykjavik - they would ask agents for directions in central Virtual Reykjavik and the agents would use clarification strategies in an authentic way. It should, however, not be seen as an exhaustive treatise about the nature of CRs but rather as a multimodal description of CRs, their use in a particular conversational scenario in the game, and their application to the development of human-like behaviour. Based on a database of video recordings of real-life conversations between native and non-native speakers of Icelandic, six different multimodal CR types were characterised. (165 recordings with total recorded time 1 hour, 59 minutes and 2 seconds; 108 native-non-native speaker pairs and 57 native-native speaker pairs, men and women; ages of native speakers between 18-70 with average age approximately 35 years, and ages of non-native speakers between 20-40 with average age approximately 30 years). Out of this database, a multimodal corpus of CRs was created, consisting of verbal and non-verbal data for each type of CR. Video recordings were analysed using the ELAN tagging and annotation package. Each analysis consisted of a description of multimodal data. The multimodal approach to language and the multimodal interaction analysis were used to analyse the verbal and non-verbal features of CRs. Due to resource constraints, only two types, the Ellipsis and the Fragment (Interjection Strategy), were implemented. Finally, a user response study was conducted in order to find out how learners perceived multimodal behaviour of ECAs in the game, and whether surveyed learners noticed the two implemented CRs. Learners perceived the CR Fragment (Interjection Strategy) as the most natural, despite its being perceived as slightly rude or used too frequently by the ECAs. The frequency of use of CRs by the ECAs was not measured, since the focus was on learners as users of this game prototype. The study revealed many possibilities for improving the multimodal behaviour of ECAs which could be implemented in future versions. In particular, certain facial expressions, and their lack of ability to smile, were commonly perceived by learners as “creepy”. In summary, this thesis presents the rationale for building a 3D computer game for teaching Icelandic language and culture, with a focus on practising oral language skills. It presents pedagogical background for including authentic features into the multimodal behaviour of ECAs in a computer game to achieve a more realistic human-agent interaction, and thus to contribute to an improved learning experience in an online virtual learning environment. Six clarification strategies used by native speakers of Icelandic were observed when they were approached by other native and non-native speakers asking for directions. The thesis also outlines points for future work on CRs and Virtual Reykjavik. Exploration of multimodal CRs in other conversational settings and languages would be useful for further improving ECA CRs used in Virtual Reykjavik. A good starting point for a continuation would be to conduct a new study with more complete instructions, learning materials and scaffolding, a fully functioning speech recognition system in Virtual Reykjavik, and ECAs endowed with additional features including smiling.RANNÍ