Empirical study on emoji usage as feedback strategy in dialogue

This thesis investigates emojis as feedback strategies in instant messaging (IM) and aims to investigate the potential of emojis to serve as independent feedback utterances in IM dialogues. Through the design and execution of two explorative studies utilizing online IM communication simulators, this research first aims to categorize feedback utterances in IM into a corpus based textual analysis. Subsequently, it assesses interpretations of emojis when employed as feedback strategies, shedding light on their efficacy and limitations. The findings suggest that emojis, when understood in the context of the utterer's intention, can effectively serve as feedback utterances, enriching the dialogue with emotional and informational cues. However, the utility of emojis is contingent on the recipient's recognition and adoption of the utterer's intention, with misinterpretations potentially leading to communication breakdowns

Positive and Negative User Feedback in a Spoken Dialogue Corpus

This paper examines feedback strategies in a Swedish corpus of multimodal human--computer interaction. The aim of the study is to investigate how users provide positive and negative feedback to a dialogue system and to discuss the function of these utterances in the dialogues. User feedback in the AdApt corpus was labeled and analyzed, and its distribution in the dialogues is discussed. The question of whether it is possible to utilize user feedback in future systems is considered. More specifically, we discuss how error handling in human--computer dialogue might be improved through greater knowledge of user feedback strategies. In the present corpus, almost all subjects used positive or negative feedback at least once during their interaction with the system. Our results indicate that some types of feedback more often occur in certain positions in the dialogue. Another observation is that there appear to be great individual variations in feedback strategies, so that certain subjects give feedback at almost every turn while others rarely or never respond to a spoken dialogue system in this manner. Finally, we discuss how feedback could be used to prevent problems in human--computer dialogue

PSI's first words - first steps towards verbal interaction with the artificial agent PSI

Diese Arbeit beinhaltet zwei Teile: im ersten Teil wird gezeigt, wie der auf der PSI-Theorie Dörners basierende PSI-Agent um basale Sprachfähigkeiten erweitert wurde, im zweiten Teil wird gezeigt, wie Menschen zusammen mit diesem Agenten komplexe Probleme lösen. Innerhalb dieser Arbeit soll zunächst die hinter dem PSI-Modell stehende PSI-Theorie vorgestellt werden - eine umfassende Theorie menschlichen Erlebens und Verhaltens. Im Weiteren werden schon existierende Ansätze zur Implementierung von Sprache in künstliche Agenten behandelt, wie z.B. Weizenbaums (1966) ELIZA, Winograds (1973) SHRDLU, die Talking Heads von Luc Steels (1999) und das L0-Projekt von Bailey, Feldman, Narayanan, & Lakoff (1997). Ebenfalls wird ein System vorgestellt, das zwar nicht über Sprache verfügt, aber mittels seiner Mimik mit Menschen interagiert: Cynthia Breazeals (2002) Kismet. Aus diesen Ansätzen werden Anforderungen an PSI erarbeitet. Im folgende Kapitel wird dann PSIs Weg zur Sprache erklärt und dargestellt, über wie viel Sprache PSI verfügt, wie die Möglichkeit, Sprache zu erlernen bei PSI implementiert ist und wie PSI Sprache erlernt. Im Anschluss daran wird diskutiert, ob PSI die oben erarbeiteten Anforderungen erfüllt, und wenn nicht, wie sie noch erfüllt werden können. Weiterhin wird ein Vergleich zwischen PSI und den vorgestellten sprachverarbeitenden Systemen gezogen. Der zweite Teil dieser Arbeit beschäftigt sich schließlich mit der Mensch-Computer-Interaktion. Hier werden zunächst Studien zur Mensch-Computer-Interaktion besprochen, dann wird die Fragestellung, die Versuchsanordnung und das Auswertungsvorgehen für diese Dissertation erarbeitet. Die Ergebnisse dieser Studie werden im nächsten Kapitel erklärt. Dabei wird die übergeordnete Fragestellung - Verhalten sich Menschen gegenüber einem autonomen Agenten anders als gegenüber einem vollständig von ihnen abhängigen Agenten? - in Teilfragen zerlegt. Anschließend werden Antworten auf diese Fragen gesucht. Das zusammenfassende Kapitel enthält schließlich Schlussfolgerungen und Ausblicke auf zukünftig anstehende Arbeiten. Dabei wird noch einmal ein Überblick über die gesamte Arbeit gegeben und Verbindungsstränge zwischen den beiden Teilen dieser Arbeit (Teil I: PSI lernt sprechen, Teil II: Interaktion mit Menschen) aufgezeigt.PSI is the implementation of an integrative theory of human emotion, motivation and behavior on a computer. One of the newly developed abilities of PSI is the ability to communicate with humans, to ask for information it does not possess instead of exploring only. To achieve the goal of a communication between PSI and humans, PSI has to learn words and rules how to use and connect these words. Thereby, PSI-Lingua is able to learn the names of things and situations in its environment (an island or the simulated canalization of a town), the words of its needs, relations, movements, actions, and even interrogatives. PSI-Lingua is able to ask questions about the world it is living in and about its needs. It is able to answer questions about its environment and its needs. Therefore, PSI-Lingua and a human subject can explore PSI's environment together and humans can help PSI explore its environment and fulfil its needs. Subjects were given the task to explore the simulated canalization together with PSI, and together with a virtual robot, and they were interviewed about this task

A dynamic multi-application dialog engine for task-oriented voice user interfaces

This thesis introduces the Dymalog framework for spoken language dialog systems, which separates the applications from the actual dialog system. It facilitates the control of a plurality of applications through a single dialog system, changeable during run time. This is achieved by application-independent knowledge processing inside the dialog system, based on a hierarchical representation of obtained information (o²I -Trees). The approach enables the realization of generic dialog functionalities. Dymalog is composed of a collection of components; each serves mainly a single purpose. It fosters the generation of competing hypotheses during the processing of the user input in order to derive an optimal interpretation at a certain stage in the processing. The Marvin dialog system puts Dymalog into practice. We discuss selected interactions with various applications enabled for the operation through the system. The parameterized hypothesis selection process is considered in detail, especially the parameter estimation algorithm Grail, and the same holds for the development process in the generation of competing hypotheses for the user input.Die Arbeit stellt die Grundlagen zur Realisierung des sprachbasierten Dialogsystems Marvin für die Interaktion eines Benutzers mit verschiedenen Applikationen vor: Dymalog. Es erlaubt die Kontrolle unterschiedlicher Applikationen durch ein einziges System und ermöglicht u.a. dynamische Änderungen der verfügbaren Applikationen zur Laufzeit. Dies wird durch applikationsunabhängige Wissensverarbeitung erreicht, basierend auf modularen ontologischen Beschreibungen der Anwendungsfreiheitsgrade (o²I -Trees). Die Trennung von Dialogsystem und Applikationen ermöglicht die Realisierung generischer Dialogfunktionalitäten. Dymalog besteht aus einer Reihe von separaten Einheiten, jede beinhaltet im Wesentlichen ein Modell zur Verarbeitung der Benutzereingabe. Um die optimale Interpretation der Benutzereingabe zu erlangen wird die Generation alternativer Interpretationen gefördert. Das Marvin Dialogsystem realisiert die Konzepte aus Dymalog. Ausgewählte Interaktionen mit verschiedenen Applikationen werden diskutiert. Ferner wird der parameterisierte Auswahlprozeß der \u27besten\u27; Interpretation beleuchtet, insbesondere der Parameter-Schätzalgorithmus Grail, und die Erzeugung alternativer Hypothesen durch ausgewählte Einheiten diskutiert