Collaborative Human-Machine Communication: User- and situation-oriented design of automotive Speech Dialog Systems

Diese Arbeit adressiert die Implementation zwischenmenschlicher Dialogprinzipien im Rahmen der Gestaltung automotiver Sprachdialogsystemen (SDS). Der Transfer der kollaborativen Strategien, insbesondere die kontinuierliche, nutzer- und situationsabhängige Vermittlung von Feedback soll Gegenstand von empirischen Untersuchungen sein. Obwohl in den letzten Jahrzehnten deutliche Verbesserungen der Spracherkennungstechnologie erreicht werden konnten, übernehmen aktuelle SDS die kooperative Verantwortung des Empfängers, dem Sprecher Indizien über die eigenen Verstehensprozesse zu präsentieren und den gemeinsamen Aufwand zu minimieren, nur unzureichend. Die vorliegende Dissertation diskutiert nicht-technische Lösungsansätze, die die Anpassung des Systemverhaltens an bestehende Kommunikationsprozesse vorsehen, um die Koordination der Wissensstände zwischen Mensch und Maschine zu ermöglichen. Drei verschiedene Grounding-Elemente wurden auf die Mensch-Maschine-Interaktion angewendet. Zunächst wurde ein System implementiert, welches visuelle Repräsentationen der Dialoginhalte und -zustände bot. In einer zweiten Umsetzung wurde ein flexibles System Grounding Criterion in Anlehnung an menschliches Rückfrageverhalten umgesetzt, so dass das System nur dann eine Bestätigungsanfrage erbat, wenn es sich unsicher war. Das dritte System adressierte Angleichungsprozesse in dem die Systemausgabe syntaktisch und lexikalisch an die Nutzereingabe angepasst wurde. Um den Einfluss dieser drei Umsetzungen auf Gebrauchstauglichkeitsbeurteilungen zu untersuchen, wurden umfangreiche Nutzerstudien im Fahrsimulator durchgeführt. Die Ergebnisse der empirischen Untersuchungen zeigen, dass die Anpassung von SDS an bestehende Kommunikationsstrategien zu erhöhter Nutzerzufriedenheit führen kann. Die Implementation eines flexiblen Grounding Criterions stellte dabei den erfolgreichsten Transfer von zwischenmenschlichen Dialogstrategien auf den Mensch-Maschine-Dialog dar.This work addresses the evaluation of speech dialog systems (SDS) that make use of collaborative strategies from human dialog by providing continuous and appropriate feedback whilst showing adaptive interaction structures. Users’ experience with today’s spoken dialog systems is characterized by interaction structures which do not meet their expectations. The fact that users feel uncomfortable while interacting with current systems can be explained as failed grounding processes, in which users lack evidence to coordinate their knowledge states with the SDS. This thesis proposes solutions of how to overcome difficulties with in-vehicle speech dialog systems from a non-technical point of view by adapting the system behavior to existing communication strategies. Three different grounding strategies were applied to the human machine dialog. Firstly, a system was implemented that gave visual representation of the dialog content and processes. Secondly, a flexible system grounding criterion was realized, so that the system only asked for confirmation if it was insecure, similar to what humans do. The third implementation was concerned with alignment strategies namely by adapting the system’s output syntactically and lexically towards the users’ input. User studies were conducted to examine the impact of these three implementations on usability ratings. While driving the simulator, subjects were using the different SDS for several tasks concerning the address book. The results of the evaluations show, that adapting the SDS to existing communication strategies can lead to improved user satisfaction despite the persisting shortcomings of state-of-the-art speech technology. The implementation of a flexible grounding criterion, which could enhance the efficiency and effectiveness of the interaction, was thereby the most successful transfer from human communication strategies to human machine dialog

A dynamic multi-application dialog engine for task-oriented voice user interfaces

This thesis introduces the Dymalog framework for spoken language dialog systems, which separates the applications from the actual dialog system. It facilitates the control of a plurality of applications through a single dialog system, changeable during run time. This is achieved by application-independent knowledge processing inside the dialog system, based on a hierarchical representation of obtained information (o²I -Trees). The approach enables the realization of generic dialog functionalities. Dymalog is composed of a collection of components; each serves mainly a single purpose. It fosters the generation of competing hypotheses during the processing of the user input in order to derive an optimal interpretation at a certain stage in the processing. The Marvin dialog system puts Dymalog into practice. We discuss selected interactions with various applications enabled for the operation through the system. The parameterized hypothesis selection process is considered in detail, especially the parameter estimation algorithm Grail, and the same holds for the development process in the generation of competing hypotheses for the user input.Die Arbeit stellt die Grundlagen zur Realisierung des sprachbasierten Dialogsystems Marvin für die Interaktion eines Benutzers mit verschiedenen Applikationen vor: Dymalog. Es erlaubt die Kontrolle unterschiedlicher Applikationen durch ein einziges System und ermöglicht u.a. dynamische Änderungen der verfügbaren Applikationen zur Laufzeit. Dies wird durch applikationsunabhängige Wissensverarbeitung erreicht, basierend auf modularen ontologischen Beschreibungen der Anwendungsfreiheitsgrade (o²I -Trees). Die Trennung von Dialogsystem und Applikationen ermöglicht die Realisierung generischer Dialogfunktionalitäten. Dymalog besteht aus einer Reihe von separaten Einheiten, jede beinhaltet im Wesentlichen ein Modell zur Verarbeitung der Benutzereingabe. Um die optimale Interpretation der Benutzereingabe zu erlangen wird die Generation alternativer Interpretationen gefördert. Das Marvin Dialogsystem realisiert die Konzepte aus Dymalog. Ausgewählte Interaktionen mit verschiedenen Applikationen werden diskutiert. Ferner wird der parameterisierte Auswahlprozeß der \u27besten\u27; Interpretation beleuchtet, insbesondere der Parameter-Schätzalgorithmus Grail, und die Erzeugung alternativer Hypothesen durch ausgewählte Einheiten diskutiert