Error Handling in man-machine dialogs

Seit es Computer gibt, existiert auch der Wunsch des Menschen, mit ihnen reden zu können wie mit einem anderen Menschen. Eines der berühmtesten Beispiele dafür ist sicherlich Eliza, ein Computerprogramm, das einen Psychologen simuliert, mit dem der Benutzer ein Therapiegespräch führen kann. In vielen Science-Fiction-Filmen finden sich auch immer wieder Beispiele für solche sprechenden Maschinen, wie beispielsweise HAL in 2001: Odysee im Weltraum'' oder auch der Computer auf dem Raumschiff Enterprise''. So reichen erste Dialogsysteme bereits zurück bis in die Anfänge der künstlichen Intelligenz in den fünfziger Jahren. Dennoch hatten diese Dialogsysteme bis vor wenigen Jahren noch mit so vielen Problemen zu kämpfen, dass sie kaum für einen praktischen Einsatz geeignet waren. Erst in letzter Zeit ist es durch die stetigen Verbesserungen im Bereich von Spracherkennung und Sprachverstehen und das Aufkommen von immer schnelleren und mächtigeren Rechnern möglich geworden, solche Systeme für den realen Einsatz zu bauen. Nach wie vor gibt es aber noch eine ganze Reihe ungelöster Probleme, die zum einen auf die Komplexität natürlicher Sprache und zum anderen auf den immensen Fundus an vernetztem Weltwissen und Kontextbeziehungen, über den Menschen verfügen, zurückzuführen sind. Eine der bislang größten Herausforderungen liegt darin, ein solches Dialogsystem auch für den realen Einsatz unter Alltagsbedingungen zu entwerfen. Bisher fehlt den Systemen dafür noch die nötige Fehlerrobustheit, um in Situationen, in denen das System etwas falsch verstanden hat und es zu Problemen kommt, angemessen reagieren zu können. In dieser Arbeit geht es genau um solche Fehler im Dialog, wie sie vermieden und während des laufenden Dialogs wieder behoben werden können, wenn sie nicht vorher zu vermeiden waren. Der Gegenstand dieser Arbeit ist eine datengetriebene Analyse der Fehler, die in der Mensch-Roboter-Kommunikation auftreten mit dem Ziel, diese möglichst im Vorfeld zu vermeiden. Es wird eine Fehlerklassifikation aufgestellt und es werden Methoden für die Vermeidung der verschiedenen Fehlerklassen entwickelt und evaluiert. Darüberhinaus werden auch generische Methoden zur Fehlerbehebung für die Fälle implementiert, die nicht vorher vermieden werden konnten, ebenfalls mit Hilfe datengetriebener Analysen. Damit soll es ermöglicht werden, Dialogsysteme über die Laborumgebung hinaus in realen Situationen einsetzen zu können. Dies wird am Beispiel eines Haushaltsroboters diskutiert und evaluiert. Diese Ausarbeitung gliedert sich in vier Teile: Der erste Teil beschäftigt sich mit dem Stand der Forschung in den Bereichen, die hier eine Rolle spielen. Dazu werden verschiedene Ansätze für Mensch-Maschine-Dialogsysteme beleuchtet. Im Anschluss wird die menschliche Informationsverarbeitung im Dialogbereich erläutert. Dabei geht es auch um Fehlerdialoge in zwischenmenschlichen Dialogen, die hier als Vorbild für Mensch-Roboter-Dialoge dienen. Der zweite Teil beschäftigt sich mit den durchgeführten Benutzertests und Datensammlungen und der Klassifikation von Fehlern im Dialog, die die Grundlage für die folgenden Arbeiten zur Fehlervermeidung und -behebung bilden. Zunächst erfolgt eine detaillierte Analyse von Fehlern, die bei der Mensch-Roboter-Interaktion auftreten können. Dazu werden verschiedene aufeinander aufbauende Benutzerstudien und Datensammlungen, bei denen der Roboter dem Menschen im Haushalt zur Hand geht und einfache Tätigkeiten verrichtet, durchgeführt, um eine große Menge an möglichst realistischen Daten gewinnen zu können, die nicht nur unter Laborbedingungen entstanden sind. Im dritten Teil werden verschiedene Methoden zur Fehlervermeidung und -behebung vorgestellt. Zur Fehlervermeidung werden zusätzliche Wissensquellen in den Dialogmanager integriert. Außerdem werden Mechanismen zur Anaphernresolution, Kontextmodellierung, Auflösung von Ellipsen, multimodalen Fusion und zum Umgang mit komplexen, zusammengesetzten Äußerungen entwickelt und evaluiert. Zur Fehlerbehebung werden verschiedene Strategien für effektive Klärungsfragen untersucht. Metakommunikation, wie sie in den durchgeführten Benutzertests vorkommt, wird analysiert, um eine effektivere Kommunikation gewährleisten zu können. Außerdem wird ein Mechanismus entwickelt, der es dem Roboter erlaubt, problematische Situationen zu erkennen und diese selbst durch Metakommunikation aufzulösen. Im vierten Teil werden die entwickelten Methoden anhand eines abschließenden Benutzertests evaluiert. Dabei geht es darum, das System mit allen entwickelten Mechanismen zur Fehlerbehandlung zu testen und es mit dem Basissystem zu vergleichen. Das besondere Augenmerk liegt hier auf der Übertragbarkeit der entwickelten Mechanismen auf andere Domänen und Systeme. Danach folgt das Fazit der gesamten Arbeit und eine Diskussion der zukünftigen Arbeiten im Hinblick auf mögliche Erweiterungen dieses Systems.In recent years, spoken dialog systems became more and more popular. The awareness of the problems emerging from system errors, especially in recognizing user input and understanding the user intention, increased. These errors may lead to a consequent confusion for both users and the system itself. The need to devise better strategies for detecting problems in man-machine dialogs and dealing with them gracefully has become paramount for spoken dialog systems. As an example for spoken dialog systems, a household robot which helps users in the kitchen is chosen in the present study. Within this scenario, the error robustness is of special importance because the users are naive and want to talk to the robot in the same way as to another human. The main contribution of this thesis is a detailed analysis of errors within man-machine dialogs and the development of solutions to all the errors found there. This results in a more efficient man-machine interaction as shown in a user study. The present thesis evaluates errors and methods to deal with them in man-machine dialogs. The first part is about related work. The second part deals with user studies which result in an error classification with three classes of errors: New concepts, elliptical and anaphoric utterances and complex utterances. Before analysing in detail these error classes, the focus switches to the user's as well as the robot's communication strategy to evaluate its influence on errors and the communication in general. The third part deals with error handling: Since the error classification reveals that lots of errors are due to missing concepts in the linguistic resources, their automatic extension is explored: Novel mechanisms for dynamic extension of the vocabulary and for the integration of the internet as an additional knowledge source are developed. The tenth section is about the resolution of ellipsis and anaphora which represent the second error class. Since the third group of errors in the error classification are complex utterances, the eleventh section deals with a generic method to resolve them. The final section of the third part explores new concepts users utter within clarification dialogs and meta communication and develops mechanisms to deal with them. The fourth part consists of an evaluation of all these error handling strategies in an overall user test which shows that the users are much more successful and can accomplish more tasks in less time compared to the baseline version without any error handling. The final section gives a conclusion and an outlook on future work

A pattern learning approach to question answering within the Ephyra framework

Abstract. This paper describes the Ephyra question answering engine, a modular and extensible framework that allows to integrate multiple approaches to question answering in one system. Our framework can be adapted to languages other than English by replacing language-specific components. It supports the two major approaches to question answering, knowledge annotation and knowledge mining. Ephyra uses the web as a data resource, but could also work with smaller corpora. In addition, we propose a novel approach to question interpretation which abstracts from the original formulation of the question. Text patterns are used to interpret a question and to extract answers from text snippets. Our system automatically learns the patterns for answer extraction, using question-answer pairs as training data. Experimental results revealed the potential of this approach.

Development and characterization of an indirect ELISA to detect SARS-CoV-2 spike protein-specific antibodies

The current Severe acute respiratory syndrome related coronavirus 2 (SARS-CoV-2) pandemic is a public health emergency of international concern. Sensitive and precise diagnostic tools are urgently needed. In this study, we developed a SARS-CoV-2 spike (S1) protein enzyme-linked immunosorbent assay (ELISA) to detect SARS-CoV-2-specific antibodies. The SARS-CoV-2 S1 ELISA was found to be specific [97.8% (95% CI, 96.7% - 98.5%)], reproducible and precise (intra-assay coefficient of variability (CV) 5.3%, inter-assay CV 7.9%). A standard curve and the interpolation of arbitrary ELISA units per milliliter served to reduce the variability between different tests and operators. Cross-reactivity to other human coronaviruses was addressed by using sera positive for MERS-CoV- and hCoV HKU1-specific antibodies. Monitoring antibody development in various samples of twenty-three and single samples of twenty-nine coronavirus disease 2019 (COVID-19) patients revealed seroconversion and neutralizing antibodies against authentic SARS-CoV-2 in all cases. The comparison of the SARS-CoV-2 (S1) ELISA with a commercially available assay showed a better sensitivity for the in-house ELISA. The results demonstrate a high reproducibility, specificity and sensitivity of the newly developed ELISA, which is suitable for the detection of SARS-CoV-2 S1 protein-specific antibody responses

The “FAME” Interactive Space

International audienceThis paper describes the “FAME” multi-modal demonstrator, which integrates multiple communication modes – vision, speech and object manipulation – by combining the physical and virtual worlds to provide support for multi-cultural or multi-lingual communication and problem solving. The major challenges are automatic perception of human actions and understanding of dialogs between people from different cultural or linguistic backgrounds. The system acts as an information butler, which demonstrates context awareness using computer vision, speech and dialog modeling. The integrated computerenhanced human-to-human communication has been publicly demonstrated at the FORUM2004 in Barcelona and at IST2004 in The Hague. Specifically, the “Interactive Space” described features an “Augmented Table” for multi-cultural interaction, which allows several users at the same time to perform multi-modal, cross-lingual document retrieval of audio-visual documents previously recorded by an “Intelligent Cameraman” during a week-long seminar