Eine agentenbasierte Architektur für Programmierung mit gesprochener Sprache

Sprachgesteuerte Computersysteme werden heutzutage von Millionen von Nutzern verwendet; Chatbots, virtuelle Assistenten, wie Siri oder Google Assistant, und Smarthomes sind längst fester Bestandteil des Alltags vieler Menschen. Zwar erscheinen derartige Systeme inzwischen intelligent; tatsächlich reagieren sie aber nur auf einzelne Befehle, die zudem bestimmte Formulierungen erfordern. Die Nutzer sind außerdem auf vorgefertigte Funktionalitäten beschränkt; neue Befehle können nur von Entwicklern einprogrammiert und vom Hersteller zur Verfügung gestellt werden. In Zukunft werden Nutzer erwarten, intelligente Systeme nach ihren Bedürfnissen anzupassen, das heißt programmieren zu können. Das in dieser Arbeit beschriebene System ProNat ermöglicht Endnutzer-Programmierung mit gesprochener Sprache. Es befähigt Laien dazu, einfache Programme für unterschiedliche Zielsysteme zu beschreiben und deren Funktionalität zu erweitern. ProNat basiert auf PARSE, einer eigens entworfenen agentenbasierten Architektur für tiefes Sprachverständnis. Das System ermöglicht die Verwendung alltäglicher Sprache zur Beschreibung von Handlungsanweisungen. Diese werden von ProNat als Programm für ein Zielsystem interpretiert, das eine Anwendungsschnittstelle zur Endnutzer-Programmierung anbietet. Bisherige Ansätze zur Programmierung mit natürlicher Sprache ermöglichen nur die Erzeugung kurzer Programme anhand textueller Beschreibungen. Da die meisten Systeme monolithisch entworfen wurden, können sie zudem nur mit großem Aufwand adaptiert werden und sind überwiegend auf die Anwendung einer Technik (z. B. maschinelles Lernen) sowie auf eine Anwendungsdomäne festgelegt (z. B. Tabellenkalkulation). Ansätze, die gesprochene Sprache verarbeiten, können hingegen bisher nur einzelne Befehle erfassen. Um die Restriktionen bisheriger Ansätze aufzuheben, wird eine neuartige Architektur entworfen. Die Kernkomponenten der Architektur PARSE bilden unabhängige Agenten, die je einen bestimmten Aspekt der natürlichen Sprache analysieren. Die Kapselung in unabhängige Agenten ermöglicht es, je Teilaspekt zum Verständnis der Sprache eine andere Technik zu verwenden. Die Agenten werden nebenläufig ausgeführt. Dadurch können sie von Analyseergebnissen anderer Agenten profitieren; unterschiedliche Sprachanalysen können sich so gegenseitig unterstützen. Beispielsweise hilft es, sprachliche Referenzen wie Anaphern aufzulösen, um den Kontext des Gesagten zu verstehen; manche Referenzen können wiederum nur mithilfe des Kontextes aufgelöst werden. Ihr Analyseergebnisse hinterlegen die Agenten in einer geteilten Datenstruktur, einem Graphen. Die Architektur stellt sicher, dass keine Wettlaufsituationen eintreten und nur gültige Änderungen am Graphen durchgeführt werden. Die Agenten werden so lange wiederholt ausgeführt, bis keine oder nur noch zyklische Änderungen eintreten. Neben den Agenten gibt PARSE die Verwendung von Fließbändern zur Vor- und Nachverarbeitung vor. Zudem können externe Ressourcen, wie Wissensdatenbanken oder Kontextmodellierungen, angeschlossen werden. Das System ProNat entsteht, indem konkrete Agenten und Fließbandstufen für die Rahmenarchitektur PARSE bereitgestellt werden. Zusätzlich werden Informationen über die Anwendungsdomäne (das heißt die Anwendungsschnittstelle des Zielsystems und gegebenenfalls eine Modellierung der Systemumgebung) in Form von Ontologien als externe Ressource angebunden. Eine gesprochene Äußerung wird von ProNat vorverarbeitet, indem zunächst das Audiosignal in eine textuelle Wortsequenz überführt wird. Anschließend erfolgt eine grundlegende syntaktische Analyse, bevor ein initialer Graph als Analysegrundlage für die Agenten erzeugt wird. Die Interpretation des Gesagten als Programm obliegt den Agenten. Es wurden sechzehn Agenten entwickelt, die sich in drei Kategorien unterteilen lassen: Erstens, Agenten, die allgemeine Sprachverständnis-Analysen durchführen, wie die Disambiguierung von Wortbedeutungen, die Auflösung von sprachlichen Referenzen oder die Erkennung von Gesprächsthemen. Zweitens, Agenten, die das Gesagte auf programmatische Strukturen, wie Anwendungsschnittstellenaufrufe oder Kontrollstrukturen, untersuchen; hierzu zählt auch ein Agent, der aus verbalisierten Lehrsequenzen Methodendefinitionen synthetisiert. Da die Agenten unabhängig voneinander agieren, kann zur Lösung der jeweiligen Problemstellung eine beliebige Technik eingesetzt werden. Die Agenten zur Erkennung von Kontrollstrukturen verwenden beispielsweise Heuristiken, die auf syntaktischen Strukturen basieren, um ihre Analysen durchzuführen. Andere Agenten, wie die Agenten zur Disambiguierung von Wortbedeutungen oder zur Bestimmung der Gesprächsthemen, verwenden Wikipedia, Wordnet oder ähnliche Quellen und inferieren anhand dieser Informationen. Zuletzt verwenden einige Agenten, wie beispielsweise der Agent zur Erkennung von Lehrsequenzen, maschinelles Lernen. Die Interpretation einer gesprochenen Äußerung erfolgt dementsprechend mittels einer Kombination von sowohl regel- als auch statistik- und wissensbasierten Techniken. Dank der strikten Trennung der Agenten können diese einzeln (und zumeist unabhängig voneinander) evaluiert werden. Hierzu wurden parallel zur Entwicklung der Agenten fortwährend mithilfe von Nutzerstudien realistische Eingabebeispiele gesammelt. Für jeden Agenten kann somit überprüft werden, ob er einen zufriedenstellenden Beitrag zur Interpretation des Gesagten beiträgt. Das gemeinschaftliche Analyseergebnis der Agenten wird in der Nachverarbeitung sukzessive in ein konkretes Programm übersetzt: Zunächst wird ein abstrakter Syntaxbaum generiert, der anschließend in Quelltext zur Steuerung eines Zielsystems überführt wird. Die Fähigkeit des Systems ProNat, aus gesprochenen Äußerungen Quelltext zu generieren, wurde anhand von drei unabhängigen Untersuchungen evaluiert. Als Datengrundlage dienen alle in den Nutzerstudien gesammelten natürlichsprachlichen Beschreibungen. Zunächst wurden für eine Online-Studie UML-Aktivitätsdiagramme aus gesprochenen Äußerungen generiert und 120 Probanden zur Bewertung vorgelegt: Der überwiegende Teil der Aktivitätsdiagramme (69%) wurde von der Mehrheit der Probanden als vollständig korrekt eingestuft, ein vielversprechendes Ergebnis, da die gesprochenen Äußerungen die Synthese von bis zu 24 Anweisungen (bzw. Aktivitäten) sowie Kontrollstrukturen erfordern. In einer zweiten Untersuchung wurde Java-Quelltext, bestehend aus Aufrufen einer Anwendungsschnittstelle zur Steuerung eines humanoiden Roboters, synthetisiert und mit einer Musterlösung verglichen: ProNat konnte Aufrufe meist korrekt erzeugen (F1: 0,746); auch die Synthese von Kontrollstrukturen gelingt in 71% der Fälle korrekt. Zuletzt wurde untersucht, wie gut ProNat anhand von natürlichsprachlichen Beschreibungen neue Funktionen erlernen kann: Verbalisierte Lehrsequenzen werden mit einer Genauigkeit von 85% in Äußerungen erkannt. Aus diesen leitet ProNat Methodendefinitionen ab; dabei gelingt es in über 90% der Fälle, einen sprechenden Methodennamen zu erzeugen. Auch der Aufruf der neu erlernten Funktion (durch natürlichsprachliche Anweisungen) gelingt mit einer Genauigkeit von 85%. Zusammengenommen zeigen die Untersuchungen, dass ProNat grundsätzlich in der Lage ist, Programme aus gesprochenen Äußerungen zu synthetisieren; außerdem können neue Funktionen anhand natürlichsprachlicher Beschreibungen erlernt werden

Eine agentenbasierte Architektur für Programmierung mit gesprochener Sprache

The system described in this work, called ProNat, makes end-user programming with spoken language possible. It enables non-experts to describe programs for different target systems and to extend their functionality using everyday language. ProNat is based on PARSE, a specially designed agent-based framework architecture. In three independent studies, ProNat has proven to be principally capable of synthesizing programs from spoken utterances

Radiointerviews zur Vermittlung der rezeptiven Grammatik der gesprochenen Sprache. Eine qualitative Studie zur Rezeption von Radiointerviews bei Lernern des Deutschen als Fremdsprache, mit dem Fokus auf äußerungsinitialen und äußerungsfinalen Konstrukten sowie Parenthesen

Untersucht wird in der vorliegenden Dissertation die didaktische Relevanz der äußerungsinitialen, -finalen Konstrukte und Parenthesen für die rezeptive Grammatik der gesprochenen Sprache im Kontext des Deutschen als Fremdsprache – beim Übergang vom B2- zum C1-Lernniveau. Analysiert werden die Verarbeitungspräferenzen der Lerner im Online- und Offline-Modus sowie allgemeine Probleme der Rezeption auf der Diskursebene, hier auf jene in Radiointerviews bezogen. Ferner werden – ausgehend von den Annahmen der Outer-Syntax (Linell 2009), des Cue-Competition-Modells, der Konstruktionsgrammatik und Konversationsanalyse – die diskursspezifischen Funktionen dieser pragmasyntaktischen Konstrukte in Radiointerviews untersucht. Darüber hinaus wird die Gesprächssorte Radiointerview und ihre didaktischen Potenziale genauer betrachtet sowie ihre aktuelle Verortung in den Lehrwerken für die Mittel- und Oberstufe. Der Beitrag dieser Arbeit liegt außerdem in der Erprobung einer Interface-Methode, die es ermöglicht, dass durch die Triangulation der prozessualen und statischen Daten, bzw. der rezeptiven Produkte und der authentischen Dynamik der Verarbeitung sowie der rezeptiven Konstrukte und Einstellungen – die rezeptiven Verarbeitungsstrategien im Gesprächsverlauf explorativ-deskriptiv und rekonstruktiv-interpretativ und somit aus einer neuen Perspektive für Deutsch als Fremdsprache beleuchtet werden

ROPLEX : natürlichsprachliche Beschreibung von generischen Roboterplandaten

Die vorliegende Arbeit beschreibt eine Erklärungskomponente einer natürlichsprachlichen Schnittstelle, die in Robotersystemen für die Kommunikation mit Menschen eingesetzt werden kann. Die speziell dafür benötigten Bereiche des Roboterwissens bestehen einerseits aus Plänen, in denen Roboteranweisungen formuliert sind, und andererseits aus Diagnose- sowie Umweltinformationen. Die für dieses Dialogmodul entwickelten Methoden zur Erfassung und Weiterverarbeitung von Daten erlauben einen vielseitigen Einsatz. Die textuellen Erklärungen von Roboter-Anweisungsplänen, Lage von Umweltobjekten und auch von Fehlern können in verschiedenen natürlichen Sprachen erzeugt werden. Zusätzlich ist eine natürlichsprachliche Konfigurationsschnittstelle erstellt worden, die es dem Menschen erlaubt, den Inhalt der Erklärungen mittels geschriebener und gesprochener Sprache zu manipulieren. Bei der Realisierung dieser Dialogeinheit lag der Schwerpunkt auf der Entwicklung eines flexiblen Analyse- und Auswertungsverfahrens für die vom Roboter bereitgestellten Informationen und in der Konzeption einer sprachunabhängigen Zwischenrepräsentation

Eine Architektur für Programmsynthese aus natürlicher Sprache

Die Arbeit entwirft ein domänenunabhängiges Vorgehen, das aus natürlichsprachlichen englischen Texten Programme ableitet. Eingabetexte werden mit computerlinguistischen Analysen bearbeitet und schließlich auf Quelltext abgebildet. Um die Analysen von der anzusteuernden API zu entkoppeln, wird diese als Modell in den Analyseprozess eingespeist. Eine Fallstudie zur Programmierung von 3D-Animationen und eine zur Heimautomation zeigen die Leistungsfähigkeit und Flexibilität des Verfahrens

Interaktive Dialogsysteme

Das Thema der vorliegenden Arbeit kann mit den folgenden drei Hauptfragen zusammengefasst werden: (1) was ist Dialog, (2) welche charakteristische Merkmale hat der Dialog und (3) was ist notwendig, um Dialog erfolgreich mit Hilfe von Maschinen (Computersystemen) zu simulieren. Die Arbeit wurde in der Hoffnung geschrieben, dass sie als Basis und Ausgangspunkt für weitere Forschungen in den bezeichneten wissenschaftlichen Gebieten benutzt werden kann, wie auch in der Hoffnung, dadurch die Aufmerksamkeit von Sprachwissenschaftlerinnen und Germanistinnen auf Forschungsperspektiven und Herausforderungen in diesem Gebiet zu lenken. Dabei wird auch gezeigt, wie weit die theoretischen Grundlagen, die sich auf zwischenmenschliche Dialogformen beziehen, in interaktiven Dialogsystemen implementiert werden können; welche zusätzliche Mittel notwendig sind, um solche Systeme menschenähnlicher in der Dialogkommunikation zu machen. Die Frage nach interaktiven Dialogsystemen wird vor allem aus pragmatischen Gründen gestellt, denn mit der Entwicklung der Computertechnologie werden auch die Einsatzmöglichkeiten für Computer immer mehr. Das führt dazu, dass viel mehr Menschen, vor allem Nicht-Experten, am Computer arbeiten. Die Kommunikation mit dem Computer läuft allerdings, mit Ausnahme der Erfindung und Einführung der Maus in den 1960er/1970er, bis heute noch vor allem über die Konsole (Tastatur/Monitor). Die menschliche Dialogfähigkeit zeichnet sich durch die Fähigkeit aus, typische Organisationsprinzipien des Dialogs zu erkennen und anzuwenden. Die Prinzipien betreffen einerseits die kognitiven Fähigkeiten des Menschen, andererseits unterschiedliche formale Aspekte. Ein Dialogsystem sollte also diese menschliche Dialogfähigkeit in unterschiedlichen kommunikativen Situationen nachahmen können. Eben aus diesem Grund steht einerseits der Dialog als Kommunikationsmittel im Zentrum der vorliegenden Diplomarbeit, andererseits aber die Frage, wie ein gesprochener Dialog mit einem Computersystem und in welchem Ausmaß möglich wäre

Eine Architektur für Programmsynthese aus natürlicher Sprache

Diese Arbeit beschreibt, wie man natürlichsprachliche Schnittstellen für die Programmierung von Software-Anwendungen erstellen kann. Hierbei wird insbesondere betrachtet, wie die Textanalyse vom konkreten Einsatzszenario, d.h. der angesteuerten Software, entkoppelt und somit wiederverwendbar gemacht werden kann. Zur Evaluation werden zwei Fallstudien vorgestellt: Die befehlsgesteuerte Heimautomatisierung mit openHAB und die Erzeugung von 3D-Animationen aus englischen Drehbüchern mit Alice