Eine agentenbasierte Architektur für Programmierung mit gesprochener Sprache

Sprachgesteuerte Computersysteme werden heutzutage von Millionen von Nutzern verwendet; Chatbots, virtuelle Assistenten, wie Siri oder Google Assistant, und Smarthomes sind längst fester Bestandteil des Alltags vieler Menschen. Zwar erscheinen derartige Systeme inzwischen intelligent; tatsächlich reagieren sie aber nur auf einzelne Befehle, die zudem bestimmte Formulierungen erfordern. Die Nutzer sind außerdem auf vorgefertigte Funktionalitäten beschränkt; neue Befehle können nur von Entwicklern einprogrammiert und vom Hersteller zur Verfügung gestellt werden. In Zukunft werden Nutzer erwarten, intelligente Systeme nach ihren Bedürfnissen anzupassen, das heißt programmieren zu können. Das in dieser Arbeit beschriebene System ProNat ermöglicht Endnutzer-Programmierung mit gesprochener Sprache. Es befähigt Laien dazu, einfache Programme für unterschiedliche Zielsysteme zu beschreiben und deren Funktionalität zu erweitern. ProNat basiert auf PARSE, einer eigens entworfenen agentenbasierten Architektur für tiefes Sprachverständnis. Das System ermöglicht die Verwendung alltäglicher Sprache zur Beschreibung von Handlungsanweisungen. Diese werden von ProNat als Programm für ein Zielsystem interpretiert, das eine Anwendungsschnittstelle zur Endnutzer-Programmierung anbietet. Bisherige Ansätze zur Programmierung mit natürlicher Sprache ermöglichen nur die Erzeugung kurzer Programme anhand textueller Beschreibungen. Da die meisten Systeme monolithisch entworfen wurden, können sie zudem nur mit großem Aufwand adaptiert werden und sind überwiegend auf die Anwendung einer Technik (z. B. maschinelles Lernen) sowie auf eine Anwendungsdomäne festgelegt (z. B. Tabellenkalkulation). Ansätze, die gesprochene Sprache verarbeiten, können hingegen bisher nur einzelne Befehle erfassen. Um die Restriktionen bisheriger Ansätze aufzuheben, wird eine neuartige Architektur entworfen. Die Kernkomponenten der Architektur PARSE bilden unabhängige Agenten, die je einen bestimmten Aspekt der natürlichen Sprache analysieren. Die Kapselung in unabhängige Agenten ermöglicht es, je Teilaspekt zum Verständnis der Sprache eine andere Technik zu verwenden. Die Agenten werden nebenläufig ausgeführt. Dadurch können sie von Analyseergebnissen anderer Agenten profitieren; unterschiedliche Sprachanalysen können sich so gegenseitig unterstützen. Beispielsweise hilft es, sprachliche Referenzen wie Anaphern aufzulösen, um den Kontext des Gesagten zu verstehen; manche Referenzen können wiederum nur mithilfe des Kontextes aufgelöst werden. Ihr Analyseergebnisse hinterlegen die Agenten in einer geteilten Datenstruktur, einem Graphen. Die Architektur stellt sicher, dass keine Wettlaufsituationen eintreten und nur gültige Änderungen am Graphen durchgeführt werden. Die Agenten werden so lange wiederholt ausgeführt, bis keine oder nur noch zyklische Änderungen eintreten. Neben den Agenten gibt PARSE die Verwendung von Fließbändern zur Vor- und Nachverarbeitung vor. Zudem können externe Ressourcen, wie Wissensdatenbanken oder Kontextmodellierungen, angeschlossen werden. Das System ProNat entsteht, indem konkrete Agenten und Fließbandstufen für die Rahmenarchitektur PARSE bereitgestellt werden. Zusätzlich werden Informationen über die Anwendungsdomäne (das heißt die Anwendungsschnittstelle des Zielsystems und gegebenenfalls eine Modellierung der Systemumgebung) in Form von Ontologien als externe Ressource angebunden. Eine gesprochene Äußerung wird von ProNat vorverarbeitet, indem zunächst das Audiosignal in eine textuelle Wortsequenz überführt wird. Anschließend erfolgt eine grundlegende syntaktische Analyse, bevor ein initialer Graph als Analysegrundlage für die Agenten erzeugt wird. Die Interpretation des Gesagten als Programm obliegt den Agenten. Es wurden sechzehn Agenten entwickelt, die sich in drei Kategorien unterteilen lassen: Erstens, Agenten, die allgemeine Sprachverständnis-Analysen durchführen, wie die Disambiguierung von Wortbedeutungen, die Auflösung von sprachlichen Referenzen oder die Erkennung von Gesprächsthemen. Zweitens, Agenten, die das Gesagte auf programmatische Strukturen, wie Anwendungsschnittstellenaufrufe oder Kontrollstrukturen, untersuchen; hierzu zählt auch ein Agent, der aus verbalisierten Lehrsequenzen Methodendefinitionen synthetisiert. Da die Agenten unabhängig voneinander agieren, kann zur Lösung der jeweiligen Problemstellung eine beliebige Technik eingesetzt werden. Die Agenten zur Erkennung von Kontrollstrukturen verwenden beispielsweise Heuristiken, die auf syntaktischen Strukturen basieren, um ihre Analysen durchzuführen. Andere Agenten, wie die Agenten zur Disambiguierung von Wortbedeutungen oder zur Bestimmung der Gesprächsthemen, verwenden Wikipedia, Wordnet oder ähnliche Quellen und inferieren anhand dieser Informationen. Zuletzt verwenden einige Agenten, wie beispielsweise der Agent zur Erkennung von Lehrsequenzen, maschinelles Lernen. Die Interpretation einer gesprochenen Äußerung erfolgt dementsprechend mittels einer Kombination von sowohl regel- als auch statistik- und wissensbasierten Techniken. Dank der strikten Trennung der Agenten können diese einzeln (und zumeist unabhängig voneinander) evaluiert werden. Hierzu wurden parallel zur Entwicklung der Agenten fortwährend mithilfe von Nutzerstudien realistische Eingabebeispiele gesammelt. Für jeden Agenten kann somit überprüft werden, ob er einen zufriedenstellenden Beitrag zur Interpretation des Gesagten beiträgt. Das gemeinschaftliche Analyseergebnis der Agenten wird in der Nachverarbeitung sukzessive in ein konkretes Programm übersetzt: Zunächst wird ein abstrakter Syntaxbaum generiert, der anschließend in Quelltext zur Steuerung eines Zielsystems überführt wird. Die Fähigkeit des Systems ProNat, aus gesprochenen Äußerungen Quelltext zu generieren, wurde anhand von drei unabhängigen Untersuchungen evaluiert. Als Datengrundlage dienen alle in den Nutzerstudien gesammelten natürlichsprachlichen Beschreibungen. Zunächst wurden für eine Online-Studie UML-Aktivitätsdiagramme aus gesprochenen Äußerungen generiert und 120 Probanden zur Bewertung vorgelegt: Der überwiegende Teil der Aktivitätsdiagramme (69%) wurde von der Mehrheit der Probanden als vollständig korrekt eingestuft, ein vielversprechendes Ergebnis, da die gesprochenen Äußerungen die Synthese von bis zu 24 Anweisungen (bzw. Aktivitäten) sowie Kontrollstrukturen erfordern. In einer zweiten Untersuchung wurde Java-Quelltext, bestehend aus Aufrufen einer Anwendungsschnittstelle zur Steuerung eines humanoiden Roboters, synthetisiert und mit einer Musterlösung verglichen: ProNat konnte Aufrufe meist korrekt erzeugen (F1: 0,746); auch die Synthese von Kontrollstrukturen gelingt in 71% der Fälle korrekt. Zuletzt wurde untersucht, wie gut ProNat anhand von natürlichsprachlichen Beschreibungen neue Funktionen erlernen kann: Verbalisierte Lehrsequenzen werden mit einer Genauigkeit von 85% in Äußerungen erkannt. Aus diesen leitet ProNat Methodendefinitionen ab; dabei gelingt es in über 90% der Fälle, einen sprechenden Methodennamen zu erzeugen. Auch der Aufruf der neu erlernten Funktion (durch natürlichsprachliche Anweisungen) gelingt mit einer Genauigkeit von 85%. Zusammengenommen zeigen die Untersuchungen, dass ProNat grundsätzlich in der Lage ist, Programme aus gesprochenen Äußerungen zu synthetisieren; außerdem können neue Funktionen anhand natürlichsprachlicher Beschreibungen erlernt werden

Eine agentenbasierte Architektur für Programmierung mit gesprochener Sprache

The system described in this work, called ProNat, makes end-user programming with spoken language possible. It enables non-experts to describe programs for different target systems and to extend their functionality using everyday language. ProNat is based on PARSE, a specially designed agent-based framework architecture. In three independent studies, ProNat has proven to be principally capable of synthesizing programs from spoken utterances

Graphdatenbanken für die textorientierten e-Humanities

Vor dem Hintergrund zahlreicher Digitalisierungsinitiativen befinden sich weite Teile der Geistes- und Sozialwissenschaften derzeit in einer Transition hin zur großflächigen Anwendung digitaler Methoden. Zwischen den Fachdisziplinen und der Informatik zeigen sich große Differenzen in der Methodik und bei der gemeinsamen Kommunikation. Diese durch interdisziplinäre Projektarbeit zu überbrücken, ist das zentrale Anliegen der sogenannten e-Humanities. Da Text der häufigste Untersuchungsgegenstand in diesem Feld ist, wurden bereits viele Verfahren des Text Mining auf Problemstellungen der Fächer angepasst und angewendet. Während sich langsam generelle Arbeitsabläufe und Best Practices etablieren, zeigt sich, dass generische Lösungen für spezifische Teilprobleme oftmals nicht geeignet sind. Um für diese Anwendungsfälle maßgeschneiderte digitale Werkzeuge erstellen zu können, ist eines der Kernprobleme die adäquate digitale Repräsentation von Text sowie seinen vielen Kontexten und Bezügen. In dieser Arbeit wird eine neue Form der Textrepräsentation vorgestellt, die auf Property-Graph-Datenbanken beruht – einer aktuellen Technologie für die Speicherung und Abfrage hochverknüpfter Daten. Darauf aufbauend wird das Textrecherchesystem „Kadmos“ vorgestellt, mit welchem nutzerdefinierte asynchrone Webservices erstellt werden können. Es bietet flexible Möglichkeiten zur Erweiterung des Datenmodells und der Programmfunktionalität und kann Textsammlungen mit mehreren hundert Millionen Wörtern auf einzelnen Rechnern und weitaus größere in Rechnerclustern speichern. Es wird gezeigt, wie verschiedene Text-Mining-Verfahren über diese Graphrepräsentation realisiert und an sie angepasst werden können. Die feine Granularität der Zugriffsebene erlaubt die Erstellung passender Werkzeuge für spezifische fachwissenschaftliche Anwendungen. Zusätzlich wird demonstriert, wie die graphbasierte Modellierung auch über die rein textorientierte Forschung hinaus gewinnbringend eingesetzt werden kann.In light of the recent massive digitization efforts, most of the humanities disciplines are currently undergoing a fundamental transition towards the widespread application of digital methods. In between those traditional scholarly fields and computer science exists a methodological and communicational gap, that the so-called \\\"e-Humanities\\\" aim to bridge systematically, via interdisciplinary project work. With text being the most common object of study in this field, many approaches from the area of Text Mining have been adapted to problems of the disciplines. While common workflows and best practices slowly emerge, it is evident that generic solutions are no ultimate fit for many specific application scenarios. To be able to create custom-tailored digital tools, one of the central issues is to digitally represent the text, as well as its many contexts and related objects of interest in an adequate manner. This thesis introduces a novel form of text representation that is based on Property Graph databases – an emerging technology that is used to store and query highly interconnected data sets. Based on this modeling paradigm, a new text research system called \\\"Kadmos\\\" is introduced. It provides user-definable asynchronous web services and is built to allow for a flexible extension of the data model and system functionality within a prototype-driven development process. With Kadmos it is possible to easily scale up to text collections containing hundreds of millions of words on a single device and even further when using a machine cluster. It is shown how various methods of Text Mining can be implemented with and adapted for the graph representation at a very fine granularity level, allowing the creation of fitting digital tools for different aspects of scholarly work. In extended usage scenarios it is demonstrated how the graph-based modeling of domain data can be beneficial even in research scenarios that go beyond a purely text-based study

Tesla - ein virtuelles Labor für experimentelle Computer- und Korpuslinguistik

Linguistisch motivierte Komponentensysteme bieten die Möglichkeit, Prozessketten zur maschinellen Annotation natürlichsprachlicher Daten zu definieren und auszuführen. Bisherige Ansätze unterliegen dabei verschiedenen Einschränkungen: So werden i.d.R. datenorientierte Austauschformate verwendet, die eine Abbildung generierter Daten auf proprietäre Metaformate erfordern, wodurch die Flexibilität bei der Implementation neuer Komponenten reduziert wird. Zudem wird der Reproduzierbarkeit von Ergebnissen nur eine niedrige Priorität eingeräumt, was die Nachvollziehbarkeit und Adaption neuer Verfahren erschwert. In dieser Arbeit wird mit Tesla (Text Engineering Software Laboratory) ein alternatives Komponentensystem vorgestellt, das die skizzierten Kritikpunkte ebenso wie weitere Nachteile und Einschränkungen derartiger Systeme vermeidet. Anhand eines Verfahrens zur automatischen Extraktion syntaktischer Strukturen, das auf die distributionelle Analyse nach Harris zurückgeführt werden kann, werden zunächst die Anforderungen, denen ein computerlinguistisches Komponentensystem genügen muss, konkretisiert und diskutiert. Im Anschluss daran werden verschiedene Frameworks hinsichtlich dieser Anforderungen evaluiert, um schließlich Konzept, Design und Implementation von Tesla vorzustellen und dadurch zu verdeutlichen, dass das beschriebene Strukturierungsverfahren in Form verschiedener experimenteller Versuchsaufbauten analysiert, erweitert und auf neue Untersuchungsgegenstände angewendet wird

Semantic technologies for the domain specific and formal description of time series in databases

Messdaten werden zur effizienten Organisation und Weiterverarbeitung in relationalen Datenbanken gespeichert. Die in den letzten Jahren entstandenen Semantic Web Technologien bieten eine hervorragende Basis zur Wissensmodellierung und Beschreibung von Domäneninhalten in Form von Ontologien. Aufgrund der offenen Architektur dieses Ansatzes können leicht fremde Ontologien und Ressourcen mit eingebunden und berücksichtigt werden. Semantic Web Technologien stellen eine formale Modellierungsgrundlage dar. Mittels Reasoning kann deshalb aus Ontologien implizites Wissen abgeleitet werden. In dieser Arbeit werden semantische (Datenbank-) Annotationen und deren Interpretation fokussiert. Sie verknüpfen Datenbanken und das Semantic Web miteinander. Die Annotationen erlauben es, Inhalte von Datenbanken mit Semantic Web Technologien in verschiedenen Nutzungsszenarien zu beschreiben. Außerdem wird für die gemeinsame Behandlung und den Einsatz beider Technologien eine Architektur entwickelt. Auf dieser Basis werden Konzepte zur Visualisierung und Interaktion mit den Annotationen eingeführt. Weiterhin wird deren Einsatz zur formalen Modellierung von Ereignissen mittels Automaten betrachtet, sodass ein Reasoning zur Berechnung durchgeführt werden kann. Mittels einer Implementierung werden die eingeführten Konzepte demonstriert. Die Applikation Semantic Database Browser erlaubt die integrierte Verwendung von Messdaten und deren formaler Beschreibung. Modelle können ausgetauscht und wiederverwendet werden, sodass die Wiederverwendung von Wissen gefördert wird. Anhand des Beispiels von Ereignissen während Autofahrten wird demonstriert, wie auf Basis der formalen Beschreibung Schlussfolgerungen gezogen werden können. So können durch das Schlussfolgern ohne zusätzlichen Aufwand neue Erkenntnisse über auftretende Fahrmanöver generiert werden. Aufgrund des domänenunabhängigen Charakters der skizzierten Lösungsansätze wird gezeigt, dass diese sich leicht auf andere Anwendungsfälle anwenden lassen.Measurement data in form of time series of scientific experiments is stored in relational databases for efficient processing. Complementary, Semantic Web technologies have been developed in the last years for describing domain knowledge in form of ontologies. Due to their open architecture, foreign ontologies and resources can be easily referenced and integrated. Since Semantic Web technologies are based on predicate logic, they are suitable for formal modeling. Therefore, using reasoning implicit knowledge can be derived from ontologies. This work introduces semantic (database) annotations to link databases and ontologies to take advantage of both together by describing database contents with Semantic Web technologies. An architecture is developed for the combined handling and usage of these two technologies, which is designed in respect of scalability of large amounts of measurement data. Based on this architecture, concepts for visualizing and interacting with annotations are introduced. Furthermore, semantic annotations are used for formally modeling events in time series using finite state machines, which are computed using reasoning. An implementation is introduced to demonstrate the feasibility and advantages of the discussed concepts. The presented application Semantic Database Browser allows using semantic database annotations and interactively working with them for integrated handling of formally described measurement data. Formal models can be easily exchanged and reused to support reusability of knowledge and cooperation. By describing measurement data with models, data becomes much easier to understand. Using an example of events during driving, it is demonstrated how formal description can be used for automatic reasoning to generate additional knowledge about driving maneuvers without any additional effort. Because the presented approaches are domain independent, they can be easily adapted for other use cases

Die Kraft der digitalen Unordnung. 32. Arbeits- und Fortbildungstagung der ASpB e.V., Sektion 5 im Deutschen Bibliotheksverband, 22. bis 25. September 2009 in der Universität Karlsruhe

Proceedings der 32. Tagung der Arbeitsgemeinschaft der Spezialbibliotheken in der UB Karlsruhe mit dem Motto "Die Kraft der digitalen Unordnung". Behandelt wurden u.a. die Themen: 24-Stunden Bibliothek, Urheberrecht, Bibliothek 2.0, Open Access, Digitale Objekte, Bibliometrie, Mehrwertschaffung, Informationskompetenz, Spezialbibliotheken im europäischen Kontext, Auswirkungen der digitalen Revolution auf Spezialbibliotheken sowie Entwicklungen im Bibliotheks- und Dokumentationswesen des Landbaus