Eine agentenbasierte Architektur für Programmierung mit gesprochener Sprache

Sprachgesteuerte Computersysteme werden heutzutage von Millionen von Nutzern verwendet; Chatbots, virtuelle Assistenten, wie Siri oder Google Assistant, und Smarthomes sind längst fester Bestandteil des Alltags vieler Menschen. Zwar erscheinen derartige Systeme inzwischen intelligent; tatsächlich reagieren sie aber nur auf einzelne Befehle, die zudem bestimmte Formulierungen erfordern. Die Nutzer sind außerdem auf vorgefertigte Funktionalitäten beschränkt; neue Befehle können nur von Entwicklern einprogrammiert und vom Hersteller zur Verfügung gestellt werden. In Zukunft werden Nutzer erwarten, intelligente Systeme nach ihren Bedürfnissen anzupassen, das heißt programmieren zu können. Das in dieser Arbeit beschriebene System ProNat ermöglicht Endnutzer-Programmierung mit gesprochener Sprache. Es befähigt Laien dazu, einfache Programme für unterschiedliche Zielsysteme zu beschreiben und deren Funktionalität zu erweitern. ProNat basiert auf PARSE, einer eigens entworfenen agentenbasierten Architektur für tiefes Sprachverständnis. Das System ermöglicht die Verwendung alltäglicher Sprache zur Beschreibung von Handlungsanweisungen. Diese werden von ProNat als Programm für ein Zielsystem interpretiert, das eine Anwendungsschnittstelle zur Endnutzer-Programmierung anbietet. Bisherige Ansätze zur Programmierung mit natürlicher Sprache ermöglichen nur die Erzeugung kurzer Programme anhand textueller Beschreibungen. Da die meisten Systeme monolithisch entworfen wurden, können sie zudem nur mit großem Aufwand adaptiert werden und sind überwiegend auf die Anwendung einer Technik (z. B. maschinelles Lernen) sowie auf eine Anwendungsdomäne festgelegt (z. B. Tabellenkalkulation). Ansätze, die gesprochene Sprache verarbeiten, können hingegen bisher nur einzelne Befehle erfassen. Um die Restriktionen bisheriger Ansätze aufzuheben, wird eine neuartige Architektur entworfen. Die Kernkomponenten der Architektur PARSE bilden unabhängige Agenten, die je einen bestimmten Aspekt der natürlichen Sprache analysieren. Die Kapselung in unabhängige Agenten ermöglicht es, je Teilaspekt zum Verständnis der Sprache eine andere Technik zu verwenden. Die Agenten werden nebenläufig ausgeführt. Dadurch können sie von Analyseergebnissen anderer Agenten profitieren; unterschiedliche Sprachanalysen können sich so gegenseitig unterstützen. Beispielsweise hilft es, sprachliche Referenzen wie Anaphern aufzulösen, um den Kontext des Gesagten zu verstehen; manche Referenzen können wiederum nur mithilfe des Kontextes aufgelöst werden. Ihr Analyseergebnisse hinterlegen die Agenten in einer geteilten Datenstruktur, einem Graphen. Die Architektur stellt sicher, dass keine Wettlaufsituationen eintreten und nur gültige Änderungen am Graphen durchgeführt werden. Die Agenten werden so lange wiederholt ausgeführt, bis keine oder nur noch zyklische Änderungen eintreten. Neben den Agenten gibt PARSE die Verwendung von Fließbändern zur Vor- und Nachverarbeitung vor. Zudem können externe Ressourcen, wie Wissensdatenbanken oder Kontextmodellierungen, angeschlossen werden. Das System ProNat entsteht, indem konkrete Agenten und Fließbandstufen für die Rahmenarchitektur PARSE bereitgestellt werden. Zusätzlich werden Informationen über die Anwendungsdomäne (das heißt die Anwendungsschnittstelle des Zielsystems und gegebenenfalls eine Modellierung der Systemumgebung) in Form von Ontologien als externe Ressource angebunden. Eine gesprochene Äußerung wird von ProNat vorverarbeitet, indem zunächst das Audiosignal in eine textuelle Wortsequenz überführt wird. Anschließend erfolgt eine grundlegende syntaktische Analyse, bevor ein initialer Graph als Analysegrundlage für die Agenten erzeugt wird. Die Interpretation des Gesagten als Programm obliegt den Agenten. Es wurden sechzehn Agenten entwickelt, die sich in drei Kategorien unterteilen lassen: Erstens, Agenten, die allgemeine Sprachverständnis-Analysen durchführen, wie die Disambiguierung von Wortbedeutungen, die Auflösung von sprachlichen Referenzen oder die Erkennung von Gesprächsthemen. Zweitens, Agenten, die das Gesagte auf programmatische Strukturen, wie Anwendungsschnittstellenaufrufe oder Kontrollstrukturen, untersuchen; hierzu zählt auch ein Agent, der aus verbalisierten Lehrsequenzen Methodendefinitionen synthetisiert. Da die Agenten unabhängig voneinander agieren, kann zur Lösung der jeweiligen Problemstellung eine beliebige Technik eingesetzt werden. Die Agenten zur Erkennung von Kontrollstrukturen verwenden beispielsweise Heuristiken, die auf syntaktischen Strukturen basieren, um ihre Analysen durchzuführen. Andere Agenten, wie die Agenten zur Disambiguierung von Wortbedeutungen oder zur Bestimmung der Gesprächsthemen, verwenden Wikipedia, Wordnet oder ähnliche Quellen und inferieren anhand dieser Informationen. Zuletzt verwenden einige Agenten, wie beispielsweise der Agent zur Erkennung von Lehrsequenzen, maschinelles Lernen. Die Interpretation einer gesprochenen Äußerung erfolgt dementsprechend mittels einer Kombination von sowohl regel- als auch statistik- und wissensbasierten Techniken. Dank der strikten Trennung der Agenten können diese einzeln (und zumeist unabhängig voneinander) evaluiert werden. Hierzu wurden parallel zur Entwicklung der Agenten fortwährend mithilfe von Nutzerstudien realistische Eingabebeispiele gesammelt. Für jeden Agenten kann somit überprüft werden, ob er einen zufriedenstellenden Beitrag zur Interpretation des Gesagten beiträgt. Das gemeinschaftliche Analyseergebnis der Agenten wird in der Nachverarbeitung sukzessive in ein konkretes Programm übersetzt: Zunächst wird ein abstrakter Syntaxbaum generiert, der anschließend in Quelltext zur Steuerung eines Zielsystems überführt wird. Die Fähigkeit des Systems ProNat, aus gesprochenen Äußerungen Quelltext zu generieren, wurde anhand von drei unabhängigen Untersuchungen evaluiert. Als Datengrundlage dienen alle in den Nutzerstudien gesammelten natürlichsprachlichen Beschreibungen. Zunächst wurden für eine Online-Studie UML-Aktivitätsdiagramme aus gesprochenen Äußerungen generiert und 120 Probanden zur Bewertung vorgelegt: Der überwiegende Teil der Aktivitätsdiagramme (69%) wurde von der Mehrheit der Probanden als vollständig korrekt eingestuft, ein vielversprechendes Ergebnis, da die gesprochenen Äußerungen die Synthese von bis zu 24 Anweisungen (bzw. Aktivitäten) sowie Kontrollstrukturen erfordern. In einer zweiten Untersuchung wurde Java-Quelltext, bestehend aus Aufrufen einer Anwendungsschnittstelle zur Steuerung eines humanoiden Roboters, synthetisiert und mit einer Musterlösung verglichen: ProNat konnte Aufrufe meist korrekt erzeugen (F1: 0,746); auch die Synthese von Kontrollstrukturen gelingt in 71% der Fälle korrekt. Zuletzt wurde untersucht, wie gut ProNat anhand von natürlichsprachlichen Beschreibungen neue Funktionen erlernen kann: Verbalisierte Lehrsequenzen werden mit einer Genauigkeit von 85% in Äußerungen erkannt. Aus diesen leitet ProNat Methodendefinitionen ab; dabei gelingt es in über 90% der Fälle, einen sprechenden Methodennamen zu erzeugen. Auch der Aufruf der neu erlernten Funktion (durch natürlichsprachliche Anweisungen) gelingt mit einer Genauigkeit von 85%. Zusammengenommen zeigen die Untersuchungen, dass ProNat grundsätzlich in der Lage ist, Programme aus gesprochenen Äußerungen zu synthetisieren; außerdem können neue Funktionen anhand natürlichsprachlicher Beschreibungen erlernt werden

Eine agentenbasierte Architektur für Programmierung mit gesprochener Sprache

The system described in this work, called ProNat, makes end-user programming with spoken language possible. It enables non-experts to describe programs for different target systems and to extend their functionality using everyday language. ProNat is based on PARSE, a specially designed agent-based framework architecture. In three independent studies, ProNat has proven to be principally capable of synthesizing programs from spoken utterances

Wissensintegration von generischem und fallbasiertem Wissen, uniforme Repräsentation, Verwendung relationaler Datenbanksysteme sowie Problemlösen mit Concept Based und Case Based Reasoning sowie Bayesschen Netzen in medizinischen wissensbasierten Systemen

Ein wissensbasiertes System soll den Mediziner im Rahmen der Diagnosestellung unterstützen, indem relevante Informationen bereitgestellt werden. Aus komplexen Symptomkonstellationen soll eine zuverlässige Diagnose und damit verbundene medizinische Maßnahmen abgeleitet werden. Grundlage dafür bildet das im System adäquat repräsentierte Wissen, das effizient verarbeitet wird. Dieses Wissen ist in der medizinischen Domäne sehr heterogen und häufig nicht gut strukturiert. In der Arbeit wird eine Methodik entwickelt, die die begriffliche Erfassung und Strukturierung der Anwendungsdomäne über Begriffe, Begriffshierarchien, multiaxiale Komposition von Begriffen sowie Konzeptdeklarationen ermöglicht. Komplexe Begriffe können so vollständig, eindeutig und praxisrelevant abgebildet werden. Darüber hinaus werden mit der zugrunde liegenden Repräsentation Dialogsysteme, fallbasierte und generische Problemlösungsmethoden sowie ihr Zusammenspiel mit relationalen Datenbanken in einem System vorgestellt. Dies ist vor allem im medizinischen Diskursbereich von Bedeutung, da zur Problemlösung generisches Wissen (Lehrbuchwissen) und Erfahrungswissen (behandelte Fälle) notwendig ist. Die Wissensbestände können auf relationalen Datenbanken uniform gespeichert werden. Um das vorliegende Wissen effizient verarbeiten zu können, wird eine Methode zur semantischen Indizierung vorgestellt und deren Anwendung im Bereich der Wissensrepräsentation beschrieben. Ausgangspunkt der semantischen Indizierung ist das durch Konzepthierarchien repräsentierte Wissen. Ziel ist es, den Knoten (Konzepten) Schlüssel zuzuordnen, die hierarchisch geordnet und syntaktisch sowie semantisch korrekt sind. Mit dem Indizierungsalgorithmus werden die Schlüssel so berechnet, dass die Konzepte mit den spezifischeren Konzepten unifizierbar sind und nur semantisch korrekte Konzepte zur Wissensbasis hinzugefügt werden dürfen. Die Korrektheit und Vollständigkeit des Indizierungsalgorithmus wird bewiesen. Zur Wissensverarbeitung wird ein integrativer Ansatz der Problemlösungsmethoden des Concept Based und Case Based Reasoning vorgestellt. Concept Based Reasoning kann für die Diagnose-, Therapie- und Medikationsempfehlung und -evaluierung über generisches Wissen verwendet werden. Mit Hilfe von Case Based Reasoning kann Erfahrungswissen von Patientenfällen verarbeitet werden. Weiterhin werden zwei neue Ähnlichkeitsmaße (Kompromissmengen für Ähnlichkeitsmaße und multiaxiale Ähnlichkeit) für das Retrieval ähnlicher Patientenfälle entwickelt, die den semantischen Kontext adäquat berücksichtigen. Einem ausschließlichen deterministischen konzeptbasiertem Schließen sind im medizinischen Diskursbereich Grenzen gesetzt. Für die diagnostische Inferenz unter Unsicherheit, Unschärfe und Unvollständigkeit werden Bayessche Netze untersucht. Es können so die gültigen allgemeinen Konzepte nach deren Wahrscheinlichkeit ausgegeben werden. Dazu werden verschiedene Inferenzmechanismen vorgestellt und anschließend im Rahmen der Entwicklung eines Prototypen evaluiert. Mit Hilfe von Tests wird die Klassifizierung von Diagnosen durch das Netz bewertet.:1 Einleitung 2 Medizinische wissensbasierte Systeme 3 Medizinischer Behandlungsablauf und erweiterter wissensbasierter Agent 4 Methoden zur Wissensrepräsentation 5 Uniforme Repräsentation mit Begriffshierachien, Konzepten, generischem und fallbasierten Schließen 6 Semantische Indizierung 7 Medizinisches System als Beispielanwendung 8 Ähnlichkeitsmaße, Kompromissmengen, multiaxiale Ähnlichkeit 9 Inferenzen mittels Bayesscher Netze 10 Zusammenfassung und Ausblick A Ausgewählte medizinische wissensbasierte Systeme zur Entscheidungsunterstützung aus der Literatur B Realisierung mit Softwarewerkzeugen C Causal statistic modeling and calculation of distribution functions of classification featuresA knowledge-based system is designed to support the medical professionals in the diagnostic process by providing relevant information. A reliable diagnosis and associated medical measures are to be derived from complex symptom constellations. It is based on the knowledge adequately represented in the system, which is processed efficiently. This knowledge is very heterogeneous in the medical domain and often not well structured. In this work, a methodology is developed that enables the conceptual capture and structuring of the application domain via concepts, conecpt hierarchies, multiaxial composition of concepts as well as concept declarations. Complex concepts can thus be mapped completely, clearly and with practical relevance. Furthermore, the underlying representation introduces dialogue systems, \acrlong{abk:CBR} and generic problem solving methods as well as their interaction with relational databases in one system. This is particularly important in the field of medical discourse, since generic knowledge (textbook knowledge) and experiential knowledge (treated cases) are necessary for problem solving. The knowledge can be stored uniformly on relational databases. In order to be able to process the available knowledge efficiently, a method for semantic indexing is presented and its application in the field of knowledge representation is described. The starting point of semantic indexing is the knowledge represented by concept hierarchies. The goal is to assign keys to the nodes (concepts) that are hierarchically ordered and syntactically and semantically correct. With the indexing algorithm, the keys are calculated in such a way that the concepts are unifiable with the more specific concepts and only semantically correct concepts may be added to the knowledge base. The correctness and completeness of the indexing algorithm is proven. An integrative approach of the problem-solving methods of Concept Based and \acrlong{abk:CBR} is presented for knowledge processing. Concept Based Reasoning can be used for diagnosis, therapy and medication recommendation and evaluation via generic knowledge. Case Based Reasoning can be used to process experiential knowledge of patient cases. Furthermore, two new similarity measures (compromise sets for similarity measures and multiaxial similarity) are developed for the retrieval of similar patient cases that adequately consider the semantic context. There are limits to an exclusively deterministic Concept Based Reasoning in the medical domain. For diagnostic inference under uncertainty, vagueness and incompleteness Bayesian networks are investigated. The method is based on an adequate uniform representation of the necessary knowledge. Thus, the valid general concepts can be issued according to their probability. To this end, various inference mechanisms are introduced and subsequently evaluated within the context of a developed prototype. Tests are employed to assess the classification of diagnoses by the network.:1 Einleitung 2 Medizinische wissensbasierte Systeme 3 Medizinischer Behandlungsablauf und erweiterter wissensbasierter Agent 4 Methoden zur Wissensrepräsentation 5 Uniforme Repräsentation mit Begriffshierachien, Konzepten, generischem und fallbasierten Schließen 6 Semantische Indizierung 7 Medizinisches System als Beispielanwendung 8 Ähnlichkeitsmaße, Kompromissmengen, multiaxiale Ähnlichkeit 9 Inferenzen mittels Bayesscher Netze 10 Zusammenfassung und Ausblick A Ausgewählte medizinische wissensbasierte Systeme zur Entscheidungsunterstützung aus der Literatur B Realisierung mit Softwarewerkzeugen C Causal statistic modeling and calculation of distribution functions of classification feature

Service-Interoperabilität für naturwissenschaftliche Anwendungen : Identifikation und Anpassung von komponentenbasierten Service-Mediatoren

In der Softwareentwicklung wird die Serviceorientierung als neues Realisierungsparadigma propagiert. Sie erlaubt lose gekoppelte Services bedarfsbezogen in Workflows zu aggregieren. Hierbei ist die Überbrückung der Heterogenität dieser Services ein anerkanntes Problem von hohem wirtschaftlichem Interesse. Es besteht der Bedarf die Service-Interoperabilität weitestgehend automatisch herzustellen. In dieser Arbeit wurde ein Konzept für Service-Mediatoren entwickelt, die über eine offene und erweiterbare, software-unterstützte Prozedur (semi-)automatisch identifiziert und problembezogen in einen Workflow eingebettet werden können. Service-Mediatoren über\-brücken die Heterogenität der einzelnen Services und erzielen so die geforderte Service-Interoperabilität. Die offene Architektur und Entwicklung dieser Prozedur erlaubt erstmals die Vorteile gängiger Ansätze zu integrieren. Um einmal entwickelte Service-Mediatoren in verschiedenen Workflows einsetzen und wiederverwenden zu können, bedarf es ihrer gezielten Identifikation und Anpassung. Leider stellt gerade die Suche nach benötigten Service-Mediatoren ein besonders schwieriges Problem da. Dies gilt insbesondere, wenn erst mehrere geeignet verknüpfte Service-Mediatoren zusammen die Service-Interoperabilität erreichen und bereits bei der Suche diese Kombination identifiziert werden muss. Die Aspekte der Suche und der Anpassung erfordern eine Beschreibungssprache, die die Fähig\-keiten eines Service-Mediators sowohl syntaktisch als auch semantisch beschreiben kann. Mit der Mediator Profile Language (MPL) wurde eine derartige, auf OWL basierende Beschreibungssprache entwickelt, die die Grundlage des entworfenen Komponentenmodells der Service-Mediatoren bildet. Sie erlaubt u. a. die Beschreibung der Komposition mehrerer Service-Mediatoren, sowie deren Konfiguration über zustandsbehaftete Eigenschaftsfelder. Die semantische Annotation eines Service-Mediators geschieht hierbei über Konzepte einer Domänenontologie. Im Rahmen dieser Arbeit wurden Matchmaking-Algorithmen zur Suche entwickelt, die eine Identifikation adäquater Service-Mediatoren und deren Komposition erlauben. Durch den Einsatz von Ontologien zur semantischen Annotation der Service-Mediatoren kann die Suche auch über rein syntaktische Merkmale hinaus durchgeführt werden. Trotz der den Servicebeschreibungen innewohnenden Unschärfe wurde ein Verfahren realisiert, welches die Servicebeschreibungen auf MPL abbildet und dabei eine automatische Annotation durch die Konzepte einer Ontologie vornimmt. Die Matchmaking-Algorithmen wurden auch auf das Problem der semantischen Suche nach Service-Operationen übertragen. Die entwickelten ontologiebasierten Matchmaking-Verfahren liefern im Vergleich zu Standard-IR-Techniken signifikant bessere Ergebnisse, wie durch entsprechende Benchmarks mit anschließender Messung von Precision und Recall gezeigt werden konnte.Service Interoperability for Science Applications - Identification and Adaptation of Component-Based Service MediatorsService-orientation is a new software paradigm for building distributed, component-based software. It allows the aggregation of loosely coupled services into value-added workflows. In this context the gap between heterogeneous services is an accepted problem with particular commercial interest. Thus, there is the need to create service interoperability semi-automatically. In this thesis the concept of service mediators is developed. Through a software-aided procedure service mediators are identified, adapted and integrated into workflows in order to bridge the heterogeneity of different services. Service mediators are software components realizing for instance transformation facilities. The open architecture of the developed procedure allows the integration of benefits from current approaches. The discovery of relevant service mediators is a difficult problem, especially if several service mediators have to be combined adequately to reach the desired service interoperability. One major challenge is that such compositions have to be identified during discovery. The discovery and adaptation phases of the software-aided procedure require a suitable description of the capabilities of service mediators. Such a description should contain both syntactical and semantical information. The OWL-based Mediator Profile Language (MPL) addresses these issues. MPL permits among other things the description of compositions of service mediators as well as their customization by stateful properties. Semantical information is assigned by concepts of a domain ontology. In this dissertation different matchmaking algorithms were developed supporting the user in identifying relevant service mediators as well as new compositions of service mediators. Requirements for service mediators are derived from service descriptions and represented by query profiles in MPL. Even though the service descriptions are fuzzy the query generation algorithm automatically creates semantical annotations by mapping syntactical information to concepts of the domain ontology. These annotations are also stored within the query profile. Due to the application of the domain ontology the discovery process enables not only syntactical matchmaking but also semantical matchmaking. Furthermore, the matchmaking algorithms were transferred to the problem of discovering service operations. By measuring precision and recall it could be shown that ontology-based matchmaking is advantageously over standard information retrieval techniques

Informationsmanagement

Programm: Wilhelm Held: Zur Bedeutung des Informationsmanagements Christian Schild: Unternehmensinterne Suchmaschine Jörg Lorenz: Portale zum zentralen Einstieg in die Arbeitsumgebung Reinhard Mersch: Identitätsmanagement Georg Richter: Informationsverarbeitung in sicheren Infrastrukturen Ludger Elkemann: Kundenfreundliche Telefonauskunf

Ein Semantisches Web für die Universitätsbibliothek Heidelberg

Die Masterthesis richtet sich an alle Interessierten des Semantischen Webs und des Wissensmanagements sowie an Webentwickler, die an neuen Technologien interessiert sind. In die Datenspeicher von Firmen, Universitäten oder des privaten PC gelangen täglich neue Informationen, wodurch ein Informationsüberfluss entsteht. Des Weiteren sind diese Daten oftmals unstrukturiert abgelegt. Das Problem wurde von Forschern frühzeitig erkannt. Seit mehreren Jahren wird daran geforscht, Wissen besser zu verwalten. Ein Konzept, dessen Umsetzung genau dieses zum Ziel hat, wird als das Semantische Web bezeichnet. Mit dessen Hilfe könnte sich ein weltweites strukturiertes Netz von Informationen schaffen lassen. Dabei werden XML-verwandte Technologien verwendet, welche die einzelnen Informationen mit standardisierten Attributen beschreiben und in einem Netzwerk von Verbindungen abzulegen. Durch die Spezifikation der einzelnen Attribute kann von diversen Programmen auf semantischer Ebene auf das Wissen zugegriffen werden. Die Masterthesis beschreibt das Konzept, welches hinter dem Semantischen Web steht und implementiert eine praktische Anwendung mit SemantischenWeb Technologien. Zur Realisierung dieses Projekts werden die verschiedenen Sprachen RDF/S und OWL analysiert und eingesetzt. Des Weiteren erfolgt eine Analyse verschiedener Semantischer Web Werkzeuge. Das Ergebnis der Masterthesis zeigt, dass es durch das Semantische Web möglich ist, bessere Suchresultate zu erzielen als durch gegenwärtige Datenbankrecherchen und dass sich der Mehraufwand zur Entwicklung eines semantischen Webs lohnt