Informationsbeschaffung aus digitalen Textressourcen - Domänenadaptive Verfahren zur Strukturierung heterogener Textdokumente

In der heutigen Informationsgesellschaft sind Personen häufig mit der sogenannten Informationsüberflutung konfrontiert. Dies bedeutet, dass es aufgrund der enormen Menge insbesondere digital verfügbarer textueller Ressourcen zu einer Überforderung bei der Identifikation relevanter Informationen kommen kann. Bislang ist eine Unterstützung bei dieser Aufgabe vorrangig über Volltextsuchen in Textsammlungen möglich, die jedoch keine komplexen Suchanfragen mit Beschreibung unterschiedlicher Aspekte der Suchanfrage erlauben. Werkzeuge zur elaborierten Suche, welche es erlauben, einzelne Aspekte der zu suchenden Information zu beschreiben, existieren nur in spezifischen Domänen. Ein wesentlicher Grund hierfür ist, dass die zu durchsuchenden digitalen Textressourcen meist in unstrukturierter Form vorliegen. Damit ist kein einheitlicher, gezielter Zugriff auf spezifische Informationen innerhalb der Dokumente möglich, welcher die Realisierung solcher Werkzeuge vereinfachen würde. Strukturierte Repräsentationen der Dokumente, in denen die Bedeutung einzelner Textfragmente für die in den Dokumenten beschriebenen Entitäten zu erkennen ist, würden diesen Zugriff ermöglichen. Im Rahmen dieser Dissertation wird untersucht, mit welchen Verfahren textuelle Dokumente automatisiert in eine strukturierte Repräsentation überführt werden können. Existierende Ansätze mit gleicher oder ähnlicher Zielsetzung sind meist für spezifische Anwendungsdomänen entwickelt und lassen sich nur schwer in andere Domänen übertragen. Bei Einsatz in neuen Domänen müssen bislang somit vollständig neue Ansätze zur Strukturierung entworfen werden oder zur Übertragung von Ansätzen ein großer manueller Aufwand erbracht werden. Daraus resultiert die Notwendigkeit, domänenadaptive Verfahren zur Strukturierung von Textressourcen zu entwickeln. Dem steht als wesentliche Herausforderung die Heterogenität von Anwendungsdomänen hinsichtlich verschiedener Kriterien wie verwendeter Dokumentenformate, vorherrschender Textlänge und domänenspezifischer Terminologie entgegen. Die Untersuchung von fünf ausgewählten heterogenen Anwendungsdomänen zeigte, dass bestimmte Typen von Informationen domänenübergreifend von Relevanz sind. Daher wurden für drei dieser Typen Verfahren konzipiert, welche Informationen dieser Typen in heterogenen Dokumenten identifizieren können. Hierbei wurde sichergestellt, dass für die erstmalige Anwendung der Verfahren in einer spezifischen Domäne möglichst wenig manueller Aufwand erforderlich ist, um die Anforderung der Domänenadaptivität der Verfahren zu berücksichtigen. Zur Reduktion des manuellen Aufwands wurden Techniken des maschinellen Lernens, wie der Ansatz des Active Learning, sowie existierende, frei verfügbare Wissensbasen verwendet. Die konzipierten Verfahren wurden implementiert und unter Verwendung von Textkorpora aus den zuvor analysierten Domänen evaluiert. Dabei konnte gezeigt werden, dass die Identifikation von Informationen dieser drei Typen mit hoher Güte möglich ist und gleichzeitig eine gute Domänenadaptivität erreicht wird. Weiterhin wurden unabhängige Verfahren zur Identifikation von Informationen der einzelnen Typen kombiniert, um eine Strukturierung kompletter Dokumente durchführen zu können. Dieses Konzept wurde in einer Fallstudie für eine der Anwendungsdomänen implementiert und unter Verwendung eines Textkorpus aus dieser Domäne evaluiert. Die Resultate bestätigen, dass eine Strukturierung mittels Kombination der Verfahren zur Identifikation der Informationen der einzelnen Typen erreicht werden kann. Unter Verwendung der in dieser Dissertation vorgestellten domänenadaptiven Verfahren lassen sich strukturierte Repräsentationen aus unstrukturierten digitalen Textressourcen erstellen, die die vereinfachte Realisierung von Werkzeugen zur Informationsbeschaffung ermöglichen. Die daraus resultierenden Möglichkeiten für elaborierte Werkzeuge zur Informationsbeschaffung reduzieren die Überforderung der Nutzer bei der Identifikation relevanter Informationen

Werkzeuge für Rechtsdatenbanken

Wenn in Rechtstexten Wissen über das Recht enthalten ist, dann müsste in vielen Texten viel Recht zu finden sein. Die Korpuslinguistik bearbeitet linguistische Fragestellungen anhand großer Textmengen, die ausgewählt, erworben, aufbereitet (annotiert) und dann durchsucht/bearbeitet werden. Die fünf Kapitel dieser Arbeit widmen sich jeweils einem wichtigen Thema, zu dem Methoden vorgestellt, in Werkzeugen implementiert und diskutiert werden. Im ersten Kapitel (Dokumentklassifikation) wird eine Methode vorgestellt, mit der gezielt Rechtstexte aus dem Internet ausgewählt, akquiriert und geordnet in ein Korpus abgelegt werden können. Auch hier sollen die Voraussetzungen so gering wie möglich gehalten werden, damit möglichst breiter Gebrauch von der Methode gemacht werden kann. Die Einteilung des Rechts in einzelne Fachgebiete hat weitreichende Folgen. Sowohl Texte wie Rechtskonzepte erlangen ihre spezielle Bedeutung durch ihr Fachgebiet. Das zweite Kapitel (Fachgebietsklassifikation) gibt einen Überblick über die Problematik der Fachgebietseinteilung und stellt zwei automatische Fachgebietserkenner vor, die diese Spezialaufgabe besser lösen als die in Kapitel 1 vorgestellte allgemeine Dokumentklassifikation. Eine große Veränderung erfährt die Rechtsterminologie und -terminografie durch den Übergang von der physischen zur elektronischen Schrift. Damit muss nicht mehr eine Darstellungsweise allen Anforderungen gerecht werden, sondern die Darstellung kann dynamisch an die Umstände angepasst werden. Im dritten Kapitel (Dynamische Termdarstellung) wird das Konzept einer dynamischen Termdarstellung vorgestellt und seine technische Umsetzung skizziert. Das vierte Kapitel Termextraktion durch Beispielterme stellt eine automatische Termextraktionsmethode vor, die mit relativ geringen Voraussetzungen gute Ergebnisse liefert und damit für weniger stark verbreitete Sprachen eine Alternative zu kommerziellen Programmen darstellt. Dieses Instrument kann bei der zentralen Aufgabenstellung der Terminografie, dem Auffinden und der Auswahl der Termini, eingesetzt werden. Hier wird aber auch gezeigt, wie die Termextraktion zur Indizierung des in den meisten terminografischen Projekten vorhandenen Hintergrundkorpus verwendet werden kann. Das fünfte Kapitel (Organisation rechtlichen Wissens) gibt einen Überblick über die vielfältigen Möglichkeiten der Einteilung und Repräsentation von (rechtlichem) Wissen. Eine Methode der Wissensrepräsentation mit formaler Sprache, die logische Operationen ermöglicht, ist eine Ontologie. Es wurde eine Ontologie für eine Rechtsdatenbank erstellt und alle damit zusammenhängenden Aspekte diskutiert. Im Fazit wird schließlich diskutiert, für welche Bereiche der Arbeit mit Rechtsdatenbanken bereits jetzt relativ einfache Werkzeuge zur Verfügung stehen und wo die Entwicklung von weiteren Werkzeugen ansetzen könnte. Die Kapitel sind so geschrieben, dass sie auch einzeln gelesen werden können, ohne jedoch allzu starke Überschneidungen zuzulassen.La thèse de doctorat «Outils pour des bases de données juridiques» traîte des méthodes linguistiques et informatiques pour comprendre, mémoriser et communiquer des connaissances juridiques. Les sujets traités sont: I. La classification de documents Je discute les classes importantes pour des documents juridiques et je propose une classi-fication automatique qui n’utilise pas seulement le texte du document, mais aussi d’autres critères comme l’adresse du document, l’adresse des liens et le contexte de la recherche de documents. II. L’identification de disciplines en terminographie Je prétends que toute répartition en disciplines et sous-disciplines est par nature relative. Puis je présente deux méthodes pour l’identification de la discipline d’un texte. La pre-mière utilise les termes et la deuxième les textes (définitions et contextes) présents dans la base de données terminographique. III. La présentation dynamique de termes Je discute les problèmes de la présentation de termes traditionnelle pour livres et les avantages d’une présentation adaptée dynamiquement aux besoins concrets de chaque client. Pour prouver la faisabilité de cette nouvelle approche, j’indique la technologie applicable pour chaque fonction et je présente une mise en œuvre dans le système termi-nographique BISTRO (www.eurac.edu/bistro) IV. L’extraction de termes Je discute les caractéristiques des trois méthodes pour l’extraction de termes. Après je montre l’efficacité de la méthode basée sur des exemples lors d’une expérience. L’outil est librement accessible en Internet et peut servir pour l’indexation d’un corpus. V. L’organisation du savoir juridique Je discute exhaustivement tous les systèmes répandus d’organisation du savoir, de mots-clés jusqu’aux ontologies. Ensuite je décrits le procédé et les problèmes concrets pour organiser une base de données juridiques avec une ontologie

Probabilistische Szenenmodelle für die Luftbildauswertung

The interpretation of aerial and satellite imagery requires significant experience and expert knowledge and therefore is mainly performed by professional image interpreters. So far, automatic methods are not able to provide comparable results but they can be used to support the manual image interpretation process. This work shows how the benefits of manual and automatic image interpretation can be adequately combined in an interactive image interpretation system

Probabilistische Szenenmodelle für die Luftbildauswertung

Die Auswertung von Luft- und Satellitenbildern erfordert ein hohes Maß an Erfahrung und Expertenwissen und wird daher durch professionelle Bildauswerter durchgeführt. Rein automatische Verfahren bis heute häufig keine vergleichbaren Ergebnisse liefern, jedoch können sie den manuellen Auswerteprozess unterstützen. Diese Arbeit zeigt, wie die Vorteile von manueller und automatischer Auswertung in einem interaktiven Bildanalysesystem geeignet kombiniert werden können

Digital Intelligence – Möglichkeiten und Umsetzung einer informatikgestützten Frühaufklärung: Digital Intelligence – opportunities and implementation of a data-driven foresight

Das Ziel der Digital Intelligence bzw. datengetriebenen Strategischen Frühaufklärung ist, die Zukunftsgestaltung auf Basis valider und fundierter digitaler Information mit vergleichsweise geringem Aufwand und enormer Zeit- und Kostenersparnis zu unterstützen. Hilfe bieten innovative Technologien der (halb)automatischen Sprach- und Datenverarbeitung wie z. B. das Information Retrieval, das (Temporal) Data, Text und Web Mining, die Informationsvisualisierung, konzeptuelle Strukturen sowie die Informetrie. Sie ermöglichen, Schlüsselthemen und latente Zusammenhänge aus einer nicht überschaubaren, verteilten und inhomogenen Datenmenge wie z. B. Patenten, wissenschaftlichen Publikationen, Pressedokumenten oder Webinhalten rechzeitig zu erkennen und schnell und zielgerichtet bereitzustellen. Die Digital Intelligence macht somit intuitiv erahnte Muster und Entwicklungen explizit und messbar. Die vorliegende Forschungsarbeit soll zum einen die Möglichkeiten der Informatik zur datengetriebenen Frühaufklärung aufzeigen und zum zweiten diese im pragmatischen Kontext umsetzen. Ihren Ausgangspunkt findet sie in der Einführung in die Disziplin der Strategischen Frühaufklärung und ihren datengetriebenen Zweig – die Digital Intelligence. Diskutiert und klassifiziert werden die theoretischen und insbesondere informatikbezogenen Grundlagen der Frühaufklärung – vor allem die Möglichkeiten der zeitorientierten Datenexploration. Konzipiert und entwickelt werden verschiedene Methoden und Software-Werkzeuge, die die zeitorientierte Exploration insbesondere unstrukturierter Textdaten (Temporal Text Mining) unterstützen. Dabei werden nur Verfahren in Betracht gezogen, die sich im Kontext einer großen Institution und den spezifischen Anforderungen der Strategischen Frühaufklärung pragmatisch nutzen lassen. Hervorzuheben sind eine Plattform zur kollektiven Suche sowie ein innovatives Verfahren zur Identifikation schwacher Signale. Vorgestellt und diskutiert wird eine Dienstleistung der Digital Intelligence, die auf dieser Basis in einem globalen technologieorientierten Konzern erfolgreich umgesetzt wurde und eine systematische Wettbewerbs-, Markt- und Technologie-Analyse auf Basis digitaler Spuren des Menschen ermöglicht.:Kurzzusammenfassung 2 Danksagung 3 Inhaltsverzeichnis 5 Tabellenverzeichnis 9 Abbildungsverzeichnis 10 A – EINLEITUNG 13 1 Hintergrund und Motivation 13 2 Beitrag und Aufbau der Arbeit 16 B – THEORIE 20 B0 – Digital Intelligence 20 3 Herleitung und Definition der Digital Intelligence 21 4 Abgrenzung zur Business Intelligence 23 5 Übersicht über unterschiedliche Textsorten 24 6 Informetrie: Bibliometrie, Szientometrie, Webometrie 29 7 Informationssysteme im Kontext der Digital Intelligence 31 B1 – Betriebswirtschaftliche Grundlagen der Digital Intelligence 36 8 Strategische Frühaufklärung 37 8.1 Facetten und historische Entwicklung 37 8.2 Methoden 41 8.3 Prozess 42 8.4 Bestimmung wiederkehrender Termini 44 8.5 Grundlagen der Innovations- und Diffusionsforschung 49 B2 – Informatik-Grundlagen der Digital Intelligence 57 9 Von Zeit, Daten, Text, Metadaten zu multidimensionalen zeitorientierten (Text)Daten 59 9.1 Zeit – eine Begriffsbestimmung 59 9.1.1 Zeitliche Grundelemente und Operatoren 59 9.1.2 Lineare, zyklische und verzweigte Entwicklungen 62 9.1.3 Zeitliche (Un)Bestimmtheit 62 9.1.4 Zeitliche Granularität 63 9.2 Text 63 9.2.1 Der Text und seine sprachlich-textuellen Ebenen 63 9.2.2 Von Signalen und Daten zu Information und Wissen 65 9.3 Daten 65 9.3.1 Herkunft 65 9.3.2 Datengröße 66 9.3.3 Datentyp und Wertebereich 66 9.3.4 Datenstruktur 67 9.3.5 Dimensionalität 68 9.4 Metadaten 69 9.5 Zusammenfassung und multidimensionale zeitorientierte Daten 70 10 Zeitorientierte Datenexplorationsmethoden 73 10.1 Zeitorientierte Datenbankabfragen und OLAP 76 10.2 Zeitorientiertes Information Retrieval 78 10.3 Data Mining und Temporal Data Mining 79 10.3.1 Repräsentationen zeitorientierter Daten 81 10.3.2 Aufgaben des Temporal Data Mining 86 10.4 Text Mining und Temporal Text Mining 91 10.4.1 Grundlagen des Text Mining 98 10.4.2 Entwickelte, genutzte und lizensierte Anwendungen des Text Mining 107 10.4.3 Formen des Temporal Text Mining 110 10.4.3.1 Entdeckung kausaler und zeitorientierter Regeln 110 10.4.3.2 Identifikation von Abweichungen und Volatilität 111 10.4.3.3 Identifikation und zeitorientierte Organisation von Themen 112 10.4.3.4 Zeitorientierte Analyse auf Basis konzeptueller Strukturen 116 10.4.3.5 Zeitorientierte Analyse von Frequenz, Vernetzung und Hierarchien 117 10.4.3.6 Halbautomatische Identifikation von Trends 121 10.4.3.7 Umgang mit dynamisch aktualisierten Daten 123 10.5 Web Mining und Temporal Web Mining 124 10.5.1 Web Content Mining 125 10.5.2 Web Structure Mining 126 10.5.3 Web Usage Mining 127 10.5.4 Temporal Web Mining 127 10.6 Informationsvisualisierung 128 10.6.1 Visualisierungstechniken 130 10.6.1.1 Visualisierungstechniken nach Datentypen 130 10.6.1.2 Visualisierungstechniken nach Darstellungsart 132 10.6.1.3 Visualisierungstechniken nach Art der Interaktion 137 10.6.1.4 Visualisierungstechniken nach Art der visuellen Aufgabe 139 10.6.1.5 Visualisierungstechniken nach Visualisierungsprozess 139 10.6.2 Zeitorientierte Visualisierungstechniken 140 10.6.2.1 Statische Repräsentationen 141 10.6.2.2 Dynamische Repräsentationen 145 10.6.2.3 Ereignisbasierte Repräsentationen 147 10.7 Zusammenfassung 152 11 Konzeptuelle Strukturen 154 12 Synopsis für die zeitorientierte Datenexploration 163 C – UMSETZUNG EINES DIGITAL-INTELLIGENCESYSTEMS 166 13 Bestimmung textbasierter Indikatoren 167 14 Anforderungen an ein Digital-Intelligence-System 171 15 Beschreibung der Umsetzung eines Digital-Intelligence-Systems 174 15.1 Konzept einer Dienstleistung der Digital Intelligence 175 15.1.1 Portalnutzung 177 15.1.2 Steckbriefe 178 15.1.3 Tiefenanalysen 180 15.1.4 Technologiescanning 185 15.2 Relevante Daten für die Digital Intelligence (Beispiel) 187 15.3 Frühaufklärungs-Plattform 188 15.4 WCTAnalyze und automatische Extraktion themenspezifischer Ereignisse 197 15.5 SemanticTalk 200 15.6 Halbautomatische Identifikation von Trends 204 15.6.1 Zeitreihenkorrelation 205 15.6.2 HD-SOM-Scanning 207 D – ZUSAMMENFASSUNG 217 Anhang A: Prozessbilder entwickelter Anwendungen des (Temporal) Text Mining 223 Anhang B: Synopsis der zeitorientierten Datenexploration 230 Literaturverzeichnis 231 Selbstständigkeitserklärung 285 Wissenschaftlicher Werdegang des Autors 286 Veröffentlichungen 28

Digitale Editionsformen. Zum Umgang mit der Überlieferung unter den Bedingungen des Medienwandels. Teil 3: Textbegriffe und Recodierung. [Finale Print-Fassung]

Die wissenschaftliche Edition zielt auf die zuverlässige Wiedergabe des Textes. Aber was ist dieser Text eigentlich? Bei genauerer Betrachtung erlaubt nur ein erweiterter Textbegriff und ein neues pluralistisches Textmodell eine Beschreibung aller textuellen Phänomene, die in einer wissenschaftlichen Edition zu berücksichtigen sind. Auch unsere Technologien und Methodologien der Textcodierung, hier vor allem die Auszeichnungssprachen im Allgemeinen und die Beschreibungsempfehlungen der Text Encoding Initiative (TEI) im Besonderen können unter dieser Schablone genauer beschrieben und hinsichtlich ihrer Grenzen charakterisiert werden. Schließlich erlaubt das pluralistische Textmodell auch die präzisere theoretische Fundierung jener Prozesse, die als "Transkription" Grundlage und Herzstück einer jeden wissenschaftlichen Edition sind

Digitale Editionsformen. Zum Umgang mit der Überlieferung unter den Bedingungen des Medienwandels. Teil 3: Textbegriffe und Recodierung. [Preprint-Fassung]

Die wissenschaftliche Edition zielt auf die zuverlässige Wiedergabe des Textes. Aber was ist dieser Text eigentlich? Bei genauerer Betrachtung erlaubt nur ein erweiterter Textbegriff und ein neues pluralistisches Textmodell eine Beschreibung aller textuellen Phänomene, die in einer wissenschaftlichen Edition zu berücksichtigen sind. Auch unsere Technologien und Methodologien der Textcodierung, hier vor allem die Auszeichnungssprachen im Allgemeinen und die Beschreibungsempfehlungen der Text Encoding Initiative (TEI) im Besonderen können unter dieser Schablone genauer beschrieben und hinsichtlich ihrer Grenzen charakterisiert werden. Schließlich erlaubt das pluralistische Textmodell auch die präzisere theoretische Fundierung jener Prozesse, die als "Transkription" Grundlage und Herzstück einer jeden wissenschaftlichen Edition sind

Konzept eines Dokumentationsassistenten zur Erzeugung strukturierter Anforderungen basierend auf Satzschablonen

Um die Qualität und Glaubwürdigkeit eines Produktes zu erhalten, ist ein systematisches Anforderungsmanagement erforderlich, wobei die Merkmale eines Produkts durch Anforderungen beschrieben werden. Deswegen wurde im Rahmen dieser Arbeit ein Konzept für einen Dokumentationsassistenten entwickelt, mit dem Benutzer strukturierte Anforderungen basierend auf den Satzschablonen nach SOPHIST erstellen können. Dies beinhaltet einen linguistischen Aufbereitungsansatz, der semantische Rollen aus freiem Text extrahiert. Während des Dokumentationsprozesses wurden die semantischen Rollen benutzt, um passendste Satzschablone zu identifizieren und diese als Hilfestellung dem Benutzer auszuzeigen. Zudem wurde eine weitere Hilfestellung angeboten, nämlich die Autovervollständigung, die mithilfe von Markovketten das nächste Wort vorhersagen kann. Insgesamt wurden 500 Anforderungen aus verschiedenen Quellen herangezogen, um die Integrität des Konzepts zu bewerten. Die Klassifizierung der Texteingabe in eine Satzschablone erreicht ein F1-Maß von 0,559. Dabei wurde die funktionale Anforderung Satzschablone F1-Maß von 0,908 am besten identifiziert. Außerdem wurde der Zusammenhang zwischen den Hilfestellungen mit Hilfe eines Workshops bewertet. Hierbei konnte gezeigt werden, dass die Anwendung des vorliegenden Konzepts, die Vollständigkeit von Anforderungen verbessert und somit die Qualität der zu dokumentierenden Anforderungen steigert

Textgenetische Prozesse in Digitalen Editionen

Begünstigt durch den digitalen Medienwandel entstehen zur Zeit neue Editionsformen, deren Nutzen sich vor allem aus der Überwindung medienbedingter Limitierungen gedruckter Editionen ergibt. Der Wegfall dieser einschränkenden Faktoren, wie ein fest vorgegebenes Seitenformat oder die Begrenzung auf eine bestimmte Seitenanzahl und die daraus resultierenden Möglichkeiten, im Prinzip unbegrenzte Mengen an Transkriptionen, Abbildungen und Kontextmaterialien in die Digitale Edition integrieren zu können, sind ein wesentliches Merkmal dieser neueren Ansätze. Trotz dieser Entwicklungen fehlt es im Bereich Digitaler Textgenetischer Editionen bis heute aber weiterhin an geeigneten Methoden und Werkzeugen, um den Entstehungsprozess eines Textes intuitiv nachvollziehen und in geeigneter Weise visualisieren zu können. Besonders zwei Aspekte werden in diesem Zusammenhang bislang vernachlässigt. Zum einen die räumliche Anordnung textgenetischer Prozesse, die vor allem bei der Transkription von Manuskripten nicht in ausreichendem Maße berücksichtigt werden und zum anderen die zeitliche Abfolge dieser Prozesse. Die Vorliegende Arbeit soll diese Bereiche gezielt in den Blick nehmen. Dabei geht es zum einen um eine kritische Analyse der bisherigen Kodierungspraxis solcher Phänomene und zum anderen um die Möglichkeiten, wie solche Prozesse durch browserbasierte Lösungen visualisiert werden können. Die Arbeit ist in einen theoretischen und einen praktischen Teil untergliedert. Der erste Teil gibt einen Überblick über die Entwicklungen im Bereich Digitaler Editionen vor allem seit der Etablierung des WWW als generisch digitales Editionsmedium. Darauf folgt ein kurzer historischer Exkurs über Editionspraktiken zu Zeiten der Druckkultur. Anschließend werden zentrale Problembereiche digitaler textgenetischer Editionen thematisiert und modellhafte Lösungsansätze entwickelt. Abschließend werden diese in einem praxisnahen Teil in Form von beispielhaft implementierten Softwarekomponenten veranschaulicht