Exploring simplified subtitles to support spoken language understanding

Understanding spoken language is a crucial skill we need throughout our lives. Yet, it can be difficult for various reasons, especially for those who are hard-of-hearing or just learning to speak a language. Captions or subtitles are a common means to make spoken information accessible. Verbatim transcriptions of talks or lectures are often cumbersome to read, as we generally speak faster than we read. Thus, subtitles are often edited to improve their readability, either manually or automatically. This thesis explores the automatic summarization of sentences and employs the method of sentence compression by deletion with recurrent neural networks. We tackle the task of sentence compression from different directions. On one hand, we look at a technical solution for the problem. On the other hand, we look at the human-centered perspective by investigating the effect of compressed subtitles on comprehension and cognitive load in a user study. Thus, the contribution is twofold: We present a neural network model for sentence compression and the results of a user study evaluating the concept of simplified subtitles. Regarding the technical aspect 60 different configurations of the model were tested. The best-scoring models achieved results comparable to state of the art approaches. We use a Sequence to Sequence architecture together with a compression ratio parameter to control the resulting compression ratio. Thereby, a compression ratio accuracy of 42.1 % was received for the best-scoring model configuration, which can be used as baseline for future experiments in that direction. Results from the 30 participants of the user study show that shortened subtitles could be enough to foster comprehension, but result in higher cognitive load. Based on that feedback we gathered design suggestions to improve future implementations in respect to their usability. Overall, this thesis provides insights on the technological side as well as from the end-user perspective to contribute to an easier access to spoken language.Die Fähigkeit gesprochene Sprache zu verstehen, ist ein essentieller Teil unseres Lebens. Das Verständnis kann jedoch aus einer Vielzahl von Gründen erschwert werden, insbesondere wenn man anfängt eine Sprache zu lernen oder das Hörvermögen beeinträchtigt ist. Untertitel erleichtern und ermöglichen das Verständnis von gesprochener Sprache. Wortwörtliche Beschreibungen des Gesagten sind oftmals anstrengend zu lesen, da man weitaus schneller sprechen als lesen kann. Um Untertitel besser lesbar zu machen, werden sie daher manuell oder maschinell bearbeitet. Diese Arbeit untersucht das automatische Zusammenfassen von Sätzen mithilfe der Satzkompression durch rekurrente neuronale Netzen. Die Problemstellung wird von zwei Gesichtspunkten aus betrachtet. Es wird eine technische Lösung für Satzkompression vorgestellt, aber auch eine nutzerorientierte Perspektive eingenommen. Hierzu wurde eine Nutzerstudie durchgeführt, welche die Effekte von verkürzten Untertiteln auf Verständnis und kognitive Belastung untersucht. Für die technische Lösung des Problems wurden 60 verschiedene Modellkonfigurationen evaluiert. Die erzielten Resultate sind vergleichbar mit denen verwandter Arbeiten. Dabei wurde der Einfluss der sogenannten Kompressionsrate untersucht. Dazu wurde eine Sequence to Sequence Architektur implementiert, welche die Kompressionsrate benutzt, um die resultierende Rate des verkürzten Satzes zu kontrollieren. Im Bestfall wurde die Kompressionsrate in 42.1 % der Fälle eingehalten. Die Ergebnisse der Nutzerstudie zeigen, dass verkürzte Untertitel für das Verständnis ausreichend sind, aber auch in mehr kognitiver Belastung resultieren. Auf Grundlage dieses Feedbacks präsentiert diese Arbeit Designvorschläge, um die Benutzbarkeit von verkürzten Untertiteln angenehmer zu gestalten. Mit den Resultaten von technischer und nutzerorientierter Seite leistet diese Arbeit einen Betrag zur Erforschung von Methoden zur Verständniserleichterung von gesprochener Sprache

Investigating the effect of priming on reading performance on electronic devices

Reading is an activity needed almost everywhere in daily life. Through reading we are not only able to extract meaning from a text, but also to extend our knowledge of the world and to foster other cognitive abilities. In the age of information technology, reading behav-iour has been subject to change. With more information made accessible through the inter-net and e-reading devices, the time spent reading increases. Further, it is reported that read-ing on computers and other electronic devices tends to be shallower and abilities like browsing over a document to get the gist of its content become more important. In this thesis we want to investigate the usage of text visualizations to facilitate the reading activities on electronic devices, with special focus on reading comprehension. We want to make use of the memory psychological "priming effect" by presenting the reader with a visualization of the text's content before the actual reading activity, and thus giving the opportunity to get familiar with the information contained in the text prior to reading. To create those visualizations we developed a first prototype, which is capable of extracting keywords of a text and visualizing them. Additionally, we present certain important design aspects of text visualizations, which were discovered through a preliminary study. The presented concepts were evaluated in a user study and are considered as a starting point for future research. With the contributions of this work we aim to support readers with reading activities. Facilitated reading could help to lower the hurdle to read more and therefore foster the gain of knowledge.Die Fähigkeit des Lesens wird fast überall in unserem Alltag benötigt. Durch Lesen erfas-sen wir nicht nur die Bedeutung eines Texts, sondern erweitern unser Wissen und andere geistige Fähigkeiten. Im IT-Zeitalter ändert sich auch unser Leseverhalten. Über das Inter-net und e-Reader sind mehr Informationen zugänglich und so nimmt auch die Zeit zu, die wir mit Lesen verbringen. Lesen auf elektronischen Geräten neigt Studien zufolge außerdem dazu oberflächlicher zu sein und es wird immer wichtiger, den groben Inhalt eines Texts durch Überfliegen zu erfassen. In dieser Arbeit soll untersucht werden ob Textvisualisierungen in der Lage sind, das Le-sen auf elektronischen Geräten zu erleichtern, insbesondere in Bezug auf das Textverständnis. Hierzu möchten wir den gedächtnispsychologischen "Priming Effekt" ausnutzen, indem wir dem Leser schon vor dem eigentlichen Lesen eine visuelle Zusammenfassung des Inhalts präsentieren. Diese soll dem Leser ermöglichen, sich schon vor dem Lesen mit den Inhalten des Texts vertraut zu machen. Um solche Visualisierungen zu erstellen, wurde ein Prototyp entwickelt, der automatisch die Schlüsselworte eines Texts extrahiert und diese visuell darstellt. Wichtige Design Eigenschaften von Textvisualisierungen werden eben-falls erläutert. Die vorgestellten Konzepte wurden durch eine Nutzerstudie evaluiert und können Ausgangspunkt für spätere Forschung in diesem Bereich bilden. Mit den Erkenntnissen dieser Arbeit möchten wir dazu beitragen das Lesen auf elektronischen Geräten zu erleichtern. Unterstütztes und einfacheres Lesen könnte Lesern helfen, mehr zu Lesen und damit schließlich auch den Gewinn neuen Wissens fördern

Vergleich von Plattformen zur Unterstützung der Governance in serviceorientierten Architekturen

Mit der immer wichtiger werdenden Kommunikation zwischen Maschinen entstand das Architekturparadigma der service-orientierten-Architektur (SOA). Durch die Verwendung einer SOA im Unternehmen kann man schneller auf geänderte Prozesse und Anforderungen reagieren, jedoch bringen die flexiblen Strukturen einer SOA auch eine erhöhte Komplexität mit sich. SOA Governance soll helfen, Unternehmensziele mit SOA-Zielen in Einklang zu bringen. In dieser Arbeit werden Tools zur Unterstützung der SOA Governance hinsichtlich verschiedener Kriterien untersucht und bewertet

Text Priming - Effects of Text Visualizations on Readers Prior to Reading

Part 5: Personalisation and VisualisationInternational audienceLiving in our information society poses the challenge of having to deal with a plethora of information. While most content is represented through text, keyword extraction and visualization techniques allow the processing and adjustment of text presentation to the readers’ individual requirements and preferences. In this paper, we investigate four types of text visualizations and their feasibility to give readers an overview before they actually engage with a text: word clouds, highlighting, mind maps, and image collages. In a user study with 50 participants, we assessed the effects of such visualizations on reading comprehension, reading time, and subjective impressions. Results show that (1) mind maps best support readers in getting the gist of a text, (2) they also give better subjective impressions on text content and structure, and (3) highlighting keywords in a text before reading helps to reduce reading time. We discuss a set of guidelines to inform the design of automated systems for creating text visualizations for reader support

Assessing 2D and 3D Heatmaps for Comparative Analysis : An Empirical Study

Heatmaps are a popular visualization technique that encode 2D density distributions using color or brightness. Experimental studies have shown though that both of these visual variables are inaccurate when reading and comparing numeric data values. A potential remedy might be to use 3D heatmaps by introducing height as a third dimension to encode the data. Encoding abstract data in 3D, however, poses many problems, too. To better understand this tradeoff, we conducted an empirical study (N=48) to evaluate the user performance of 2D and 3D heatmaps for comparative analysis tasks. We test our conditions on a conventional 2D screen, but also in a virtual reality environment to allow for real stereoscopic vision. Our main results show that 3D heatmaps are superior in terms of error rate when reading and comparing single data items. However, for overview tasks, the well-established 2D heatmap performs better.publishe