Blending the Material and Digital World for Hybrid Interfaces

The development of digital technologies in the 21st century is progressing continuously and new device classes such as tablets, smartphones or smartwatches are finding their way into our everyday lives. However, this development also poses problems, as these prevailing touch and gestural interfaces often lack tangibility, take little account of haptic qualities and therefore require full attention from their users. Compared to traditional tools and analog interfaces, the human skills to experience and manipulate material in its natural environment and context remain unexploited. To combine the best of both, a key question is how it is possible to blend the material world and digital world to design and realize novel hybrid interfaces in a meaningful way. Research on Tangible User Interfaces (TUIs) investigates the coupling between physical objects and virtual data. In contrast, hybrid interfaces, which specifically aim to digitally enrich analog artifacts of everyday work, have not yet been sufficiently researched and systematically discussed. Therefore, this doctoral thesis rethinks how user interfaces can provide useful digital functionality while maintaining their physical properties and familiar patterns of use in the real world. However, the development of such hybrid interfaces raises overarching research questions about the design: Which kind of physical interfaces are worth exploring? What type of digital enhancement will improve existing interfaces? How can hybrid interfaces retain their physical properties while enabling new digital functions? What are suitable methods to explore different design? And how to support technology-enthusiast users in prototyping? For a systematic investigation, the thesis builds on a design-oriented, exploratory and iterative development process using digital fabrication methods and novel materials. As a main contribution, four specific research projects are presented that apply and discuss different visual and interactive augmentation principles along real-world applications. The applications range from digitally-enhanced paper, interactive cords over visual watch strap extensions to novel prototyping tools for smart garments. While almost all of them integrate visual feedback and haptic input, none of them are built on rigid, rectangular pixel screens or use standard input modalities, as they all aim to reveal new design approaches. The dissertation shows how valuable it can be to rethink familiar, analog applications while thoughtfully extending them digitally. Finally, this thesis’ extensive work of engineering versatile research platforms is accompanied by overarching conceptual work, user evaluations and technical experiments, as well as literature reviews.Die Durchdringung digitaler Technologien im 21. Jahrhundert schreitet stetig voran und neue Geräteklassen wie Tablets, Smartphones oder Smartwatches erobern unseren Alltag. Diese Entwicklung birgt aber auch Probleme, denn die vorherrschenden berührungsempfindlichen Oberflächen berücksichtigen kaum haptische Qualitäten und erfordern daher die volle Aufmerksamkeit ihrer Nutzer:innen. Im Vergleich zu traditionellen Werkzeugen und analogen Schnittstellen bleiben die menschlichen Fähigkeiten ungenutzt, die Umwelt mit allen Sinnen zu begreifen und wahrzunehmen. Um das Beste aus beiden Welten zu vereinen, stellt sich daher die Frage, wie neuartige hybride Schnittstellen sinnvoll gestaltet und realisiert werden können, um die materielle und die digitale Welt zu verschmelzen. In der Forschung zu Tangible User Interfaces (TUIs) wird die Verbindung zwischen physischen Objekten und virtuellen Daten untersucht. Noch nicht ausreichend erforscht wurden hingegen hybride Schnittstellen, die speziell darauf abzielen, physische Gegenstände des Alltags digital zu erweitern und anhand geeigneter Designparameter und Entwurfsräume systematisch zu untersuchen. In dieser Dissertation wird daher untersucht, wie Materialität und Digitalität nahtlos ineinander übergehen können. Es soll erforscht werden, wie künftige Benutzungsschnittstellen nützliche digitale Funktionen bereitstellen können, ohne ihre physischen Eigenschaften und vertrauten Nutzungsmuster in der realen Welt zu verlieren. Die Entwicklung solcher hybriden Ansätze wirft jedoch übergreifende Forschungsfragen zum Design auf: Welche Arten von physischen Schnittstellen sind es wert, betrachtet zu werden? Welche Art von digitaler Erweiterung verbessert das Bestehende? Wie können hybride Konzepte ihre physischen Eigenschaften beibehalten und gleichzeitig neue digitale Funktionen ermöglichen? Was sind geeignete Methoden, um verschiedene Designs zu erforschen? Wie kann man Technologiebegeisterte bei der Erstellung von Prototypen unterstützen? Für eine systematische Untersuchung stützt sich die Arbeit auf einen designorientierten, explorativen und iterativen Entwicklungsprozess unter Verwendung digitaler Fabrikationsmethoden und neuartiger Materialien. Im Hauptteil werden vier Forschungsprojekte vorgestellt, die verschiedene visuelle und interaktive Prinzipien entlang realer Anwendungen diskutieren. Die Szenarien reichen von digital angereichertem Papier, interaktiven Kordeln über visuelle Erweiterungen von Uhrarmbändern bis hin zu neuartigen Prototyping-Tools für intelligente Kleidungsstücke. Um neue Designansätze aufzuzeigen, integrieren nahezu alle visuelles Feedback und haptische Eingaben, um Alternativen zu Standard-Eingabemodalitäten auf starren Pixelbildschirmen zu schaffen. Die Dissertation hat gezeigt, wie wertvoll es sein kann, bekannte, analoge Anwendungen zu überdenken und sie dabei gleichzeitig mit Bedacht digital zu erweitern. Dabei umfasst die vorliegende Arbeit sowohl realisierte technische Forschungsplattformen als auch übergreifende konzeptionelle Arbeiten, Nutzerstudien und technische Experimente sowie die Analyse existierender Forschungsarbeiten

Contributions to the cornerstones of interaction in visualization: strengthening the interaction of visualization

Visualization has become an accepted means for data exploration and analysis. Although interaction is an important component of visualization approaches, current visualization research pays less attention to interaction than to aspects of the graphical representation. Therefore, the goal of this work is to strengthen the interaction side of visualization. To this end, we establish a unified view on interaction in visualization. This unified view covers four cornerstones: the data, the tasks, the technology, and the human.Visualisierung hat sich zu einem unverzichtbaren Werkzeug für die Exploration und Analyse von Daten entwickelt. Obwohl Interaktion ein wichtiger Bestandteil solcher Werkzeuge ist, wird der Interaktion in der aktuellen Visualisierungsforschung weniger Aufmerksamkeit gewidmet als Aspekten der graphischen Repräsentation. Daher ist es das Ziel dieser Arbeit, die Interaktion im Bereich der Visualisierung zu stärken. Hierzu wird eine einheitliche Sicht auf Interaktion in der Visualisierung entwickelt

Visuelle Exploration multidimensionaler Informationsräume: Ein Interface-Baukasten für die Produktsuche

Suchmaschinen bieten Zugang zu großen Datenmengen und viele Möglichkeiten, die Nutzeranfragen zu interpretieren und mit Korrekturen oder Empfehlungen zu unterstützen. Neben diesen technologischen Vorteilen, hat sich am Suchparadigma selbst in den letzten Jahren nicht viel geändert. Die meisten Suchinterfaces bestehen auch heute noch aus den typischen Eingabemasken und linearen Ergebnislisten. Jedoch ist es besonders für Nutzer mit wenig Erfahrung in der aktuellen Suchdomäne oder mit einem sehr unscharfen Informationsbedürfnis schwierig, ihre vagen Vorstellungen in eine spezifische Suchanfrage zu transformieren. Die herkömmlichen eindimensionalen Ergebnislisten bieten oft nur eine einfache Sortierfunktion. Verschiedene Techniken der Informationsvisualisierung bieten jedoch weitaus mehr Möglichkeiten, um multidimensionale Datensätze zu visualisieren und vergleichbar zu machen. Ziel der Arbeit ist es, den Suchprozess am Beispiel der Produktsuche aus der Nutzerperspektive zu analysieren und Anforderungen zu formulieren, welche verschiedene Strategien und Phasen der Suche unterstützen. Die Anwendungsfälle stützen sich dabei vor allem auf komplexere Suchaufgaben mit einem vagen Informationsbedürfnis wie der Planung eines Urlaubs oder dem Finden einer passenden Finanzierungsmöglichkeit. Weiterhin werden verschiedene Techniken der Informationsvisualisierung untersucht, um sowohl die visuelle Exploration und Analyse der multidimensionalen Datenmengen als auch eine schnelle Interpretation und den Vergleich der gefundenen Suchergebnisse zu ermöglichen. Die Betrachtung verschiedener verwandter Arbeiten aus dem kommerziellen und akademischen Bereich führen zu fünf verschiedenen Suchmusterkategorien, die in explorativen Suchszenarien miteinander kombiniert werden können, um den Suchraum einzugrenzen oder aufzufächern. Unter Berücksichtigung der Suchmusterkategorien der schlagwortbasierten Suche, der Ähnlichkeitssuche, der Facettennavigation, der empfehlungsbasierten Suche und des Browsing in strukturierten Inhalten werden verschiedene Lösungsansätze entwickelt, welche die Exploration unterschiedlicher Produktdatenmengen ermöglichen. Basierend auf diesen Fallbeispielen wird ein Baukasten für visuelle Suchinterfaces vorgeschlagen, der vorwärtsgerichtet oder rückwärtsgerichtet im Sinne des Reverse-Engineering angewandt werden kann. Die Bausteine geben einen Gestaltungsraum vor, der den Designer vor allem in der Konzeptionsphase unterstützt. Durch die Kombination verschiedener Bausteine werden der Entwurf neuer Interfacekonzepte und deren Variation ermöglicht. Weiterhin können erprobte Lösungen in Entwurfsmuster überführt werden, welche die Wiederverwendung in ähnlichen Problemkontexten erlauben. Durch das Reverse-Engineering können bekannte Interfaces in einzelne Bestandteile zerlegt und innere Strukturen sowie Zusammenhänge analysiert werden.:1 Einleitung 1.1 Motivation 1.2 Problemdarstellung und Zielsetzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Informationssuche 2.1.1 Informationsbedürfnis 2.1.2 Modelle der Informationssuche 2.1.3 Suchstrategien 2.2 Informationsvisualisierung 2.2.1 Visualisierungsprozess 2.2.2 Datenstrukturen 2.2.3 Visuelle Strukturen 2.2.4 Visualisierungstechniken 2.2.5 Interaktionstechniken 2.3 Entwurfsproblematik in der Mensch-Computer-Interaktion 2.3.1 Entwurfsprozess 2.3.2 Entwurfsmuster und -prinzipien 2.3.3 Baukastensysteme 2.3.4 Semiotik 2.4 Zusammenfassung 3 Suchmuster im Kontext der Produktsuche 3.1 Schlüsselwortsuche 3.1.1 Kommerzielle Anwendungen 3.1.2 Akademische Arbeiten 3.2 Ähnlichkeitssuche 3.2.1 Kommerzielle Anwendungen 3.2.2 Akademische Arbeiten 3.3 Facettennavigation 3.3.1 Kommerzielle Anwendungen 3.3.2 Akademische Arbeiten 3.4 Empfehlungsbasierte Suche 3.4.1 Kommerzielle Anwendungen 3.4.2 Akademische Arbeiten 3.5 Browsing in strukturierten Inhalten 3.5.1 Kommerzielle Anwendungen 3.5.2 Akademische Arbeiten 3.6 Zusammenfassung 4 Motivbasierte Suche 4.1 Nutzerbefragung 4.2 Aspekte der motivbasierten Suche 4.2.1 Exploration 4.2.2 Recherche 4.2.3 Evaluation 4.3 Zusammenfassung 5 Schlagwortbasierte Suche 5.1 Datengrundlage 5.1.1 Klassifikationsschema 5.1.2 Datenanalyse 5.2 DelViz 5.2.1 Konzept für die Explorative Suche 5.2.2 Analysekonzept 5.2.3 Browsing-Konzept 5.2.4 Prototyp 5.3 TagCircus 5.4 Facettice 5.5 Zusammenfassung 6 Ähnlichkeitssuche 6.1 Glyphdarstellungen 6.1.1 Many-to-One-Mapping 6.1.2 One-to-One-Mapping 6.2 Nutzerstudien 6.2.1 Evaluation von Differenzglyphen 6.2.2 Evaluation von Star-Plots und Flower-Glyphen 6.3 Ähnlichkeitssuche mittels Glyphen 6.3.1 Beispielbasierte Suche 6.3.2 Exploration multidimensionaler Datenmengen 6.4 Zusammenfassung 7 Facettennavigation 7.1 Datengrundlage 7.2 Basiskonzept 7.2.1 Interaktion mit den Achsen 7.2.2 Facettenfilter 7.2.3 Ergebnisliste 7.2.4 Suchhistorie 7.3 Parallele Koordinaten 7.3.1 Vergleich 7.3.2 Unscharfer Filter 7.4 Parallel Sets 7.5 Prototyp 7.6 Nutzerstudie 7.6.1 Methodik 7.6.2 Ergebnisse 7.6.3 Diskussion 7.7 Adaption des Konzepts 7.8 Zusammenfassung 8 Empfehlungsbasierte Suche 8.1 Get Inspired 8.1.1 Datengrundlage 8.1.2 Konzeption 8.1.3 Prototyp 8.1.4 Nutzerstudie 8.2 Motbasi 8.2.1 Prototyp 8.2.2 Nutzertest 8.3 Movie-Recommender 8.4 Findr 8.5 Zusammenfassung 9 Baukasten für visuelle Suchinterfaces 9.1 Bausteine 9.2 Baumuster 9.3 Baumusterpläne 9.3.1 Verbindungselemente 9.3.2 Referenzbausteine 9.4 Semiotische Aspekte des Baukastens 9.5 Anwendungsszenarien 9.5.1 Mustererstellung zur Wiederverwendbarkeit 9.5.2 Variantenerzeugung 9.5.3 Inspiration im Entwurfsprozess 9.5.4 Design- und Lehrmethodik 9.6 Zusammenfassung 10 Zusammenfassung 10.1 Zusammenfassung der Kapitel 10.2 Diskussion 10.3 Ausblick Anhang Glossar Abkürzungsverzeichnis Literatur Eigene Veröffentlichungen Betreute studentische Arbeiten Forschungsprojekte Abbildungsverzeichnis Tabellenverzeichnis Verzeichnis der Code-Beispiel

Unterstützung des Editierens von Graphen in Visuellen Repräsentationen

The goal of this thesis is to provide solutions for supporting the direct editing of graphs in visual representations for analyzing graphs. For that, a conceptual view on the user's tasks is established first. On this basis, several novel approaches to "visually edit" the different data aspects of graphs - the graph's structure and associated attribute values - are introduced. Thereby, different visual graph representations suitable for communicating the data are considered.Das Ziel der vorliegenden Dissertation ist, Lösungen zur Unterstützung des direkten Editierens von Graphen in visuellen Repräsentationen zur Analyse von Graphen bereitzustellen. Dafür wird zunächst eine konzeptuelle Sicht auf die Aufgaben des Nutzers entwickelt. Auf dieser Basis werden anschließend mehrere neue Verfahren eingeführt, welche das "visuelle Editieren" der verschiedenen Datenaspekte von Graphen - der Struktur sowie dazu assoziierte Attributwerte - ermöglichen. Dabei werden verschiedene visuelle Graphrepräsentationen berücksichtigt, welche die Daten in geeigneter Form kommunizieren

Physical Interaction Concepts for Knowledge Work Practices

The majority of workplaces in developed countries concern knowledge work. Accordingly, the IT industry and research made great efforts for many years to support knowledge workers -- and indeed, computer-based information workplaces have come of age. Nevertheless, knowledge work in the physical world has still quite a number of unique advantages, and the integration of physical and digital knowledge work leaves a lot to be desired. The present thesis aims at reducing these deficiencies; thereby, it leverages late technology trends, in particular interactive tabletops and resizable hand-held displays. We start from the observation that knowledge workers develop highly efficient practices, skills, and dexterity of working with physical objects in the real world, whether content-unrelated (coffee mugs, stationery etc.) or content-related (books, notepads etc.). Among the latter, paper-based objects -- the notorious analog information bearers -- represent by far the most relevant (super-) category. We discern two kinds of practices: collective practices concern the arrangement of objects with respect to other objects and the desk, while specific practices operate on individual objects and usually alter them. The former are mainly employed for an effective management of the physical desktop workspace -- e.g., everyday objects are frequently moved on tables to optimize the desk as a workplace -- or an effective organization of paper-based documents on the desktop -- e.g., stacking, fanning out, sorting etc. The latter concern the specific manipulation of physical objects related to the task at hand, i.e. knowledge work. Widespread assimilated practices concern not only writing on, annotating, or spatially arranging paper documents but also sophisticated manipulations -- such as flipping, folding, bending, etc. Compared to the wealth of such well-established practices in the real world, those for digital knowledge work are bound by the indirection imposed by mouse and keyboard input, where the mouse provided such a great advancement that researchers were seduced to calling its use "direct manipulation". In this light, the goal of this thesis can be rephrased as exploring novel interaction concepts for knowledge workers that i) exploit the flexible and direct manipulation potential of physical objects (as present in the real world) for more intuitive and expressive interaction with digital content, and ii) improve the integration of the physical and digital knowledge workplace. Thereby, two directions of research are pursued. Firstly, the thesis investigates the collective practices executed on the desks of knowledge workers, thereby discerning content-related (more precisely, paper-based documents) and content-unrelated object -- this part is coined as table-centric approaches and leverages the technology of interactive tabletops. Secondly, the thesis looks at specific practices executed on paper, obviously concentrating on knowledge related tasks due to the specific role of paper -- this part is coined as paper-centric approaches and leverages the affordances of paper-like displays, more precisely of resizable i.e. rollable and foldable displays. The table-centric approach leads to the challenge of blending interactive tabletop technology with the established use of physical desktop workspaces. We first conduct an exploratory user study to investigate behavioral and usage patterns of interaction with both physical and digital documents on tabletop surfaces while performing tasks such as grouping and browsing. Based on results of the study, we contribute two sets of interaction and visualization concepts -- coined as PaperTop and ObjecTop -- that concern specific paper based practices and collective practices, respectively. Their efficiency and effectiveness are evaluated in a series of user studies. As mentioned, the paper-centric perspective leverages late ultra-thin resizable display technology. We contribute two sets of novel interaction concepts again -- coined as FoldMe and Xpaaand -- that respond to the design space of dual-sided foldable and of rollout displays, respectively. In their design, we leverage the physical act of resizing not "just" for adjusting the screen real estate but also for interactively performing operations. Initial user studies show a great potential for interaction with digital contents, i.e. for knowledge work

Formalisierung gestischer Eingabe für Multitouch-Systeme

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiel

Visual Analysis of In-Car Communication Networks

Analyzing, understanding and working with complex systems and large datasets has become a familiar challenge in the information era. The explosion of data worldwide affects nearly every part of society, particularly the science, engineering, health, and financial domains. Looking, for instance at the automotive industry, engineers are confronted with the enormously increased complexity of vehicle electronics. Over the years, a large number of advanced functions, such as ACC (adaptive cruise control), rear seat entertainment systems or automatic start/stop engines, has been integrated into the vehicle. Thereby, the functions have been more and more distributed over the vehicle, leading to the introduction of several communication networks. Overlooking all relevant data facets, understanding dependencies, analyzing the flow of messages and tracking down problems in these networks has become a major challenge for automotive engineers. Promising approaches to overcome information overload and to provide insight into complex data are Information Visualization (InfoVis) and Visual Analytics (VA). Over the last decades, these research communities spent much effort on developing new methods to help users obtain insight into complex data. However, few of these solutions have yet reached end users, and moving research into practice remains one of the great challenges in visual data analysis. This situation is particularly true for large company settings, where very little is known about additional challenges, obstacles and requirements in InfoVis/VA development and evaluation. Users have to be better integrated into our research processes in terms of adequate requirements analysis, understanding practices and challenges, developing well-directed, user-centered technologies and evaluating their value within a realistic context. This dissertation explores a novel InfoVis/VA application area, namely in-car communication networks, and demonstrates how information visualization methods and techniques can help engineers to work with and better understand these networks. Based on a three-year internship with a large automotive company and the close cooperation with domain experts, I grounded a profound understanding of specific challenges, requirements and obstacles for InfoVis/VA application in this area and learned that “designing with not for the people” is highly important for successful solutions. The three main contributions of this dissertation are: (1) An empirical analysis of current working practices of automotive engineers and the derivation of specific design requirements for InfoVis/VA tools; (2) the successful application and evaluation of nine prototypes, including the deployment of five systems; and (3) based on the three-year experience, a set of recommendations for developing and evaluating InfoVis systems in large company settings. I present ethnographic studies with more than 150 automotive engineers. These studies helped us to understand currently used tools, the underlying data, tasks as well as user groups and to categorize the field into application sub-domains. Based on these findings, we propose implications and recommendations for designing tools to support current practices of automotive network engineers with InfoVis/VA technologies. I also present nine InfoVis design studies that we built and evaluated with automotive domain experts and use them to systematically explore the design space of applying InfoVis to in-car communication networks. Each prototype was developed in a user-centered, participatory process, respectively with a focus on a specific sub-domain of target users with specific data and tasks. Experimental results from studies with real users are presented, that show that the visualization prototypes can improve the engineers’ work in terms of working efficiency, better understanding and novel insights. Based on lessons learned from repeatedly designing and evaluating our tools together with domain experts at a large automotive company, I discuss challenges and present recommendations for deploying and evaluating VA/InfoVis tools in large company settings. I hope that these recommendations can guide other InfoVis researchers and practitioners in similar projects by providing them with new insights, such as the necessity for close integration with current tools and given processes, distributed knowledge and high degree of specialization, and the importance of addressing prevailing mental models and time restrictions. In general, I think that large company settings are a promising and fruitful field for novel InfoVis applications and expect our recommendations to be useful tools for other researchers and tool designers

Video Conferencing: Infrastructures, Practices, Aesthetics

The COVID-19 pandemic has reorganized existing methods of exchange, turning comparatively marginal technologies into the new normal. Multipoint videoconferencing in particular has become a favored means for web-based forms of remote communication and collaboration without physical copresence. Taking the recent mainstreaming of videoconferencing as its point of departure, this anthology examines the complex mediality of this new form of social interaction. Connecting theoretical reflection with material case studies, the contributors question practices, politics and aesthetics of videoconferencing and the specific meanings it acquires in different historical, cultural and social contexts

Explorative Graph Visualization

Netzwerkstrukturen (Graphen) sind heutzutage weit verbreitet. Ihre Untersuchung dient dazu, ein besseres Verständnis ihrer Struktur und der durch sie modellierten realen Aspekte zu gewinnen. Die Exploration solcher Netzwerke wird zumeist mit Visualisierungstechniken unterstützt. Ziel dieser Arbeit ist es, einen Überblick über die Probleme dieser Visualisierungen zu geben und konkrete Lösungsansätze aufzuzeigen. Dabei werden neue Visualisierungstechniken eingeführt, um den Nutzen der geführten Diskussion für die explorative Graphvisualisierung am konkreten Beispiel zu belegen.Network structures (graphs) have become a natural part of everyday life and their analysis helps to gain an understanding of their inherent structure and the real-world aspects thereby expressed. The exploration of graphs is largely supported and driven by visual means. The aim of this thesis is to give a comprehensive view on the problems associated with these visual means and to detail concrete solution approaches for them. Concrete visualization techniques are introduced to underline the value of this comprehensive discussion for supporting explorative graph visualization