Brainstorming und Mind-Mapping im Multi-Device-Kontext. Konzeption und prototypische Implementierung für Multi-Touch-Tabletop und Smartphone

Die vorliegende Arbeit beschreibt die Konzeption und prototypische Implemen­tierung einer Anwendung zur elektronischen Unterstützung von Brainstorming- und Mind-Mapping-Sitzungen an einem multitouchfähigen Tabletop mit Smart­phones. Während der Tabletop durch seine große, horizontal ausgerichtete Oberfläche die kollaborative Erstellung und Strukturierung von Ideen in Gruppen unterstützt, werden Smartphones einen zusätzlichen Eingabekanal zur Verfügung stellen sowie Individualarbeit fördern. Somit wird zunächst einerseits die Motivation für die Verwirklichung einer Anwendung zum Brainstorming und Mind- Mapping am Tabletop und andererseits das Potential einer Ergänzung eines sol­chen Systems durch zusätzliche private Geräte im Sinne der Multi-Device-Inter­aktion erläutert werden. Um eine geeignete theoretische Basis zu schaffen, wird darüber hinaus ein detaillierter Überblick über die Entwicklung der Tabletop­technologie in den letzten Jahren und den dabei zentralen Forschungs- und Pro­blemfeldern im Kontext der Entwicklung von Benutzerschnittstellen für Tabletopsysteme gegeben. Zudem werden schließlich auch im Rahmen der Arbeit relevante Aspekte der Multi-Device-Interaktion skizziert. Diesem theoretisch ausgerichteten Teil der Arbeit folgt schließlich eine Beschreibung der Entwicklung des Anwendungskonzepts und der dabei formulierten Anforderungen und Designzielen, welche in Form eines ersten, papierbasierten Prototypen visualisiert werden. Aufbauend auf diesen konzeptuellen Überlegungen wird schließlich die konkrete technische Umsetzung der Anwendung Multi/Touch/Device Mind­ Mapper in Form eines High-Level-Prototypen auf Basis des MT4j-Frameworks (Tabletop) und des Android-Betriebssystems (Smartphone) beleuchtet. Eine Dis­kussion dieses finalen Prototypen und erster praktischer Erfahrungen sowie ein Ausblick auf Erweiterungsmöglichkeiten des Systems und über den Rahmen der Arbeit hinaus gehende Fragestellungen schließen die Arbeit ab. Schlussendlich kann gezeigt werden, dass die im Rahmen des Anwendungskonzept definierten Anforderungen mit Hilfe der verwendeten Frameworks bis auf wenige Ausnahmen erfolgreich umgesetzt werden konnten. Darüber hinaus kann der Anwendung durch die aus dem Testbetrieb gewonnenen Erkenntnisse eine grundsätzli­ che Praktikabilität attestiert, ebenso konnten einige Ansatzpunkte für weitere Verbesserungen und Tests aufgedeckt werden

Collaborative Modeling of Business Processes on Co-Located TableTop Systems

Most current Business Process Management Systems (BPMS) refer to single users, working at a desktop PC individually. But especially, during the creation of process models, domain and modeling experts work together. Therefore, a collaborative BPMS offers possibilities to work in a team environment. The advantages of collaborative process modelling are improved quality and accuracy of process models. Thus, the user’s workload is reduced and the users learn from each other. This thesis presents Process-Touch, which is a collaborative BPMS, using a tabletop and additional tablets or smartphones to create process models collaboratively. Process-Touch offers an easy to use Natural User Interface (NUI), sketch-based input and the possibility to work with tablets or smartphones as a private interaction device. Users can create and edit parts of the process model on their tablets and smartphones and merge them on the tabletop using a tap gesture to transfer the process model from the mobile device to the tabletop. This thesis contributes a system for collaborative BPMS, general concepts and requirements and a prototypical implementation. Moreover, the concept is evaluated by experimental research, using the prototypical implementation. Hence, improvements of the gesture-set, interaction design and implementation are identified and discussed

Kollaborative Erstellung von Mind-Maps mit persönlichen Linsen an interaktiven Display Walls

Mind-Mapping ist eine effiziente und universelle Kreativitätstechnik, die es ermöglicht, in einer Gruppe ein komplexes Thema aufzuschlüsseln. Dabei wird eine Assoziation verschiedener Schlüsselwörter, Notizen und Grafiken zu einem zentralen Begriff vorgenommen und dadurch eine Möglichkeit zur schrittweisen kompakten Visualisierung eines Themengebietes geschaffen. Große interaktive Display Walls erlauben durch ihre Fläche und ihre interaktiven Möglichkeiten das kollaborative Erstellen von Mind-Maps, so dass jeder Nutzer individuell Teile kreieren und der gemeinsamen Mind-Map beifügen kann. In dieser Ausarbeitung werden geeignete Interaktionskonzepte zur Erstellung von Mind-Maps an interaktiven Display Walls vorgestellt. Dabei liegt der Fokus auf den Möglichkeiten der Erkennung der Nutzerposition vor der Display Wall, um jedem Benutzer eine persönliche Linse und damit Zugriff auf persönliche Werkzeuge zu ermöglichen, sowie der Interaktion mittels Stift und Touch zum Zwecke der Erstellung und Platzierung von Mind-Map Elementen. Dafür werden zunächst verwandte Arbeiten aus den Bereichen: Mind-Maps, Kollaboration und Interaktion mit interaktiven Display Walls und Magische Linsen analysiert. Basierend auf einem Grundverständnis dieser drei Domänen wurden Konzepte zur kollaborativen Erstellung von Mind-Maps an interaktiven Display Walls mit persönlichen Linsen präsentiert. Ausgewählte Konzepte wurden dabei in einer prototypischen Implementierung umgesetzt und boten erste aussichtsreiche Einblicke, wie das Mind-Mapping der Zukunft erfolgen könnte. Dabei wurde insbesondere der Nutzen einer persönlichen Linse, als individuelle Visualisierungs- und Interaktions-Schnittstelle erkannt.:Einleitung Verwandte Arbeiten Konzepte zur kollaborativen Erstellung von Mind-Maps mit persönlichen Linsen an interaktiven Display Walls Prototypische Implementierung Fazit und AusblickMind-mapping is an effective and universal creativity technique, which allows to break down complex topics in a group activity. Therefore keywords, notes or images are being associated to a superordinate topic, in order to gradually create a compact visualization of a topic. Large interactive display walls allow the collaborative creation of mind-maps due to their size and options for interaction so that the users can individually create parts and integrate them into the collective mind-map. As part of this thesis, suitable concepts for the creation of mind-maps on interactive display walls are being presented. In this context, the emphasis is lying on the possibilities of using the position of the user in front the display wall, in order to offer every user a personal lens and thus access to personal tools, as well as the interaction with pen and touch in order to create and move mind-map-elements. Therefore related work of the topic areas: mind-maps, collaboration and interaction at interactive display walls and Magic Lenses will be analysed at first. Based on a fundamental understanding of these three domains, concepts for the collaborative creation of mind-maps on interactive display walls using personal lenses are being presented. Selected concepts were prototypically implemented and offered first promising insights on how the mind-mapping of the future could be done. In the process the particular benefit of a personal lens as an individual visualization- and interaction-interface has been recognized.:Einleitung Verwandte Arbeiten Konzepte zur kollaborativen Erstellung von Mind-Maps mit persönlichen Linsen an interaktiven Display Walls Prototypische Implementierung Fazit und Ausblic

Anforderungsanalyse für kollaborative Brainstorming-Anwendungen an einer interaktiven Displaywand

Brainstorming ist eine weit verbreitete Technik zur Ideengenerierung, die dazu dient, in kurzer Zeit möglichst viele verschiedene Ideen zu sammeln. Diese Technik wird zur Problemlösung, Entscheidungsfindung oder zur Erstellung neuer Konzepte verwendet. Entstandene Ideen können in Form eines Affinitätsdiagramms auf separaten Notizzetteln dargestellt werden. Für die kollaborative Erstellung eines Affinitätsdiagramms eignen sich wegen der Größe und der Fähigkeit der direkten Manipulation interaktive Displaywände. So können die Nutzer in der ersten Phase des Brainstormings individuell und simultan Ideen sammeln, bevor diese in der zweiten Phase gut übersichtlich auf dem großen Display sortiert und bewertet werden. In dieser Arbeit geht es um die Anforderungen, die eine Brainstorming-Anwendung besitzen muss, damit an einer interaktiven Displaywand ein Affinitätsdiagramm erstellt werden kann. Dabei liegt der Fokus zunächst auf grundlegenden Funktionalitäten, die basierend auf der Analyse von kommerziellen Brainstorming-Anwendungen ausgewählt werden. Aus dieser Analyse und weiterer verwandter Arbeiten zu den Themen Brainstorming und Kollaboration an interaktiven Displaywänden werden Konzepte für eine Brainstorming-Anwendung vorgestellt. Ausgewählte Konzepte wurden daraufhin prototypisch implementiert. Diese werden basierend auf Nutzer-Tests untersucht und ausgewertet, um daraus Schlüsse für die weitere Herangehensweise zu ziehen.:1 Einleitung 1 2 Verwandte Arbeiten 3 2.1 Interaktive Displaywände 3 2.1.1 Interaktion an Displaywänden 3 2.1.2 Kollaboration 6 2.2 Brainstorming 8 2.2.1 Analoges Brainstorming 8 2.2.2 Digitales Brainstorming 10 2.3 Designempfehlungen für eine Brainstorming-Anwendung an einer interaktiven Displaywand 15 3 Konzepte zur kollaborativen Erstellung eines Affinitätsdiagramms an interaktiven Displaywänden 19 3.1 Aufteilung der Funktionalitäten in verschiedene Menüs 20 3.1.1 Globales Menü 20 3.1.2 Lokales Menü 21 3.1.3 Kontextmenü 23 3.2 Erstellen, Bearbeiten und Löschen von Notizen 23 3.2.1 Erstellen von Notizen 24 3.2.2 Öffnen des Kontextmenüs 25 3.2.3 Bearbeiten und Löschen einer Notiz und dessen Inhalt 26 3.3 Sortieren und Gruppieren der Notizen 27 3.4 Kollaborative Funktionalitäten 28 3.5 Fingermenü als Ergänzung der bestehenden Menüs 33 4 Prototypische Implementierung 37 4.1 Technische Rahmenbedingungen 37 4.2 Implementierungsgrundlage 38 4.3 Umgesetzte Konzepte 39 4.4 Resultate 42 5 Auswertung und Ausblick 45 5.1 Auswertung der vorgestellten Konzepte und des implementierten Prototypen 45 5.2 Ausblick 49 5.2.1 Evaluation mit gut funktionierendem Prototypen 49 5.2.2 Erweiterung bestehender Funktionalitäten 49 5.2.3 Weitere Möglichkeiten der Interaktion an Displaywänden 51 5.3 Zusammenfassung 53 A Anhang 55 Literatur 57Brainstorming is a widely used technique aiming to collect as many different ideas as possible in a brief amount of time. This technique is used for problem solving, decision making or the creation of new concepts. Emerged ideas can be represented in the form of an affinity diagram on sticky notes. For the collaborative creation of an affinity diagram, interactive display walls are a suitable medium because of their size and the possibility of direct manipulation. In the first phase of brainstorming, users can collect ideas individually and simultaneously. These ideas can be sorted and evaluated on the large display in a clearly arranged manner in the second phase. This work deals with requirements, that a brainstorming application has to offer to create an affinity diagram on an interactive display wall. Initially, the focus will be on basic functionality based on the analysis of commercial brainstorming tools. From this analysis and other related works on the topic of brainstorming and collaboration on interactive display walls, concepts for a brainstorming application are presented. Selected concepts were then prototypically implemented. Based on user tests, the concepts will be examined and evaluated.:1 Einleitung 1 2 Verwandte Arbeiten 3 2.1 Interaktive Displaywände 3 2.1.1 Interaktion an Displaywänden 3 2.1.2 Kollaboration 6 2.2 Brainstorming 8 2.2.1 Analoges Brainstorming 8 2.2.2 Digitales Brainstorming 10 2.3 Designempfehlungen für eine Brainstorming-Anwendung an einer interaktiven Displaywand 15 3 Konzepte zur kollaborativen Erstellung eines Affinitätsdiagramms an interaktiven Displaywänden 19 3.1 Aufteilung der Funktionalitäten in verschiedene Menüs 20 3.1.1 Globales Menü 20 3.1.2 Lokales Menü 21 3.1.3 Kontextmenü 23 3.2 Erstellen, Bearbeiten und Löschen von Notizen 23 3.2.1 Erstellen von Notizen 24 3.2.2 Öffnen des Kontextmenüs 25 3.2.3 Bearbeiten und Löschen einer Notiz und dessen Inhalt 26 3.3 Sortieren und Gruppieren der Notizen 27 3.4 Kollaborative Funktionalitäten 28 3.5 Fingermenü als Ergänzung der bestehenden Menüs 33 4 Prototypische Implementierung 37 4.1 Technische Rahmenbedingungen 37 4.2 Implementierungsgrundlage 38 4.3 Umgesetzte Konzepte 39 4.4 Resultate 42 5 Auswertung und Ausblick 45 5.1 Auswertung der vorgestellten Konzepte und des implementierten Prototypen 45 5.2 Ausblick 49 5.2.1 Evaluation mit gut funktionierendem Prototypen 49 5.2.2 Erweiterung bestehender Funktionalitäten 49 5.2.3 Weitere Möglichkeiten der Interaktion an Displaywänden 51 5.3 Zusammenfassung 53 A Anhang 55 Literatur 5

Nutzerverhalten beim kollaborativen Arbeiten an zwei Großdisplays

Interaktive Displays sind in Unternehmen und der Forschung in verschiedenen Anwendungsbereichen gegenwärtig. Diese Arbeit geht auf die aktuelle Forschung ein und stellt eine mögliche Klassifikation von Verhaltensweisen bei der kollaborativen Arbeit an interaktiven Displays vor. Interaktive Displays lassen sich zu Multi-Display-Umgebungen kombinieren, die beispielsweise zur Durchführung von Analyse- und Organisationsszenarien in größeren Teams genutzt werden können. In der Forschung fehlen derzeit Kenntnisse zu Verhaltensweisen beim Arbeiten an zwei vertikalen Großdisplays. Daher ist ein Schwerpunkt dieser Arbeit die Durchführung einer Beobachtungsstudie, die das Nutzerverhalten beim Arbeiten an einer Displaywand und einem Microsoft Surface Hub untersucht. Die Studie ergab, dass dieses Setup die Kommunikation und Zusammenarbeit zwischen Nutzern in Kleingruppen unterstützt. Zudem konnte beobachtet werden, dass sich zwei Displays zur Aufgabenteilung sowie parallelen Arbeit eignen und die Teams dazu Teilgruppen bilden

Miteinander, Gegeneinander und Füreinander: Gruppeninteraktion an einem Tabletop im Museum

Museen werden häufig von Gruppen wie z.B. Familien besucht, die ein Interesse daran haben, die Inhalte dieser Institutionen gemeinsam zu erkunden. Leider sind jedoch in vielen Museen interaktive oder gar gemeinschaftlich nutzbare Exponate weiterhin eine Seltenheit. Interaktive Tabletops können den Bedürfnissen von Besuchergruppen begegnen und kollaborative Gruppeninteraktionen ermöglichen.  Der Fokus dieser Arbeit liegt darauf, kollaborative Gruppeninteraktion an interaktiven Tischen für verschiedene Ausstellungskontexte einerseits herzustellen und andererseits detailliert zu untersuchen, um besondere Potentiale von interaktiven Tabletops für Gruppenkollaboration im Museum herauszuarbeiten.  Die Dissertation beschreibt dabei die iterative Entwicklung von zwei interaktiven Tabletop-Exponaten in ihrer physischen Gestaltung und ihren Anwendungen, die entwicklungsbegleitend durch drei In-the-wild-Studien unter realweltlichen Bedingungen weiterentwickelt wurden. In einer letzten In-the-wild-Studie wurden Gruppeninteraktionen am Tisch zum Zwecke der Interaktionsanalyse videografisch erfasst. Als Fundament für Entwicklung und Interaktionsanalyse dient eine Auseinandersetzung mit bestehenden Tabletopanwendungen in Museen hinsichtlich ihrer Potentiale für Gruppeninteraktionen. In der Interaktionsanalyse zeigte sich unter anderem, dass die Gestaltung der Anwendung als rundenbasiertes Spiel Einfluss auf die Gruppeninteraktion hat. Insbesondere konnte beobachtet werden, dass  Besucher*innen ihren Aufenthalt am Tabletopexponat sowohl mit ihrer Gruppe als auch mit dem Spielzustand koordinieren. Die Rundenbasiertheit der Anwendung motiviert Spieler*innen, ihre Gruppenmitglieder zu unterstützen und dadurch zudem das Voranschreiten des Spieles zu sichern. Aus den Ergebnissen der Interaktionsanalyse werden abschließend Implikationen für die Gestaltung von interaktiven Exponaten und ihre Anwendung für museale Kontexte abgeleitet.:Danksagung Einleitung Grundlagen Iterative Entwicklung eines Tabletopexponats Methodisches Vorgehen Interaktion am Tisch Gruppen- und Spielverpflichtung Intervention und Unterstützung Fazit LiteraturMuseums are often visited by groups of people such as families, who commonly intend to explore and experience the museum space together. Unfortunately, many museums lack interactive exhibits that could facilitate such collaborative experiences. Interactive tabletops can satisfy such desires and enable collaborative group interactions. The focus of this thesis is on the facilitation and the analysis of collaborative group interactions on interactive tabletops in exhibition spaces. It identifies potentials of interactive tabletops for group collaboration in museums. The thesis describes the iterative development of two interactive tabletop exhibits in their physical form and their applications. This development was accompanied by three in-the-wild studies, which drove the evolution of hardware and software. In a final in-the-wild study group interactions on a tabletop exhibit were examined using interaction analysis. The development as well as the following analysis of group interactions on tabletop exhibits was based on the thorough analysis of existing tabletop exhibits and other studies of group interactions in museums. The detailed study of group interactions revealed among other things that the design of the application as a turn-based game had a significant influence on group interactions. Users coordinated their stay at the tabletop with their peers while considering the state of the game. The turn-based manner of the application motivated players to support their peers to advance through the game. The results of the interaction analysis lead to implications for the design of interactive exhibits and their application in museum spaces.:Danksagung Einleitung Grundlagen Iterative Entwicklung eines Tabletopexponats Methodisches Vorgehen Interaktion am Tisch Gruppen- und Spielverpflichtung Intervention und Unterstützung Fazit Literatu

Multimodales kollaboratives Zeichensystem für blinde Benutzer

Bilder und grafische Darstellungen gehören heutzutage zu den gängigen Kommunikationsmitteln und Möglichkeiten des Informationsaustauschs sowie der Wissensvermittlung. Das bildliche Medium kann allerdings, wenn es rein visuell präsentiert wird, ganze Nutzergruppen ausschließen. Blinde Menschen benötigen beispielsweise Alternativtexte oder taktile Darstellungen, um Zugang zu grafischen Informationen erhalten zu können. Diese müssen jedoch an die speziellen Bedürfnisse von blinden und hochgradig sehbehinderten Menschen angepasst sein. Eine Übertragung von visuellen Grafiken in eine taktile Darstellung erfolgt meist durch sehende Grafikautoren und -autorinnen, die teilweise nur wenig Erfahrung auf dem Gebiet der taktilen Grafiktranskription haben. Die alleinige Anwendung von Kriterienkatalogen und Richtlinien über die Umsetzung guter taktiler Grafiken scheint dabei nicht ausreichend zu sein, um qualitativ hochwertige und gut verständliche grafisch-taktile Materialien bereitzustellen. Die direkte Einbeziehung einer sehbehinderten Person in den Transkriptionsprozess soll diese Problematik angehen, um Verständnis- und Qualitätsproblemen vorzubeugen. Großflächige dynamisch taktile Displays können einen nicht-visuellen Zugang zu Grafiken ermöglichen. Es lassen sich so auch dynamische Veränderungen an Grafiken vermitteln. Im Rahmen der vorliegenden Arbeit wurde ein kollaborativer Zeichenarbeitsplatz für taktile Grafiken entwickelt, welcher es unter Einsatz eines taktilen Flächendisplays und auditiver Ausgaben ermöglicht, eine blinde Person aktiv als Lektorin bzw. Lektor in den Entstehungsprozess einer Grafik einzubinden. Eine durchgeführte Evaluation zeigt, dass insbesondere unerfahrene sehende Personen von den Erfahrungen sehbehinderter Menschen im Umgang mit taktilen Medien profitieren können. Im Gegenzug lassen sich mit dem kollaborativen Arbeitsplatz ebenso unerfahrene sehbehinderte Personen im Umgang mit taktilen Darstellungen schulen. Neben Möglichkeiten zum Betrachten und kollaborativen Bearbeiten werden durch den zugänglichen Zeichenarbeitsplatz auch vier verschiedene Modalitäten zur Erzeugung von Formen angeboten: Formenpaletten als Text-Menüs, Gesteneingaben, Freihandzeichnen mittels drahtlosem Digitalisierungsstift und das kamerabasierte Scannen von Objektkonturen. In einer Evaluation konnte gezeigt werden, dass es mit diesen Methoden auch unerfahrenen blinden Menschen möglich ist, selbständig Zeichnungen in guter Qualität zu erstellen. Dabei präferieren sie jedoch robuste und verlässliche Eingabemethoden, wie Text-Menüs, gegenüber Modalitäten, die ein gewisses Maß an Können und Übung voraussetzen oder einen zusätzlichen technisch aufwendigen Aufbau benötigen.Pictures and graphical data are common communication media for conveying information and know\-ledge. However, these media might exclude large user groups, for instance visually impaired people, if they are offered in visual form only. Textual descriptions as well as tactile graphics may offer access to graphical information but have to be adapted to the special needs of visually impaired and blind readers. The translation from visual into tactile graphics is usually implemented by sighted graphic authors, some of whom have little experience in creating proper tactile graphics. Applying only recommendations and best practices for preparing tactile graphics does not seem sufficient to provide intelligible, high-quality tactile materials. Including a visually impaired person in the process of creating a tactile graphic should prevent such quality and intelligibility issues. Large dynamic tactile displays offer non-visual access to graphics; even dynamic changes can be conveyed. As part of this thesis, a collaborative drawing workstation was developed. This workstation utilizes a tactile display as well as auditory output to actively involve a blind person as a lector in the drawing process. The evaluation demonstrates that inexperienced sighted graphic authors, in particular, can be\-ne\-fit from the knowledge of a blind person who is accustomed to handling tactile media. Furthermore, inexperienced visually impaired people may be trained in reading tactile graphics with the help of the collaborative drawing workstation. In addition to exploring and manipulating existing graphics, the accessible drawing workstation offers four different modalities to create tactile shapes: text-based shape-palette-menus, gestural drawing, freehand drawings using a wireless stylus and scanning object silhouettes by a ToF-camera. The evaluation confirms that even untrained blind users can create drawings in good quality by using the accessible drawing workstation. However, users seem to prefer robust, reliable modalities for drawing, such as text menus, over modalities which require a certain level of skill or additional technical effort

Nutzung mobiler Endgeräte zur Analyse von dynamischen Graphen im Raum vor einer Displaywall

Eine Graph-Visualisierung von Daten findet Einsatz in verschiedenen Domänen und erleichtert die Gewinnung von Erkenntnissen über Relationen. Viele Datensätze haben eine dynamische Natur und verändern sich über die Zeit. Dynamische Graphen kodieren die temporalen Änderungen der Objekte und ihrer Relationen. Der Vorteil der hochauflösenden Displaywand besteht darin, dass durch einen vergrößerten Darstellungsraum ein guter Überblick über die strukturellen Zusammenhänge entsteht. Der Einsatz der heutzutage sehr verbreiteten mobilen Endgeräte bietet eine lokale nutzerspezifische Darstellung für die Exploration und Manipulation der Graphen einschließlich ihrer dynamischen Komponente. Während sich viele Arbeiten auf die Analyse statischer Strukturen fokussieren, wird das Problem der Exploration und Visualisierung dynamischer Graphen vergleichsweise wenig adressiert. In der vorliegenden Arbeit werden die grundlegenden Aufgaben für die dynamischen Graphen sowie der Stand der Forschung über den interaktiven Raum der kombinierten Anwendung Displaywand und Mobilgerät untersucht. Auf dieser Basis werden die Interaktionskonzepte für die Exploration dynamischer Graphen und die Visualisierung der Änderungen erarbeitet. Der interaktive Raum bietet dabei die räumlichen Freiheitsgrade für die Gestaltung der Interaktionen. Die entstandene Konzeption dient abschließend als Grundlage für die prototypische Umsetzung in einem existierenden Projekt zur Exploration von Graphen mithilfe mobiler Endgeräte.:- Einleitung - Grundlagen und verwandte Arbeiten - Konzeption - Umsetzung - Zusammenfassung, Bewertung und Ausblick - LiteraturverzeichnisGraph visualization for data is used in various domains. It facilitates the extraction of knowledges about the relationships. Many datasets have a dynamic nature and change over time. Dynamic graphs ecode the temporal changes of objects and their relations. The advantage of the high-resolution displaywall is providing a good overview of the structural relations caused by an enlarged representation space. The use of nowadays widespread mobile devices provides a local user-specific view for the exploration of the graphs including their dynamic component. While many studies focuse on the analysis of static data structures, the issue of exploration and visualization of dynamic graphs is adressed by only a few works. This thesis investigates the basic tasks for dynamic graphs and state of research into the interaction space of combined applications of displaywall and mobile device. On this basis the interaction concepts for the exploration of dynamic graphs and the visualization of the changes are developed. The interaction space provides the spatial degrees of freedom for the design of interactions. The resulting set of concepts is the basis for the prototypical implementation in the existing project for the exploration of graphs using the mobile devices.:- Einleitung - Grundlagen und verwandte Arbeiten - Konzeption - Umsetzung - Zusammenfassung, Bewertung und Ausblick - Literaturverzeichni

Analyse von 3D-Visualisierungen durch die Kombination von interaktiven Oberflächen mit Augmented Reality Head-Mounted Displays

Dreidimensionale Informationsvisualisierungen fördern durch den geringen Grad an Abstraktion die Bildung eines präzisen mentalen Modells und können daher multidimensionale räumliche Beziehungen greifbar kommunizieren. Gleichzeitig eröffnet die aktuelle Generation von Augmented Reality Head-Mounted Displays (AR-HMDs) neuartige Möglichkeiten zur Exploration von 3D-InfoVis und ist befähigt virtuelle Objekte glaubwürdig und immersiv in die physische Umgebung eines Nutzers zu integrieren. Dennoch unterliegt die Interaktion in AR-Umgebungen einer Vielzahl von Herausforderungen, da die signifikante Mehrheit der Applikationen lediglich Blick-, Freihandgesten- oder Sprachsteuerung als Eingabemodalität in Betracht ziehen. Durch Kombination von interaktiven Oberflächen wie Tabletops mit AR-HMDs können diese Nachteile effizient adressiert werden, indem direkte und natürliche Manipulation in Form von Multi-Touch, Tangible- oder Stift-Eingabe ermöglicht wird. Im Rahmen dieser Thesis wird untersucht, wie die Analyse von 3D-InfoVis bei Kombination interaktiver Oberflächen mit AR-HMDs unterstützt werden kann. Hierfür wird der aktuelle Stand der Forschung in themennahen Domänen erfasst und folgend Konzepte zur Unterstützung analytischer Prozesse in zuvor erläuterter Systemkonstellation entwickelt. Die resultierenden Konzepte adressieren dabei Limitationen, die bei Darstellung und Interaktion von und mit 3D-InfoVis in konventionellen Systemen bestehen und im Rahmen der Kombination interaktiver Oberflächen mit AR-HMDs gelöst oder wesentlich angereichert werden können. Ausgewählte Features wurden in einer prototypischen Implementierung realisiert und getestet.:Einleitung Verwandte Arbeiten Konzept der Augmented Displays Konzepte zur Unterstützung analytischer Prozesse im Umgang mit 3D-InfoVis bei Kombination interaktiver Oberflächen mit AR-HMDs Implementierung Diskussion ZusammenfassungThree-dimensional information visualizations aid precise mental models and are able to communicate multidimensional-spatial relations due too their low level of abstraction. Simultaneously the current generation of Augmented Reality head-mounted displays (AR-HMDs) are offering novel chances for the exploration of 3D-InfoVis and are capable of immersively integrating virtual object into the physical environment of a user. Nevertheless, interaction in AR-environments is still posing a major challenge due to most applications only considering gaze, freehand gesture or speech as input modalities. By combining AR-HMDs with interactive surfaces these limitations can be addressed and direct and natural interaction in the form of multi-touch-, tangible- or pen-input can be enabled. In the scope of this thesis it will be examined how the analysis of 3D-InfoVis can be supported in the context of combining interactive surfaces with AR-HMDs. Therefor the current state of research in associated domains is being summarized and based on that concepts for supporting analytical processes in aforementioned system constellation are being developed. The resulting concepts help addressing limitations, that exist in the representation and interaction of and with 3D-InfoVis in conventional systems in the scope of combining interactive surfaces with AR-HMDs in order to overcome them or reduce their effects. Selected features were implemented and tested in a prototype.:Einleitung Verwandte Arbeiten Konzept der Augmented Displays Konzepte zur Unterstützung analytischer Prozesse im Umgang mit 3D-InfoVis bei Kombination interaktiver Oberflächen mit AR-HMDs Implementierung Diskussion Zusammenfassun

Formalisierung gestischer Eingabe für Multitouch-Systeme

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiel