Formalisierung gestischer Eingabe für Multitouch-Systeme

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiel

Visuelle Exploration multidimensionaler Informationsräume: Ein Interface-Baukasten für die Produktsuche

Suchmaschinen bieten Zugang zu großen Datenmengen und viele Möglichkeiten, die Nutzeranfragen zu interpretieren und mit Korrekturen oder Empfehlungen zu unterstützen. Neben diesen technologischen Vorteilen, hat sich am Suchparadigma selbst in den letzten Jahren nicht viel geändert. Die meisten Suchinterfaces bestehen auch heute noch aus den typischen Eingabemasken und linearen Ergebnislisten. Jedoch ist es besonders für Nutzer mit wenig Erfahrung in der aktuellen Suchdomäne oder mit einem sehr unscharfen Informationsbedürfnis schwierig, ihre vagen Vorstellungen in eine spezifische Suchanfrage zu transformieren. Die herkömmlichen eindimensionalen Ergebnislisten bieten oft nur eine einfache Sortierfunktion. Verschiedene Techniken der Informationsvisualisierung bieten jedoch weitaus mehr Möglichkeiten, um multidimensionale Datensätze zu visualisieren und vergleichbar zu machen. Ziel der Arbeit ist es, den Suchprozess am Beispiel der Produktsuche aus der Nutzerperspektive zu analysieren und Anforderungen zu formulieren, welche verschiedene Strategien und Phasen der Suche unterstützen. Die Anwendungsfälle stützen sich dabei vor allem auf komplexere Suchaufgaben mit einem vagen Informationsbedürfnis wie der Planung eines Urlaubs oder dem Finden einer passenden Finanzierungsmöglichkeit. Weiterhin werden verschiedene Techniken der Informationsvisualisierung untersucht, um sowohl die visuelle Exploration und Analyse der multidimensionalen Datenmengen als auch eine schnelle Interpretation und den Vergleich der gefundenen Suchergebnisse zu ermöglichen. Die Betrachtung verschiedener verwandter Arbeiten aus dem kommerziellen und akademischen Bereich führen zu fünf verschiedenen Suchmusterkategorien, die in explorativen Suchszenarien miteinander kombiniert werden können, um den Suchraum einzugrenzen oder aufzufächern. Unter Berücksichtigung der Suchmusterkategorien der schlagwortbasierten Suche, der Ähnlichkeitssuche, der Facettennavigation, der empfehlungsbasierten Suche und des Browsing in strukturierten Inhalten werden verschiedene Lösungsansätze entwickelt, welche die Exploration unterschiedlicher Produktdatenmengen ermöglichen. Basierend auf diesen Fallbeispielen wird ein Baukasten für visuelle Suchinterfaces vorgeschlagen, der vorwärtsgerichtet oder rückwärtsgerichtet im Sinne des Reverse-Engineering angewandt werden kann. Die Bausteine geben einen Gestaltungsraum vor, der den Designer vor allem in der Konzeptionsphase unterstützt. Durch die Kombination verschiedener Bausteine werden der Entwurf neuer Interfacekonzepte und deren Variation ermöglicht. Weiterhin können erprobte Lösungen in Entwurfsmuster überführt werden, welche die Wiederverwendung in ähnlichen Problemkontexten erlauben. Durch das Reverse-Engineering können bekannte Interfaces in einzelne Bestandteile zerlegt und innere Strukturen sowie Zusammenhänge analysiert werden.:1 Einleitung 1.1 Motivation 1.2 Problemdarstellung und Zielsetzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Informationssuche 2.1.1 Informationsbedürfnis 2.1.2 Modelle der Informationssuche 2.1.3 Suchstrategien 2.2 Informationsvisualisierung 2.2.1 Visualisierungsprozess 2.2.2 Datenstrukturen 2.2.3 Visuelle Strukturen 2.2.4 Visualisierungstechniken 2.2.5 Interaktionstechniken 2.3 Entwurfsproblematik in der Mensch-Computer-Interaktion 2.3.1 Entwurfsprozess 2.3.2 Entwurfsmuster und -prinzipien 2.3.3 Baukastensysteme 2.3.4 Semiotik 2.4 Zusammenfassung 3 Suchmuster im Kontext der Produktsuche 3.1 Schlüsselwortsuche 3.1.1 Kommerzielle Anwendungen 3.1.2 Akademische Arbeiten 3.2 Ähnlichkeitssuche 3.2.1 Kommerzielle Anwendungen 3.2.2 Akademische Arbeiten 3.3 Facettennavigation 3.3.1 Kommerzielle Anwendungen 3.3.2 Akademische Arbeiten 3.4 Empfehlungsbasierte Suche 3.4.1 Kommerzielle Anwendungen 3.4.2 Akademische Arbeiten 3.5 Browsing in strukturierten Inhalten 3.5.1 Kommerzielle Anwendungen 3.5.2 Akademische Arbeiten 3.6 Zusammenfassung 4 Motivbasierte Suche 4.1 Nutzerbefragung 4.2 Aspekte der motivbasierten Suche 4.2.1 Exploration 4.2.2 Recherche 4.2.3 Evaluation 4.3 Zusammenfassung 5 Schlagwortbasierte Suche 5.1 Datengrundlage 5.1.1 Klassifikationsschema 5.1.2 Datenanalyse 5.2 DelViz 5.2.1 Konzept für die Explorative Suche 5.2.2 Analysekonzept 5.2.3 Browsing-Konzept 5.2.4 Prototyp 5.3 TagCircus 5.4 Facettice 5.5 Zusammenfassung 6 Ähnlichkeitssuche 6.1 Glyphdarstellungen 6.1.1 Many-to-One-Mapping 6.1.2 One-to-One-Mapping 6.2 Nutzerstudien 6.2.1 Evaluation von Differenzglyphen 6.2.2 Evaluation von Star-Plots und Flower-Glyphen 6.3 Ähnlichkeitssuche mittels Glyphen 6.3.1 Beispielbasierte Suche 6.3.2 Exploration multidimensionaler Datenmengen 6.4 Zusammenfassung 7 Facettennavigation 7.1 Datengrundlage 7.2 Basiskonzept 7.2.1 Interaktion mit den Achsen 7.2.2 Facettenfilter 7.2.3 Ergebnisliste 7.2.4 Suchhistorie 7.3 Parallele Koordinaten 7.3.1 Vergleich 7.3.2 Unscharfer Filter 7.4 Parallel Sets 7.5 Prototyp 7.6 Nutzerstudie 7.6.1 Methodik 7.6.2 Ergebnisse 7.6.3 Diskussion 7.7 Adaption des Konzepts 7.8 Zusammenfassung 8 Empfehlungsbasierte Suche 8.1 Get Inspired 8.1.1 Datengrundlage 8.1.2 Konzeption 8.1.3 Prototyp 8.1.4 Nutzerstudie 8.2 Motbasi 8.2.1 Prototyp 8.2.2 Nutzertest 8.3 Movie-Recommender 8.4 Findr 8.5 Zusammenfassung 9 Baukasten für visuelle Suchinterfaces 9.1 Bausteine 9.2 Baumuster 9.3 Baumusterpläne 9.3.1 Verbindungselemente 9.3.2 Referenzbausteine 9.4 Semiotische Aspekte des Baukastens 9.5 Anwendungsszenarien 9.5.1 Mustererstellung zur Wiederverwendbarkeit 9.5.2 Variantenerzeugung 9.5.3 Inspiration im Entwurfsprozess 9.5.4 Design- und Lehrmethodik 9.6 Zusammenfassung 10 Zusammenfassung 10.1 Zusammenfassung der Kapitel 10.2 Diskussion 10.3 Ausblick Anhang Glossar Abkürzungsverzeichnis Literatur Eigene Veröffentlichungen Betreute studentische Arbeiten Forschungsprojekte Abbildungsverzeichnis Tabellenverzeichnis Verzeichnis der Code-Beispiel