Formalisierung gestischer Eingabe für Multitouch-Systeme

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiel

Die Verbildlichung von Klangstrukturen im Kontext der Entwicklung von Werkzeugen für die Medienproduktion

Audio ist einer der wichtigsten Aspekte bei mediengestützten Produktionen. Allerdings sind die Oberflächen zur Suche, Erstellung und Manipulation von Audio häufig getrieben durch die zugrundeliegenden technischen Parameter. Diese Parameter beschreiben in der Regel weder deren Bedeutung für den Sound noch welche Qualitäten im Sound zum Ausdruck kommen. Dadurch bieten solche Oberflächen selten eine intuitive, noch expressive Handhabe, da zuerst ein Übersetzungsprozess von der künstlerischen Idee hin zu den technischen Parametern erfolgen muss. Um die Oberflächen nahbarer und nachvollziehbar zu gestalten, wird daher die Verbildlichung der Strukturen von Sound auf verschiedenen Ebenen betrachtet. Insbesondere wie visuelle Momente zur Interaktion mit Audio genutzt werden können, wird herausgestellt. Auf diese Weise wird die grafische Erweiterung von technischer spektraler Editierung als Beispiel für die direkte Signalverarbeitung diskutiert. Auch werden metaphorische Visualisierungen für Audioeffekte thematisiert. Zudem wird das mentale Modell von Audio analysiert, welches hier assoziativ durch Skizzen als abstrakte visuelle Repräsentationen erhoben wird. Daher wurden Studien zur Erhebung und Bewertung von Skizzen durchgeführt, die je einen Sound abbilden. Aus den resultierenden Skizzenassoziationen ist ein Vorgehen zur Ableitung einer Klassifikation des skizzenbasierten mentalen Modells entstanden. Diese Klassifikation ist ein möglicher Ausgangspunkt für die Entwicklung von Werkzeugen und bietet ein Bewusstsein der Ausdrucksmöglichkeiten beim Einsatz grafischer Assoziationen bis hin zu Affordanzen im Design von Datensätzen für maschinelles Lernen. Denn es wurden auch statistische Zusammenhänge der Kenntnisse der zeichnenden Personen und den verwendeten Skizzenklassen untersucht. Dadurch kann die Art der Abbildung in Bezug zur gewünschten Zielgruppe gewählt werden.Audio is one of the most important aspects of media-based productions. However, the interfaces for searching, creating, and manipulating audio are often driven by the underlying technical parameters. These parameters usually do not describe their meanings for the sound, nor what qualities are expressed in the sound. As a result, such surfaces rarely offer an intuitive, nor expressive way of interacting, since a translation process from the artistic idea to the technical parameters must take place first. In order to make the interfaces more approachable and comprehensible, the visualization of the structures of sound is therefore considered on different levels. In particular, how visualizations can be used to interact with audio will be highlighted. In this way, the graphical extension of technical spectral editing is discussed as an example of direct signal processing. Also, metaphorical visualizations for audio effects are addressed. In addition, the mental model of audio is analyzed, which is here elicited associatively through sketches as abstract visual representations. Therefore, studies were conducted to collect and evaluate sketches, each depicting one sound. From the resulting sketch associations, a procedure for deriving a classification of the sketch-based mental model has been developed. This classification is a possible starting point for tool development and provides an awareness of the expressive possibilities when using graphical associations up to affordances in the design of datasets for machine learning. In fact, statistical correlations of the knowledge of the people drawing and the classes of sketches used were also investigated. This allows to choose the type of illustration in relation to the desired target group

Visuelle Exploration multidimensionaler Informationsräume: Ein Interface-Baukasten für die Produktsuche

Suchmaschinen bieten Zugang zu großen Datenmengen und viele Möglichkeiten, die Nutzeranfragen zu interpretieren und mit Korrekturen oder Empfehlungen zu unterstützen. Neben diesen technologischen Vorteilen, hat sich am Suchparadigma selbst in den letzten Jahren nicht viel geändert. Die meisten Suchinterfaces bestehen auch heute noch aus den typischen Eingabemasken und linearen Ergebnislisten. Jedoch ist es besonders für Nutzer mit wenig Erfahrung in der aktuellen Suchdomäne oder mit einem sehr unscharfen Informationsbedürfnis schwierig, ihre vagen Vorstellungen in eine spezifische Suchanfrage zu transformieren. Die herkömmlichen eindimensionalen Ergebnislisten bieten oft nur eine einfache Sortierfunktion. Verschiedene Techniken der Informationsvisualisierung bieten jedoch weitaus mehr Möglichkeiten, um multidimensionale Datensätze zu visualisieren und vergleichbar zu machen. Ziel der Arbeit ist es, den Suchprozess am Beispiel der Produktsuche aus der Nutzerperspektive zu analysieren und Anforderungen zu formulieren, welche verschiedene Strategien und Phasen der Suche unterstützen. Die Anwendungsfälle stützen sich dabei vor allem auf komplexere Suchaufgaben mit einem vagen Informationsbedürfnis wie der Planung eines Urlaubs oder dem Finden einer passenden Finanzierungsmöglichkeit. Weiterhin werden verschiedene Techniken der Informationsvisualisierung untersucht, um sowohl die visuelle Exploration und Analyse der multidimensionalen Datenmengen als auch eine schnelle Interpretation und den Vergleich der gefundenen Suchergebnisse zu ermöglichen. Die Betrachtung verschiedener verwandter Arbeiten aus dem kommerziellen und akademischen Bereich führen zu fünf verschiedenen Suchmusterkategorien, die in explorativen Suchszenarien miteinander kombiniert werden können, um den Suchraum einzugrenzen oder aufzufächern. Unter Berücksichtigung der Suchmusterkategorien der schlagwortbasierten Suche, der Ähnlichkeitssuche, der Facettennavigation, der empfehlungsbasierten Suche und des Browsing in strukturierten Inhalten werden verschiedene Lösungsansätze entwickelt, welche die Exploration unterschiedlicher Produktdatenmengen ermöglichen. Basierend auf diesen Fallbeispielen wird ein Baukasten für visuelle Suchinterfaces vorgeschlagen, der vorwärtsgerichtet oder rückwärtsgerichtet im Sinne des Reverse-Engineering angewandt werden kann. Die Bausteine geben einen Gestaltungsraum vor, der den Designer vor allem in der Konzeptionsphase unterstützt. Durch die Kombination verschiedener Bausteine werden der Entwurf neuer Interfacekonzepte und deren Variation ermöglicht. Weiterhin können erprobte Lösungen in Entwurfsmuster überführt werden, welche die Wiederverwendung in ähnlichen Problemkontexten erlauben. Durch das Reverse-Engineering können bekannte Interfaces in einzelne Bestandteile zerlegt und innere Strukturen sowie Zusammenhänge analysiert werden.:1 Einleitung 1.1 Motivation 1.2 Problemdarstellung und Zielsetzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Informationssuche 2.1.1 Informationsbedürfnis 2.1.2 Modelle der Informationssuche 2.1.3 Suchstrategien 2.2 Informationsvisualisierung 2.2.1 Visualisierungsprozess 2.2.2 Datenstrukturen 2.2.3 Visuelle Strukturen 2.2.4 Visualisierungstechniken 2.2.5 Interaktionstechniken 2.3 Entwurfsproblematik in der Mensch-Computer-Interaktion 2.3.1 Entwurfsprozess 2.3.2 Entwurfsmuster und -prinzipien 2.3.3 Baukastensysteme 2.3.4 Semiotik 2.4 Zusammenfassung 3 Suchmuster im Kontext der Produktsuche 3.1 Schlüsselwortsuche 3.1.1 Kommerzielle Anwendungen 3.1.2 Akademische Arbeiten 3.2 Ähnlichkeitssuche 3.2.1 Kommerzielle Anwendungen 3.2.2 Akademische Arbeiten 3.3 Facettennavigation 3.3.1 Kommerzielle Anwendungen 3.3.2 Akademische Arbeiten 3.4 Empfehlungsbasierte Suche 3.4.1 Kommerzielle Anwendungen 3.4.2 Akademische Arbeiten 3.5 Browsing in strukturierten Inhalten 3.5.1 Kommerzielle Anwendungen 3.5.2 Akademische Arbeiten 3.6 Zusammenfassung 4 Motivbasierte Suche 4.1 Nutzerbefragung 4.2 Aspekte der motivbasierten Suche 4.2.1 Exploration 4.2.2 Recherche 4.2.3 Evaluation 4.3 Zusammenfassung 5 Schlagwortbasierte Suche 5.1 Datengrundlage 5.1.1 Klassifikationsschema 5.1.2 Datenanalyse 5.2 DelViz 5.2.1 Konzept für die Explorative Suche 5.2.2 Analysekonzept 5.2.3 Browsing-Konzept 5.2.4 Prototyp 5.3 TagCircus 5.4 Facettice 5.5 Zusammenfassung 6 Ähnlichkeitssuche 6.1 Glyphdarstellungen 6.1.1 Many-to-One-Mapping 6.1.2 One-to-One-Mapping 6.2 Nutzerstudien 6.2.1 Evaluation von Differenzglyphen 6.2.2 Evaluation von Star-Plots und Flower-Glyphen 6.3 Ähnlichkeitssuche mittels Glyphen 6.3.1 Beispielbasierte Suche 6.3.2 Exploration multidimensionaler Datenmengen 6.4 Zusammenfassung 7 Facettennavigation 7.1 Datengrundlage 7.2 Basiskonzept 7.2.1 Interaktion mit den Achsen 7.2.2 Facettenfilter 7.2.3 Ergebnisliste 7.2.4 Suchhistorie 7.3 Parallele Koordinaten 7.3.1 Vergleich 7.3.2 Unscharfer Filter 7.4 Parallel Sets 7.5 Prototyp 7.6 Nutzerstudie 7.6.1 Methodik 7.6.2 Ergebnisse 7.6.3 Diskussion 7.7 Adaption des Konzepts 7.8 Zusammenfassung 8 Empfehlungsbasierte Suche 8.1 Get Inspired 8.1.1 Datengrundlage 8.1.2 Konzeption 8.1.3 Prototyp 8.1.4 Nutzerstudie 8.2 Motbasi 8.2.1 Prototyp 8.2.2 Nutzertest 8.3 Movie-Recommender 8.4 Findr 8.5 Zusammenfassung 9 Baukasten für visuelle Suchinterfaces 9.1 Bausteine 9.2 Baumuster 9.3 Baumusterpläne 9.3.1 Verbindungselemente 9.3.2 Referenzbausteine 9.4 Semiotische Aspekte des Baukastens 9.5 Anwendungsszenarien 9.5.1 Mustererstellung zur Wiederverwendbarkeit 9.5.2 Variantenerzeugung 9.5.3 Inspiration im Entwurfsprozess 9.5.4 Design- und Lehrmethodik 9.6 Zusammenfassung 10 Zusammenfassung 10.1 Zusammenfassung der Kapitel 10.2 Diskussion 10.3 Ausblick Anhang Glossar Abkürzungsverzeichnis Literatur Eigene Veröffentlichungen Betreute studentische Arbeiten Forschungsprojekte Abbildungsverzeichnis Tabellenverzeichnis Verzeichnis der Code-Beispiel