1 research outputs found

    Formalisierung gestischer Eingabe fĂŒr Multitouch-Systeme

    Get PDF
    Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusĂ€tzliche GerĂ€te beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte KomplexitĂ€t einher: Die Programmierung gestischer Eingabe fĂŒr Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfĂŒgbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung fĂŒr Multitouch (GeForMT) definiert eine domĂ€nenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte FormalisierungsansĂ€tze detaillierte Filter fĂŒr die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstĂŒtzt, indem beispielsweise in einem frĂŒhen Stadium der Entwicklung Konflikte zwischen Ă€hnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt fĂŒr die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 InterdisziplinĂ€re Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum fĂŒr Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 DomĂ€nenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte FormalisierungsansĂ€tze 3.1 RĂ€umliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen fĂŒr Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 DomĂ€nenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 FlĂ€chige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 RegulĂ€re AusdrĂŒcke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung fĂŒr Multitouch 5.1 Ausgangslage fĂŒr die Konzeption 5.1.1 Ikonographische Einordnung flĂ€chiger Gesten 5.1.2 Voruntersuchung zur Programmierung flĂ€chiger Gesten 5.1.3 Anforderungskatalog fĂŒr die Formalisierung 5.2 Semiotische Analyse flĂ€chiger Gesten 5.2.1 Syntax flĂ€chiger Gesten 5.2.2 Semantik flĂ€chiger Gesten 5.2.3 Pragmatik flĂ€chiger Gesten 5.3 PrĂ€zedenzfĂ€lle fĂŒr die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 PrĂ€zision bei flĂ€chigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der BeschreibungsfĂ€higkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung fĂŒr JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flĂ€chige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 FlĂ€chige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 RĂ€umliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische OberflĂ€chen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und BeitrĂ€ge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukĂŒnftige Arbeiten Anhang Vergleichsmaterial FormalisierungsansĂ€tze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiel
    corecore