1 research outputs found
Formalisierung gestischer Eingabe fĂŒr Multitouch-Systeme
Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusĂ€tzliche GerĂ€te beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte KomplexitĂ€t einher: Die Programmierung gestischer Eingabe fĂŒr Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfĂŒgbaren Standard-Gesten mit hohem Aufwand verbunden.
Die entwickelte Gestenformalisierung fĂŒr Multitouch (GeForMT) definiert eine domĂ€nenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte FormalisierungsansĂ€tze detaillierte Filter fĂŒr die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstĂŒtzt, indem beispielsweise in einem frĂŒhen Stadium der Entwicklung Konflikte zwischen Ă€hnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt fĂŒr die Verbindung zu den Algorithmen der Gestenerkennung. Die Ăbertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschlieĂend diskutiert.:1 Einleitung
1.1 Motivation
1.2 Zielstellung und Abgrenzung
1.3 Aufbau der Arbeit
2 InterdisziplinÀre Grundlagenbetrachtung
2.1 Semiotik
2.1.1 Begriffe und Zeichenklassen
2.1.2 Linguistik
2.1.3 Graphische Semiologie
2.1.4 Formgestaltung und Produktsprache
2.1.5 Interfacegestaltung
2.2 Gestenforschung
2.2.1 Kendons Kontinuum fĂŒr Gesten
2.2.2 Taxonomien
2.2.3 Einordnung
2.3 Gestische Eingabe in der Mensch-Computer-Interaktion
2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien
2.3.2 Begreifbare Interaktion
2.3.3 DomÀnenspezifische Modellierung
2.4 Zusammenfassung
3 Verwandte FormalisierungsansÀtze
3.1 RĂ€umliche Gesten
3.1.1 XML-Beschreibung mit der Behaviour Markup Language
3.1.2 Detektornetze in multimodalen Umgebungen
3.1.3 Gestenvektoren zur Annotation von Videos
3.1.4 Vergleich
3.2 Gesten im Sketching
3.2.1 Gestenfunktionen fĂŒr Korrekturzeichen
3.2.2 Sketch Language zur Beschreibung von Skizzen
3.2.3 DomÀnenspezifische Skizzen mit LADDER
3.2.4 Vergleich
3.3 FlÀchige Gesten
3.3.1 Regelbasierte Definition mit Midas
3.3.2 Gesture Definition Language als Beschreibungssprache
3.3.3 RegulĂ€re AusdrĂŒcke von Proton
3.3.4 Gesture Interface Specification Language
3.3.5 Logische Formeln mit Framous
3.3.6 Gesture Definition Markup Language
3.3.7 Vergleich
3.4 Zusammenfassung
4 Semiotisches Modell zur Formalisierung
4.1 Phasen gestischer Eingabe
4.2 Syntax gestischer Eingabe
4.3 Semantik gestischer Eingabe
4.4 Pragmatik gestischer Eingabe
4.5 Zusammenfassung
5 Gestenformalisierung fĂŒr Multitouch
5.1 Ausgangslage fĂŒr die Konzeption
5.1.1 Ikonographische Einordnung flÀchiger Gesten
5.1.2 Voruntersuchung zur Programmierung flÀchiger Gesten
5.1.3 Anforderungskatalog fĂŒr die Formalisierung
5.2 Semiotische Analyse flÀchiger Gesten
5.2.1 Syntax flÀchiger Gesten
5.2.2 Semantik flÀchiger Gesten
5.2.3 Pragmatik flÀchiger Gesten
5.3 PrĂ€zedenzfĂ€lle fĂŒr die Formalisierung
5.3.1 Geschicklichkeit bei der Multitouch-Interaktion
5.3.2 PrÀzision bei flÀchigen Gesten
5.3.3 Kooperation in Multitouch-Anwendungen
5.4 Evaluation und Diskussion
5.4.1 Vergleich der Zeichenanzahl
5.4.2 Evaluation der BeschreibungsfÀhigkeit
5.4.3 Limitierungen und Erweiterungen
6 Referenzarchitektur
6.1 Analyse existierender Multitouch-Frameworks
6.2 Grundlegende Architekturkomponenten
6.2.1 Parser
6.2.2 Datenmodell
6.2.3 Gestenerkennung und Matching
6.2.4 Programmierschnittstelle
6.3 Referenzimplementierung fĂŒr JavaScript
6.3.1 Komponenten der Bibliothek
6.3.2 Praktischer Einsatz
6.3.3 Gesteneditor zur bildhaften Programmierung
7 Praxisbeispiele
7.1 Analyse prototypischer Anwendungen
7.1.1 Workshop zur schöpferischen Zerstörung
7.1.2 Workshop zu semantischen Dimensionen
7.1.3 Vergleich
7.2 Abbildung von Maus-Interaktion auf flÀchige Gesten in DelViz
7.2.1 Datengrundlage und Suchkonzept
7.2.2 Silverlight-Implementierung von GeForMT
7.3 FlÀchige Gesten im 3D-Framework Bildsprache LiveLab
7.3.1 Komponentenarchitektur
7.3.2 Implementierung von GeForMT mit C++
7.4 Statistik und Zusammenfassung
8 Weiterentwicklung der Formalisierung
8.1 RĂ€umliche Gesten
8.1.1 Verwandte Arbeiten
8.1.2 Prototypischer Aufbau
8.1.3 Formalisierungsansatz
8.2 Substanzen des Alltags
8.2.1 Verwandte Arbeiten
8.2.2 Experimente mit dem Explore Table
8.2.3 Formalisierungsansatz
8.3 Elastische OberflÀchen
8.3.1 Verwandte Arbeiten
8.3.2 Der Prototyp DepthTouch
8.3.3 Formalisierungsansatz
9 Zusammenfassung
9.1 Kapitelzusammenfassungen und BeitrÀge der Arbeit
9.2 Diskussion und Bewertung
9.3 Ausblick und zukĂŒnftige Arbeiten
Anhang
Vergleichsmaterial FormalisierungsansÀtze
Fragebogen
Nachbefragung
Ablaufplan studentischer Workshops
Grammatikdefinitionen
Statistische Auswertung Gestensets
Literatur
Webreferenzen
Eigene Veröffentlichungen
Betreute studentische Arbeiten
Abbildungsverzeichnis
Tabellen
Verzeichnis der Code-Beispiel