Simulation, Erfassung und Analyse direkter Objektmanipulationen in Virtuellen Umgebungen

Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.:Abbildungsverzeichnis ix Tabellenverzeichnis xiii Verzeichnis der Listings xv 1. Einleitung 1 1.1. Wissenschaftlicher Kontext und Abgrenzung 2 1.2. Zielsetzung und Beitrag 3 1.3. Aufbau der Arbeit 5 2. Interaktion in virtuellen Umgebungen 7 2.1. Grundbegriffe 7 2.2. Techniken der Interaktion in virtuellen Umgebungen 10 2.2.1. Zeigerbasierte Interaktion 10 2.2.2. Multimodale Interaktion 11 2.2.3. Direkte Objektmanipulation 12 2.3. Eingabegeräte 14 2.3.1. Positionstracker 14 2.3.2. Datenhandschuh (Cyberglove) 15 2.3.3. Fingertracker 18 2.4. Virtuelle Objekte 20 2.4.1. Funktionale Komponenten virtueller Umgebungen 20 2.4.2. Artikulierte Objekte und Stellteile 21 2.4.3. Die Industrienorm EN 894-3 für Stellteile 23 2.5. Zusammenfassung 24 3. Direkte Objektmanipulation in der Realität 25 3.1. Menschliches Greifen 25 3.1.1. Anatomische Grundbegriffe der menschlichen Hand 26 3.1.2. Eigenschaften von Greifvorgängen 28 3.2. Taxonomien von Greifarten 31 3.2.1. Greifarten nach Schlesinger 32 3.2.2. Griffkategorien nach Napier 34 3.2.3. Taxonomie von Greifarten nach Cutkosky 37 3.2.4. Taxonomie von Greifarten nach Kamakura 38 3.3. Eine spezielle Grifftaxonomie für Objektmanipulationen in VR 41 3.3.1. Anforderungen an eine Grifftaxonomie 41 3.3.2. Erfüllung dieser Anforderungen durch bestehende Taxonomien 43 3.3.3. Entwurfsprozess der Taxonomie 44 3.3.4. Detailbeschreibung der neuen Taxonomie 46 3.4. Zusammenfassung 51 4. Umsetzung direkter Objektmanipulation in virtuellen Umgebungen 53 4.1. Annotierte Objekte 53 4.1.1. Deklaration annotierter Objekte 55 4.1.2. Szenende?nitionen 58 4.1.3. Implementierung annotierter Objekte 60 4.2. Virtuelle Stellteile 62 4.2.1. Implementierung virtueller Stellteile 62 4.2.2. Stellteilereignisse 66 4.3. Virtuelles Handmodell 67 4.3.1. Deklaration des Handmodells 69 4.3.2. Implementierung des Handmodells 70 4.3.3. Physikalisches Handmodell 72 4.4. Simulation des Greifens 72 4.4.1. Implementierung der Geometrie-basierten Simulation 74 4.4.2. Implementierung der Sensor-Kräfte-basierten Simulation 75 4.4.3. Implementierung der Dynamik-basierten Simulation 76 4.5. Zusammenfassung 77 5. Automatische Erkennung von Greifarten 79 5.1. Verwandte Arbeiten 80 5.2. Methodik 81 5.3. Erkennung basierend auf Rohdaten des Cyberglove 82 5.3.1. Erste Studie (CG-S-R): Cyberglove-Rohdaten, Schlesinger-Taxonomie, reale Objekte 83 5.3.2. Anschlussstudie zur Verbesserung der Generalisierungsfähigkeit 97 5.3.3. Zweite Studie (CG-H-R): Cyberglove-Rohdaten, neue Taxonomie, reale Objekte 108 5.4. Erkennung basierend auf Gelenkwinkeln des Fingertrackings 119 5.4.1. Dritte Studie (FT3-S-R): Fingertracking, Schlesinger-Taxonomie, reale Objekte 119 5.4.2. Vierte Studie (FT5-S-V): Fingertracking, Schlesinger-Taxonomie, virtuelle Objekte 130 5.5. Vergleichende Diskussion aller Studien 143 5.6. Zusammenfassung 146 6. Erfassung und Analyse von direkten Objektmanipulationen in virtuellen Umgebungen 149 6.1. Erfassung und Aufzeichnung von Interaktionen 149 6.1.1. Ebene 0 - Rohdaten der Eingabegeräte 150 6.1.2. Ebene 1 - Bewegungsdaten der Körpermodells 151 6.1.3. Ebene 2 - Interaktionsdaten 152 6.2. Basisinteraktionen 153 6.2.1. Taxonomie von Basisinteraktionen 153 6.2.2. Detailbeschreibung der Basisinteraktionen 154 6.3. Erkennung von Basisinteraktionen 157 6.3.1. Segmentierung der Bewegungen 158 6.3.2. Verarbeitung von Kontaktinformationen 160 6.3.3. Verarbeitung von Stellteilereignissen 161 6.3.4. Weiterverarbeitung von Basisinteraktionen 162 6.4. Interaktionsereignisse 162 6.4.1. Typen von Interaktionsereignissen 163 6.4.2. XML-Format 164 6.4.3. Typabhängige Inhalte 166 6.4.4. Sequenzen von Interaktionsereignissen 171 6.4.5. Visualisierung von Interaktionsereignissen 171 6.5. Interaktionsdatenbank 172 6.5.1. Interaktionskanäle 173 6.5.2. Aufzeichnungssitzungen 174 6.6. Zusammenfassung 176 7. Beispielszenarien 179 7.1. Objekt an andere Position tragen (pick and place) 180 7.1.1. Die Werkbank-Szene 180 7.1.2. Interaktionssequenz im Detail 181 7.2. Stellteilbedienung 191 7.2.1. Die Pult-Szene 191 7.2.2. Die Interaktionssequenz mit dem Stellteil im Detail 192 7.3. Beispiel eines virtuellen Prototyps 200 7.3.1. Die Autocockpit-Szene 200 7.3.2. Aufgezeichnete Aktionssequenz 201 7.4. Zusammenfassung 203 8. Zusammenfassung und Ausblick 205 8.1. Ergebnisse 205 8.2. Einbettung der Arbeit in das „Action Capture“-Verfahren 209 8.2.1. Automatische Generierung von Aktionsbeschreibungen 209 8.2.2. Erzeugung von Animationen 211 8.3. Diskussion: Limitierungen und Anwendbarkeit des vorgestellten Ansatzes 213 8.4. Ausblick 215 A. Schemata der XML-Formate 219 A.1. Interaktionsereignisse 219 A.2. Handsensoren 223 A.3. Annotierte Objekte 224 A.4. Szenenbeschreibung 226 B. Abkürzungsverzeichnis 227 Literaturverzeichnis 22

Simulation, Erfassung und Analyse direkter Objektmanipulationen in Virtuellen Umgebungen

Mit der Interaktionstechnik der "direkten Objektmanipulation" für virtuelle Umgebungen wird angestrebt, virtuelle Objekte genauso realistisch und flexibel handhaben zu können, wie das bei realen Objekten der Fall ist. Das bedeutet, virtuelle Objekte können mittels eines Handmodells direkt berührt, ergriffen, getragen, gedrückt und gezogen werden. Diese Interaktionstechnik findet vor allem dort Anwendung, wo Objektmanipulationen möglichst realistisch simuliert und erfasst werden sollen, z.B. bei Ergonomieuntersuchungen, virtuellem Prototyping, Trainingssimulationen usw. Neben einigen Ansätzen zur technischen Umsetzung von direkten Objektmanipulationen werden in dieser Arbeit vor allem Konzepte und Verfahren entwickelt und vorgestellt, die eine Erfassung und Analyse von Benutzerinteraktionen unter Verwendung dieser Interaktionstechnik ermöglichen. Eine wichtige Rolle spielt dabei die Untersuchung von Greifvorgängen, insbesondere die automatische Erkennung von Greifarten. Dazu wurden mehrere ausführliche empirische Studien mit einer neuartigen systematischen Methodik durchgeführt, woraus sich Empfehlungen für die Wahl von Klassifikationsverfahren und die Zusammensetzung der Merkmale ergeben. Ein weiteres Ergebnis ist eine neue Taxonomie von Greifarten, die speziell auf den Einsatz in virtueller Realität zugeschnitten ist und sich durch die Integration nicht-prehensiler Greifarten auszeichnet. Als weiterer wesentlicher Beitrag wird ein Analyseverfahren vorgestellt, mit dem der kontinuierliche Strom von Bewegungs- und Interaktionsdaten in Sequenzen von diskreten sinntragenden Basisinteraktionen zerlegt werden kann. Diese Sequenzen können anschließend manuell ausgewertet oder im Rahmen des "Action Capture"-Verfahrens in eine abstrakte Aktionsrepräsentation überführt und durch unterschiedliche virtuelle Figuren wiedergegeben werden.:Abbildungsverzeichnis ix Tabellenverzeichnis xiii Verzeichnis der Listings xv 1. Einleitung 1 1.1. Wissenschaftlicher Kontext und Abgrenzung 2 1.2. Zielsetzung und Beitrag 3 1.3. Aufbau der Arbeit 5 2. Interaktion in virtuellen Umgebungen 7 2.1. Grundbegriffe 7 2.2. Techniken der Interaktion in virtuellen Umgebungen 10 2.2.1. Zeigerbasierte Interaktion 10 2.2.2. Multimodale Interaktion 11 2.2.3. Direkte Objektmanipulation 12 2.3. Eingabegeräte 14 2.3.1. Positionstracker 14 2.3.2. Datenhandschuh (Cyberglove) 15 2.3.3. Fingertracker 18 2.4. Virtuelle Objekte 20 2.4.1. Funktionale Komponenten virtueller Umgebungen 20 2.4.2. Artikulierte Objekte und Stellteile 21 2.4.3. Die Industrienorm EN 894-3 für Stellteile 23 2.5. Zusammenfassung 24 3. Direkte Objektmanipulation in der Realität 25 3.1. Menschliches Greifen 25 3.1.1. Anatomische Grundbegriffe der menschlichen Hand 26 3.1.2. Eigenschaften von Greifvorgängen 28 3.2. Taxonomien von Greifarten 31 3.2.1. Greifarten nach Schlesinger 32 3.2.2. Griffkategorien nach Napier 34 3.2.3. Taxonomie von Greifarten nach Cutkosky 37 3.2.4. Taxonomie von Greifarten nach Kamakura 38 3.3. Eine spezielle Grifftaxonomie für Objektmanipulationen in VR 41 3.3.1. Anforderungen an eine Grifftaxonomie 41 3.3.2. Erfüllung dieser Anforderungen durch bestehende Taxonomien 43 3.3.3. Entwurfsprozess der Taxonomie 44 3.3.4. Detailbeschreibung der neuen Taxonomie 46 3.4. Zusammenfassung 51 4. Umsetzung direkter Objektmanipulation in virtuellen Umgebungen 53 4.1. Annotierte Objekte 53 4.1.1. Deklaration annotierter Objekte 55 4.1.2. Szenende?nitionen 58 4.1.3. Implementierung annotierter Objekte 60 4.2. Virtuelle Stellteile 62 4.2.1. Implementierung virtueller Stellteile 62 4.2.2. Stellteilereignisse 66 4.3. Virtuelles Handmodell 67 4.3.1. Deklaration des Handmodells 69 4.3.2. Implementierung des Handmodells 70 4.3.3. Physikalisches Handmodell 72 4.4. Simulation des Greifens 72 4.4.1. Implementierung der Geometrie-basierten Simulation 74 4.4.2. Implementierung der Sensor-Kräfte-basierten Simulation 75 4.4.3. Implementierung der Dynamik-basierten Simulation 76 4.5. Zusammenfassung 77 5. Automatische Erkennung von Greifarten 79 5.1. Verwandte Arbeiten 80 5.2. Methodik 81 5.3. Erkennung basierend auf Rohdaten des Cyberglove 82 5.3.1. Erste Studie (CG-S-R): Cyberglove-Rohdaten, Schlesinger-Taxonomie, reale Objekte 83 5.3.2. Anschlussstudie zur Verbesserung der Generalisierungsfähigkeit 97 5.3.3. Zweite Studie (CG-H-R): Cyberglove-Rohdaten, neue Taxonomie, reale Objekte 108 5.4. Erkennung basierend auf Gelenkwinkeln des Fingertrackings 119 5.4.1. Dritte Studie (FT3-S-R): Fingertracking, Schlesinger-Taxonomie, reale Objekte 119 5.4.2. Vierte Studie (FT5-S-V): Fingertracking, Schlesinger-Taxonomie, virtuelle Objekte 130 5.5. Vergleichende Diskussion aller Studien 143 5.6. Zusammenfassung 146 6. Erfassung und Analyse von direkten Objektmanipulationen in virtuellen Umgebungen 149 6.1. Erfassung und Aufzeichnung von Interaktionen 149 6.1.1. Ebene 0 - Rohdaten der Eingabegeräte 150 6.1.2. Ebene 1 - Bewegungsdaten der Körpermodells 151 6.1.3. Ebene 2 - Interaktionsdaten 152 6.2. Basisinteraktionen 153 6.2.1. Taxonomie von Basisinteraktionen 153 6.2.2. Detailbeschreibung der Basisinteraktionen 154 6.3. Erkennung von Basisinteraktionen 157 6.3.1. Segmentierung der Bewegungen 158 6.3.2. Verarbeitung von Kontaktinformationen 160 6.3.3. Verarbeitung von Stellteilereignissen 161 6.3.4. Weiterverarbeitung von Basisinteraktionen 162 6.4. Interaktionsereignisse 162 6.4.1. Typen von Interaktionsereignissen 163 6.4.2. XML-Format 164 6.4.3. Typabhängige Inhalte 166 6.4.4. Sequenzen von Interaktionsereignissen 171 6.4.5. Visualisierung von Interaktionsereignissen 171 6.5. Interaktionsdatenbank 172 6.5.1. Interaktionskanäle 173 6.5.2. Aufzeichnungssitzungen 174 6.6. Zusammenfassung 176 7. Beispielszenarien 179 7.1. Objekt an andere Position tragen (pick and place) 180 7.1.1. Die Werkbank-Szene 180 7.1.2. Interaktionssequenz im Detail 181 7.2. Stellteilbedienung 191 7.2.1. Die Pult-Szene 191 7.2.2. Die Interaktionssequenz mit dem Stellteil im Detail 192 7.3. Beispiel eines virtuellen Prototyps 200 7.3.1. Die Autocockpit-Szene 200 7.3.2. Aufgezeichnete Aktionssequenz 201 7.4. Zusammenfassung 203 8. Zusammenfassung und Ausblick 205 8.1. Ergebnisse 205 8.2. Einbettung der Arbeit in das „Action Capture“-Verfahren 209 8.2.1. Automatische Generierung von Aktionsbeschreibungen 209 8.2.2. Erzeugung von Animationen 211 8.3. Diskussion: Limitierungen und Anwendbarkeit des vorgestellten Ansatzes 213 8.4. Ausblick 215 A. Schemata der XML-Formate 219 A.1. Interaktionsereignisse 219 A.2. Handsensoren 223 A.3. Annotierte Objekte 224 A.4. Szenenbeschreibung 226 B. Abkürzungsverzeichnis 227 Literaturverzeichnis 22

Automatic data exchange and synchronization for knowledge-based intelligent virtual environments

Heumer G, Schilling M, Latoschik ME. Automatic data exchange and synchronization for knowledge-based intelligent virtual environments. In: Proceedings of IEEE Virtual Reality 2005, Bonn (Germany). 2005: 43-50

XSAMPL3D: An Action Description Language for the Animation of Virtual Characters

In this paper we present XSAMPL3D, a novel language for the high-level representation of actions performed on objects by (virtual) humans. XSAMPL3D was designed to serve as action representation language in an imitation-based approach to character animation: First, a human demonstrates a sequence of object manipulations in an immersive Virtual Reality (VR) environment. From this demonstration, an XSAMPL3D description is automatically derived that represents the actions in terms of high-level action types and involved objects. The XSAMPL3D action description can then be used for the synthesis of animations where virtual humans of different body sizes and proportions reproduce the demonstrated action. Actions are encoded in a compact and human-readable XML-format. Thus, XSAMPL3D describtions are also amenable to manual authoring, e.g. for rapid prototyping of animations when no immersive VR environment is at the animator's disposal. However, when XSAMPL3D descriptions are derived from VR interactions, they can accomodate many details of the demonstrated action, such as motion trajectiories,hand shapes and other hand-object relations during grasping. Such detail would be hard to specify with manual motion authoring techniques only. Through the inclusion of language features that allow the representation of all relevant aspects of demonstrated object manipulations, XSAMPL3D is a suitable action representation language for the imitation-based approach to character animation

An Animation System for Imitation of Object Grasping in Virtual Reality

Abstract. Interactive virtual characters are nowadays commonplace in games, animations, and Virtual Reality (VR) applications. However, rel-atively few work has so far considered the animation of interactive ob-ject manipulations performed by virtual humans. In this paper, we first present a hierarchical control architecture incorporating plans, behaviors, and motor programs that enables virtual humans to accurately manip-ulate scene objects using different grasp types. Furthermore, as second main contribution, we introduce a method by which virtual humans learn to imitate object manipulations performed by human VR users. To this actions. A new data structure called grasp events is used for storing infor-mation about user interactions with scene objects. High-level plans are generated from grasp events to drive the virtual humans ’ animation. Due to their high-level representation, recorded manipulations often naturally adapt to new situations without losing plausibility.

An Animation System for Imitation of Object Grasping in Virtual Reality

Abstract. Interactive virtual characters are nowadays commonplace in games, animations, and Virtual Reality (VR) applications. However, relatively few work has so far considered the animation of interactive object manipulations performed by virtual humans. In this paper, we first present a hierarchical control architecture incorporating plans, behaviors, and motor programs that enables virtual humans to accurately manipulate scene objects using different grasp types. Furthermore, as second main contribution, we introduce a method by which virtual humans learn to imitate object manipulations performed by human VR users. To this actions. A new data structure called grasp events is used for storing information about user interactions with scene objects. High-level plans are instantiated based on grasp events to drive the virtual humans ’ animation. Due to their high-level representation, recorded manipulations often naturally adapt to new situations without losing plausibility.

Paranoia Syndrome – A Pervasive Multiplayer Game using PDAs, RFID, and Tangible Objects

Abstract. In this paper we present Paranoia Syndrome as a novel hybrid game approach. Paranoia Syndrome combines classic multiplayer strategy game elements using 2D computer graphics on PDAs with location-based interaction paradigms in physical space using RFID technology and tangible objects. The combination of virtual and physical reality interaction in addition to a rule system, that encourages player cooperation, provides a powerful approach for social gaming experiences.