Multimodale Interaktion in Multi-Display-Umgebungen

Interaktive Umgebungen entwickeln sich mehr und mehr weg von Einzelarbeitsplätzen, hin zu Multi-Display-/Multi-User-Umgebungen. Diese stellen neue Anforderungen an Eingabegeräte und Interaktionstechniken. Im Rahmen dieser Arbeit werden neue Ansätze zur Interaktion auf Basis von Handgesten und Blick als neuartige Eingabemodalitäten entwickelt und untersucht

Multimodale Interaktion in Multi-Display-Umgebungen

Interaktive Umgebungen entwickeln sich mehr und mehr weg von Einzelarbeitsplätzen, hin zu Multi-Display-/Multi-User-Umgebungen. Diese stellen neue Anforderungen an Eingabegeräte und Interaktionstechniken. Im Rahmen dieser Arbeit werden neue Ansätze zur Interaktion auf Basis von Handgesten und Blick als neuartige Eingabemodalitäten entwickelt und untersucht

Der verteilte Fahrerinteraktionsraum

Fahrrelevante und unterhaltungsbezogene Informationen werden, historisch betrachtet, räumlich getrennt im Fahrzeuginnenraum angeordnet: Für die Fahraufgabe notwendige Anzeigen befinden sich direkt vor dem Fahrer (Kombiinstrument und Head-Up Display) und Inhalte des Fahrerinformationssystems in der Mittelkonsole (zentrales Informationsdisplay). Aktuell ist eine Auflösung dieser strikten Trennung zu beobachten. Beispielsweise werden im Kombiinstrument Teilumfänge der Infotainmentinhalte abgerufen und bedient. Um dem Fahrer einen sicheren Umgang mit den zunehmenden Infotainmentinhalten zu ermöglichen, die Komplexität des Fahrerinteraktionsraumes zu reduzieren und den Kundennutzen zu steigern, betrachtet die vorliegende Arbeit die derzeit isolierten Displays ganzheitlich und lotet die Grenzen der momentan strikten Informationsverteilung neu aus. Es werden Grundlagen für die verkehrsgerechte Bedienung und Darstellung verteilter Informationen abhängig von deren Anzeigefläche gelegt, Konzepte zur nutzerinitiierten Individualisierung entwickelt und das Zusammenspiel von unterschiedlichen Anzeigeflächen evaluiert. Die in dieser Arbeit durchgeführten Studien zeigen, dass der räumlich verteilte Fahrerinteraktionsraum die Bedienung des Fahrerinformationssystems für den Nutzer sicherer und attraktiver gestaltet

Gaze and Peripheral Vision Analysis for Human-Environment Interaction: Applications in Automotive and Mixed-Reality Scenarios

This thesis studies eye-based user interfaces which integrate information about the user’s perceptual focus-of-attention into multimodal systems to enrich the interaction with the surrounding environment. We examine two new modalities: gaze input and output in the peripheral field of view. All modalities are considered in the whole spectrum of the mixed-reality continuum. We show the added value of these new forms of multimodal interaction in two important application domains: Automotive User Interfaces and Human-Robot Collaboration. We present experiments that analyze gaze under various conditions and help to design a 3D model for peripheral vision. Furthermore, this work presents several new algorithms for eye-based interaction, like deictic reference in mobile scenarios, for non-intrusive user identification, or exploiting the peripheral field view for advanced multimodal presentations. These algorithms have been integrated into a number of software tools for eye-based interaction, which are used to implement 15 use cases for intelligent environment applications. These use cases cover a wide spectrum of applications, from spatial interactions with a rapidly changing environment from within a moving vehicle, to mixed-reality interaction between teams of human and robots.In dieser Arbeit werden blickbasierte Benutzerschnittstellen untersucht, die Infor- mationen ¨uber das Blickfeld des Benutzers in multimodale Systeme integrieren, um neuartige Interaktionen mit der Umgebung zu erm¨oglichen. Wir untersuchen zwei neue Modalit¨aten: Blickeingabe und Ausgaben im peripheren Sichtfeld. Alle Modalit¨aten werden im gesamten Spektrum des Mixed-Reality-Kontinuums betra- chtet. Wir zeigen die Anwendung dieser neuen Formen der multimodalen Interak- tion in zwei wichtigen Dom¨anen auf: Fahrerassistenzsysteme und Werkerassistenz bei Mensch-Roboter-Kollaboration. Wir pr¨asentieren Experimente, die blickbasierte Benutzereingaben unter verschiedenen Bedingungen analysieren und helfen, ein 3D- Modell f¨ur das periphere Sehen zu entwerfen. Dar¨uber hinaus stellt diese Arbeit mehrere neue Algorithmen f¨ur die blickbasierte Interaktion vor, wie die deiktis- che Referenz in mobilen Szenarien, die nicht-intrusive Benutzeridentifikation, oder die Nutzung des peripheren Sichtfeldes f¨ur neuartige multimodale Pr¨asentationen. Diese Algorithmen sind in eine Reihe von Software-Werkzeuge integriert, mit de- nen 15 Anwendungsf¨alle f¨ur intelligente Umgebungen implementiert wurden. Diese Demonstratoren decken ein breites Anwendungsspektrum ab: von der r¨aumlichen In- teraktionen aus einem fahrenden Auto heraus bis hin zu Mixed-Reality-Interaktionen zwischen Mensch-Roboter-Teams

Foundations and applications of human-machine interaction

Zugleich gedruckt erschienen im Universitätsverlag der TU Berlin unter der ISBN 978-3-7983-2624-8.Der vorliegende Abstractband zur 10 Berliner Werkstatt MMS gibt einen Einblick in die aktuelle Forschung im Bereich der Mensch-Maschine-Interaktion. Einen besonderen Fokus stellt das Wechselspiel von Grundlagenforschung und anwendungsbezogener Forschung dar, was sich im breiten Themenspektrum widerspiegelt, welches von theoretischen und methodischen Betrachtungen bis hin zu anwendungsnahen Fragestellungen reicht. Dabei finden Inhalte aus allen Phasen des Forschungsprozesses Beachtung, sodass auch im Rahmen der 10. Berliner Werkstatt MMS wieder sowohl neue Untersuchungskonzepte als auch abschließende Befunde diskutiert werden. Zentrale Themengebiete sind u. a. Fahrer-Fahrzeug Interaktion, Assistenzsysteme, User Experience, Usability, Ubiquitous Computing, Mixed & Virtual Reality, Robotics & Automation, Wahrnehmungsspezifika sowie Psychophysiologie und Beanspruchung in der Mensch-Maschine-Interaktion.The abstracts of the 10th Berlin Workshop Human-Machine Systems provide an insight into the current research in the field of human-machine interaction. The main focus lies on the interplay between basic and applied research, which is reflected in the wide range of subjects: from theoretical and methodological issues to application oriented considerations. Again all stages of the research process are represented in the contributions of the 10th Berlin Workshop HMS. This means new research concepts as well as final results are subject of this volume. Central topics include driver-vehicle interaction, assistance systems, user experience, usability, ubiquitous computing, mixed and virtual reality, robotics & automation, perception specifics, as well as psychophysiology and workload in human-machine interaction

Generierung und Evaluation multisensorischer Stimuli in virtuellen Welten

Fröhlich J. Generierung und Evaluation multisensorischer Stimuli in virtuellen Welten. Bielefeld: Universitätsbibliothek Bielefeld; 2014

Interaktionstechniken für mobile Augmented-Reality-Anwendungen basierend auf Blick- und Handbewegungen

Intuitive interaction techniques are essential for mobile augmented reality systems. For implicit interaction, this work presents techniques for automatic eye movement analysis and visualization. In the context of explicit interaction, a fusion of optical flow, skin color segmentation, and a hand pose estimator is presented along with a tracking method for localization and pose estimation of a hand in monocular color images

Interaktionstechniken für mobile Augmented-Reality-Anwendungen basierend auf Blick- und Handbewegungen

Visuelle Augmented Reality hat das Potential, die Art und Weise, wie der Mensch mit Maschinen kommuniziert, grundlegend zu verändern. Grundvoraussetzung dafür sind angenehm zu tragende binokulare AR-Brillen mit einem großen Sichtfeld für visuelle Einblendungen mit hohem Kontrast, so dass virtuelle Elemente als Teil der realen Umgebung dargestellt und wahrgenommen werden können. Gleichzeitig bedürfen derartige AR-Systeme einer intuitiven Interaktion mit ihrem Benutzer, um akzeptiert zu werden. Blick und Handgesten bilden neben Sprache die Interaktionstechniken der Wahl, um mit virtuellen Elementen zu interagieren. Die vorliegende Arbeit beschäftigt sich mit der Analyse des Blickes für eine implizite unbewusste Interaktion und mit der Erfassung von Handgesten für die explizite Interaktion in mobilen Anwendungen. Es wird eines der ersten Verfahren zur vollautomatischen echtzeitfähigen Blickbewegungsanalyse in dreidimensionalen Umgebungen anhand eines Beispiels aus dem Museumskontext vorgestellt. Dafür wurde eine 3D-Blickpunktberechnung und eine darauf aufsetzende echtzeitfähige Blickanalyse von 3D-Blickpfaden realisiert, als dies mit anderen Blickmessgeräten inklusive zugehöriger Software nicht möglich war. Zusätzlich wird das Verfahren Projected Gaussians für die Darstellung dreidimensionalen Blickverhaltens vorgestellt, das in Echtzeit realistische Visualisierung von Heatmaps in dreidimensionalen Umgebungen erzeugt. Dieses Verfahren ist das weltweit einzige, das die visuelle Schärfe des menschlichen Blickes in die Szene projiziert und damit nah am physikalischen Prozess der Wahrnehmung bleibt. Kein zuvor vorgestelltes Verfahren berücksichtigte Verdeckungen oder ermöglichte eine von der Polygonstruktur unabhängige Einfärbung von Oberflächen. Sowohl das Verfahren zur vollautomatischen Blickanalyse als auch Projected Gaussians wird anhand eines Beispiels auf echte Blickdaten angewendet und die Ergebnisse dieser Analyse werden präsentiert. Für die explizite Interaktion mit den Händen beschäftigt sich diese Arbeit mit dem ersten Schritt der Handgestenerkennung in monokularen Farbbildern: der Handregionsbestimmung. Bei dieser wird die Region der Hand in einem Kamerabild ermittelt. Die entwickelten Verfahren fusionieren auf unterschiedliche Weise optischen Fluss und Segmentierungen von Hautfarbe. Des Weiteren nutzen sie Objektklassifikatoren und Handposenschätzer für eine optimierte Handregionsbestimmung. Letztere wird anschließend mit einem öffentlich verfügbaren 2D-Handposenschätzer fusioniert. Diese Fusion übertrifft bei der 2D-Posenschätzung und geringen erlaubten Abweichungen auf dem öffentlichen Datensatz EgoDexter den aktuellen Stand der Technik der Handposenschätzung, obwohl zugehörige Verfahren trotz monokularen Eingabedaten ihre Schätzungen im dreidimensionalen Raum durchführen. Die Ergebnisse zeigen bei aktuellen 3D-Handposenschätzern für monokulare Eingabebilder ein Defizit bei der Wiederverwendung vorheriger Handposenschätzungen. Das hier vorgestellte Verfahren zur Handregionsbestimmung kann mit jedem Handposenschätzer kombiniert werden

Immersives Design von Architektur durch Kombination interaktiver Displays mit Augmented Reality

In der Architektur werden Gebäude entsprechend den Wünschen eines Kunden entworfen. Dabei entstehen neben den detaillierten Grundrissen heutzutage auch komplexe dreidimensionale Modelle. Daraus werden fotorealistische Ansichten des entworfenen Gebäudes erstellt. Diese helfen den Personen ohne Domänenwissen, wie beispielsweise den Kunden oder der Öffentlichkeit, einen besseren Eindruck vom Entwurf zu bekommen und fördern das Verständnis räumlicher Abhängigkeiten. Auch immersive Präsentationen in den Bereichen Augmented und Virtual Reality hielten in der Architektur Einzug. Zu Beginn dieser Arbeit werden zunächst verwandte Forschungen aus den Bereichen Architektur, Visualisierung und Interaktion analysiert. Dabei gewonnene Erkenntnisse fließen in die Entwicklung von Konzepten für eine Anwendung ein, welche auf die Kombination einer AR-Brille mit einem berührungsempfindlichen Display setzt. Ausgewählte Konzepte werden in einer prototypischen Anwendung umgesetzt. Diese Implementierung dient der Bewertung von kopfgebundener Augmented Reality in Kombination mit einem zusätzlichen Display für die Präsentation von architektonischen Entwürfen.:1 Einleitung 1.1 Ziel 1.2 Struktur dieser Arbeit 2 Verwandte Forschung 2.1 Architektur 2.2 Visualisierung in VR und AR 2.2.1 Virtual Reality 2.2.2 Augmented Reality 2.3 Interaktion mit dreidimensionalen Inhalten 2.4 Sonstige verwandte Forschung 2.5 Zusammenfassung 3 Konzepte 3.1 Modell-Präsentation 3.2 Modell-Interaktion 3.3 Modell-Manipulation 3.3.1 Materialien 3.3.2 Inneneinrichtung 3.4 Innenansicht 3.5 Mehrbenutzer-Betrieb 3.6 Alternative Darstellungsarten 3.7 Alternative Interaktionsmöglichkeiten 3.8 Zusammenfassung 4 Umsetzung 4.1 Hardware 4.2 Importe 4.3 Umgesetzte Konzepte 4.4 Prototyp 4.5 Performanz 4.6 Zusammenfassung 5 Evaluation und Ausblick 5.1 Evaluation 5.2 Ausblick 5.3 Zusammenfassung LiteraturArchitects create buildings based on client requests. Nowadays they not only design detailed floor plans but also very complex three-dimensional CAD-models. Photorealistic views of the building are computed from these models. They can help persons without special knowledge to understand the spatial relations of the draft. In the last years immersive presentations in Augmented and Virtual Reality came up in architecture. At the beginning of this work related research in the fields of architecture, visualization and interaction will by examined. Thereby gained knowledge will be transfered into the development of concepts for a new application which combines an AR Head Mounted Display with a multi-touch capable display. A chosen subset of concepts will be implemented in a prototyp. This implementation is then used to evaluate the combination of AR with an additional display for the presentation of architectural drafts.:1 Einleitung 1.1 Ziel 1.2 Struktur dieser Arbeit 2 Verwandte Forschung 2.1 Architektur 2.2 Visualisierung in VR und AR 2.2.1 Virtual Reality 2.2.2 Augmented Reality 2.3 Interaktion mit dreidimensionalen Inhalten 2.4 Sonstige verwandte Forschung 2.5 Zusammenfassung 3 Konzepte 3.1 Modell-Präsentation 3.2 Modell-Interaktion 3.3 Modell-Manipulation 3.3.1 Materialien 3.3.2 Inneneinrichtung 3.4 Innenansicht 3.5 Mehrbenutzer-Betrieb 3.6 Alternative Darstellungsarten 3.7 Alternative Interaktionsmöglichkeiten 3.8 Zusammenfassung 4 Umsetzung 4.1 Hardware 4.2 Importe 4.3 Umgesetzte Konzepte 4.4 Prototyp 4.5 Performanz 4.6 Zusammenfassung 5 Evaluation und Ausblick 5.1 Evaluation 5.2 Ausblick 5.3 Zusammenfassung Literatu