Kamera-basierte Oberflächenanalyse zur Erkennung von geeigneten Projektionsflächen

Die visuelle Aufbereitung von Informationen begleitet uns durch unseren Alltag, dabei werden vermehrt Projektoren eingesetzt, beispielsweise an U-Bahnhaltestellen. Früher waren Projektoren auf Grund ihrer Größe, Kosten und dem Einsatz in abgedunkelten Räumen nur beruflichen oder öffentlichen Organisation vorbehalten. Durch die Weiterentwicklung der verbauten Technologie passen solche Geräte bereits in Hosentaschen oder sind in Handys verbaut, damit eignen sie sich auch für den privaten Gebrauch. Ein großes Manko dieser Projektor bleiben die statisch, definierten Projektionsflächen in qualitativer Abhängigkeit zum Hintergrund. Aus diesem Grund werden in der vorliegenden Arbeit Flächen auf Projektionen untersucht. Hierfür wird zunächst ein System zu Erfassung von Gegenständen, Freiräumen und Metadaten der Oberflächen entwickelt. Dabei kommt eine duale Abtastung der Fläche durch eine RGB-Kamera und einen 3D-Tiefensensor zum Einsatz. Mittels einer Benutzerstudie werden verschiedene Oberflächen auf ihr Projektionsfähigkeit hin eingestuft. Durch diese Informationen in Verbindung mit den Metadaten der Oberflächen wird ein Modell, zur Echtzeitklassifizierung, entworfen. Ziel dieser Arbeit ist die Klassifizierung von Oberflächen in Abhängigkeit von ihrer Projizierbarkeit.The visual presentation of information accompanies us through our daily lives, although projectors are increasingly used, for example at subway stations. In the past, projectors were reserved for professional or public organization, because of their size, cost and use in darkened rooms. Through the further development of the technology such devices already fit in pockets or are installed in mobile phones, so they are also suitable for home use. A major shortcoming of this projector are the static, defined projection in qualitative dependence to the background. For this reason, surfaces are tested on projections in the present work. For this purpose, a system for detection of objects, open spaces and metadata of the surfaces were developed. The scanning of the surfaces used a RGB camera and a 3D detph sensor. By means of a user study different surfaces are graded on their ability towards projection. With this informations and the metadata of the surfaces a model fpr classification were design. The aim of this work is to develop a system for the classification of surfaces, depending on their projectability

Augmented reality at the workplace : a context-aware assistive system using in-situ projection

Augmented Reality has been used for providing assistance during manual assembly tasks for more than 20 years. Due to recent improvements in sensor technology, creating context-aware Augmented Reality systems, which can detect interaction accurately, becomes possible. Additionally, the increasing amount of variants of assembled products and being able to manufacture ordered products on demand, leads to an increasing complexity for assembly tasks at industrial assembly workplaces. The resulting need for cognitive support at workplaces and the availability of robust technology enables us to address real problems by using context-aware Augmented Reality to support workers during assembly tasks. In this thesis, we explore how assistive technology can be used for cognitively supporting workers in manufacturing scenarios. By following a user-centered design process, we identify key requirements for assistive systems for both continuously supporting workers and teaching assembly steps to workers. Thereby, we analyzed three different user groups: inexperienced workers, experienced workers, and workers with cognitive impairments. Based on the identified requirements, we design a general concept for providing cognitive assistance at workplaces which can be applied to multiple scenarios. For applying the proposed concept, we present four prototypes using a combination of in-situ projection and cameras for providing feedback to workers and to sense the workers' interaction with the workplace. Two of the prototypes address a manual assembly scenario and two prototypes address an order picking scenario. For the manual assembly scenario, we apply the concept to a single workplace and an assembly cell, which connects three single assembly workplaces to each other. For the order picking scenario, we present a cart-mounted prototype using in-situ projection to display picking information directly onto the warehouse. Further, we present a user-mounted prototype, exploring the design-dimension of equipping the worker with technology rather than equipping the environment. Besides the system contribution of this thesis, we explore the benefits of the created prototypes through studies with inexperienced workers, experienced workers, and cognitively impaired workers. We show that a contour visualization of in-situ feedback is the most suitable for cognitively impaired workers. Further, these contour instructions enable the cognitively impaired workers to perform assembly tasks with a complexity of up to 96 work steps. For inexperienced workers, we show that a combination of haptic and visual error feedback is appropriate to communicate errors that were made during assembly tasks. For creating interactive instructions, we introduce and evaluate a Programming by Demonstration approach. Investigating the long-term use of in-situ instructions at manual assembly workplaces, we show that instructions adapting to the workers' cognitive needs is beneficial, as continuously presenting instructions has a negative impact on the performance of both experienced and inexperienced workers. In the order picking scenario, we show that the cart-mounted in-situ instructions have a great potential as they outperform the paper-baseline. Finally, the user-mounted prototype results in a lower perceived cognitive load. Over the course of the studies, we recognized the need for a standardized way of evaluating Augmented Reality instructions. To address this issue, we propose the General Assembly Task Model, which provides two standardized baseline tasks and a noise-free way of evaluating Augmented Reality instructions for assembly tasks. Further, based on the experience, we gained from applying our assistive system in real-world assembly scenarios, we identify eight guidelines for designing assistive systems for the workplace. In conclusion, this thesis provides a basis for understanding how in-situ projection can be used for providing cognitive support at workplaces. It identifies the strengths and weaknesses of in-situ projection for cognitive assistance regarding different user groups. Therefore, the findings of this thesis contribute to the field of using Augmented Reality at the workplace. Overall, this thesis shows that using Augmented Reality for cognitively supporting workers during manual assembly tasks and order picking tasks creates a benefit for the workers when working on cognitively demanding tasks.Seit mehr als 20 Jahren wird Augmented Reality eingesetzt, um manuelle Montagetätigkeiten zu unterstützen. Durch neue Entwicklungen in der Sensortechnologie ist es möglich, kontextsensitive Augmented-Reality-Systeme zu bauen, die Interaktionen akkurat erkennen können. Zudem führen eine zunehmende Variantenvielfalt und die Möglichkeit, bestellte Produkte erst auf Nachfrage zu produzieren, zu einer zunehmenden Komplexität an Montagearbeitsplätzen. Der daraus entstehende Bedarf für kognitive Unterstützung an Arbeitsplätzen und die Verfügbarkeit von robuster Technologie lässt uns bestehende Probleme lösen, indem wir Arbeitende während Montagearbeiten mithilfe von kontextsensitiver Augmented Reality unterstützen. In dieser Arbeit erforschen wir, wie Assistenztechnologie eingesetzt werden kann, um Arbeitende in Produktionsszenarien kognitiv zu unterstützen. Mithilfe des User-Centered-Design-Prozess identifizieren wir Schlüsselanforderungen für Assistenzsysteme, die sowohl Arbeitende kontinuierlich unterstützen als auch Arbeitenden Arbeitsschritte beibringen können. Dabei betrachten wir drei verschiedene Benutzergruppen: unerfahrene Arbeitende, erfahrene Arbeitende, und Arbeitende mit kognitiven Behinderungen. Auf Basis der erarbeiteten Schlüsselanforderungen entwerfen wir ein allgemeines Konzept für die Bereitstellung von kognitiver Assistenz an Arbeitsplätzen, welches in verschiedenen Szenarien angewandt werden kann. Wir präsentieren vier verschiedene Prototypen, in denen das vorgeschlagene Konzept implementiert wurde. Für die Prototypen verwenden wir eine Kombination von In-Situ-Projektion und Kameras, um Arbeitenden Feedback anzuzeigen und die Interaktionen der Arbeitenden am Arbeitsplatz zu erkennen. Zwei der Prototypen zielen auf ein manuelles Montageszenario ab, und zwei weitere Prototypen zielen auf ein Kommissionierszenario ab. Im manuellen Montageszenario wenden wir das Konzept an einem Einzelarbeitsplatz und einer Montagezelle, welche drei Einzelarbeitsplätze miteinander verbindet, an. Im Kommissionierszenario präsentieren wir einen Kommissionierwagen, der mithilfe von In-Situ-Projektion Informationen direkt ins Lager projiziert. Des Weiteren präsentieren wir einen tragbaren Prototypen, der anstatt der Umgebung den Arbeitenden mit Technologie ausstattet. Ein weiterer Beitrag dieser Arbeit ist die Erforschung der Vorteile der erstellten Prototypen durch Benutzerstudien mit erfahrenen Arbeitenden, unerfahrenen Arbeitenden und Arbeitende mit kognitiver Behinderung. Wir zeigen, dass eine Kontur-Visualisierung von In-Situ-Anleitungen die geeignetste Anleitungsform für Arbeitende mit kognitiven Behinderungen ist. Des Weiteren befähigen Kontur-basierte Anleitungen Arbeitende mit kognitiver Behinderung, an komplexeren Aufgaben zu arbeiten, welche bis zu 96 Arbeitsschritte beinhalten können. Für unerfahrene Arbeitende zeigen wir, dass sich eine Kombination von haptischem und visuellem Fehlerfeedback bewährt hat. Wir stellen einen Ansatz vor, der eine Programmierung von interaktiven Anleitungen durch Demonstration zulässt, und evaluieren ihn. Bezüglich der Langzeitwirkung von In-Situ-Anleitungen an manuellen Montagearbeitsplätzen zeigen wir, dass Anleitungen, die sich den kognitiven Bedürfnissen der Arbeitenden anpassen, geeignet sind, da ein kontinuierliches Präsentieren von Anleitungen einen negativen Einfluss auf die Arbeitsgeschwindigkeit von erfahrenen Arbeitenden sowohl als auch unerfahrenen Arbeitenden hat. Für das Szenario der Kommissionierung zeigen wir, dass die In-Situ-Anleitungen des Kommissionierwagens ein großes Potenzial haben, da sie zu einer schnelleren Arbeitsgeschwindigkeit führen als traditionelle Papieranleitungen. Schlussendlich führt der tragbare Prototyp zu einer subjektiv niedrigeren kognitiven Last. Während der Durchführung der Studien haben wir den Bedarf einer standardisierten Evaluierungsmethode von Augmented-Reality-Anleitungen erkannt. Deshalb schlagen wir das General Assembly Task Modell vor, welches zwei standardisierte Grundaufgaben und eine Methode zur störungsfreien Analyse von Augmented-Reality-Anleitungen für Montagearbeiten bereitstellt. Des Weiteren stellen wir auf Basis unserer Erfahrungen, die wir durch die Anwendung unseres Assistenzsystems in Montageszenarien gemacht haben, acht Richtlinien für das Gestalten von Montageassistenzsystemen vor. Zusammenfassend bietet diese Arbeit eine Basis für das Verständnis der Benutzung von In-Situ-Projektion zur Bereitstellung von kognitiver Montageassistenz. Diese Arbeit identifiziert die Stärken und Schwächen von In-Situ-Projektion für die kognitive Unterstützung verschiedener Benutzergruppen. Folglich tragen die Resultate dieser Arbeit zum Feld der Benutzung von Augmented Reality an Arbeitsplätzen bei. Insgesamt zeigt diese Arbeit, dass die Benutzung von Augmented Reality für die kognitive Unterstützung von Arbeitenden während kognitiv anspruchsvoller manueller Montagetätigkeiten und Kommissioniertätigkeiten zu einer schnelleren Arbeitsgeschwindigkeit führt

Human-Computer Interaction

In this book the reader will find a collection of 31 papers presenting different facets of Human Computer Interaction, the result of research projects and experiments as well as new approaches to design user interfaces. The book is organized according to the following main topics in a sequential order: new interaction paradigms, multimodality, usability studies on several interaction mechanisms, human factors, universal design and development methodologies and tools

Balancing User Experience for Mobile One-to-One Interpersonal Telepresence

The COVID-19 virus disrupted all aspects of our daily lives, and though the world is finally returning to normalcy, the pandemic has shown us how ill-prepared we are to support social interactions when expected to remain socially distant. Family members missed major life events of their loved ones; face-to-face interactions were replaced with video chat; and the technologies used to facilitate interim social interactions caused an increase in depression, stress, and burn-out. It is clear that we need better solutions to address these issues, and one avenue showing promise is that of Interpersonal Telepresence. Interpersonal Telepresence is an interaction paradigm in which two people can share mobile experiences and feel as if they are together, even though geographically distributed. In this dissertation, we posit that this paradigm has significant value in one-to-one, asymmetrical contexts, where one user can live-stream their experiences to another who remains at home. We discuss a review of the recent Interpersonal Telepresence literature, highlighting research trends and opportunities that require further examination. Specifically, we show how current telepresence prototypes do not meet the social needs of the streamer, who often feels socially awkward when using obtrusive devices. To combat this negative finding, we present a qualitative co-design study in which end users worked together to design their ideal telepresence systems, overcoming value tensions that naturally arise between Viewer and Streamer. Expectedly, virtual reality techniques are desired to provide immersive views of the remote location; however, our participants noted that the devices to facilitate this interaction need to be hidden from the public eye. This suggests that 360$^\circ$ cameras should be used, but the lenses need to be embedded in wearable systems, which might affect the viewing experience. We thus present two quantitative studies in which we examine the effects of camera placement and height on the viewing experience, in an effort to understand how we can better design telepresence systems. We found that camera height is not a significant factor, meaning wearable cameras do not need to be positioned at the natural eye-level of the viewer; the streamer is able to place them according to their own needs. Lastly, we present a qualitative study in which we deploy a custom interpersonal telepresence prototype on the co-design findings. Our participants preferred our prototype instead of simple video chat, even though it caused a somewhat increased sense of self-consciousness. Our participants indicated that they have their own preferences, even with simple design decisions such as style of hat, and we as a community need to consider ways to allow customization within our devices. Overall, our work contributes new knowledge to the telepresence field and helps system designers focus on the features that truly matter to users, in an effort to let people have richer experiences and virtually bridge the distance to their loved ones