Collaborating with a Mobile Robot: An Augmented Reality Multimodal Interface

Invited paperWe have created an infrastructure that allows a human to collaborate in a natural manner with a robotic system. In this paper we describe our system and its implementation with a mobile robot. In our prototype the human communicates with the mobile robot using natural speech and gestures, for example, by selecting a point in 3D space and saying “go here” or “go behind that”. The robot responds using speech so the human is able to understand its intentions and beliefs. Augmented Reality (AR) technology is used to facilitate natural use of gestures and provide a common 3D spatial reference for both the robot and human, thus providing a means for grounding of communication and maintaining spatial awareness. This paper first discusses related work then gives a brief overview of AR and its capabilities. The architectural design we have developed is outlined and then a case study is discussed

Laser Graphics in Augmented Reality Applications for Real- World Robot Deployment

Lasers are powerful light source. With their thin shafts of bright light and colours, laser beams can provide a dazzling display matching that of outdoor fireworks. With computer assistance, animated laser graphics can generate eye-catching images against a dark sky. Due to technology constraints, laser images are outlines without any interior fill or detail. On a more functional note, lasers assist in the alignment of components, during installation

An augmented reality interface for multi-robot tele-operation and control

This thesis presents a seamlessly controlled human multi-robot system comprised of ground and aerial robots of semi-autonomous nature for source localization tasks. The system combines augmented reality interfaces capabilities with human supervisor\u27s ability to control multiple robots. It used advanced path planning algorithms to ensure obstacles are avoided and that the operators are free for higher-level tasks. A sensor data fused AR view is displayed which helped the users pin point source information or help the operator with the goals of the mission. The paper studies a preliminary Human Factors evaluation of this system in which several interface conditions are tested for source detection tasks

Programación de una aplicación Android para la visualización de modelos 3D en realidad aumentada

En este proyecto se presenta una aplicación que permite a cualquier usuario que haya modelizado objetos en 3D, tener la oportunidad de ver su trabajo en realidad aumentada con todas las ventajas que esto conlleva. Comenzando con la introducción y aprendizaje sobre realidad aumentada, herramientas y aplicaciones, para posteriormente, paso a paso, mostrar cómo incorporar un modelo 3D propio dentro de una aplicación de realidad aumentada, que permite integrar el modelo en el mundo real, empleando el teléfono móvil. Con el programa Android Studio, la plataforma de google ARCore y código programado en Java, podemos lograr que tanto profesionales como novatos en este ámbito logren conocer y usar la realidad aumentada.This project presents an application that allows any user who has modeled 3D objects, have the opportunity to see their work in augmented reality with all the advantages that this entails. Starting with the introduction and learning about augmented reality and its tools, later step by step clearly show how you can incorporate your own 3D model to an application that, through our mobile device, introduce it into the real world . With the Android Studio program, the Google ARCore platform and code programmed in Java, we can ensure that both professionals and newbies in this area get to know and use augmented reality.Departamento de Informática (Arquitectura y Tecnología de Computadores, Ciencias de la Computación e Inteligencia Artificial, Lenguajes y Sistemas Informáticos)Grado en Ingeniería en Diseño Industrial y Desarrollo de Product

Metodología para un sistemas de visión artificial apoyado con realidad aumentada en base a marcadores para un robot móvil

En la presente investigación, se propone una metodología para integrar sistemas de visión artificial apoyada con realidad aumentada en base a marcadores, para robots móviles, con el fin de evaluar la navegación en ambientes de trabajo, combinando objetos virtuales y reales en un solo escenario, de modo que no sea obligatorio tener los elementos físicos para estudiar el comportamiento de los robots, permitiendo diferentes pruebas en los prototipos, obteniendo la flexibilidad del mundo virtual y la fiabilidad de los ambientes de prueba realesIn the present research, there is a proposition of a methodology forwarded to integrate artificial vision systems, supported whit amplified reality, based on markets for mobile robots, trying to evaluate its navigation in working environments, mixing both virtual and real objects in only one scenery in a way that possibilities or makes no mandatory, the existence of the objects in order to study the behavior of the robots, allowing different kinds of test in the prototypes, obtaining by this way, the flexibility of the virtual environment, and the trustiness of the actual test environmentsMagister en Automatización y Contro

Augmented reality at the workplace : a context-aware assistive system using in-situ projection

Augmented Reality has been used for providing assistance during manual assembly tasks for more than 20 years. Due to recent improvements in sensor technology, creating context-aware Augmented Reality systems, which can detect interaction accurately, becomes possible. Additionally, the increasing amount of variants of assembled products and being able to manufacture ordered products on demand, leads to an increasing complexity for assembly tasks at industrial assembly workplaces. The resulting need for cognitive support at workplaces and the availability of robust technology enables us to address real problems by using context-aware Augmented Reality to support workers during assembly tasks. In this thesis, we explore how assistive technology can be used for cognitively supporting workers in manufacturing scenarios. By following a user-centered design process, we identify key requirements for assistive systems for both continuously supporting workers and teaching assembly steps to workers. Thereby, we analyzed three different user groups: inexperienced workers, experienced workers, and workers with cognitive impairments. Based on the identified requirements, we design a general concept for providing cognitive assistance at workplaces which can be applied to multiple scenarios. For applying the proposed concept, we present four prototypes using a combination of in-situ projection and cameras for providing feedback to workers and to sense the workers' interaction with the workplace. Two of the prototypes address a manual assembly scenario and two prototypes address an order picking scenario. For the manual assembly scenario, we apply the concept to a single workplace and an assembly cell, which connects three single assembly workplaces to each other. For the order picking scenario, we present a cart-mounted prototype using in-situ projection to display picking information directly onto the warehouse. Further, we present a user-mounted prototype, exploring the design-dimension of equipping the worker with technology rather than equipping the environment. Besides the system contribution of this thesis, we explore the benefits of the created prototypes through studies with inexperienced workers, experienced workers, and cognitively impaired workers. We show that a contour visualization of in-situ feedback is the most suitable for cognitively impaired workers. Further, these contour instructions enable the cognitively impaired workers to perform assembly tasks with a complexity of up to 96 work steps. For inexperienced workers, we show that a combination of haptic and visual error feedback is appropriate to communicate errors that were made during assembly tasks. For creating interactive instructions, we introduce and evaluate a Programming by Demonstration approach. Investigating the long-term use of in-situ instructions at manual assembly workplaces, we show that instructions adapting to the workers' cognitive needs is beneficial, as continuously presenting instructions has a negative impact on the performance of both experienced and inexperienced workers. In the order picking scenario, we show that the cart-mounted in-situ instructions have a great potential as they outperform the paper-baseline. Finally, the user-mounted prototype results in a lower perceived cognitive load. Over the course of the studies, we recognized the need for a standardized way of evaluating Augmented Reality instructions. To address this issue, we propose the General Assembly Task Model, which provides two standardized baseline tasks and a noise-free way of evaluating Augmented Reality instructions for assembly tasks. Further, based on the experience, we gained from applying our assistive system in real-world assembly scenarios, we identify eight guidelines for designing assistive systems for the workplace. In conclusion, this thesis provides a basis for understanding how in-situ projection can be used for providing cognitive support at workplaces. It identifies the strengths and weaknesses of in-situ projection for cognitive assistance regarding different user groups. Therefore, the findings of this thesis contribute to the field of using Augmented Reality at the workplace. Overall, this thesis shows that using Augmented Reality for cognitively supporting workers during manual assembly tasks and order picking tasks creates a benefit for the workers when working on cognitively demanding tasks.Seit mehr als 20 Jahren wird Augmented Reality eingesetzt, um manuelle Montagetätigkeiten zu unterstützen. Durch neue Entwicklungen in der Sensortechnologie ist es möglich, kontextsensitive Augmented-Reality-Systeme zu bauen, die Interaktionen akkurat erkennen können. Zudem führen eine zunehmende Variantenvielfalt und die Möglichkeit, bestellte Produkte erst auf Nachfrage zu produzieren, zu einer zunehmenden Komplexität an Montagearbeitsplätzen. Der daraus entstehende Bedarf für kognitive Unterstützung an Arbeitsplätzen und die Verfügbarkeit von robuster Technologie lässt uns bestehende Probleme lösen, indem wir Arbeitende während Montagearbeiten mithilfe von kontextsensitiver Augmented Reality unterstützen. In dieser Arbeit erforschen wir, wie Assistenztechnologie eingesetzt werden kann, um Arbeitende in Produktionsszenarien kognitiv zu unterstützen. Mithilfe des User-Centered-Design-Prozess identifizieren wir Schlüsselanforderungen für Assistenzsysteme, die sowohl Arbeitende kontinuierlich unterstützen als auch Arbeitenden Arbeitsschritte beibringen können. Dabei betrachten wir drei verschiedene Benutzergruppen: unerfahrene Arbeitende, erfahrene Arbeitende, und Arbeitende mit kognitiven Behinderungen. Auf Basis der erarbeiteten Schlüsselanforderungen entwerfen wir ein allgemeines Konzept für die Bereitstellung von kognitiver Assistenz an Arbeitsplätzen, welches in verschiedenen Szenarien angewandt werden kann. Wir präsentieren vier verschiedene Prototypen, in denen das vorgeschlagene Konzept implementiert wurde. Für die Prototypen verwenden wir eine Kombination von In-Situ-Projektion und Kameras, um Arbeitenden Feedback anzuzeigen und die Interaktionen der Arbeitenden am Arbeitsplatz zu erkennen. Zwei der Prototypen zielen auf ein manuelles Montageszenario ab, und zwei weitere Prototypen zielen auf ein Kommissionierszenario ab. Im manuellen Montageszenario wenden wir das Konzept an einem Einzelarbeitsplatz und einer Montagezelle, welche drei Einzelarbeitsplätze miteinander verbindet, an. Im Kommissionierszenario präsentieren wir einen Kommissionierwagen, der mithilfe von In-Situ-Projektion Informationen direkt ins Lager projiziert. Des Weiteren präsentieren wir einen tragbaren Prototypen, der anstatt der Umgebung den Arbeitenden mit Technologie ausstattet. Ein weiterer Beitrag dieser Arbeit ist die Erforschung der Vorteile der erstellten Prototypen durch Benutzerstudien mit erfahrenen Arbeitenden, unerfahrenen Arbeitenden und Arbeitende mit kognitiver Behinderung. Wir zeigen, dass eine Kontur-Visualisierung von In-Situ-Anleitungen die geeignetste Anleitungsform für Arbeitende mit kognitiven Behinderungen ist. Des Weiteren befähigen Kontur-basierte Anleitungen Arbeitende mit kognitiver Behinderung, an komplexeren Aufgaben zu arbeiten, welche bis zu 96 Arbeitsschritte beinhalten können. Für unerfahrene Arbeitende zeigen wir, dass sich eine Kombination von haptischem und visuellem Fehlerfeedback bewährt hat. Wir stellen einen Ansatz vor, der eine Programmierung von interaktiven Anleitungen durch Demonstration zulässt, und evaluieren ihn. Bezüglich der Langzeitwirkung von In-Situ-Anleitungen an manuellen Montagearbeitsplätzen zeigen wir, dass Anleitungen, die sich den kognitiven Bedürfnissen der Arbeitenden anpassen, geeignet sind, da ein kontinuierliches Präsentieren von Anleitungen einen negativen Einfluss auf die Arbeitsgeschwindigkeit von erfahrenen Arbeitenden sowohl als auch unerfahrenen Arbeitenden hat. Für das Szenario der Kommissionierung zeigen wir, dass die In-Situ-Anleitungen des Kommissionierwagens ein großes Potenzial haben, da sie zu einer schnelleren Arbeitsgeschwindigkeit führen als traditionelle Papieranleitungen. Schlussendlich führt der tragbare Prototyp zu einer subjektiv niedrigeren kognitiven Last. Während der Durchführung der Studien haben wir den Bedarf einer standardisierten Evaluierungsmethode von Augmented-Reality-Anleitungen erkannt. Deshalb schlagen wir das General Assembly Task Modell vor, welches zwei standardisierte Grundaufgaben und eine Methode zur störungsfreien Analyse von Augmented-Reality-Anleitungen für Montagearbeiten bereitstellt. Des Weiteren stellen wir auf Basis unserer Erfahrungen, die wir durch die Anwendung unseres Assistenzsystems in Montageszenarien gemacht haben, acht Richtlinien für das Gestalten von Montageassistenzsystemen vor. Zusammenfassend bietet diese Arbeit eine Basis für das Verständnis der Benutzung von In-Situ-Projektion zur Bereitstellung von kognitiver Montageassistenz. Diese Arbeit identifiziert die Stärken und Schwächen von In-Situ-Projektion für die kognitive Unterstützung verschiedener Benutzergruppen. Folglich tragen die Resultate dieser Arbeit zum Feld der Benutzung von Augmented Reality an Arbeitsplätzen bei. Insgesamt zeigt diese Arbeit, dass die Benutzung von Augmented Reality für die kognitive Unterstützung von Arbeitenden während kognitiv anspruchsvoller manueller Montagetätigkeiten und Kommissioniertätigkeiten zu einer schnelleren Arbeitsgeschwindigkeit führt