Design of Interactive Service Robots applying methods of Systems Engineering and Decision Making

Interaktive Service Roboter werden heute bereits in einigen Anwendungsszenarien eingesetzt, in denen sie beispielsweise Menschen durch Gebäude geleiten oder bei häuslichen Aufgaben unterstützen. Dennoch gibt es bislang kein System, das den erwarteten Marktdurchbruch geschafft hat. Die hohe Komplexität solcher Systeme und vielfältige Anforderungen durch Benutzer und Betreiber erschweren die Entwicklung von erfolgreichen Service Robotern. In dieser Arbeit wurden zwei interaktive Service Roboter entwickelt, die das Potential haben, die beschriebenen Hinderungsgründe für einen breiten Einsatz zu überwinden. Das erste Robotersystem wurde als Shopping Roboter für Baumärkte entwickelt, in denen es Kunden zu gesuchten Produkten führt. Das zweite System dient als interaktiver Pflegeroboter älteren Menschen in häuslicher Umgebung bei der Bewältigung täglicher Aufgaben. Diese Arbeit beschreibt die Realisierung der Embedded Systems beider Robotersysteme und umfasst insbesondere die Entwicklung der Low-Level System Architekturen, Energie Management Systeme, Kommunikationssysteme, Sensorsysteme, sowie ausgewählte Aspekte der mechanischen Umsetzung. Die Entwicklung einer Vielzahl von Steuerungsmodulen, notwendig für die Realisierung interaktiver Service Roboter, wird beschrieben. Die vorliegende Arbeit verwendet und erweitert Methoden des Systems Engineerings, um die hohe Systemkomplexität von interaktiven Service Robotern sowie die vielfältigen Anforderungen an deren späteren Einsatz beherrschen zu können. Der Entwicklungsprozess der beiden Roboter basiert auf dem V-Model, welches einen strukturierten Entwurfsablauf unter Berücksichtigung aller Systemanforderungen erlaubt. Es zwingt ferner zur frühzeitigen Spezifikation von Prüfabläufen, was die Qualität und Zuverlässigkeit der Entwicklungsergebnisse verbessert. Für die Unterstützung von Entscheidungen im Entwicklungsprozess schlägt diese Arbeit eine Kombination aus dem V-Model und dem Analytic Hierarchy Process (AHP) vor. Der AHP hilft bei der Auswahl verfügbarer technischer Alternativen unter Berücksichtigung von Prioritäten im Entwicklungsprozess. Diese Arbeit spezifiziert sieben Kriterien, die Service Roboter charakterisieren: Anpassbarkeit, Laufzeit, Benutzbarkeit, Robustheit, Sicherheit, Features und Kosten. Die Prioritäten dieser Kriterien im Entwicklungsprozess werden für jeden Roboter individuell bestimmt. Der AHP ermittelt die beste Lösung basierend auf diesen gewichteten Kriterien und den bewerteten technischen Alternativen. Die Einbindung des AHP in den V-Model Prozess wurde am Entwurf des Shopping Roboter entwickelt und geprüft. Die Allgemeingültigkeit dieser Methode wurde während der Entwicklung des Pflegeroboters verifiziert.Interactive service robots have already been developed and operate as example installations taking over guidance tasks or serving as home assistants. However, none of these systems have become an off-the-shelf product or have achieved the predicted breakthrough so far. The challenges of the design of such systems are, on the one hand, the combination of cutting edge technologies to a complex product; on the other hand, the consideration of requirements important for the later marketing during the design process. In the framework of this dissertation, two interactive service robot systems are developed that have the potential to overcome current market entry barriers. These robots are designed to operate in two different environments: one robot guides walked-in users in large home improvement stores to requested product locations and interacts with the customer to provide product information; the other robot assists elderly people to stay longer in their homes and takes over home-care tasks. This work describes the realization of the embedded systems of both robots. In particular, the design of low-level system architectures, energy management systems, communication systems, sensor systems, and selected aspects of mechanical implementations are carried out in this work. Multiple embedded system modules are developed for the control of the robots' functionalities; the development processes as well as the composition and evaluation of these modules are presented in this work. To cope with the complexity and the various factors that are important for the design of the robots, this thesis applies and further develops system engineering methods. The development process is based on the V-Model system design method. The V-Model helps to structure the design process under consideration of all system requirements. It involves evaluation procedures at all design levels, and thus increases the quality and reliability of the development outputs. To support design decisions, this thesis proposes to combine the V-Model with the Analytic Hierarchy Process (AHP) method. The AHP helps to evaluate technical alternatives for design decisions according to overall criteria, a system has to fulfill. This thesis defines seven criteria that characterize a service robot: Adaptability, Operation Time, Usability, Robustness, Safeness, Features, and Costs. These criteria are weighted for each individual robot application. The AHP evaluates technical design alternatives based on the weighted criteria to reveal the best technical solution. The integration of the AHP into the V-Model development is tested and improved during the design process of the shopping robot system. The generality of this combined systematic design approach is validated during the design of the home-care robot system

Methoden der vision-basierten Nutzerwahrnehmung für eine natürliche Interaktion mit mobilen Servicrobotern

Methods of vision-based User Perception for a natural Interaction with mobile Service Robots In man-machine communication, particularly in the field of service robotics, the perception of the user is often constricted to people detection and tracking. This is in strong contrast to communication between people, where social information like gender, age, identity and facial expression is essential. The assumption of this thesis is that an improved perception of the user's state is necessary for future service robots to be successfully deployed in human centered service tasks. The example application is a service robot helping customers in a home store to find the desired products. During interaction, the robot should show a certain degree of social competence, e.g. by detecting persons and establishing and keeping eye contact. Furthermore, it should be able to build user models, identify known users robustly and estimate their affections by determining gender, age, identity and facial expression from video images. To realize this functionality, a biologically motivated separation into a peripheral and a foveal vision system is proposed. The former uses images of an omnidirectional camera with a large field of view but relatively low resolution to generate hypotheses of the position of potential users in the surroundings of the robot. Therefore, skin color and movement as well as the measurements of sonar sensors are integrated into a saliency map. Salient structures are tracked by a multi target tracking system based on the CONDENSATION algorithm. To realize a skin color detection which is insensitive to changes of the illumination chrominance, an automatic white balance algorithm was developed which takes advantage of the special geometry of the omnidirectional objective. After selecting a hypothesis, the head of the robot is continously directed in its direction. In this way, the user receives a feedback signal of the robots attention, while the robot is able to capture high resolution images of the users face suitable for a further two step analysis. The first step produces a normalized view of the users face by detecting the face and the eyes and applying affine image transformations. For the analysis itself, three methods were implemented and tested: Elastic Graph Matching, Independent Component Analysis and Active Appearance Models. With respect to the estimation of gender, age, facial expression and identity a comprehensive face image database was recorded for training and testing the different methods. The efficiency of the integrated system was demonstrated by empirical experiments.Methoden der vision-basierten Nutzerwahrnehmung für eine natürliche Interaktion mit mobilen Servicerobotern Im Gegensatz zur zwischenmenschlichen Kommunikation, bei der die Beziehungsebene im Vergleich zur Sachebene den weitaus größeren Anteil einnimmt, wird diese bei der Mensch-Roboter-Interaktion bislang nur in Ansätzen berücksichtigt. Insbesondere die Nutzerwahrnehmung bleibt in der Regel auf eine reine Personendetektion oder ein einfaches Personen-Tracking beschränkt. Vor diesem Hintergrund wurde eine verbesserte Wahrnehmung des aktuellen Zustandes des Nutzers als Voraussetzung für eine Personalisierung des Dialogs als Zielstellung dieser Arbeit abgeleitet. Beim exemplarischen Anwendungsszenario handelt es sich um einen Shopping-Assistenten, der in einem Baumarkt den Kunden bei der Suche nach Produkten behilflich ist. Dieser sollte zumindest einen gewissen Grad an sozialer Kompetenz zeigen, indem er z.B. Personen in seiner Umgebung detektiert und während der Interaktion kontinuierlich Blickkontakt hält. Um Nutzermodelle erstellen, kurzzeitig verlorene Nutzer wiedererkennen und den Gemütszustand des Nutzers abschätzen zu können, sollen Geschlecht, Alter, Identität und Gesichtsausdruck des Nutzers aus einem Videobild ermittelt werden. Für die Realisierung dieser Aufgabe wurde eine biologisch motivierte Aufteilung in ein peripheres und ein foveales Vision-System vorgeschlagen. Das periphere System arbeitet auf den Bildern einer omnidirektionalen Kamera und verfügt damit über einen sehr großen Sichtbereich, aber nur eine vergleichsweise geringe Auflösung. In diesem System werden zunächst Hypothesen über die Position von Personen im Umfeld des Roboters gebildet. Dafür werden Hautfarbe, Bewegung und Entfernung in einer Auffälligkeitskarte integriert und auffällige Bildbereiche mittels eines Multi-Target-Trackers verfolgt. Für die omnidirektionale Kamera wurde ein automatischer Weißabgleich entwickelt, der die Hautfarbdetektion unempfindlich gegen Änderungen der Chrominanz der Beleuchtung macht. Nach Auswahl einer Nutzerhypothese wird der Kopf des Roboters kontinuierlich in die entsprechende Richtung ausgerichtet. Damit erhält der Nutzer zum einen eine Rückmeldung über die gerichtete Aufmerksamkeit des Roboters während der Interaktion. Zum anderen kann der Roboter hochaufgelöste Bilder der Person aufnehmen, so dass eine weitere nachfolgende Analyse ermöglicht wird. Diese ist wiederum in zwei Teilschritte unterteilt. Der erste Schritt besteht aus einer Detektion des Gesichtes und einer anschließenden Detektion der Augen, anhand derer eine normalisierte Darstellung des Gesichtes erzeugt wird. Für den Analyseschritt wurden das Elastic-Graph-Matching, die Independent Component Analysis und die Active-Appearance Models implementiert und vergleichend untersucht. Unter Berücksichtigung der Anforderungen einer Geschlechts-, Alters-, Mimik- und Identitätsschätzung wurde hierfür eine umfassende Gesichtsdatenbank zum Training und zum Test der Verfahren angelegt. Die Leistungsfähigkeit des Gesamtsystems wurde schließlich anhand von empirischen Experimenten demonstriert

Developing a person guidance module for hospital robots

This dissertation describes the design and implementation of the Person Guidance Module (PGM) that enables the IWARD (Intelligent Robot Swarm for attendance, Recognition, Cleaning and delivery) base robot to offer route guidance service to the patients or visitors inside the hospital arena. One of the common problems encountered in huge hospital buildings today is foreigners not being able to find their way around in the hospital. Although there are a variety of guide robots currently existing on the market and offering a wide range of guidance and related activities, they do not fit into the modular concept of the IWARD project. The PGM features a robust and foolproof non-hierarchical sensor fusion approach of an active RFID, stereovision and cricket mote sensor for guiding a patient to the X-ray room, or a visitor to a patient’s ward in every possible scenario in a complex, dynamic and crowded hospital environment. Moreover, the speed of the robot can be adjusted automatically according to the pace of the follower for physical comfort using this system. Furthermore, the module performs these tasks in any unconstructed environment solely from a robot’s onboard perceptual resources in order to limit the hardware installation costs and therefore the indoor setting support. Similar comprehensive solution in one single platform has remained elusive in existing literature. The finished module can be connected to any IWARD base robot using quick-change mechanical connections and standard electrical connections. The PGM module box is equipped with a Gumstix embedded computer for all module computing which is powered up automatically once the module box is inserted into the robot. In line with the general software architecture of the IWARD project, all software modules are developed as Orca2 components and cross-complied for Gumstix’s XScale processor. To support standardized communication between different software components, Internet Communications Engine (Ice) has been used as middleware. Additionally, plug-and-play capabilities have been developed and incorporated so that swarm system is aware at all times of which robot is equipped with PGM. Finally, in several field trials in hospital environments, the person guidance module has shown its suitability for a challenging real-world application as well as the necessary user acceptance

Human-Machine Interfaces for Service Robotics

L'abstract è presente nell'allegato / the abstract is in the attachmen

Casco Bay Weekly : 11 November 1993

https://digitalcommons.portlandlibrary.com/cbw_1993/1053/thumbnail.jp

The Whitworthian 2002-2003

The Whitworthian student newspaper, September 2002-May 2003.https://digitalcommons.whitworth.edu/whitworthian/1086/thumbnail.jp