4 research outputs found
Design of Interactive Service Robots applying methods of Systems Engineering and Decision Making
Interaktive Service Roboter werden heute bereits in einigen
Anwendungsszenarien eingesetzt, in denen sie beispielsweise Menschen durch
Gebäude geleiten oder bei häuslichen Aufgaben unterstützen. Dennoch gibt es
bislang kein System, das den erwarteten Marktdurchbruch geschafft hat. Die
hohe Komplexität solcher Systeme und vielfältige Anforderungen durch
Benutzer und Betreiber erschweren die Entwicklung von erfolgreichen Service
Robotern.
In dieser Arbeit wurden zwei interaktive Service Roboter entwickelt, die
das Potential haben, die beschriebenen Hinderungsgründe für einen breiten
Einsatz zu überwinden. Das erste Robotersystem wurde als Shopping Roboter
für Baumärkte entwickelt, in denen es Kunden zu gesuchten Produkten führt.
Das zweite System dient als interaktiver Pflegeroboter älteren Menschen in
häuslicher Umgebung bei der Bewältigung täglicher Aufgaben. Diese Arbeit
beschreibt die Realisierung der Embedded Systems beider Robotersysteme und
umfasst insbesondere die Entwicklung der Low-Level System Architekturen,
Energie Management Systeme, Kommunikationssysteme, Sensorsysteme, sowie
ausgewählte Aspekte der mechanischen Umsetzung. Die Entwicklung einer
Vielzahl von Steuerungsmodulen, notwendig für die Realisierung interaktiver
Service Roboter, wird beschrieben.
Die vorliegende Arbeit verwendet und erweitert Methoden des Systems
Engineerings, um die hohe Systemkomplexität von interaktiven Service
Robotern sowie die vielfältigen Anforderungen an deren späteren Einsatz
beherrschen zu können. Der Entwicklungsprozess der beiden Roboter basiert
auf dem V-Model, welches einen strukturierten Entwurfsablauf unter
Berücksichtigung aller Systemanforderungen erlaubt. Es zwingt ferner zur
frühzeitigen Spezifikation von Prüfabläufen, was die Qualität und
Zuverlässigkeit der Entwicklungsergebnisse verbessert. Für die
Unterstützung von Entscheidungen im Entwicklungsprozess schlägt diese
Arbeit eine Kombination aus dem V-Model und dem Analytic Hierarchy Process
(AHP) vor. Der AHP hilft bei der Auswahl verfügbarer technischer
Alternativen unter Berücksichtigung von Prioritäten im Entwicklungsprozess.
Diese Arbeit spezifiziert sieben Kriterien, die Service Roboter
charakterisieren: Anpassbarkeit, Laufzeit, Benutzbarkeit, Robustheit,
Sicherheit, Features und Kosten. Die Prioritäten dieser Kriterien im
Entwicklungsprozess werden für jeden Roboter individuell bestimmt. Der AHP
ermittelt die beste Lösung basierend auf diesen gewichteten Kriterien und
den bewerteten technischen Alternativen. Die Einbindung des AHP in den
V-Model Prozess wurde am Entwurf des Shopping Roboter entwickelt und
geprüft. Die Allgemeingültigkeit dieser Methode wurde während der
Entwicklung des Pflegeroboters verifiziert.Interactive service robots have already been developed and operate as
example installations taking over guidance tasks or serving as home
assistants. However, none of these systems have become an off-the-shelf
product or have achieved the predicted breakthrough so far. The challenges
of the design of such systems are, on the one hand, the combination of
cutting edge technologies to a complex product; on the other hand, the
consideration of requirements important for the later marketing during the
design process.
In the framework of this dissertation, two interactive service robot
systems are developed that have the potential to overcome current market
entry barriers. These robots are designed to operate in two different
environments: one robot guides walked-in users in large home improvement
stores to requested product locations and interacts with the customer to
provide product information; the other robot assists elderly people to stay
longer in their homes and takes over home-care tasks. This work describes
the realization of the embedded systems of both robots. In particular, the
design of low-level system architectures, energy management systems,
communication systems, sensor systems, and selected aspects of mechanical
implementations are carried out in this work. Multiple embedded system
modules are developed for the control of the robots' functionalities; the
development processes as well as the composition and evaluation of these
modules are presented in this work.
To cope with the complexity and the various factors that are important for
the design of the robots, this thesis applies and further develops system
engineering methods. The development process is based on the V-Model system
design method. The V-Model helps to structure the design process under
consideration of all system requirements. It involves evaluation procedures
at all design levels, and thus increases the quality and reliability of the
development outputs. To support design decisions, this thesis proposes to
combine the V-Model with the Analytic Hierarchy Process (AHP) method. The
AHP helps to evaluate technical alternatives for design decisions according
to overall criteria, a system has to fulfill. This thesis defines seven
criteria that characterize a service robot: Adaptability, Operation Time,
Usability, Robustness, Safeness, Features, and Costs. These criteria are
weighted for each individual robot application. The AHP evaluates technical
design alternatives based on the weighted criteria to reveal the best
technical solution. The integration of the AHP into the V-Model development
is tested and improved during the design process of the shopping robot
system. The generality of this combined systematic design approach is
validated during the design of the home-care robot system
Probabilistische Methoden für die Roboter-Navigation am Beispiel eines autonomen Shopping-Assistenten
Abstract
Autonomous navigation, in addition to interaction, is a basic ability
for the operation of a mobile service robot. Here, important subskills
are selfocalization, path planning, and motion control with collision
avoidance. A further pre-condition for many navigation tasks ist the
generation of an environment model from sensor observationa, often in
combination with autonomous exploration. In this thesis, these challenges
are considered in the context of the development of an interactive
mobile shopping guide, which is able to provide information about the
shop's products to customers of a home improvement store and guide
them to the respective location.
The focus of this work lies on the initial environment mapping. A method
for Simultaneous Localization and Mapping (SLAM) has been developed,
which in contrast to other comparable approaches does not
assume the use of high-precision laser range scanners. Instead, sonar
range sensors are used mainly, which feature an inferior spatial resolution
and increased measurement noise. The resulting Map-Match-SLAM
algorithm is based on the well known Rao-Blackwellized Particle Filter
(RBPF), in combination with local maps for representation of most
recent observations and and a map matching function for comparison
of local and global maps. By adding a memory-effcient global map representation
and dynamic adaption of the number of particles, online
mapping is possible even under high state uncertainty resulting from
the sensor characteristics.
The use of local maps for representation of the observations and the
sensor-independent weighting function make Map-Match-SLAM applicable
for a wide range of different sensors. This has been demonstrated
by mapping with a stereo camera and with a single camera, in combination
with a depth-from-motion algorithm for pre-processing. Furthermore,
a SLAM assistant has been developed, which is generating
direction hints for the human operator during the mapping phase, in
order to ensure a route that enables optimal operation of the SLAM algorithm.
The assistant represents an intermediate step between purely
manual mapping and completely autonomous exploration.
A second main part of the work presented here are methods for the autonomous
operation of the robot. For selflocalization, a map matching
approach with local maps is used, similar to the proposed SLAM algorithm.
Improvements of robustness and precision are achieved in combination
with an existing visual localization approach which is using
omnidirectional camera images.
Path planning is done by the utilization of standard graph search algorithms.
To that purpose, the grid cells of the global map are regarded
as graph nodes. Comparitive analysis is presented for search algorithms
with and without heuristics (A*/Dijkstra algorithm), for the specifcs
of typical operation areas. Two different algorithms have been developed
for motion control and collision avoidance: A reactive method,
which is an enhancement of the existing Vector Field Histogram (VFH)
approach, is experimentally compared with a new anticipative method
based on sampling and stochastic search in the trajectory space.
All the developed methods are employed on a team of shopping robots,
which have been in permanent public test operation in a home
improvement store for six months currently. The description of navigation
methods is complemented by an overview of further software componentsof
the robots, e.g. for Human-Robot-Interaction, and a detailed
description of the control architecture for coordination of the subsystems.
Analysis of long term test operation proves that all the applied
methods are suitable for real world applications and that the robot is
accepted and regarded as a valuable service by the customers.Die autonome Navigation stellt neben der Interaktionsfähigkeit eine
Grundlage für die Funktion eines mobilen Serviceroboters dar. Wichtige
Teilleistungen sind dabei die Selbstlokalisation, die Pfadplanung und
die Bewegungssteuerung unter Vermeidung von Kollisionen. Eine Voraussetzung für viele Navigationsaufgaben ist zudem die Erstellung eines Umgebungsmodells aus sensorischen Beobachtungen, unter Umständen
in Verbindung mit einer selbständigen Exploration. Diese Teilprobleme
wurden in der vorgelegten Arbeit vor dem Hintergrund der Entwicklung
eines interaktiven mobilen Shopping-Lotsen bearbeitet, welcher Kunden
eines Baumarktes Informationen zu Produkten zur Verfügung stellen
und sie auf Wunsch zum Standort der gesuchten Waren führen kann.
Den methodischen Kern der Arbeit bildet die initiale Umgebungskartierung. Dafür wurde ein Verfahren zum Simultaneous Localization and Mapping (SLAM) entwickelt, welches im Gegensatz zu vergleichbaren Ansätzen nicht auf den Einsatz hochgenauer Laser-Range-Scanner ausgerichtet ist. Stattdessen wurden hauptsächlich Sonar-Sensoren benutzt, die sich durch eine wesentlich geringere räumliche Auflösung und höhere Messunsicherheit auszeichnen. Der entwickelte Map-Match-SLAM-Algorithmus beruht auf dem bekannten Rao-Blackwellized Particle Filter (RBPF), welcher mit einer lokalen Karte zur Repräsentation der aktuellen Umgebungsbeobachtungen sowie einer Map-Matching-Methode zum Vergleich der lokalen und globalen Karte kombiniert wurde. Durch eine speichereffiziente Darstellung der globalen Karte und dynamische Adaption der Partikel-Anzahl ist trotz der aus den sensorischen Beschränkungen resultierenden großen Zustandsunsicherheit die Online-Kartierung möglich.
Durch die Transformation der Beobachtungen in eine lokale Karte und
die sensorunabhängige Bewertungsfunktion ist das Map-Match-SLAMVerfahren für ein breites Spektrum unterschiedlicher Sensoren geeignet. Dies wurde exemplarisch durch die Kartierung unter Nutzung einer Stereo-Kamera-Anordnung und einer einfachen Kamera in Verbindung
mit einem Depth-from-Motion-Verfahren gezeigt. Aufbauend auf dem Kartierungsalgorithmus wurde zudem ein SLAM-Assistent entwickelt,
welcher während der Kartierungsphase Aktionsvorschläge für den menschlichen Bediener präsentiert, die eine optimale Funktion des
SLAM-Algorithmus gewährleisten. Der Assistent stellt damit eine Zwischenstufe zwischen rein manueller Steuerung und komplett autonomer
Exploration dar. Einen weiteren Schwerpunkt der Arbeit stellen die Verfahren für die autonome Funktion des Roboters dar. Für die Selbstlokalisation wird ebenso wie beim SLAM ein Map Matching mit lokalen Karten eingesetzt. Eine Verbesserung der Robustheit und Genauigkeit wird durch die Kombination dieses Ansatzes mit einem vorhandenen visuellen Selbstlokalisations-Verfahren auf Basis einer omnidirektionalen Kamera erzielt. Für die Bestimmung des optimalen Pfades zu einem Zielpunkt kommen Standard-Algorithmen zur Pfadsuche in Graphen zum Einsatz, die Zellen der Karte werden dazu als Graphknoten interpretiert. Die Arbeit präsentiert vergleichende Untersuchungen zur Effizienz von Algorithmen mit und ohne Suchheuristik (A*/Dijkstra-Algorithmus) in der konkreten Einsatzumgebung. Für die Bewegungssteuerung und Kollisionsvermeidung
wurden zwei verschiedene Algorithmen entwickelt: Einem reaktiven Verfahren, welches eine Weiterentwicklung des bekannten Vector
Field Histogram (VFH) darstellt, wird ein neues antizipatives Verfahren auf Basis von Sampling und stochastischer Suche im Raum der
möglichen Bewegungstrajektorien gegenüber gestellt und experimentell
verglichen. Die entwickelten Methoden kommen auf mehreren Shopping-Robotern zum Einsatz, die sich seit ca. sechs Monaten im dauerhaften öffentlichen Testbetrieb in einem Baumarkt befinden. Neben den Navigationsmethoden gibt die Arbeit einen Überblick über die weiteren Module des Roboters, z.B. für die Nutzer-Interaktion, und beschreibt detailliert die Steuerarchitektur zur Koordinierung der Teilleistungen. Die Eignung aller eingesetzten Methoden für den Einsatz in einer realen Anwendung und die hohe Akzeptanz der Nutzer für das entwickelte Gesamtsystem werden durch die Auswertung von Langzeittests nachgewiesen
Methoden der vision-basierten Nutzerwahrnehmung für eine natürliche Interaktion mit mobilen Servicrobotern
Methods of vision-based User Perception for a natural Interaction with mobile
Service Robots
In man-machine communication, particularly in the field of service robotics, the
perception of the user is often constricted to people detection and tracking.
This is in strong contrast to communication between people, where social
information like gender, age, identity and facial expression is essential. The
assumption of this thesis is that an improved perception of the user's state is
necessary for future service robots to be successfully deployed in human
centered service tasks. The example application is a service robot helping
customers in a home store to find the desired products. During interaction, the
robot should show a certain degree of social competence, e.g. by detecting
persons and establishing and keeping eye contact. Furthermore, it should be able
to build user models, identify known users robustly and estimate their
affections by determining gender, age, identity and facial expression from video
images.
To realize this functionality, a biologically motivated separation into a
peripheral and a foveal vision system is proposed. The former uses images of an
omnidirectional camera with a large field of view but relatively low resolution
to generate hypotheses of the position of potential users in the surroundings of
the robot. Therefore, skin color and movement as well as the measurements of
sonar sensors are integrated into a saliency map. Salient structures are tracked
by a multi target tracking system based on the CONDENSATION algorithm. To
realize a skin color detection which is insensitive to changes of the
illumination chrominance, an automatic white balance algorithm was developed
which takes advantage of the special geometry of the omnidirectional objective.
After selecting a hypothesis, the head of the robot is continously directed in
its direction. In this way, the user receives a feedback signal of the robots
attention, while the robot is able to capture high resolution images of the
users face suitable for a further two step analysis. The first step produces a
normalized view of the users face by detecting the face and the eyes and
applying affine image transformations. For the analysis itself, three methods
were implemented and tested: Elastic Graph Matching, Independent Component
Analysis and Active Appearance Models. With respect to the estimation of gender,
age, facial expression and identity a comprehensive face image database was
recorded for training and testing the different methods. The efficiency of the
integrated system was demonstrated by empirical experiments.Methoden der vision-basierten Nutzerwahrnehmung für eine natürliche Interaktion mit mobilen Servicerobotern
Im Gegensatz zur zwischenmenschlichen Kommunikation, bei der die Beziehungsebene im Vergleich zur Sachebene den weitaus größeren Anteil einnimmt, wird diese bei der Mensch-Roboter-Interaktion bislang nur in Ansätzen berücksichtigt. Insbesondere die Nutzerwahrnehmung bleibt in der Regel auf eine reine Personendetektion oder ein einfaches Personen-Tracking beschränkt. Vor diesem Hintergrund wurde eine verbesserte Wahrnehmung des aktuellen Zustandes des Nutzers als Voraussetzung für eine Personalisierung des Dialogs als Zielstellung dieser Arbeit abgeleitet. Beim exemplarischen Anwendungsszenario handelt es sich um einen Shopping-Assistenten, der in einem Baumarkt den Kunden bei der Suche nach Produkten behilflich ist. Dieser sollte zumindest einen gewissen Grad an sozialer Kompetenz zeigen, indem er z.B. Personen in seiner Umgebung detektiert und während der Interaktion kontinuierlich Blickkontakt hält. Um Nutzermodelle erstellen, kurzzeitig verlorene Nutzer wiedererkennen und den Gemütszustand des Nutzers abschätzen zu können, sollen Geschlecht, Alter, Identität und Gesichtsausdruck des Nutzers aus einem Videobild ermittelt werden.
Für die Realisierung dieser Aufgabe wurde eine biologisch motivierte Aufteilung in ein peripheres und ein foveales Vision-System vorgeschlagen. Das periphere System arbeitet auf den Bildern einer omnidirektionalen Kamera und verfügt damit über einen sehr großen Sichtbereich, aber nur eine vergleichsweise geringe Auflösung. In diesem System werden zunächst Hypothesen über die Position von Personen im Umfeld des Roboters gebildet. Dafür werden Hautfarbe, Bewegung und Entfernung in einer Auffälligkeitskarte integriert und auffällige Bildbereiche mittels eines Multi-Target-Trackers verfolgt. Für die omnidirektionale Kamera wurde ein automatischer Weißabgleich entwickelt, der die Hautfarbdetektion unempfindlich gegen Änderungen der Chrominanz der Beleuchtung macht.
Nach Auswahl einer Nutzerhypothese wird der Kopf des Roboters kontinuierlich in die entsprechende Richtung ausgerichtet. Damit erhält der Nutzer zum einen eine Rückmeldung über die gerichtete Aufmerksamkeit des Roboters während der Interaktion. Zum anderen kann der Roboter hochaufgelöste Bilder der Person aufnehmen, so dass eine weitere nachfolgende Analyse ermöglicht wird. Diese ist wiederum in zwei Teilschritte unterteilt. Der erste Schritt besteht aus einer Detektion des Gesichtes und einer anschließenden Detektion der Augen, anhand derer eine normalisierte Darstellung des Gesichtes erzeugt wird. Für den Analyseschritt wurden das Elastic-Graph-Matching, die Independent Component Analysis und die Active-Appearance Models implementiert und vergleichend untersucht. Unter Berücksichtigung der Anforderungen einer Geschlechts-, Alters-, Mimik- und Identitätsschätzung wurde hierfür eine umfassende Gesichtsdatenbank zum Training und zum Test der Verfahren angelegt. Die Leistungsfähigkeit des Gesamtsystems wurde schließlich anhand von empirischen Experimenten demonstriert