A multi-modal person perception framework for socially interactive mobile service robots

In order to meet the increasing demands of mobile service robot applications, a dedicated perception module is an essential requirement for the interaction with users in real-world scenarios. In particular, multi sensor fusion and human re-identification are recognized as active research fronts. Through this paper we contribute to the topic and present a modular detection and tracking system that models position and additional properties of persons in the surroundings of a mobile robot. The proposed system introduces a probability-based data association method that besides the position can incorporate face and color-based appearance features in order to realize a re-identification of persons when tracking gets interrupted. The system combines the results of various state-of-the-art image-based detection systems for person recognition, person identification and attribute estimation. This allows a stable estimate of a mobile robot’s user, even in complex, cluttered environments with long-lasting occlusions. In our benchmark, we introduce a new measure for tracking consistency and show the improvements when face and appearance-based re-identification are combined. The tracking system was applied in a real world application with a mobile rehabilitation assistant robot in a public hospital. The estimated states of persons are used for the user-centered navigation behaviors, e.g., guiding or approaching a person, but also for realizing a socially acceptable navigation in public environments

Implementierung und Evaluation verschiedener Bayes-Filter für das Personentracking

In dieser Arbeit wird die Kalman Filter Bibliothek "Bayes++" an die Softwareumgebung MIRA angebunden. Dazu werden verschiedene Klassen erstellt um die Schnittstellen der Bibliothek mit denen des MIRA Systems zu verbinden. Durch diese Bibliothek ist es dann möglich verschiedene Kalman Filter Arten und Systemmodelle zu nutzen. Zur Demonstration werden zwei Systemmodelle implementiert. Es wird außerdem gezeigt, dass die Bibliothek die selbe Performance liefert, wie die bisherige Implementierung eines Kalman Filters im MIRA-System. Zusätzlich werden die beiden Systemmodelle verglichen.In this Bachelor thesis the software library "Bayes++" will be connected to the MIRA Software. This library consists of multiple Kalman Filters wich will be used for people tracking. Therefore I implement different classes to connect the library with the MIRA Software. For demonstration purposes two Systemmodels will be implemented and tested with this new system

Entwicklung und Integration von Interaktionsstrategien zur Erkennung und Behandlung von Notfallsituationen im häuslichen Umfeld durch Service-Roboter

Service-Roboter werden genutzt, um Senioren bei der Verrichtung von Aktivitäten des alltäglichen Lebens zu unterstützen und ihnen damit ein selbständiges Leben bis ins hohe Alter zu ermöglichen. Neben der Bereitstellung der Services muss der Roboter in der Lage sein, Notsituationen der Nutzer zu erkennen und in angemessener Weise darauf zu reagieren. Ziel dieser Masterarbeit ist es daher, eine Interaktionsstrategie zur Erkennung und Behandlung von Notfällen im häuslichen Umfeld zu entwickeln. Im Rahmen des SYMPARTNER-Projektes des Fachgebiets für Neuroinformatik und kognitive Robotik wurde der EmergencyService entwickelt. Dieser umfasst Module zur Erkennung von Notfällen, zur Personensuche innerhalb der Wohnung, zum Auffinden und zur Verifikation des Nutzers sowie einem anschließenden Dialog zur Klärung der Situation. Zur Realisierung des Ablaufs wurden bereits existierende Module mit Modulen kombiniert, deren Erstellung Teil dieser Arbeit war. Im Anschluss an die Implementierung des Konzepts auf der genutzten mobilen Roboterplattform wurde in durchgeführten Tests die Funktionsfähigkeit der Modulkette überprüft. Dazu wurden verschiedene Szenarien mit liegenden, stehenden und sitzenden Personen konzipiert. In 18 der 25 Versuche konnte der Roboter die Personen in den Bereichen der Testumgebung erfolgreich detektieren und über einen situationsabhängigen Dialog mit ihnen in Kontakt treten. Die Erkennungsleistung bei liegenden und stehenden Personen betrug 90% bzw. 80%. Im Gegensatz dazu konnten sitzende Personen nur in 20% der Fälle erkannt werden. Es zeigte sich, dass die Erfassungsbereiche der verwendeten Kamerasysteme die Erkennungsrate beeinflussten. Die Versuchsergebnisse wurden diskutiert und Empfehlungen für zukünftige Arbeiten gegeben.Service robots are used to assist elderly persons in performing activities of daily life and supporting them to live independently up to old ages. Besides providing services, the robots need to be able to recognize emergency situations and react to them in a proper way. This master thesis aims to establish a strategy to identify and handle emergencies in domestic environments. The proposed emergency service is part of the SYMPARTNER project at the department of Neuroinformatics and Cognitive Robotics. The service includes modules to detect emergencies, search for persons, person detection and verification as well as using dialogues for communication purposes. To realize the desired behavior, the service combines existing modules with modules developed within this master thesis. To examine the functionality of the created emergency service, several tests were conducted with lying, standing and sitting people. The results show that 18 of 25 tests were finished successfully, indicating that the robot detected them correctly in the test environment and started the corresponding dialogue. The detection rates for lying and standing persons were 90% and 80% respectively. The tests with sitting persons resulted in a detection rate of 20%. Further results show that the detection rate is influenced by the utilized camera systems' field of view. Eventually, the results are discussed and goals for prospective research are suggested

Multi-sensor multi-person tracking on a mobile robot platform

Service robots need to be aware of persons in their vicinity in order to interact with them. People tracking enables the robot to perceive persons by fusing the information of several sensors. Most robots rely on laser range scanners and RGB cameras for this task. The thesis focuses on the detection and tracking of heads. This allows the robot to establish eye contact, which makes interactions feel more natural. Developing a fast and reliable pose-invariant head detector is challenging. The head detector that is proposed in this thesis works well on frontal heads, but is not fully pose-invariant. This thesis further explores adaptive tracking to keep track of heads that do not face the robot. Finally, head detector and adaptive tracker are combined within a new people tracking framework and experiments show its effectiveness compared to a state-of-the-art system

Realisierung nutzeradaptiven Interaktionsverhaltens für mobile Assistenzroboter

Im Zentrum dieser Dissertation steht die soziale Assistenzrobotik. In den letzten Jahren hat die Bedeutung dieses Teilgebietes der mobilen Robotik stark zugenommen und zusammen mit der Diversifizierung robotischer Fähigkeiten hat sich die Nutzergruppe hin zur breiten Masse mit potentiellen technischen Laien gewandelt. Aus dieser Situation heraus erwachsen an die Interaktionsfähigkeiten sozialer Assistenzroboter umfangreiche Anforderungen. Insbesondere stehen in dieser Arbeit die Multimodalität der Interaktion und die Anpassungsfähigkeiten an den konkreten Nutzer im Vordergrund. Am Beispiel eines Serviceroboters für die häusliche Gesundheitsassistenz, wie er in einem vom Autor mit bearbeiteten Forschungsprojekt realisiert wurde, wird zunächst der Analyse- und Entwurfsprozess für dessen Umsetzung geschildert. Im Anschluss daran wird gezeigt, wie sich aus der Systemspezifikation eine mehrschichtige Systemarchitektur ableiten lässt, welche auch auf andere Robotikanwendungen übertragbar ist. Der Fokus liegt dabei auf der modularen Realisierung einer Ablauf- und Dialogsteuerung. Um dem System eine Persönlichkeit zu geben und ein im Langzeiteinsatz akzeptierbares Dialogverhalten zu generieren, wurde ein frame-basierter Dialogmanager konzipiert und umgesetzt. Dabei wurden Aspekte wie Modularität durch ein App-Konzept, leichte Erweiterbarkeit und die Möglichkeit, nutzeradaptive Dialoge zu realisieren, berücksichtigt. Im Kern des vorgestellten Dialogsystems kommt eine gänzlich neue Methode der probabilistischen online-Planung von Dialogsequenzen zum Einsatz. Ein eigens konzipiertes Realweltexperiment konnte zeigen, dass es mit diesem System möglich ist, anhand von systeminternen aber auch nutzergetriebenen Bewertungen, das Dialogverhalten im Rahmen von durch den Designer vorgegebenen Freiheiten zur Laufzeit zu optimieren. Die Gestaltung des robotischen Gesundheitsassistenten wurde durch weitere Teilsysteme abgerundet. Unter diesen spielen verschiedene taktile Sensoriken und ein Emotionsmodell eine entscheidende Rolle für die Realisierung eines liebenswerten Begleiters. Letztendlich konnte in sehr erfolgreichen teils mehrtägigen Nutzerstudien mit Senioren die Praktikabilität des entwickelten Interaktionskonzepts und der Systemarchitektur nachgewiesen werden.The central topic of this thesis concerns social service robotics. In recent years this branch of mobile robotics in general has seen increasing interest. Due to increasing capabilities and growing fields of application of such robots, the group of potential users has changed. Unexperienced users raise extensive requirements regarding the interaction capabilities of such robots. The multi-modality of human-robot dialog and its adaptivity regarding user's preferences and needs are in the focus of this thesis. First, the analysis and specification process for such a system is explained by means of an example, which is a service robot for health assistance in home environments, as it has been developed in a research project at which the author participated. Following this, it is shown how a multi-layer system architecture is derived from that specification, which is applicable to other robotic applications as well. Though the main focus is on a modular realization for the control structures and the dialog handling. In order to enable a long term acceptability of such a system and to give it a personality, a frame-based dialog manager has been designed and is explained in detail. Aspects of interest there are modularity by means of an app-concept, extendablility, and adaptivity of the interaction skills regarding users' qirks and demands. In the core of the presented dialog system, there is a unique planning mechanism based on probabilistic reasoning in a factor graph model of the dialog going on. In a real world experiment it could be shown that this online learning concept is able to optimize dialog behavior regarding system internal as well as user driven reward signals. During the implementation of the health assistant robot further system components have been developed in order to realize a likeable companion. Among them, there are two kinds of tactile sensors and an emotion model, which are presented in this thesis as well. Finally, very successful real world user trials of the health assistant robot involving 9 elderly people are described to show that the presented concepts for system architecture and dialog modelling are viable

Personenwiedererkennung mittels maschineller Lernverfahren für öffentliche Einsatzumgebungen

Die erscheinungsbasierte Personenwiedererkennung in öffentlichen Einsatzumgebungen ist eines der schwierigsten, noch ungelösten Probleme der Bildverarbeitung. Viele Teilprobleme können nur gelöst werden, wenn Methoden des maschinellen Lernens mit Methoden der Bildverarbeitung kombiniert werden. In dieser Arbeit werden maschinelle Lernverfahren eingesetzt, um alle Abarbeitungsschritte einer erscheinungsbasierten Personenwiedererkennung zu verbessern: Mithilfe von Convolutional Neural Networks werden erscheinungsbasierte Merkmale gelernt, die eine Wiedererkennung auf menschlichem Niveau ermöglichen. Für die Generierung des Templates zur Beschreibung der Zielperson wird durch Einsatz maschineller Lernverfahren eine automatische Auswahl personenspezifischer, diskriminativer Merkmale getroffen. Durch eine gelernte Metrik können beim Vergleich von Merkmalsvektoren szenariospezifische Umwelteinflüsse kompensiert werden. Eine Fusion komplementärer Merkmale auf Score Level steigert die Wiedererkennungsleistung deutlich. Dies wird vor allem durch eine gelernte Gewichtung der Merkmale erreicht. Das entwickelte Verfahren wird exemplarisch anhand zweier Einsatzszenarien - Videoüberwachung und Robotik - evaluiert. Bei der Videoüberwachung ermöglicht die Wiedererkennung von Personen ein kameraübergreifendes Tracking. Dies hilft menschlichen Operateuren, den Aufenthaltsort einer gesuchten Person in kurzer Zeit zu ermitteln. Durch einen mobilen Serviceroboter kann der aktuelle Nutzer anhand einer erscheinungsbasierten Wiedererkennung identifiziert werden. Dies hilft dem Roboter bei der Erfüllung von Aufgaben, bei denen er den Nutzer lotsen oder verfolgen muss. Die Qualität der erscheinungsbasierten Personenwiedererkennung wird in dieser Arbeit anhand von zwölf Kriterien charakterisiert, die einen Vergleich mit biometrischen Verfahren ermöglichen. Durch den Einsatz maschineller Lernverfahren wird bei der erscheinungsbasierten Personenwiedererkennung in den betrachteten unüberwachten, öffentlichen Einsatzfeldern eine Erkennungsleistung erzielt, die sich mit biometrischen Verfahren messen kann.Appearance-based person re-identification in public environments is one of the most challenging, still unsolved computer vision tasks. Many sub-tasks can only be solved by combining machine learning with computer vision methods. In this thesis, we use machine learning approaches in order to improve all processing steps of the appearance-based person re-identification: We apply convolutional neural networks for learning appearance-based features capable of performing re-identification at human level. For generating a template to describe the person of interest, we apply machine learning approaches that automatically select person-specific, discriminative features. A learned metric helps to compensate for scenario-specific perturbations while matching features. Fusing complementary features at score level improves the re-identification performance. This is achieved by a learned feature weighting. We deploy our approach in two applications, namely surveillance and robotics. In the surveillance application, person re-identification enables multi-camera tracking. This helps human operators to quickly determine the current location of the person of interest. By applying appearance-based re-identification, a mobile service robot is able to keep track of users when following or guiding them. In this thesis, we measure the quality of the appearance-based person re-identification by twelve criteria. These criteria enable a comparison with biometric approaches. Due to the application of machine learning techniques, in the considered unsupervised, public fields of application, the appearance-based person re-identification performs on par with biometric approaches.Die erscheinungsbasierte Personenwiedererkennung in öffentlichen Einsatzumgebungen ist eines der schwierigsten, noch ungelösten Probleme der Bildverarbeitung. Viele Teilprobleme können nur gelöst werden, wenn Methoden des maschinellen Lernens mit Methoden der Bildverarbeitung kombiniert werden. In dieser Arbeit werden maschinelle Lernverfahren eingesetzt, um alle Abarbeitungsschritte einer erscheinungsbasierten Personenwiedererkennung zu verbessern, sodass eine Wiedererkennung auf menschlichem Niveau ermöglicht wird. Das entwickelte Verfahren wird anhand zweier Einsatzszenarien — Videoüberwachung und Robotik — evaluiert. Bei der Videoüberwachung ermöglicht die Wiedererkennung von Personen ein kameraübergreifendes Tracking um den Aufenthaltsort einer gesuchten Person in kurzer Zeit zu ermitteln. Durch einen mobilen Serviceroboter kann der aktuelle Nutzer anhand einer erscheinungsbasierten Wiedererkennung identifiziert werden. Dies hilft dem Roboter beim Lots