Integration and coordination in a cognitive vision system

In this paper, we present a case study that exemplifies general ideas of system integration and coordination. The application field of assistant technology provides an ideal test bed for complex computer vision systems including real-time components, human-computer interaction, dynamic 3-d environments, and information retrieval aspects. In our scenario the user is wearing an augmented reality device that supports her/him in everyday tasks by presenting information that is triggered by perceptual and contextual cues. The system integrates a wide variety of visual functions like localization, object tracking and recognition, action recognition, interactive object learning, etc. We show how different kinds of system behavior are realized using the Active Memory Infrastructure that provides the technical basis for distributed computation and a data- and eventdriven integration approach

Saliency-based identification and recognition of pointed-at objects

Abstract — When persons interact, non-verbal cues are used to direct the attention of persons towards objects of interest. Achieving joint attention this way is an important aspect of natural communication. Most importantly, it allows to couple verbal descriptions with the visual appearance of objects, if the referred-to object is non-verbally indicated. In this contri-bution, we present a system that utilizes bottom-up saliency and pointing gestures to efficiently identify pointed-at objects. Furthermore, the system focuses the visual attention by steering a pan-tilt-zoom camera towards the object of interest and thus provides a suitable model-view for SIFT-based recognition and learning. We demonstrate the practical applicability of the proposed system through experimental evaluation in different environments with multiple pointers and objects

Interaktive Verhaltenssteuerung für Robot Companions

Kleinehagenbrock M. Interaktive Verhaltenssteuerung für Robot Companions. Bielefeld (Germany): Bielefeld University; 2004.Das Bestreben in der Robotikforschung, Roboter zu entwickeln, die dem Menschen gewisse Dienste erweisen, ist nach wie vor ungebrochen. Dabei konzentriert sich die aktuelle Entwicklung zunehmend auf den Privatgebrauch: Es ist das Ziel, persönliche Roboter zu entwickeln, die in Zukunft mit Menschen, einem Kameraden ähnlich, das Zuhause teilen können. Damit Menschen geneigt sind, sich einen solchen Robot Companion zuzulegen, muss er nützlich und einfach zugänglich sein. Somit sind einerseits Fähigkeiten, wie z.B. "Tisch abräumen" und "Blumen gießen", zu realisieren. Andererseits sind die wenigsten Menschen Experten für Robotik. Daher sollte der Roboter intuitiv bedienbar sein, so dass ein natürlicher Umgang zwischen Mensch und Robot Companion entsteht. Folglich muss der Roboter Dialoge in natürlicher Sprache führen können und Zeigegesten erkennen. Da solche Interaktionen in Privatwohnungen stattfinden, kann der Roboter weder die Umgebung noch alle dort denkbaren Gegenstände im Voraus kennen. Somit muss er dieses Wissen erlernen, um es in weiteren Interaktionen nutzen zu können. Um diese Herausforderungen zu lösen, war es ein Ziel dieser Arbeit, eine Software-Architektur für Robot Companions zu entwickeln. Das Konzept der Architektur sollte möglichst flexibel und erweiterbar sein, um diverse Interaktionsfähigkeiten integrieren zu können. Als weiteres Ziel sollte die Basis zur Interaktion mit Menschen geschaffen werden. Dazu wurde ein neuartiges multimodales Personen-Tracking entwickelt, das mit weiteren Interaktionsmodulen in der realisierten Architektur zu integrieren war. Das entwickelte Personen-Tracking ist multimodal, da es Daten von drei verschiedenen Sensorsystemen verarbeitet, um vor dem Roboter anwesende Personen robust zu verfolgen. Zur Sensordatenfusion wurde das "Multimodale Anchoring" entwickelt. Dieser neuartige Ansatz erlaubt es, gleichzeitig mehrere Personen anhand ihrer Gesichter, Oberkörper, Stimmen und Beine zu verfolgen, und sie auch voneinander zu unterscheiden. Somit kann eine Person bevorzugt betrachtet werden, indem die Sensoren auf sie gerichtet werden. Durch zugehörige Experimente wird die Leistungsfähigkeit des multimodalen Verfahrens belegt. Neben dem Personen-Tracking werden jeweils eine Aufmerksamkeitssteuerung für Personen und Objekte und eine Dialogsteuerung vorgestellt. Diese Module sind im Rahmen anderer Promotionsvorhaben entwickelt worden und es galt, sie ebenfalls im Gesamtsystem zu integrieren. Die Aufmerksamkeitssteuerung für Personen setzt auf dem Personen-Tracking auf und bestimmt den Interaktionspartner des Roboters. Zur sprachlichen Kommunikation mit dem Benutzer ist die Dialogsteuerung verantwortlich. Für das Erfassen von zu lernenden Gegenständen dient die Aufmerksamkeitssteuerung für Objekte, die sprachliche und gestische Informationen kombiniert. Zur Entwicklung der Software-Architektur wurden Architekturen bestehender Robotersysteme untersucht und funktionale und strukturelle Anforderungen an einen Robot Companion formuliert. Das daraus entwickelte Architekturkonzept ist eine besonders flexible Drei-Ebenen-Architektur, die zur Koordination des Systems einen zentralen "Execution Supervisor" (ESV) besitzt und per XML kommuniziert. Der ESV empfängt von angebundenen Modulen Nachrichten, die Aktionen auslösen, wie z.B. das Weiterleiten von Daten an andere Module und das Rekonfigurieren des Systems. Dieses Konzept wurde schließlich für den Roboter BIRON umgesetzt. Dabei wurde der ESV so implementiert, dass er äußerst generisch ist: Um ihn zu modifizieren, muss nur eine Konfigurationsdatei angepasst werden, die ebenfalls in XML spezifiziert ist. Die Kommunikation basiert dabei auf dem "XML enabled Communication Framework" und ist somit äußerst transparent. Außerdem wurden Benutzerexperimente mit BIRON durchgeführt, wobei dessen Interaktionsfähigkeiten als recht natürlich eingestuft wurden. Da für eine flüssige Interaktion das System nicht zu langsam reagieren darf, wurden auch gewisse Zeitmessungen vorgenommen. Diese zeigen, dass der Zeitaufwand, der durch die Architektur verursacht wird, im Vergleich zu den Berechnungen der integrierten Module gering ist und somit eine flüssige Interaktion erlaubt. Das System wurde außerdem auf der IST 2004 in Den Haag präsentiert, wo zwei BIRONs an drei Tagen insgesamt 24 Stunden lang erfolgreich präsentiert wurden. Folglich bietet das präsentierte Architekturkonzept eine hervorragende Basis zur Entwicklung von Robot Companions. Durch die Integration der vorgestellten Modulen ergibt sich bereits ein grundlegendes System zur natürlichen Mensch-Roboter-Interaktion. Da es auf Erweiterbarkeit ausgelegt ist, können andere Funktionalitäten einfach hinzugefügt werden. Diese Generizität wird insbesondere durch XML ermöglicht. XML wird zur Konfiguration des ESV und zur Kommunikation mit den angebundenen Modulen verwendet. Nur so kann das bereits umfangreiche System auch in Zukunft noch umfangreich erweitert werden

Recognition of Deictic Gestures with Context

Abstract. Pointing at objects is a natural form of interaction between humans that is of particular importance in human-machine interfaces. Our goal is the recognition of such deictic gestures on our mobile robot in order to enable a natural way of interaction. The approach proposed analyzes image data from the robot’s camera to detect the gesturing hand. We perform deictic gesture recog-nition through extending a trajectory recognition algorithm based on particle fil-tering with symbolic information from the objects in the vicinity of the acting hand. This vicinity is specified by a context area. By propagating the samples depending on a successful matching between expected and observed objects the samples that lack a corresponding context object are propagated less often. The results obtained demonstrate the robustness of the proposed system integrating trajectory data with symbolic information for deictic gesture recognition.

Recognition of Deictic Gestures with Context

Hofemann N, Fritsch J, Sagerer G. Recognition of Deictic Gestures with Context. In: Rasmussen CE, Bülthoff HH, Schölkopf B, Giese MA, eds. Pattern Recognition. 26th DAGM Symposium, Tübingen, Germany, August 30 - September 1, 2004 ; proceedings. Lecture Notes in Computer Science, 3175. Heidelberg, Germany: Springer-Verlag; 2004: 334-341.Pointing at objects is a natural form of interaction between humans that is of particular importance in human-machine interfaces. Our goal is the recognition of such deictic gestures on our mobile robot in order to enable a natural way of interaction. The approach proposed analyzes image data from the robot’s camera to detect the gesturing hand. We perform deictic gesture recognition through extending a trajectory recognition algorithm based on particle filtering with symbolic information from the objects in the vicinity of the acting hand. This vicinity is specified by a context area. By propagating the samples depending on a successful matching between expected and observed objects the samples that lack a corresponding context object are propagated less often. The results obtained demonstrate the robustness of the proposed system integrating trajectory data with symbolic information for deictic gesture recognition