Using mediator objects to easily and robustly teach visual objects to a robot.

International audienceWe developed three interfaces to allow non-expert users to teach name for new visual objects and compare them through user's studies in term of learning efficiency

Using mediator objects to easily and robustly teach visual objects to a robot

International audienceWe developed three interfaces to allow non-expert users to teach name for new visual objects and compare them through user's studies in term of learning efficiency

Towards gestural understanding for intelligent robots

Fritsch JN. Towards gestural understanding for intelligent robots. Bielefeld: Universität Bielefeld; 2012.A strong driving force of scientific progress in the technical sciences is the quest for systems that assist humans in their daily life and make their life easier and more enjoyable. Nowadays smartphones are probably the most typical instances of such systems. Another class of systems that is getting increasing attention are intelligent robots. Instead of offering a smartphone touch screen to select actions, these systems are intended to offer a more natural human-machine interface to their users. Out of the large range of actions performed by humans, gestures performed with the hands play a very important role especially when humans interact with their direct surrounding like, e.g., pointing to an object or manipulating it. Consequently, a robot has to understand such gestures to offer an intuitive interface. Gestural understanding is, therefore, a key capability on the way to intelligent robots. This book deals with vision-based approaches for gestural understanding. Over the past two decades, this has been an intensive field of research which has resulted in a variety of algorithms to analyze human hand motions. Following a categorization of different gesture types and a review of other sensing techniques, the design of vision systems that achieve hand gesture understanding for intelligent robots is analyzed. For each of the individual algorithmic steps – hand detection, hand tracking, and trajectory-based gesture recognition – a separate Chapter introduces common techniques and algorithms and provides example methods. The resulting recognition algorithms are considering gestures in isolation and are often not sufficient for interacting with a robot who can only understand such gestures when incorporating the context like, e.g., what object was pointed at or manipulated. Going beyond a purely trajectory-based gesture recognition by incorporating context is an important prerequisite to achieve gesture understanding and is addressed explicitly in a separate Chapter of this book. Two types of context, user-provided context and situational context, are reviewed and existing approaches to incorporate context for gestural understanding are reviewed. Example approaches for both context types provide a deeper algorithmic insight into this field of research. An overview of recent robots capable of gesture recognition and understanding summarizes the currently realized human-robot interaction quality. The approaches for gesture understanding covered in this book are manually designed while humans learn to recognize gestures automatically during growing up. Promising research targeted at analyzing developmental learning in children in order to mimic this capability in technical systems is highlighted in the last Chapter completing this book as this research direction may be highly influential for creating future gesture understanding systems

Semantische Objektmodellierung mittels multimodaler Interaktion

Ein Konzept für eine interaktive semantische Objektmodellierung wird vorgeschlagen. Die flexible und erweiterbare Objektrepräsentation ermöglicht die Modellierung funktionaler und semantischer Objektinformationen durch die Darstellung von Eigenschaften, die menschliche Begriffe und Kategorien abbilden und die Verbindung von Objekten mit Handlungen und mit sensoriell erfassbaren Attributen herstellen. Das interaktive Modellierungssystem erlaubt die intuitive Erstellung semantischer Objektmodelle

Intelligente Bildersuche durch den Einsatz inhaltsbasierter Techniken

Käster T. Intelligente Bildersuche durch den Einsatz inhaltsbasierter Techniken. Bielefeld (Germany): Bielefeld University; 2005.Heutzutage spielt die einfache Verwaltung großer Bestände von digitalen Bildern in vielen Anwendungsbereichen eine wichtige Rolle. Werbeleute, Journalisten und Designer benötigen den schnellen Zugang zu umfangreichen Bildkatalogen, um Werbungen, Artikel und Entwürfe durch entsprechende Bilder oder Bildelemente visuell hervorzuheben. Aber nicht nur im industriellen Bereich besteht die Anforderung einer organisierten Datenhaltung. Durch die Fortschritte in der Entwicklung elektronischer Geräte, wie z.B. digitale Fotokameras oder Scanner, nimmt die Menge an digitalen Bildern in privaten Haushalten tagtäglich zu. Anwender dieser Geräte werden zunehmend vor die Aufgabe gestellt, die zahlreichen Bilder strukturiert zu verwalten, um einfach in der gespeicherten Bildmenge navigieren zu können. Seit den 70er Jahren haben sich textbasierte Bilddatenbanksysteme zur Verwaltung digitaler Bilder etabliert. Ihre Grundlage bildet die aufwändige manuelle Erfassung von Bildinhalten; die sogenannte Verschlagwortung. Obwohl textbasierte Bilddatenbanksysteme einen einfachen semantischen Zugang zu einer Menge von digitalen Bildern bieten, erfordern die verschiedenen Nachteile dieses Ansatzes, dass innovative Bildsuchsysteme entwickelt werden. Nachteile eines textbasierten Systems sind beispielsweise die subjektive Prägung der Verschlagwortung sowie der mangelnde visuelle Zugang zur gespeicherten Datenmenge. Motiviert durch die Probleme verschlagworteter Systeme wurde seit Anfang der 90er Jahre verstärkt die Entwicklung sogenannter inhaltsbasierter Bildsuchsysteme vorangetrieben. Die rein inhaltsbasierte Bildersuche verzichtet auf die Verwendung von textuellen Annotationen und versucht einzig und allein auf der Grundlage visueller Bildmerkmale, die für eine Anfrage relevanten Bilder der Datenbank zu finden. Da die inhaltsbasierte Bildersuche eine vielversprechende Alternative zur verschlagworteten Bildersuche darstellt, wurde sich in dieser Arbeit ausführlich mit diesem Thema beschäftigt. Den Mittelpunkt bildet dabei das im Rahmen eines BMB+F Verbundprojekts entwickelte Bildsuchsystem INDI. Das Ziel der vorliegenden Arbeit war die Entwicklung der für das INDI System benötigten inhaltsbasierten Suchmechanismen, sodass ein Anwender auf der Grundlage automatisch extrahierter Bildinhalte in der gespeicherten Bildmenge navigieren kann. Entsprechend den Eigenschaften moderner Bildsuchsysteme sollte das zu entwickelnde System dabei lernfähig sein und sich innerhalb des Suchprozesses an einen Anwender adaptieren können. Dazu wurde ein Suchverfahren entwickelt, das aus verschiedenen Komponenten besteht, die eine Adaption an die Suchintention eines Benutzers ermöglichen. Da in dem Entwurf unterschiedliche Aspekte und Ansätze berücksichtigt wurden, war es Ziel einer ausführlichen Evaluation, die Systemkonfiguration zu bestimmen, mit der das INDI System am leistungsfähigsten ist. Um in dieser Arbeit auch der Fragestellung nachgehen zu können, inwieweit das Suchverfahren und adaptive Techniken im Allgemeinen skalierbar sind, wurde außerdem ein Verfahren zur Einschränkung des Suchraumes entwickelt. Ausgehend von der multidimensionalen Indizierung des gespeicherten Datenbestandes können somit auch für umfangreiche Bildmengen kurze Systemantwortzeiten erzielt werden

A Multimodal System for Object Learning

Lömker F, Sagerer G. A Multimodal System for Object Learning. In: van Gool L, ed. Pattern Recognitions. Lecture Notes in Computer Science. Vol 2449. Berlin: Springer; 2002: 490-497.A multimodal system for acquiring new objects, updating already known ones, and searching for them is presented. The system is able to learn objects and associate them to speech received from a speech recogniser in a natural and convenient fashion. The learning and retrieval process takes into account information gained from multiple attributes calculated from an image recorded by a standard video camera, from deictic gestures, and from information of a dialog based conversation. Histogram intersection and subgraph matching on segmented color regions are used as attributes

A Multimodal System for Object Learning

A multimodal system for acquiring new objects, updating already known ones, and searching for them is presented. The system is able to learn objects and associate them to speech received from a speech recogniser in a natural and convenient fashion. The learning and retrieval process takes into account information gained from multiple attributes calculated from an image recorded by a standard video camera, from deictic gestures, and from information of a dialog based conversation. Histogram intersection and subgraph matching on segmented color regions are used as attributes