Measurement and analysis of interactive behavior in tutoring action with children and robots

Vollmer A-L. Measurement and analysis of interactive behavior in tutoring action with children and robots. Bielefeld: Universität Bielefeld; 2011.Robotics research is increasingly addressing the issue of enabling robots to learn in social interaction. In contrast to the traditional approach by which robots are programmed by experts and prepared for and restricted to one specific purpose, they are now envisioned as general-purpose machines that should be able to carry out different tasks and thus solve various problems in everyday environments. Robots which are able to learn novel actions in social interaction with a human tutor would have many advantages. Unexperienced users could "program" new skills for a robot simply by demonstrating them. Children are able to rapidly learn in social interaction. Modifications in tutoring behavior toward children ("motionese") are assumed to assist their learning processes. Similar to small children, robots do not have much experience of the world and thus could make use of this beneficial natural tutoring behavior if it was employed, when tutoring them. To achieve this goal, the thesis provides theoretical background on imitation learning as a central field of social learning, which has received much attention in robotics and develops new interdisciplinary methods to measure interactive behavior. Based on this background, tutoring behavior is examined in adult-child, adult-adult, and adult-robot interactions by applying the developed methods. The findings reveal that the learner’s feedback is a constituent part of the natural tutoring interaction and shapes the tutor’s demonstration behavior. The work provides an insightful understanding of interactional patterns and processes. From this it derives feedback strategies for human-robot tutoring interactions, with which a robot could prompt hand movement modifications during the tutor’s action demonstration by using its gaze, enabling robots to elicit advantageous modifications of the tutor’s behavior

Towards adaptive and autonomous humanoid robots: from vision to actions

Although robotics research has seen advances over the last decades robots are still not in widespread use outside industrial applications. Yet a range of proposed scenarios have robots working together, helping and coexisting with humans in daily life. In all these a clear need to deal with a more unstructured, changing environment arises. I herein present a system that aims to overcome the limitations of highly complex robotic systems, in terms of autonomy and adaptation. The main focus of research is to investigate the use of visual feedback for improving reaching and grasping capabilities of complex robots. To facilitate this a combined integration of computer vision and machine learning techniques is employed. From a robot vision point of view the combination of domain knowledge from both imaging processing and machine learning techniques, can expand the capabilities of robots. I present a novel framework called Cartesian Genetic Programming for Image Processing (CGP-IP). CGP-IP can be trained to detect objects in the incoming camera streams and successfully demonstrated on many different problem domains. The approach requires only a few training images (it was tested with 5 to 10 images per experiment) is fast, scalable and robust yet requires very small training sets. Additionally, it can generate human readable programs that can be further customized and tuned. While CGP-IP is a supervised-learning technique, I show an integration on the iCub, that allows for the autonomous learning of object detection and identification. Finally this dissertation includes two proof-of-concepts that integrate the motion and action sides. First, reactive reaching and grasping is shown. It allows the robot to avoid obstacles detected in the visual stream, while reaching for the intended target object. Furthermore the integration enables us to use the robot in non-static environments, i.e. the reaching is adapted on-the- fly from the visual feedback received, e.g. when an obstacle is moved into the trajectory. The second integration highlights the capabilities of these frameworks, by improving the visual detection by performing object manipulation actions

Human-machine communication for educational systems design

This book contains the papers presented at the NATO Advanced Study Institute (ASI) on the Basics of man-machine communication for the design of educational systems, held August 16-26, 1993, in Eindhoven, The Netherland

Adaptive Shared Autonomy between Human and Robot to Assist Mobile Robot Teleoperation

Die Teleoperation vom mobilen Roboter wird in großem Umfang eingesetzt, wenn es für Mensch unpraktisch oder undurchführbar ist, anwesend zu sein, aber die Entscheidung von Mensch wird dennoch verlangt. Es ist für Mensch stressig und fehleranfällig wegen Zeitverzögerung und Abwesenheit des Situationsbewusstseins, ohne Unterstützung den Roboter zu steuern einerseits, andererseits kann der völlig autonome Roboter, trotz jüngsten Errungenschaften, noch keine Aufgabe basiert auf die aktuellen Modelle der Wahrnehmung und Steuerung unabhängig ausführen. Deswegen müssen beide der Mensch und der Roboter in der Regelschleife bleiben, um gleichzeitig Intelligenz zur Durchführung von Aufgaben beizutragen. Das bedeut, dass der Mensch die Autonomie mit dem Roboter während des Betriebes zusammenhaben sollte. Allerdings besteht die Herausforderung darin, die beiden Quellen der Intelligenz vom Mensch und dem Roboter am besten zu koordinieren, um eine sichere und effiziente Aufgabenausführung in der Fernbedienung zu gewährleisten. Daher wird in dieser Arbeit eine neuartige Strategie vorgeschlagen. Sie modelliert die Benutzerabsicht als eine kontextuelle Aufgabe, um eine Aktionsprimitive zu vervollständigen, und stellt dem Bediener eine angemessene Bewegungshilfe bei der Erkennung der Aufgabe zur Verfügung. Auf diese Weise bewältigt der Roboter intelligent mit den laufenden Aufgaben auf der Grundlage der kontextuellen Informationen, entlastet die Arbeitsbelastung des Bedieners und verbessert die Aufgabenleistung. Um diese Strategie umzusetzen und die Unsicherheiten bei der Erfassung und Verarbeitung von Umgebungsinformationen und Benutzereingaben (i.e. der Kontextinformationen) zu berücksichtigen, wird ein probabilistischer Rahmen von Shared Autonomy eingeführt, um die kontextuelle Aufgabe mit Unsicherheitsmessungen zu erkennen, die der Bediener mit dem Roboter durchführt, und dem Bediener die angemesse Unterstützung der Aufgabenausführung nach diesen Messungen anzubieten. Da die Weise, wie der Bediener eine Aufgabe ausführt, implizit ist, ist es nicht trivial, das Bewegungsmuster der Aufgabenausführung manuell zu modellieren, so dass eine Reihe von der datengesteuerten Ansätzen verwendet wird, um das Muster der verschiedenen Aufgabenausführungen von menschlichen Demonstrationen abzuleiten, sich an die Bedürfnisse des Bedieners in einer intuitiven Weise über lange Zeit anzupassen. Die Praxistauglichkeit und Skalierbarkeit der vorgeschlagenen Ansätze wird durch umfangreiche Experimente sowohl in der Simulation als auch auf dem realen Roboter demonstriert. Mit den vorgeschlagenen Ansätzen kann der Bediener aktiv und angemessen unterstützt werden, indem die Kognitionsfähigkeit und Autonomieflexibilität des Roboters zu erhöhen

From gamestorming to mobile learning : a conceptual framework and a gaming proposition to explore the design of flourishing business models

Cette démarche de thèse débute par la mise au point d'un cadre conceptuel à propos de la durabilité ('sustainability') et du MA (modèle d'affaires), pour cadrer une recherche sur la définition et la conception de MA durable. Grâce notamment à Ehrenfeld (2005), le MAF (modèle d'affaires pour un avenir florissant ou 'flourishing future') est défini. La question est maintenant de savoir comment introduire les gestionnaires à la théorie et la pratique du MAF? Quelle est la nature de l'effort cognitif exigé? Et l'apprentissage peut-il être stimulé par le 'gamestorming' en proposant un espace d'apprentissage ouvert à la formation de nouveaux concepts. Le premier chapitre présente les origines du MA suite à l'affrontement dans les années 1980 entre la finance d'entreprise et la stratégie d'entreprise lors de la naissance du premier logiciel de tableur. Dès lors, le chapitre un propose d'envisager l'histoire du MA en trois périodes : d'abord le MA pour la valeur numérique, ensuite, le MA architectural et finalement, le MA durable. Mais les académiciens et les praticiens ne s'entendent pas sur la définition de MA durable. Il existe une opposition entre les approches faible et forte. Nous adoptons dans cette thèse la définition et l'engagement d'Ehrenfeld (2005) à un avenir florissant, définissant ainsi le MAF ou modèle d'affaires (pour un avenir) florissant. Le chapitre un montre que le MA pour la valeur numérique implique le calcul comme un mode cognitif, le MA architectural est plus associé à l'interprétation comme mode cognitif, tandis que MAF devrait être conçu grâce à la cognition située et à la macrocognition. Le chapitre deux oppose le MA développé sous une vision cognitive plus traditionnelle de computation-interprétation à la construction du MAF exigeant de nouvelles conditions préalables nécessaires à la cognition située et à la macrocognition. De cette façon, les acteurs conçoivent un MAF via leur interface sensorimotrice où le sens se dégage de multiples interactions avec la matérialité sociale et la matérialité physique du modèle. Aussi un MAF devient un objet public partagé, ouvert au développement de la compétence sociale dans une situation où les principes de macrocognition s'appliquent. Le chapitre trois fait le bilan d'une expérience d'enseignement / apprentissage avec une classe d'étudiants au MBA dans laquelle les étudiants devaient gérer dans le même cours, à la fois le canevas dédié au MA (CMA) et une modélisation organisationnelle plutôt abstraite reliée à la gestion des connaissances (Morabito et al., 1999). Cette expérience d'apprentissage est un cas de conception dense ('thick design') à l'intérieur d'une salle de classe inversée qui permet d'explorer l'idée suivante : si la matérialité sociale et physique fait partie du domaine de conception, les exigences de la cognition et la charge cognitive seront plus lourdes. Le chapitre se termine en associant durabilité faible avec un design mince ('thin') et la durabilité forte avec la conception dense ('thick'). Le chapitre quatre plonge plus profondément dans les questions de durabilité. Ce chapitre présente une expérience jeu avec Logim@s© qui s'est produite dans la division du développement durable d'une grande ville canadienne : les quatre joueurs étaient gestionnaires de développement durable ou professionnels dans le domaine. Le jeu est basé sur le livre de Steven Moore (2007) qui expose les scénarios, les modes logiques et les discours qui permettent à trois villes très différentes (Curitiba, Austin et Francfort) de déployer leur leadership en matière de durabilité. Un défi de conception dense est au cœur de l'expérience : comment un joueur peut-il utiliser l'approche CMA alors que des discours contradictoires risquent de le bloquer cognitivement? Les joueurs sont dans un mode logique inductif / déductif. Vont-ils passer en mode abductif? Le chapitre cinq examine comment le jeu Logim@s© pourrait devenir une plateforme ouverte de gamestorming, appelons-la SustAbd©. Ce chapitre comporte deux parties : la première partie est une réflexion sur le processus de conception de jeu pour justifier une approche plate-forme d'architecture composé du noyau SustAbd© et de sa périphérie, et une seconde partie, où cinq cas d'utilisation UML sont proposés. Le chapitre six s'appuie sur l'expérience du chercheur comme un tuteur humain dans les expériences d'enseignement inversé et de 'gamestorming.' Le but de ce chapitre est d'adopter la modélisation cognitive (MC) comme approche pour remplacer un tuteur humain par un robot 'situé.' Ce chapitre se poursuit avec des développements au sujet du caractère situé des robots. Ces idées permettent de concevoir SustAbdPLAY© conformément au caractère situé et aux conditions de macrocognition propres au design d'un MAF. La modélisation sociale avec iStar permet de clarifier la conception. Le chapitre sept termine la thèse. Il décrit les leçons apprises, les limites de l'étude ainsi que la suggestion de recherches futures. Une conclusion générale clôt le chapitre.\ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : Business model, modèle d'affaires, soutenabilité, développement durable, cognition, matérialité, gamestorming, apprentissage mobile, recherche action, desig

Discovering phase and causal dependencies on manufacturing processes

Discovering phase and causal dependencies on manufacturing processes. Keyword machine learning, causality, Industry 4.