Humanizing robot dance movements

Tese de mestrado integrado. Engenharia Informática e Computação. Universidade do Porto. Faculdade de Engenharia. 201

Towards a framework to make robots learn to dance

A key motive of human-robot interaction is to make robots and humans interact through different aspects of the real world. As robots become more and more realistic in appearance, so has the desire for them to exhibit complex behaviours. A growing area of interest in terms of complex behaviour is robot dancing. Dance is an entertaining activity that is enjoyed either by being the performer or the spectator. Each dance contain fundamental features that make-up a dance. It is the curiosity for some researchers to model such an activity for robots to perform in human social environments. From current research, most dancing robots are pre-programmed with dance motions and few have the ability to generate their own dance or alter their movements according to human responses while dancing. This thesis explores the question Can a robot learn to dance? . A dancing framework is proposed to address this question. The Sarsa algorithm and the Softmax algorithm from traditional reinforcement learning form part of the dancing framework to enable a virtual robot learn and adapt to appropriate dance behaviours. The robot follows a progressive approach, utilising the knowledge obtained at each stage of its development to improve the dances that it generates. The proposed framework addresses three stages of development of a robot s dance: learning ability; creative ability of dance motions, and adaptive ability to human preferences. Learning ability is the ability to make a robot gradually perform the desired dance behaviours. Creative ability is the idea of the robot generating its own dance motions, and structuring them into a dance. Adaptive ability is where the robot changes its dance in response to human feedback. A number of experiments have been conducted to explore these challenges, and verified that the quality of the robot dance can be improved through each stage of the robot s development

Computational Methods for Cognitive and Cooperative Robotics

In the last decades design methods in control engineering made substantial progress in the areas of robotics and computer animation. Nowadays these methods incorporate the newest developments in machine learning and artificial intelligence. But the problems of flexible and online-adaptive combinations of motor behaviors remain challenging for human-like animations and for humanoid robotics. In this context, biologically-motivated methods for the analysis and re-synthesis of human motor programs provide new insights in and models for the anticipatory motion synthesis. This thesis presents the author’s achievements in the areas of cognitive and developmental robotics, cooperative and humanoid robotics and intelligent and machine learning methods in computer graphics. The first part of the thesis in the chapter “Goal-directed Imitation for Robots” considers imitation learning in cognitive and developmental robotics. The work presented here details the author’s progress in the development of hierarchical motion recognition and planning inspired by recent discoveries of the functions of mirror-neuron cortical circuits in primates. The overall architecture is capable of ‘learning for imitation’ and ‘learning by imitation’. The complete system includes a low-level real-time capable path planning subsystem for obstacle avoidance during arm reaching. The learning-based path planning subsystem is universal for all types of anthropomorphic robot arms, and is capable of knowledge transfer at the level of individual motor acts. Next, the problems of learning and synthesis of motor synergies, the spatial and spatio-temporal combinations of motor features in sequential multi-action behavior, and the problems of task-related action transitions are considered in the second part of the thesis “Kinematic Motion Synthesis for Computer Graphics and Robotics”. In this part, a new approach of modeling complex full-body human actions by mixtures of time-shift invariant motor primitives in presented. The online-capable full-body motion generation architecture based on dynamic movement primitives driving the time-shift invariant motor synergies was implemented as an online-reactive adaptive motion synthesis for computer graphics and robotics applications. The last chapter of the thesis entitled “Contraction Theory and Self-organized Scenarios in Computer Graphics and Robotics” is dedicated to optimal control strategies in multi-agent scenarios of large crowds of agents expressing highly nonlinear behaviors. This last part presents new mathematical tools for stability analysis and synthesis of multi-agent cooperative scenarios.In den letzten Jahrzehnten hat die Forschung in den Bereichen der Steuerung und Regelung komplexer Systeme erhebliche Fortschritte gemacht, insbesondere in den Bereichen Robotik und Computeranimation. Die Entwicklung solcher Systeme verwendet heutzutage neueste Methoden und Entwicklungen im Bereich des maschinellen Lernens und der künstlichen Intelligenz. Die flexible und echtzeitfähige Kombination von motorischen Verhaltensweisen ist eine wesentliche Herausforderung für die Generierung menschenähnlicher Animationen und in der humanoiden Robotik. In diesem Zusammenhang liefern biologisch motivierte Methoden zur Analyse und Resynthese menschlicher motorischer Programme neue Erkenntnisse und Modelle für die antizipatorische Bewegungssynthese. Diese Dissertation präsentiert die Ergebnisse der Arbeiten des Autors im Gebiet der kognitiven und Entwicklungsrobotik, kooperativer und humanoider Robotersysteme sowie intelligenter und maschineller Lernmethoden in der Computergrafik. Der erste Teil der Dissertation im Kapitel “Zielgerichtete Nachahmung für Roboter” behandelt das Imitationslernen in der kognitiven und Entwicklungsrobotik. Die vorgestellten Arbeiten beschreiben neue Methoden für die hierarchische Bewegungserkennung und -planung, die durch Erkenntnisse zur Funktion der kortikalen Spiegelneuronen-Schaltkreise bei Primaten inspiriert wurden. Die entwickelte Architektur ist in der Lage, ‘durch Imitation zu lernen’ und ‘zu lernen zu imitieren’. Das komplette entwickelte System enthält ein echtzeitfähiges Pfadplanungssubsystem zur Hindernisvermeidung während der Durchführung von Armbewegungen. Das lernbasierte Pfadplanungssubsystem ist universell und für alle Arten von anthropomorphen Roboterarmen in der Lage, Wissen auf der Ebene einzelner motorischer Handlungen zu übertragen. Im zweiten Teil der Arbeit “Kinematische Bewegungssynthese für Computergrafik und Robotik” werden die Probleme des Lernens und der Synthese motorischer Synergien, d.h. von räumlichen und räumlich-zeitlichen Kombinationen motorischer Bewegungselemente bei Bewegungssequenzen und bei aufgabenbezogenen Handlungs übergängen behandelt. Es wird ein neuer Ansatz zur Modellierung komplexer menschlicher Ganzkörperaktionen durch Mischungen von zeitverschiebungsinvarianten Motorprimitiven vorgestellt. Zudem wurde ein online-fähiger Synthesealgorithmus für Ganzköperbewegungen entwickelt, der auf dynamischen Bewegungsprimitiven basiert, die wiederum auf der Basis der gelernten verschiebungsinvarianten Primitive konstruiert werden. Dieser Algorithmus wurde für verschiedene Probleme der Bewegungssynthese für die Computergrafik- und Roboteranwendungen implementiert. Das letzte Kapitel der Dissertation mit dem Titel “Kontraktionstheorie und selbstorganisierte Szenarien in der Computergrafik und Robotik” widmet sich optimalen Kontrollstrategien in Multi-Agenten-Szenarien, wobei die Agenten durch eine hochgradig nichtlineare Kinematik gekennzeichnet sind. Dieser letzte Teil präsentiert neue mathematische Werkzeuge für die Stabilitätsanalyse und Synthese von kooperativen Multi-Agenten-Szenarien

Generating whole body movements for dynamics anthropomorphic systems under constraints

Cette thèse étudie la question de la génération de mouvements corps-complet pour des systèmes anthropomorphes. Elle considère le problème de la modélisation et de la commande en abordant la question difficile de la génération de mouvements ressemblant à ceux de l'homme. En premier lieu, un modèle dynamique du robot humanoïde HRP-2 est élaboré à partir de l'algorithme récursif de Newton-Euler pour les vecteurs spatiaux. Un nouveau schéma de commande dynamique est ensuite développé, en utilisant une cascade de programmes quadratiques (QP) optimisant des fonctions coûts et calculant les couples de commande en satisfaisant des contraintes d'égalité et d'inégalité. La cascade de problèmes quadratiques est définie par une pile de tâches associée à un ordre de priorité. Nous proposons ensuite une formulation unifiée des contraintes de contacts planaires et nous montrons que la méthode proposée permet de prendre en compte plusieurs contacts non coplanaires et généralise la contrainte usuelle du ZMP dans le cas où seulement les pieds sont en contact avec le sol. Nous relions ensuite les algorithmes de génération de mouvement issus de la robotique aux outils de capture du mouvement humain en développant une méthode originale de génération de mouvement visant à imiter le mouvement humain. Cette méthode est basée sur le recalage des données capturées et l'édition du mouvement en utilisant le solveur hiérarchique précédemment introduit et la définition de tâches et de contraintes dynamiques. Cette méthode originale permet d'ajuster un mouvement humain capturé pour le reproduire fidèlement sur un humanoïde en respectant sa propre dynamique. Enfin, dans le but de simuler des mouvements qui ressemblent à ceux de l'homme, nous développons un modèle anthropomorphe ayant un nombre de degrés de liberté supérieur à celui du robot humanoïde HRP2. Le solveur générique est utilisé pour simuler le mouvement sur ce nouveau modèle. Une série de tâches est définie pour décrire un scénario joué par un humain. Nous montrons, par une simple analyse qualitative du mouvement, que la prise en compte du modèle dynamique permet d'accroitre naturellement le réalisme du mouvement.This thesis studies the question of whole body motion generation for anthropomorphic systems. Within this work, the problem of modeling and control is considered by addressing the difficult issue of generating human-like motion. First, a dynamic model of the humanoid robot HRP-2 is elaborated based on the recursive Newton-Euler algorithm for spatial vectors. A new dynamic control scheme is then developed adopting a cascade of quadratic programs (QP) optimizing the cost functions and computing the torque control while satisfying equality and inequality constraints. The cascade of the quadratic programs is defined by a stack of tasks associated to a priority order. Next, we propose a unified formulation of the planar contact constraints, and we demonstrate that the proposed method allows taking into account multiple non coplanar contacts and generalizes the common ZMP constraint when only the feet are in contact with the ground. Then, we link the algorithms of motion generation resulting from robotics to the human motion capture tools by developing an original method of motion generation aiming at the imitation of the human motion. This method is based on the reshaping of the captured data and the motion editing by using the hierarchical solver previously introduced and the definition of dynamic tasks and constraints. This original method allows adjusting a captured human motion in order to reliably reproduce it on a humanoid while respecting its own dynamics. Finally, in order to simulate movements resembling to those of humans, we develop an anthropomorphic model with higher number of degrees of freedom than the one of HRP-2. The generic solver is used to simulate motion on this new model. A sequence of tasks is defined to describe a scenario played by a human. By a simple qualitative analysis of motion, we demonstrate that taking into account the dynamics provides a natural way to generate human-like movements

Humanoid Robots

For many years, the human being has been trying, in all ways, to recreate the complex mechanisms that form the human body. Such task is extremely complicated and the results are not totally satisfactory. However, with increasing technological advances based on theoretical and experimental researches, man gets, in a way, to copy or to imitate some systems of the human body. These researches not only intended to create humanoid robots, great part of them constituting autonomous systems, but also, in some way, to offer a higher knowledge of the systems that form the human body, objectifying possible applications in the technology of rehabilitation of human beings, gathering in a whole studies related not only to Robotics, but also to Biomechanics, Biomimmetics, Cybernetics, among other areas. This book presents a series of researches inspired by this ideal, carried through by various researchers worldwide, looking for to analyze and to discuss diverse subjects related to humanoid robots. The presented contributions explore aspects about robotic hands, learning, language, vision and locomotion

Advances in Human-Robot Interaction

Rapid advances in the field of robotics have made it possible to use robots not just in industrial automation but also in entertainment, rehabilitation, and home service. Since robots will likely affect many aspects of human existence, fundamental questions of human-robot interaction must be formulated and, if at all possible, resolved. Some of these questions are addressed in this collection of papers by leading HRI researchers

Time to act: The relationship of time perception, action and expertise

Η περίπλοκη βιολογική κίνηση (π.χ., χορός) αποτελεί ένα ξεχωριστό πολυπαραγοντικό πεδίο μελέτης, το οποίο χάρις την ενσώματη και χωροχρονική πτυχή του, έλκει με ταχύτατους ρυθμούς το επιστημονικό ενδιαφέρον στο τομέα της γνωσιακής επιστήμης, και πιο συγκεκριμένα, στη μελέτη της χρονικής αντίληψης. Η έρευνα της χρονικής αντίληψης μέσω του χορού, δύναται να απαντήσει σε διάφορα ανοιχτά ερωτήματα και μεθοδολογικές ασυμφωνίες, προσδίδοντας μια πιο σύνθετη και οικολογικής εγκυρότητας οπτική, επεκτείνοντας τα ήδη υπάρχοντα πειραματικά έργα. Η παρούσα διδακτορική διατριβή με στόχο μια περαιτέρω εξέταση ακριβώς αυτής της σχέσης της περίπλοκης βιολογικής κίνησης (π.χ., χορός) και της χρονικής αντίληψης, χωρίζεται σε τρία κεφάλαια: σε μια κριτική ανασκόπηση της σχετικής βιβλιογραφίας των τελευταίων 15 ετών (Κεφάλαιο 1) και στην πραγματοποίηση πρωτότυπων πειραμάτων που διερευνούν τη σύνδεση αυτών των δύο στοιχείων (Κεφάλαια 2 & 3). Τα πειράματα που περιγράφονται στα Κεφάλαια 2 & 3, μπορούν να συμπεριληφθούν στην πρώτη ενότητα της ανασκόπησης μας, μιας και εστιάζουν σε μια πιθανή διασύνδεση του χορού με την εκτίμηση της χρονικής διάρκειας. Στο πρώτο κεφάλαιο παρατίθεται μια ανασκόπηση των υπαρχουσών ερευνών που στοχεύουν στην παγίωση της σχέσης του χορού με : α) την εκτίμηση της χρονικής διάρκειας, β) το συγχρονισμό, γ) τις χρονικές παραμέτρους της κοινωνικής αλληλεπίδρασης, και δ) την επίδραση της τροπικότητας στη χρονική αντίληψη. Ο σκοπός αυτής της ανασκόπησης, είναι να διαμορφωθεί για πρώτη φορά μια σαφής και ολοκληρωμένη εικόνα της εδραιωμένης γνώσης πάνω στην αλληλεπίδραση του χορού και της χρονικής αντίληψης, η οποία δεν περιορίζεται σε αποτελέσματα βασικής έρευνας, αλλά ενέχει πιθανές κλινικές και τεχνολογικές εφαρμογές. Ευελπιστούμε αυτή η ανασκόπηση να λειτουργήσει ως εργαλείο στην περαιτέρω έρευνα των αναπάντητων ερωτημάτων στη χρονική αντίληψη αλλά και την εν γένει μελέτη του χορού. Στο δεύτερο κεφάλαιο, εστιάζοντας ακριβώς στην προαναφερθείσα σχέση χορού και χρονικής αντίληψης περιγράφεται ένα πείραμα που εστίασε στη διαφορετική πιθανή επίδραση της αληθινής σε σύγκριση με την υπονοούμενη χορευτική κίνηση στην εκτίμηση της χρονικής διάρκειας. Έχει υποστηριχθεί ότι η κίνηση μπορεί να υπονοηθεί μέσω στατικών εικόνων, οι οποίες δύνανται να αποδώσουν ικανοποιητικά ένα δυναμικό γεγονός. Οι εικόνες υπονοούμενης κίνησης έχουν θεωρηθεί ένας ξεχωριστός τύπος ερεθίσματος, το οποίο μοιράζεται κοινούς μηχανισμούς επεξεργασίας με αληθινά κινούμενα ερεθίσματα. Σχετικές έρευνες έχουν δείξει μια υπερεκτίμηση της χρονικής διάρκειας των κινούμενων ερεθισμάτων σε σύγκριση με τα στατικά (χωρίς υπονοούμενη κίνηση) και των ερεθισμάτων που εμπεριέχουν περισσότερη σε σύγκριση με λιγότερη υπονοούμενη κίνηση. Ωστόσο, δεν έχει μελετηθεί ακόμα η άμεση σύγκριση αληθινής και αντίστοιχης υπονοούμενης κίνησης σε ένα χρονικό έργο εκτίμησης της διάρκειας. Στο συγκεκριμένο πείραμα, εξετάστηκε ακριβώς η επίδραση δυο υποθετικά ανάλογων ερεθισμάτων που εμπεριείχαν διαφορετική ποσότητα μπαλετικής κίνησης (ή υπονοούμενης μπαλετικής κίνησης) σε ένα έργο χρονικής αναπαραγωγής. Η ανάλυση έδειξε υπερεκτίμηση και μεγαλύτερη συνέπεια στις αποκρίσεις για τα ερεθίσματα που εμπεριείχαν αληθινή σε σύγκριση με υπονοούμενη κίνηση. Τα συγκεκριμένα ευρήματα επιβεβαιώνουν και επεκτείνουν παλιότερες μελέτες που υποστηρίζουν την υπερεκτίμηση κινούμενων ερεθισμάτων σε σύγκριση με στατικά, ακόμα και αν - όπως στην περίπτωση μας - υπονοούν κινηση. Ταυτόχρονα, η προαναφερθείσα προτεινόμενη αναλογία ανάμεσα σε αληθινή και υπονοούμενη κίνηση αμφισβητείται στο τομέα της χρονικής αντίληψης. Η αμφισβήτηση αυτή ενισχύεται από τα αποτελέσματα μας όσον αφορά την ποσότητα της κίνησης που εμπεριείχαν τα ερεθίσματα, η οποία φάνηκε να επηρεάζει μόνο τις συνθήκες αληθινής κίνησης. Στο τρίτο κεφάλαιο, παραμένοντας στην αναζήτηση της σχέσης χορού και χρόνου παρουσιάζονται δύο πειράματα εμπνευσμένα από την ιδέα ότι η εκτίμηση της χρονικής διάρκειας συχνά επηρεάζεται από μη-χρονικούς παράγοντες, όπως για παράδειγμα, τη κατεύθυνση της κίνησης. Έχει παρατηρηθεί ότι η κίνηση προς τα μπροστά (που πλησιάζει το συμμετέχοντα) υπερεκτιμάται σε σύγκριση με τη κίνηση προς τα πίσω (που απομακρύνεται από το συμμετέχοντα). Αυτή η αντιληπτική ασυμμετρία έχει ερμηνευτεί βάσει της εξελικτικής σκοπιάς, σύμφωνα με την οποία δίνεται προτεραιότητα στα ερεθίσματα που κινούνται προ τα μπροστά ως έχοντα εξέχουσα σημασία, έτσι ώστε να υπάρχει αρκετός χρόνος για τη κατάλληλη αντίδραση σε κάτι που μας πλησιάζει. Η μελέτη αυτή της ασυμμετρίας έχει γίνει κυρίως με αφηρημένα ερεθίσματα τα οποία στερούνται κοινωνικής συνάφειας. Με έμφαση ακριβώς στο κοινωνικό πλαίσιο, εμείς χρησιμοποιήσαμε νατουραλιστικά ερεθίσματα οικολογικής εγκυρότητας σε ένα χρονικό έργο αναπαραγωγής. Στο πρώτο πείραμα συγκρίναμε ερεθίσματα που παρουσίαζαν μια κοπέλα να κάνει ένα βήμα προς τα μπροστά (πλησιάζοντας τους συμμετέχοντες) ή προς τα πίσω (απομακρυνόμενη από τους συμμετέχοντες) σε διάφορα χρονικά διαστήματα και δε βρήκαμε καμιά επίδραση της κατεύθυνσης της κίνησης στην εκτίμηση της χρονικής διάρκειας. Βασιζόμενοι στην αναφερόμενη «ανωτερότητα» των ακουστικών ερεθισμάτων στα χρονικά έργα, στο δεύτερο μας πείραμα προσθέσαμε ήχο (λευκό θόρυβο) δημιουργώντας συνθήκες συμφωνίας (ήχος και οπτικό ερέθισμα συμφωνούσαν ως προς την κατεύθυνση), ασυμφωνίας (ήχος και οπτικό ερέθισμα είχαν αντίθετες κατευθύνσεις) και ελέγχου (σταθερός/αμετάβλητος ήχος ανεξαρτήτως κατεύθυνσης του οπτικού ερεθίσματος). Η ανάλυση έδειξε υπερεκτίμηση της κίνησης προς τα μπροστά σε σύγκριση με την προς τα πίσω για τη σύμφωνη και τη συνθήκη ελέγχου, ενώ δεν παρατηρήθηκε κάποια επίδραση της κατεύθυνσης της κίνησης στην ασύμφωνη συνθήκη. Σε όλες τις συνθήκες τα διαστήματα που εξετάστηκαν υποεκτιμήθηκαν σε σχέση με την πραγματική τους αντικειμενική διάρκεια. Με βάση αυτή τη διαπίστωση, υποστηρίζουμε ότι η διαφορά που βρήκαμε μπορεί να αποδοθεί στη πιθανότητα να μη δίνεται τόση σημασία σε ήχους που απομακρύνονται σε αντίθεση με τη συνηθέστερη ερμηνεία που βασίζεται στην εξέχουσα σημασία των ερεθισμάτων που πλησιάζουν. Γίνεται επίσης εκτενής συζήτηση των αποτελεσμάτων μας σε σχέση με τη θεώρηση της ηχητικής τροπικότητας ως βέλτιστης σε χρονικά έργα.Complex biological motion (e.g., dance) represents a unique, multifactorial domain that is rapidly gaining the interest of cognitive scientists and timing researchers in particular, given its spatiotemporal complexity and embodied nature. The study of timing through dance can provide valuable insight in remaining open questions and methodological discrepancies, via a more complex and ecologically valid perspective, extending the existing paradigms. This thesis is divided in to three chapters in an effort to further investigate the connection of complex biological motion (e.g., dance) and timing either by thoroughly reviewing the related literature of the past 15 years (Chapter 1) or by conducting original experiments combining these two elements (Chapters 2 & 3). Chapters 2 and 3 could potentially be included in our review’s first aforementioned section, investigating the connection of dance and duration estimation in particular. Chapter 1 is a narrative review that consolidates current literature on dance and a) duration estimation, b) synchronization/entrainment, c) temporal aspects of social interaction, and d) modality contribution in temporal perception. Thus, aiming to put together, for the first time, a complete picture of the knowledge gained to date on the interaction of dance and timing in regards not only to basic research findings but also potential clinical and technological applications. This overview hopefully, can also serve as a primer for questions that have yet remained unanswered both in timing and dance research. Chapter 2 focuses on the different effect real vs. implied dance motion might have on duration perception, inspired by the notion of our timing estimates being often prone to distortions from non-temporal attributes. It has been argued that movement can be implied by static cues of images depicting an instance of a dynamic event. Instances of implied motion have been investigated as a special type of stimulus with common processing mechanisms to those of real motion. Timing studies have reported a lengthening of the perceived time for moving as opposed to static stimuli and for stimuli of higher as compared to lower amounts of implied motion. However, the actual comparison of real-versus-implied motion on timing has never been investigated. In the present study, we compared directly the effect of two hypothetically analogous ballet steps with different amounts of movement and static instances of the dynamic peak of these events in a reproduction task. The analysis revealed an overestimation and lower response variability for real as compared to implied motion stimuli. These findings replicate and extend the apparent duration lengthening for moving as compared to static stimulation, even for static images containing implied motion, questioning whether or not the previously reported correspondence between real and implied motion transfers in the timing domain. This lack of correspondence was further supported by the finding that the amount of movement presented affected only displays of real motion. In Chapter 3 we describe a series of experiments investigating the effect of motion direction on duration judgments. Motion direction has been considered as a modulating factor of timing as well. Relevant research shows an interval dilation when the movement is towards (i.e., looming) as compared to away from the viewer (i.e., receding). This perceptual asymmetry has been interpreted based on the contextual salience and prioritization of looming stimuli that allows for timely reactions to approaching objects. This asymmetry has mainly been studied through abstract stimulation with minimal social relevance. Focusing on the latter, we utilized naturalistic displays of biological motion and examined the aforementioned perceptual asymmetry in the temporal domain. In Experiment 1, we tested visual looming and receding human movement at various intervals in a reproduction task and found no differences in the participants’ timing estimates as a function of motion direction. Given the superiority of audition in timing, in Experiment 2, we combined the looming and receding visual stimulation with sound stimulation of congruent, incongruent, or no direction information. The analysis showed an overestimation of the looming as compared to the receding visual stimulation when the sound presented was of congruent or no direction, while no such difference was noted for the incongruent condition. Both looming and receding conditions (congruent and control) led to underestimations as compared to the physical durations tested. Thus, the asymmetry obtained could be attributed to the potential perceptual negligibility of the receding stimuli instead of the often-reported salience of looming motion. The results are also discussed in term of the optimality of sound in the temporal domain

人間を模擬した知覚系を持つ2足ヒューマノイドロボットの自己位置推定機能に対する歩行動作の影響に関する研究

早大学位記番号:新8279早稲田大