Beating-time gestures imitation learning for humanoid robots

Beating-time gestures are movement patterns of the hand swaying along with music, thereby indicating accented musical pulses. The spatiotemporal configuration of these patterns makes it diÿcult to analyse and model them. In this paper we present an innovative modelling approach that is based upon imitation learning or Programming by Demonstration (PbD). Our approach - based on Dirichlet Process Mixture Models, Hidden Markov Models, Dynamic Time Warping, and non-uniform cubic spline regression - is particularly innovative as it handles spatial and temporal variability by the generation of a generalised trajectory from a set of periodically repeated movements. Although not within the scope of our study, our procedures may be implemented for the sake of controlling movement behaviour of robots and avatar animations in response to music

Time to act: The relationship of time perception, action and expertise

Η περίπλοκη βιολογική κίνηση (π.χ., χορός) αποτελεί ένα ξεχωριστό πολυπαραγοντικό πεδίο μελέτης, το οποίο χάρις την ενσώματη και χωροχρονική πτυχή του, έλκει με ταχύτατους ρυθμούς το επιστημονικό ενδιαφέρον στο τομέα της γνωσιακής επιστήμης, και πιο συγκεκριμένα, στη μελέτη της χρονικής αντίληψης. Η έρευνα της χρονικής αντίληψης μέσω του χορού, δύναται να απαντήσει σε διάφορα ανοιχτά ερωτήματα και μεθοδολογικές ασυμφωνίες, προσδίδοντας μια πιο σύνθετη και οικολογικής εγκυρότητας οπτική, επεκτείνοντας τα ήδη υπάρχοντα πειραματικά έργα. Η παρούσα διδακτορική διατριβή με στόχο μια περαιτέρω εξέταση ακριβώς αυτής της σχέσης της περίπλοκης βιολογικής κίνησης (π.χ., χορός) και της χρονικής αντίληψης, χωρίζεται σε τρία κεφάλαια: σε μια κριτική ανασκόπηση της σχετικής βιβλιογραφίας των τελευταίων 15 ετών (Κεφάλαιο 1) και στην πραγματοποίηση πρωτότυπων πειραμάτων που διερευνούν τη σύνδεση αυτών των δύο στοιχείων (Κεφάλαια 2 & 3). Τα πειράματα που περιγράφονται στα Κεφάλαια 2 & 3, μπορούν να συμπεριληφθούν στην πρώτη ενότητα της ανασκόπησης μας, μιας και εστιάζουν σε μια πιθανή διασύνδεση του χορού με την εκτίμηση της χρονικής διάρκειας. Στο πρώτο κεφάλαιο παρατίθεται μια ανασκόπηση των υπαρχουσών ερευνών που στοχεύουν στην παγίωση της σχέσης του χορού με : α) την εκτίμηση της χρονικής διάρκειας, β) το συγχρονισμό, γ) τις χρονικές παραμέτρους της κοινωνικής αλληλεπίδρασης, και δ) την επίδραση της τροπικότητας στη χρονική αντίληψη. Ο σκοπός αυτής της ανασκόπησης, είναι να διαμορφωθεί για πρώτη φορά μια σαφής και ολοκληρωμένη εικόνα της εδραιωμένης γνώσης πάνω στην αλληλεπίδραση του χορού και της χρονικής αντίληψης, η οποία δεν περιορίζεται σε αποτελέσματα βασικής έρευνας, αλλά ενέχει πιθανές κλινικές και τεχνολογικές εφαρμογές. Ευελπιστούμε αυτή η ανασκόπηση να λειτουργήσει ως εργαλείο στην περαιτέρω έρευνα των αναπάντητων ερωτημάτων στη χρονική αντίληψη αλλά και την εν γένει μελέτη του χορού. Στο δεύτερο κεφάλαιο, εστιάζοντας ακριβώς στην προαναφερθείσα σχέση χορού και χρονικής αντίληψης περιγράφεται ένα πείραμα που εστίασε στη διαφορετική πιθανή επίδραση της αληθινής σε σύγκριση με την υπονοούμενη χορευτική κίνηση στην εκτίμηση της χρονικής διάρκειας. Έχει υποστηριχθεί ότι η κίνηση μπορεί να υπονοηθεί μέσω στατικών εικόνων, οι οποίες δύνανται να αποδώσουν ικανοποιητικά ένα δυναμικό γεγονός. Οι εικόνες υπονοούμενης κίνησης έχουν θεωρηθεί ένας ξεχωριστός τύπος ερεθίσματος, το οποίο μοιράζεται κοινούς μηχανισμούς επεξεργασίας με αληθινά κινούμενα ερεθίσματα. Σχετικές έρευνες έχουν δείξει μια υπερεκτίμηση της χρονικής διάρκειας των κινούμενων ερεθισμάτων σε σύγκριση με τα στατικά (χωρίς υπονοούμενη κίνηση) και των ερεθισμάτων που εμπεριέχουν περισσότερη σε σύγκριση με λιγότερη υπονοούμενη κίνηση. Ωστόσο, δεν έχει μελετηθεί ακόμα η άμεση σύγκριση αληθινής και αντίστοιχης υπονοούμενης κίνησης σε ένα χρονικό έργο εκτίμησης της διάρκειας. Στο συγκεκριμένο πείραμα, εξετάστηκε ακριβώς η επίδραση δυο υποθετικά ανάλογων ερεθισμάτων που εμπεριείχαν διαφορετική ποσότητα μπαλετικής κίνησης (ή υπονοούμενης μπαλετικής κίνησης) σε ένα έργο χρονικής αναπαραγωγής. Η ανάλυση έδειξε υπερεκτίμηση και μεγαλύτερη συνέπεια στις αποκρίσεις για τα ερεθίσματα που εμπεριείχαν αληθινή σε σύγκριση με υπονοούμενη κίνηση. Τα συγκεκριμένα ευρήματα επιβεβαιώνουν και επεκτείνουν παλιότερες μελέτες που υποστηρίζουν την υπερεκτίμηση κινούμενων ερεθισμάτων σε σύγκριση με στατικά, ακόμα και αν - όπως στην περίπτωση μας - υπονοούν κινηση. Ταυτόχρονα, η προαναφερθείσα προτεινόμενη αναλογία ανάμεσα σε αληθινή και υπονοούμενη κίνηση αμφισβητείται στο τομέα της χρονικής αντίληψης. Η αμφισβήτηση αυτή ενισχύεται από τα αποτελέσματα μας όσον αφορά την ποσότητα της κίνησης που εμπεριείχαν τα ερεθίσματα, η οποία φάνηκε να επηρεάζει μόνο τις συνθήκες αληθινής κίνησης. Στο τρίτο κεφάλαιο, παραμένοντας στην αναζήτηση της σχέσης χορού και χρόνου παρουσιάζονται δύο πειράματα εμπνευσμένα από την ιδέα ότι η εκτίμηση της χρονικής διάρκειας συχνά επηρεάζεται από μη-χρονικούς παράγοντες, όπως για παράδειγμα, τη κατεύθυνση της κίνησης. Έχει παρατηρηθεί ότι η κίνηση προς τα μπροστά (που πλησιάζει το συμμετέχοντα) υπερεκτιμάται σε σύγκριση με τη κίνηση προς τα πίσω (που απομακρύνεται από το συμμετέχοντα). Αυτή η αντιληπτική ασυμμετρία έχει ερμηνευτεί βάσει της εξελικτικής σκοπιάς, σύμφωνα με την οποία δίνεται προτεραιότητα στα ερεθίσματα που κινούνται προ τα μπροστά ως έχοντα εξέχουσα σημασία, έτσι ώστε να υπάρχει αρκετός χρόνος για τη κατάλληλη αντίδραση σε κάτι που μας πλησιάζει. Η μελέτη αυτή της ασυμμετρίας έχει γίνει κυρίως με αφηρημένα ερεθίσματα τα οποία στερούνται κοινωνικής συνάφειας. Με έμφαση ακριβώς στο κοινωνικό πλαίσιο, εμείς χρησιμοποιήσαμε νατουραλιστικά ερεθίσματα οικολογικής εγκυρότητας σε ένα χρονικό έργο αναπαραγωγής. Στο πρώτο πείραμα συγκρίναμε ερεθίσματα που παρουσίαζαν μια κοπέλα να κάνει ένα βήμα προς τα μπροστά (πλησιάζοντας τους συμμετέχοντες) ή προς τα πίσω (απομακρυνόμενη από τους συμμετέχοντες) σε διάφορα χρονικά διαστήματα και δε βρήκαμε καμιά επίδραση της κατεύθυνσης της κίνησης στην εκτίμηση της χρονικής διάρκειας. Βασιζόμενοι στην αναφερόμενη «ανωτερότητα» των ακουστικών ερεθισμάτων στα χρονικά έργα, στο δεύτερο μας πείραμα προσθέσαμε ήχο (λευκό θόρυβο) δημιουργώντας συνθήκες συμφωνίας (ήχος και οπτικό ερέθισμα συμφωνούσαν ως προς την κατεύθυνση), ασυμφωνίας (ήχος και οπτικό ερέθισμα είχαν αντίθετες κατευθύνσεις) και ελέγχου (σταθερός/αμετάβλητος ήχος ανεξαρτήτως κατεύθυνσης του οπτικού ερεθίσματος). Η ανάλυση έδειξε υπερεκτίμηση της κίνησης προς τα μπροστά σε σύγκριση με την προς τα πίσω για τη σύμφωνη και τη συνθήκη ελέγχου, ενώ δεν παρατηρήθηκε κάποια επίδραση της κατεύθυνσης της κίνησης στην ασύμφωνη συνθήκη. Σε όλες τις συνθήκες τα διαστήματα που εξετάστηκαν υποεκτιμήθηκαν σε σχέση με την πραγματική τους αντικειμενική διάρκεια. Με βάση αυτή τη διαπίστωση, υποστηρίζουμε ότι η διαφορά που βρήκαμε μπορεί να αποδοθεί στη πιθανότητα να μη δίνεται τόση σημασία σε ήχους που απομακρύνονται σε αντίθεση με τη συνηθέστερη ερμηνεία που βασίζεται στην εξέχουσα σημασία των ερεθισμάτων που πλησιάζουν. Γίνεται επίσης εκτενής συζήτηση των αποτελεσμάτων μας σε σχέση με τη θεώρηση της ηχητικής τροπικότητας ως βέλτιστης σε χρονικά έργα.Complex biological motion (e.g., dance) represents a unique, multifactorial domain that is rapidly gaining the interest of cognitive scientists and timing researchers in particular, given its spatiotemporal complexity and embodied nature. The study of timing through dance can provide valuable insight in remaining open questions and methodological discrepancies, via a more complex and ecologically valid perspective, extending the existing paradigms. This thesis is divided in to three chapters in an effort to further investigate the connection of complex biological motion (e.g., dance) and timing either by thoroughly reviewing the related literature of the past 15 years (Chapter 1) or by conducting original experiments combining these two elements (Chapters 2 & 3). Chapters 2 and 3 could potentially be included in our review’s first aforementioned section, investigating the connection of dance and duration estimation in particular. Chapter 1 is a narrative review that consolidates current literature on dance and a) duration estimation, b) synchronization/entrainment, c) temporal aspects of social interaction, and d) modality contribution in temporal perception. Thus, aiming to put together, for the first time, a complete picture of the knowledge gained to date on the interaction of dance and timing in regards not only to basic research findings but also potential clinical and technological applications. This overview hopefully, can also serve as a primer for questions that have yet remained unanswered both in timing and dance research. Chapter 2 focuses on the different effect real vs. implied dance motion might have on duration perception, inspired by the notion of our timing estimates being often prone to distortions from non-temporal attributes. It has been argued that movement can be implied by static cues of images depicting an instance of a dynamic event. Instances of implied motion have been investigated as a special type of stimulus with common processing mechanisms to those of real motion. Timing studies have reported a lengthening of the perceived time for moving as opposed to static stimuli and for stimuli of higher as compared to lower amounts of implied motion. However, the actual comparison of real-versus-implied motion on timing has never been investigated. In the present study, we compared directly the effect of two hypothetically analogous ballet steps with different amounts of movement and static instances of the dynamic peak of these events in a reproduction task. The analysis revealed an overestimation and lower response variability for real as compared to implied motion stimuli. These findings replicate and extend the apparent duration lengthening for moving as compared to static stimulation, even for static images containing implied motion, questioning whether or not the previously reported correspondence between real and implied motion transfers in the timing domain. This lack of correspondence was further supported by the finding that the amount of movement presented affected only displays of real motion. In Chapter 3 we describe a series of experiments investigating the effect of motion direction on duration judgments. Motion direction has been considered as a modulating factor of timing as well. Relevant research shows an interval dilation when the movement is towards (i.e., looming) as compared to away from the viewer (i.e., receding). This perceptual asymmetry has been interpreted based on the contextual salience and prioritization of looming stimuli that allows for timely reactions to approaching objects. This asymmetry has mainly been studied through abstract stimulation with minimal social relevance. Focusing on the latter, we utilized naturalistic displays of biological motion and examined the aforementioned perceptual asymmetry in the temporal domain. In Experiment 1, we tested visual looming and receding human movement at various intervals in a reproduction task and found no differences in the participants’ timing estimates as a function of motion direction. Given the superiority of audition in timing, in Experiment 2, we combined the looming and receding visual stimulation with sound stimulation of congruent, incongruent, or no direction information. The analysis showed an overestimation of the looming as compared to the receding visual stimulation when the sound presented was of congruent or no direction, while no such difference was noted for the incongruent condition. Both looming and receding conditions (congruent and control) led to underestimations as compared to the physical durations tested. Thus, the asymmetry obtained could be attributed to the potential perceptual negligibility of the receding stimuli instead of the often-reported salience of looming motion. The results are also discussed in term of the optimality of sound in the temporal domain

The potential of dance education to promote social cohesion in a post-conflict society: perspectives of South African pre-service student teachers

This study constitutes a theoretical and qualitative investigation into the meanings and locations of social cohesion in dance education. Theoretical connections between culture, dance education and social cohesion are explored. The empirical investigation is designed as a qualitative case study interrogating pre-service student teachers’ experiences and perceptions of a particular dance education course in a culturally and politically diverse university classroom in post-apartheid South Africa. Open-ended questionnaires, reflective journals and focus group interviews were employed to generate data. Findings indicate that involvement in creative movement and ethno-cultural dances raised awareness of the Self and the Other, engendering perspective and personal transformation, important requisites for social transformation and subsequently social cohesion in a formerly divided society, such as South Africa. In addition, these dance education experiences provided participants with unique encounters with the Other’s culture. These occurred through embodied experiences of the culture of the Other, as well as through bodily negotiations with the Other. These findings lead me to argue that dance education, as pertaining to this particular course, can facilitate spaces conducive to cohesion amongst culturally and politically diverse participants in post-apartheid South Africa

A parameterizable spatiotemporal representation of popular dance styles for humanoid dancing characters

Dance movements are a complex class of human behavior which convey forms of non-verbal and subjective communication that are performed as cultural vocabularies in all human cultures. The singularity of dance forms imposes fascinating challenges to computer animation and robotics, which in turn presents outstanding opportunities to deepen our understanding about the phenomenon of dance by means of developing models, analyses and syntheses of motion patterns. In this article, we formalize a model for the analysis and representation of popular dance styles of repetitive gestures by specifying the parameters and validation procedures necessary to describe the spatiotemporal elements of the dance movement in relation to its music temporal structure (musical meter). Our representation model is able to precisely describe the structure of dance gestures according to the structure of musical meter, at different temporal resolutions, and is flexible enough to convey the variability of the spatiotemporal relation between music structure and movement in space. It results in a compact and discrete mid-level representation of the dance that can be further applied to algorithms for the generation of movements in different humanoid dancing characters. The validation of our representation model relies upon two hypotheses: (i) the impact of metric resolution and (ii) the impact of variability towards fully and naturally representing a particular dance style of repetitive gestures. We numerically and subjectively assess these hypotheses by analyzing solo dance sequences of Afro-Brazilian samba and American Charleston, captured with a MoCap (Motion Capture) system. From these analyses, we build a set of dance representations modeled with different parameters, and re-synthesize motion sequence variations of the represented dance styles. For specifically assessing the metric hypothesis, we compare the captured dance sequences with repetitive sequences of a fixed dance motion pattern, synthesized at different metric resolutions for both dance styles. In order to evaluate the hypothesis of variability, we compare the same repetitive sequences with others synthesized with variability, by generating and concatenating stochastic variations of the represented dance pattern. The observed results validate the proposition that different dance styles of repetitive gestures might require a minimum and sufficient metric resolution to be fully represented by the proposed representation model. Yet, these also suggest that additional information may be required to synthesize variability in the dance sequences while assuring the naturalness of the performance. Nevertheless, we found evidence that supports the use of the proposed dance representation for flexibly modeling and synthesizing dance sequences from different popular dance styles, with potential developments for the generation of expressive and natural movement profiles onto humanoid dancing characters

Design revolutions: IASDR 2019 Conference Proceedings. Volume 4: Learning, Technology, Thinking

In September 2019 Manchester School of Art at Manchester Metropolitan University was honoured to host the bi-annual conference of the International Association of Societies of Design Research (IASDR) under the unifying theme of DESIGN REVOLUTIONS. This was the first time the conference had been held in the UK. Through key research themes across nine conference tracks – Change, Learning, Living, Making, People, Technology, Thinking, Value and Voices – the conference opened up compelling, meaningful and radical dialogue of the role of design in addressing societal and organisational challenges. This Volume 4 includes papers from Learning, Technology and Thinking tracks of the conference