Interaction Histories and Short-Term Memory: Enactive Development of Turn-Taking Behaviours in a Childlike Humanoid Robot

In this article, an enactive architecture is described that allows a humanoid robot to learn to compose simple actions into turn-taking behaviours while playing interaction games with a human partner. The robot’s action choices are reinforced by social feedback from the human in the form of visual attention and measures of behavioural synchronisation. We demonstrate that the system can acquire and switch between behaviours learned through interaction based on social feedback from the human partner. The role of reinforcement based on a short-term memory of the interaction was experimentally investigated. Results indicate that feedback based only on the immediate experience was insufficient to learn longer, more complex turn-taking behaviours. Therefore, some history of the interaction must be considered in the acquisition of turn-taking, which can be efficiently handled through the use of short-term memory.Peer reviewedFinal Published versio

How Do You Like Me in This: User Embodiment Preferences for Companion Agents

We investigate the relationship between the embodiment of an artificial companion and user perception and interaction with it. In a Wizard of Oz study, 42 users interacted with one of two embodiments: a physical robot or a virtual agent on a screen through a role-play of secretarial tasks in an office, with the companion providing essential assistance. Findings showed that participants in both condition groups when given the choice would prefer to interact with the robot companion, mainly for its greater physical or social presence. Subjects also found the robot less annoying and talked to it more naturally. However, this preference for the robotic embodiment is not reflected in the users’ actual rating of the companion or their interaction with it. We reflect on this contradiction and conclude that in a task-based context a user focuses much more on a companion’s behaviour than its embodiment. This underlines the feasibility of our efforts in creating companions that migrate between embodiments while maintaining a consistent identity from the user’s point of view

Robot-mediated interviews : Does a robotic interviewer impact question difficulty and information recovery?

Luke Wood, Kerstin Dautenhahn, Hagen Lehmnn, Ben Robbins, Austen Rainer, and Dag Sverre Syrdal, 'Robot-Mediated Interviews: Does a Robotic Interviewer Impact Question Difficulty and Information Recovery?', Assistive Technology : From Research to Practice, proceedings of the AAATE 2013 Conference, 19 - 22 September 2013, Villamoura, Portugal, ISBN: 9781614993032 (print), ISBN: 9781614993049 (electronic), published by IOS Press. Available online at doi: 10.3233/978-1-61499-304-9-131Our previous research has shown that children respond to a robotic interviewer very similar compared to a human interviewer, pointing towards the prospect of using robot-mediated interviews in situations where human interviewers face certain challenges. This follow-up study investigated how 20 children (aged between 7 and 9) respond to questions of varying difficulty from a robotic interviewer compared to a human interviewer. Each child participated in two interviews, one with an adult and one with a humanoid robot called KASPAR, the main questions in these interviews focused on the theme of pets and animals. After each interview the children were asked to rate the difficulty of the questions and particular aspects of the experience. Measures include the behavioural coding of the children's behaviour during the interviews, the transcripts of what the children said and questionnaire data. The results from quantitative data analysis reveal that the children interacted with KASPAR in a very similar manner to how they interacted with the human interviewer, and provided both interviewers with similar information and amounts of information regardless of question difficulty

Can Real-time, Adaptive Human-Robot Motor Coordination Improve Humans’ Overall Perception of a Robot?

Previous research on social interaction among humans suggested that interpersonal motor coordination can help to establish social rapport. Our research addresses the question of whether, in a human-humanoid interaction experiment, the human’s overall perception of a robot can be improved by realising motor coordination behaviour that allows the robot to adapt in real-time to a person’s behaviour. A synchrony detection method using information distance was adopted to realise the real-time human-robot motor coordination behaviour, which guided the humanoid robot to coordinate its movements to a human by measuring the behaviour synchrony between the robot and the human. The feedback of the participants indicated that most of the participants preferred to interact with the humanoid robot with the adaptive motor coordination capability. The results of this proof-of-concept study suggest that the motor coordination mechanism improved humans’ overall perception of the humanoid robot. Together with our previous findings, namely that humans actively coordinate their behaviours to a humanoid robot’s behaviours, this study further supports the hypothesis that bidirectional motor coordination could be a valid approach to facilitate adaptive human-humanoid interaction.Peer reviewedFinal Accepted Versio

Sharing spaces, sharing lives - The impact of robot mobility on user perception of a home companion robot

Syrdal D.S., Dautenhahn K., Koay K.L., Walters M.L., Ho W.C. (2013) 'Sharing Spaces, Sharing Lives – The Impact of Robot Mobility on User Perception of a Home Companion Robot', In: Herrmann G., Pearson M.J., Lenz A., Bremner P., Spiers A., Leonards U. (eds) Social Robotics. ICSR 2013. Lecture Notes in Computer Science, Vol 8239. DOI: 10.1007/978-3-319-02675-6_32 Paper presented at the International Conference on Social Robotics, (ICSR) 2013, Bristol, UK, 27-29 October 2013. © Springer-Verlag Berlin Heidelberg 2013This paper examines the role of spatial behaviours in building human-robot relationships. A group of 8 participants, involved in a long-term HRI study, interacted with an artificial agent using different embodiments over a period of one and a half months. The robot embodiments had similar interactional and expressive capabilities, but only one embodiment was capable of moving. Participants reported feeling closer to the robot embodiment capable of physical movement and rated it as more likable. Results suggest that while expressive and communicative abilities may be important in terms of building affinity and rapport with human interactants, the importance of physical interactions when negotiating shared physical space in real time should not be underestimated

In Sync: Exploring Synchronization to Increase Trust Between Humans and Non-humanoid Robots

When we go for a walk with friends, we can observe an interesting effect: From step lengths to arm movements - our movements unconsciously align; they synchronize. Prior research found that this synchronization is a crucial aspect of human relations that strengthens social cohesion and trust. Generalizing from these findings in synchronization theory, we propose a dynamical approach that can be applied in the design of non-humanoid robots to increase trust. We contribute the results of a controlled experiment with 51 participants exploring our concept in a between-subjects design. For this, we built a prototype of a simple non-humanoid robot that can bend to follow human movements and vary the movement synchronization patterns. We found that synchronized movements lead to significantly higher ratings in an established questionnaire on trust between people and automation but did not influence the willingness to spend money in a trust game.Comment: To appear in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI 23), April 23-28, 2023, Hamburg, Germany. ACM, New York, NY, USA, 14 page

Gesture Imitation Learning In Human-robot Interaction

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2012Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2012Bu çalışma, insansı robot ve çocuk arasında sözlü olmayan iletişim ve taklit tabanlı etkileşim oyunları aracılığı ile işitme engelli çocukların İşaret Dili öğrenimine yardımcı olmayı amaçlayan devam eden bir çalışmadır. Bu çalışma farklı makine öğrenme teknikleri kullanarak 5 temel hareketi (jest) veya İşaret Dili hareketlerini taklit ederek öğrenme ile ilgilenmektedir. İnsan iskelet modelini izlemek ve bir eğitim seti oluşturmak için RGBD sensör (Microsoft Kinect) kullanılmıştır. Kural tabanlı hareket tanıma olarak adlandırılan yeni bir yöntem önerilmiştir. Ayrıca, hareketi tanıma da hangi öğrenme metodlarının daha doğru sonuç ürettiğini bulmak için lineer regresyon modelleri karşılaştırılmıştır. Kullanıcılardan alınan 5 farklı hareket Nao Robot tarafından en yüksek doğruluk oranına sahip öğrenme tekniği kullanılarak taklit edilmiştir. Kural tabanlı hareket tanıma yaklaşımı \%96 doğruluk oranına sahiptir. İşaret dili çalışmalarını gerçek robot üzerinde gerçekleştirdikten sonra robot ve insan arasında işaret diline dayalı çocuklara işaret dilinin temel kavramlarını öğretmek için interaktif bir oyun geliştirildi. Oyun Türk İşaret Dili (TSL) için tasarlandı ama Amerikan İşaret Dili (ASL) içinde gerçekleştirilmesi düşünülmektedir. Okuma yazma bilmeyen ve işaret diline aşina olmayan çocuklar için oyun içerisinde robotun kelimeleri sözlü olarak da söylediği ve işaret dili ile algılayibildiği özel olarak şeçilmiş işaret dili kelimeleri kullanıldı. Robot Türkçe bir hikaye anlatıyor. Hikaye içerisinde bazı kelimeleri işaret dili ile anlatıyor ve bekliyor. Çocuk bu kelimeleri tanıyıp uygun resimli kartı gösteriyor. Robot üzerindeki resim tanıma programı sayesinde bunu tanıyor ve eğer doğru resim gösterilmişse kelimenin ismini söylüyor ve hikaye devam ediyor. Doğru resim gösterilmemişse kullandığımız kurguya göre bekliyor ışıklarıyla ya da hareketleriyle bunun yanlış olduğunu ifade ediyor ve çoçuğu bir daha denemesi için teşvik ediyor. Hikayenin sonunda robot işaret dili kelimelerini rastgele olarak teker teker gerçekleyerek çocuktan oyun kartları içerisinden ilgili kelimenin resmini gösteren bilgi kartını ilgili yere yapıştırmasını istiyor. Bu oyunu tablet bilgisayar üzerine videoya dayalı bir şekilde taşıdık. Burdaki amacımız çocukların farklı cisimlerdeki robotlar tarafından işaret dili öğrenme yeteneğini değerlendirmek ve sistemi robot maliyeti göz önüne alınmaksızın, ulaşım ve teknik bilgi konularında çocuklara uygun hale getirebilmektir. Bu çalışma değişmeyen rotasyon ile hareket tanıma için sağlam bir arayüz geliştirmekle başladı. Çalışmada tek bir kamera kullanarak statik el hareketlerini görünüme dayalı algılama ve tanıma gerçekleştirildi. El bölgesini tespit etmek için çeşitli görüntü işleme teknikleri başarıyla uygulandı. El bölgesi başarılı bir şekilde tespit edildikten sonra geometrik tanımlayıcılar ve Fourier tanımlayıcıları çıkarıldı. El hareketi yapay sinir ağları kullanılarak sınıflandırıldı. Bu çalışmanın ana katkısı, sınıflandırma için kullanılan , fourier tanımlayıcılar ve geometrik tanımlayıcı dizilerinden oluşan melez özelliklerdir. Farklı özellik setleri oluşturmak için el tespit ve segmentasyonu için renkli görüntü bölütleme algoritması uygulanmıştır. Önerilen hareket tanıma modeli kendi kendini yöneten otonom bir mobil robotu kontrol etmek için kullanılmıştır. Yöntem farklı el şekilleri üzerinde test edilmiş ve sonuçlar tartışılmıştır. Hareket sınıflandırması için iyi özelliği belirleyen görüntü işleme RGBD özelliğe sahip Microsoft Kinect kamerası kullanılmasıyla birlikte daha kolay hale geldi. Bu çalışma aynı zamanda insan hareketlerini, kinect kamerası için üretilen açık kaynak kodlu openNI (Open Natural Interface) kütüphanesinin sağladığı kalibre edilmiş iskelet görünümünü kullanarak taklit etmektedir. Ayrıca kinect kamerası ile elde edilen iskelet görünümü kinematiğine dayalı olarak eklem açılarının hesaplanmasını ve hesaplanan değerlerin similasyon ortamında Nao Robot üzerinde gerçeklenmesini içermektedir. Nao Rabot similasyonu için Choregraphe kullanılmıştır. Nao robotun serbestlik dereceleri ve kinematik kısıtlamaları temel alınarak hesaplanan eklem açıları (tanınmış hareketler) taklit duygusu yansıtacak şekilde simule edilmiştir. Halen sürmekte olan bu çalışma, duyma özürlü çocuklara insansı robot ve çocuk arasında sözsüz iletişim ve emitasyon tabanlı etkileşim oyunları vasıtasıyla işaret dilini öğretmekte yardımcı olmayı hedeflemektedir. Bu çalışmada yönelinen problem, bir robotun farklı makine öğrenmesi teknikleri kullanarak 5 temel el hareketi veya işaret dili işaretlerini taklit etmeyi öğrenmesidir. RGDB sensörü (Microsoft Kinect) insanların iskelet modelini takip etmekte ve bir öğrenme kümesi oluşturmakta kullanılmıştır. Karar Tabanlı Kural isimli yeni bir metod önerilmiştir. Buna ek olarak, işaret dili tahmininde hangi öğrenme tekniğinin daha yüksek kesinliğe sahip olduğunun belirlenebilmesi için doğrusal regresyon modelleri karşılaştırılmıştır. En yüksek kesinliğe sahip öğrenme tekniği daha sonra kullanıcılar tarafından gözlemlenen Nao Robot’un 5 farklı işaret dilini taklit ettiği sistemi simule etmekte kullanıldı. Karar Tabanlı Kural method %96 kesinlik değerine sahiptir. Bunların yanında, bu çalışmada ayrıca bir NAO H25 insansı robot ile okul öncesi çocuğun işaret dili tabanlı, etkileşimli bir oyun önerilmiştir. Şu anda demo Türk İşaret dilindedir ancak ASL için de genişletilecektir. Çocuklar okuma yazma bilmediği ve işaret diline alışkın olmadığı için, robotun işaret dili ile tanıdığı ve sözlü olarak telaffuz ettiği özel seçilmiş kelimeleri içeren kısa bir hikaye hazırladık. Her özel kelimeyi bir işaret dili ile tanıdıktan sonra, robot çocuktan yanıt bekler. Çocuktan kelimenin ilustrasyonu ile renkli okuma fişini göstermesi istenmiştir. Eğer okuma fişi ile kelime eşleşirse robot kelimeyi sözlü olarak telaffuz eder ve hikayeyi anlatmaya devam eder. Hikayenin sonunda, robot kelimeleri rastgele olarak tek tek işaret dilinde anlar ve çocuktan, okuma fişlerinin ilüstrasyonları ile hikayeyi içeren oyun kartları üzerindeki ilgili okuma fişine etiket koymasını ister. Oyunu ayrıca internet eve tablet kişisel bilgisayarlara da koyduk. Amaç çocukların işaret dili öğrenme yeteneğini farklı şekillerde ölçmek ve sistemi robotun masrafı, taşıması ve teknik bilgisi gibi konuları gözardı ederek çocuklara uygun hale getirmektir. Bu çalışma, işaret dili sabitlerinin rotasyonu için güvenilir bir arayüz geliştirmekten başlamıştır. Görüntü tabanlı saptama ve sabit el hareketlerinin tek bir kamera kullanarak tanınmasını içerir. El bölgesinin başarı ile saptanması için pek çok görüntü işleme tekniği kullanılmıştır. El bölgesi başarılı bir şekilde saptandıktan sonar geometric tanımlayıcılar ve Fourier tanımlayıcılar çıkartılır. İşaretler yapay sinir ağları kullanılarak sınıflandırılır. Bu çalışmanın ana katkısı sınıflandırma için kullanılan özelliklerdir. Bu çalışmada tanıtılan özellikler, Fourier tanımlayıcıları içeren hybrid bir özellik kümesi ve geometric tanımlayıcıları içeren bir kümedir. Farklı özellik kümeleri yaratmak için eli tesbit edip bölmelemekte bir renkli görüntü bölmeleme algoritması uygulanmıştır. Sunulan işaret tanıma modeli otonom, taşınabilir bir robotu kontrol etmek için kullanılmıştır. Bu method ayrıca farklı el şekilleri üzerinde test edilmiş ve sonuçlar tartışılmıştır. Kinect gibi bir RGBD kameranın kullanılabilirliği ile işaret sınıflandırma için iyi özellikler belirleme daha kolay hale gelmiştir. Bu çalışma ayrıca Kinect kameraya bağlı openNI dan türetilen ayarlanabilir iskelet görünüsü kullanarak insan hareketleri imitasyonunu sunmaktadır. Bu çalışma Kinect kamera ile ilgili iskelet görüntüsünün devimbilimsellerine dayalı ortak açıların hesaplanması için bir sistem sağlar. Bu çalışmada, Nao robotu simule etmesi için Choregraphe kullanılmıştır. Nao’nun özgürlük derecesine devimbilimsel kısıtlamalarına dayanarak tahmin edilen ortak açılar, imitasyon hissinin yansıtılmasını simule etmektedir.This is an on-going study and part of a project which aims to assist in teaching Sign Language (SL) to hearing-impaired children by means of non-verbal communication and imitation-based interaction games between a humanoid robot and a child. In this paper, the problem is geared towards a robot learning to imitate basic upper torso gestures (SL signs) using different machine learning techniques. RGBD sensor (Microsoft Kinect) is employed to track the skeletal model of humans and create a training set. A novel method called Decision Based Rule is proposed. Additionally, linear regression models are compared to find which learning technique has a higher accuracy on gesture prediction. The learning technique with the highest accuracy is then used to simulate an imitation system where the Nao Robot imitates these learned gestures as observed by the users. Decision Based Rule had a 96% accuracy in prediction. Futher more, this study also proposes an interactive game between a NAO H25 humanoid robot and preschool children based on Sign Language. Currently the demo is in Turkish Sign Language (TSL) but it will be extended to ASL, too. Since the children do not know how to read and write, and are not familiar with sign language, we prepared a short story including special words where the robot realized the specially selected word with sign language as well as pronouncing the word verbally. After recognizing every special word with sign language the robot waited for response from children, where the children were asked to show colour flashcards with the illustration of the word. If the flashcard and the word match the robot pronounces the word verbally and continues to tell the story. At the end of the story the robot realizes the words one by one with sign language in a random order and asks the children to put the sticker of the relevant flashcard on their play cards which include the story with illustrations of the flashcards. We also carried the game to internet and tablet pc environments. The aim is to evaluate the children’s sign language learning ability from a robot, in different embodiments and make the system available to children disregarding the cost of the robot, transportation and knowhow issues. This study started from developing a robust interface for rotation invariant Gesture Recognition. It involves the view-based detection and recognition of static hand gestures by using a single camera. Several image processing techniques are used to detect the hand region successfully. After the hand region is successfully detected geometric descriptors and Fourier descriptors are extracted. The gesture is classified using neural network. The main contribution of this study is the features used for classification, a hybrid feature set consisting of Fourier Descriptors and a set of Geometric Descriptors which are introduced in this study. A color image segmentation algorithm is implemented to detect and segment the hand to create different feature sets. The proposed gesture recognition model has been used to control an autonomous mobile robot. The method has also been tested on different hand shapes and the result has been discussed. With the availability of RGBD camera like kinect, the job on image processing in determining a good feature for gesture classification became easier. This study also presents human motion imitation using the calibrated skeletal view derived from openNI {\bf (open Natural Interface) } connected to the Kinect camera. This study provides a system for computing the joint angles based on the kinematics of the skeletal view relative to the Kinect camera and these values are passed to a Nao robot simulated environment. In this study Choregraphe is used to simulate the Nao robot. Based on Nao s degree of freedom and kinematic constraints, estimated joint angles (recognized getures) are simulated to reflect a sense of imitation.Yüksek LisansM.Sc

Developing Kaspar: a humanoid robot for children with Autism

In the late 1990s using robotic technology to assist children with Autistic Spectrum Condition (ASD) emerged as a potentially useful area of research. Since then the field of assistive robotics for children with ASD has grown considerably with many academics trialling different robots and approaches. One such robot is the humanoid robot Kaspar that was originally developed in 2005 and has continually been built upon since, taking advantage of technological developments along the way. A key principle in the development of Kaspar since its creation has been to ensure that all of the advances to the platform are driven by the requirements of the users. In this paper we discuss the development of Kaspar’s design and explain the rationale behind each change to the platform. Designing and building a humanoid robot to interact with and help children with ASD is a multidisciplinary challenge that requires knowledge of the mechanical engineering, electrical engineering, Human–Computer Interaction (HCI), Child–Robot Interaction (CRI) and knowledge of ASD. The Kaspar robot has benefited from the wealth of knowledge accrued over years of experience in robot-assisted therapy for children with ASD. By showing the journey of how the Kaspar robot has developed we aim to assist others in the field develop such technologies further