Advances in Human-Robot Handshaking

The use of social, anthropomorphic robots to support humans in various industries has been on the rise. During Human-Robot Interaction (HRI), physically interactive non-verbal behaviour is key for more natural interactions. Handshaking is one such natural interaction used commonly in many social contexts. It is one of the first non-verbal interactions which takes place and should, therefore, be part of the repertoire of a social robot. In this paper, we explore the existing state of Human-Robot Handshaking and discuss possible ways forward for such physically interactive behaviours.Comment: Accepted at The 12th International Conference on Social Robotics (ICSR 2020) 12 Pages, 1 Figur

Human-Robot Handshaking: A Review

For some years now, the use of social, anthropomorphic robots in various situations has been on the rise. These are robots developed to interact with humans and are equipped with corresponding extremities. They already support human users in various industries, such as retail, gastronomy, hotels, education and healthcare. During such Human-Robot Interaction (HRI) scenarios, physical touch plays a central role in the various applications of social robots as interactive non-verbal behaviour is a key factor in making the interaction more natural. Shaking hands is a simple, natural interaction used commonly in many social contexts and is seen as a symbol of greeting, farewell and congratulations. In this paper, we take a look at the existing state of Human-Robot Handshaking research, categorise the works based on their focus areas, draw out the major findings of these areas while analysing their pitfalls. We mainly see that some form of synchronisation exists during the different phases of the interaction. In addition to this, we also find that additional factors like gaze, voice facial expressions etc. can affect the perception of a robotic handshake and that internal factors like personality and mood can affect the way in which handshaking behaviours are executed by humans. Based on the findings and insights, we finally discuss possible ways forward for research on such physically interactive behaviours.Comment: Pre-print version. Accepted for publication in the International Journal of Social Robotic

肘関節粘弾性特性分析に基づいた可変粘弾性握手マニピュレータの開発

【学位授与の要件】中央大学学位規則第4条第1項【論文審査委員主査】中村　太郎　（中央大学理工学部教授）【論文審査委員副査】平岡　弘之（中央大学理工学部教授）、新妻　実保子（中央大学理工学部准教授）、諸麥　俊司（中央大学理工学部准教授）、万　偉偉（大阪大学准教授）博士(工学)中央大

Time-slice analysis of dyadic human activity

La reconnaissance d’activités humaines à partir de données vidéo est utilisée pour la surveillance ainsi que pour des applications d’interaction homme-machine. Le principal objectif est de classer les vidéos dans l’une des k classes d’actions à partir de vidéos entièrement observées. Cependant, de tout temps, les systèmes intelligents sont améliorés afin de prendre des décisions basées sur des incertitudes et ou des informations incomplètes. Ce besoin nous motive à introduire le problème de l’analyse de l’incertitude associée aux activités humaines et de pouvoir passer à un nouveau niveau de généralité lié aux problèmes d’analyse d’actions. Nous allons également présenter le problème de reconnaissance d’activités par intervalle de temps, qui vise à explorer l’activité humaine dans un intervalle de temps court. Il a été démontré que l’analyse par intervalle de temps est utile pour la caractérisation des mouvements et en général pour l’analyse de contenus vidéo. Ces études nous encouragent à utiliser ces intervalles de temps afin d’analyser l’incertitude associée aux activités humaines. Nous allons détailler à quel degré de certitude chaque activité se produit au cours de la vidéo. Dans cette thèse, l’analyse par intervalle de temps d’activités humaines avec incertitudes sera structurée en 3 parties. i) Nous présentons une nouvelle famille de descripteurs spatiotemporels optimisés pour la prédiction précoce avec annotations d’intervalle de temps. Notre représentation prédictive du point d’intérêt spatiotemporel (Predict-STIP) est basée sur l’idée de la contingence entre intervalles de temps. ii) Nous exploitons des techniques de pointe pour extraire des points d’intérêts afin de représenter ces intervalles de temps. iii) Nous utilisons des relations (uniformes et par paires) basées sur les réseaux neuronaux convolutionnels entre les différentes parties du corps de l’individu dans chaque intervalle de temps. Les relations uniformes enregistrent l’apparence locale de la partie du corps tandis que les relations par paires captent les relations contextuelles locales entre les parties du corps. Nous extrayons les spécificités de chaque image dans l’intervalle de temps et examinons différentes façons de les agréger temporellement afin de générer un descripteur pour tout l’intervalle de temps. En outre, nous créons une nouvelle base de données qui est annotée à de multiples intervalles de temps courts, permettant la modélisation de l’incertitude inhérente à la reconnaissance d’activités par intervalle de temps. Les résultats expérimentaux montrent l’efficience de notre stratégie dans l’analyse des mouvements humains avec incertitude.Recognizing human activities from video data is routinely leveraged for surveillance and human-computer interaction applications. The main focus has been classifying videos into one of k action classes from fully observed videos. However, intelligent systems must to make decisions under uncertainty, and based on incomplete information. This need motivates us to introduce the problem of analysing the uncertainty associated with human activities and move to a new level of generality in the action analysis problem. We also present the problem of time-slice activity recognition which aims to explore human activity at a small temporal granularity. Time-slice recognition is able to infer human behaviours from a short temporal window. It has been shown that temporal slice analysis is helpful for motion characterization and for video content representation in general. These studies motivate us to consider timeslices for analysing the uncertainty associated with human activities. We report to what degree of certainty each activity is occurring throughout the video from definitely not occurring to definitely occurring. In this research, we propose three frameworks for time-slice analysis of dyadic human activity under uncertainty. i) We present a new family of spatio-temporal descriptors which are optimized for early prediction with time-slice action annotations. Our predictive spatiotemporal interest point (Predict-STIP) representation is based on the intuition of temporal contingency between time-slices. ii) we exploit state-of-the art techniques to extract interest points in order to represent time-slices. We also present an accumulative uncertainty to depict the uncertainty associated with partially observed videos for the task of early activity recognition. iii) we use Convolutional Neural Networks-based unary and pairwise relations between human body joints in each time-slice. The unary term captures the local appearance of the joints while the pairwise term captures the local contextual relations between the parts. We extract these features from each frame in a time-slice and examine different temporal aggregations to generate a descriptor for the whole time-slice. Furthermore, we create a novel dataset which is annotated at multiple short temporal windows, allowing the modelling of the inherent uncertainty in time-slice activity recognition. All the three methods have been evaluated on TAP dataset. Experimental results demonstrate the effectiveness of our framework in the analysis of dyadic activities under uncertaint

Interfaces haptiques pour l'interaction physique humain-robot : analyse et mise en œuvre de l'approche macro-mini

Cette thèse présente la conception d'une interface haptique capable de rendre l'interaction physique humain-robot naturelle et intuitive. Il s'agit là d'un sujet d'étude très important avec l'avènement de la robotique collaborative et la présence toujours accrue des robots dans la vie de tous les jours. Les travaux présentés se concentrent sur l'approche macro-mini à titre d'interface haptique, plus particulièrement trois aspects importants lors de la conception d'un système macro-mini. Le premier chapitre permet d'apprendre à parler physiquement au robot (lui faire comprendre les intentions de l'humain) dans un contexte de déplacement collaboratif. Plus particulièrement, il consiste à comparer différentes méthodes pour traduire les déplacements (ou les intentions) de l'humain à un robot. Dans ce cas, des coquilles à faible impédance sont attachées sur les membrures d'un manipulateur sériel. L'humain interagit avec le robot en déplaçant ces coquilles. La réponse du robot est alors de se déplacer de façon à ce que ses membrures suivent les déplacements de la coquille qui leur est associée pour ainsi les conserver dans leur configuration neutre. Le déplacement d'une coquille par rapport à sa membrure est considéré comme une vitesse désirée de ladite membrure. Il s'agit donc de résoudre le problème cinématique inverse pour traduire le déplacement de la coquille en déplacement articulaire. Cependant, différentes stratégies peuvent être employées pour résoudre ce problème. Ce projet vise donc à comparer l'efficacité de ces méthodes. Pour y parvenir, une étude générale de ces méthodes est réalisée. Puis, un formalisme mathématique est décrit pour adapter ces méthodes à l'application présente. En effet, en fonction du type de coquille et de la membrure, tous les degrés de liberté ne sont pas nécessairement possibles. Ce formalisme mathématique permet de tenir compte de ces contraintes. Ensuite, des simulations sont réalisées pour observer le comportement des méthodes étudiées et un indice de performance est choisi pour les comparer. Ensuite, une fois que le robot est en mesure de comprendre efficacement les intentions humaines, le problème de conception consiste à déterminer comment détecter ses intentions à l'aide d'une interface et surtout, la taille que cette interface doit prendre pour bien parler. En d'autres mots, le second chapitre présente une analyse de l'impact du débattement d'un mécanisme mini actif sur la bande passante mécanique de mouvements possibles lors de la manipulation de charges lourdes. En effet, l'approche macro-mini utilise généralement un robot mini passif, ce qui fait que l'utilisateur ressent toute l'inertie de la charge. Lorsque la charge devient suffisamment lourde, il est nécessaire pour le mini d'appuyer l'utilisateur en fournissant une force pour conserver l'interaction naturelle. Ceci signifie que le mini doit être actionné, i.e., actif. Il est cependant important que le mini reste rétrocommandable pour le bon fonctionnement de l'approche macro-mini. Des modèles mathématiques du système sont donc présentés. Les contraintes relatives à l'application sont décrites ainsi que leur impact sur la bande passante. À l'aide d'un contrôleur simple, des simulations sont réalisées à l'aide des outils développés pour déterminer le débattement nécessaire du mini actif qui permet la bande passante désirée. Enfin, une interface haptique capable de reproduire une poignée de main naturelle et intuitive avec un robot est présentée. Ce chapitre peut être divisé en deux aspects, i.e., la main et le bras. Ici, la main est le robot mini et le bras, le robot macro. D'abord, un prototype de main robotique est conçu et fabriqué. Inspirée de l'anatomie humaine, cette main robotique possède une paume comprimable capable d'émuler celle de l'humain ainsi que trois doigts sous-actionnés. Un pouce passif, relié au niveau de compression de la paume, complète le tout. Le contrôle de la main se fait via une position avec rétroaction, et ce, pour chacun des deux actionneurs (un pour la paume, l'autre pour les trois doigts). Ensuite, la main robotique est montée sur un manipulateur sériel collaboratif (le Kuka LWR), le bras. Ce dernier est contrôlé en impédance autour d'une trajectoire harmonique dans un plan vertical. En fonction des paramètres de la trajectoire (amplitude, fréquence, coefficients d'amortissement et de raideur), ce prototype permet de conférer une personnalité active au robot. L'expérimentation faite auprès de sujets humains permet de déterminer les valeurs considérées plus naturelles pour les différents paramètres de la trajectoire ainsi que diverses pistes à explorer pour des travaux futurs.This thesis presents the design of a haptic interface capable of rendering a physical human-robot interaction natural and intuitive. It is a very important subject to study with the rise in collaborative robots and the ever-increasing presence of robots in everyday life. The work presented here focuses on the macro-mini architecture as haptic interface, more precisely on three important aspects to consider during the design of a macro-mini system. The first chapter explores how to physically communicate with a robot (make it understand the human's intentions) in a context of collaborative motion. In more details, the goal is to compare different methods to translate human motions (or intentions) to a robot. In this case, low impedance passive articulated shells are mounted on the links of a serial manipulator. The human operator interacts with the robot by displacing the shells. The robot's response is then to move so that its links follow the motion of their associated shell. The better the robot can follow the shells, the closest to their neutral configuration the shells can remain. The shell displacement relative to its link is considered as a desired velocity of the link. The translation of the shell displacement into joint motion then becomes an inverse kinematic problem. Different strategies can be used to solve this problem. This project then aims at comparing the efficiency of those strategies. To this end, a general study of the different strategies is performed. Then, a mathematical formalism is described, adapting said strategies to the present context. Indeed, depending on the type of shell and the position of the link in the chain, all degrees of freedom are not necessarily possible. This formalism takes these limitations into account. Then, simulations are conducted to observe the behaviour of the different strategies studied and a performance index is chosen to compare them. Afterwards, once the robot is capable of efficiently understanding the human intentions, the next step is to determine how to detect the intentions with the help of an interface and, most of all, what size should this interface have so as to communicate well. In other words, the second chapter presents an analysis of the impact that the range of motion of an active mini mechanism has on the mechanical bandwidth for the possible motions during the handling of large payloads. Indeed, the macro-mini architecture generally uses a passive mini robot, which means that the human operator feels the whole inertia of the payload. When the payload becomes sufficiently heavy, it becomes necessary for the mini robot to help the operator by working as well so as to keep the interaction natural. This means that the mini robot should then be actuated, i.e., active. It is however important that the mini robot remains backdrivable for the macro-mini architecture to work properly. Mathematical models are then presented. The limitations related to the application are described, as well as their effect on the bandwidth. With the help of a simple controller, simulations are performed with the tools developed to determine the range of motion necessary for the active mini robot which would allow the desired bandwidth. Finally, a haptic interface capable of emulating a natural and intuitive handshake with a robot is presented. This chapter can be divided into two aspects, i.e., the hand and the arm. Here, the hand is the mini robot and the arm, the macro robot. First, a robotic hand prototype is designed and constructed. Inspired by the human anatomy, this robotic hand has a compliant palm able to emulate a human palm as well as three underactuated fingers. A passive thumb, tied to the palm compression level, completes the hand. The hand control is done with position control with feedback for both actuators (one for the palm, the other for the three fingers). Then, the robotic hand is mounted on a collaborative serial manipulator (the Kuka LWR), the arm. The arm is controlled in impedance around a harmonic trajectory in a vertical plane. Depending on the parameters for the trajectory (amplitude, frequency, stiffness and damping coefficients), this prototype provides an active personality to the robot. Experimentation is conducted with human subjects to determine the values considered more natural for the different trajectory parameters as well as several improvements for the prototype in future works

カラダ ノ セッキン オ トモナウ アクシュ ドウサ オ セイセイ スル アクシュ ロボット システム

2014岡山県立大学大学

Action Recognition in the Visual Periphery

Humans are social beings that interact with others in their surroundings. In a public space, for example on a train platform, one can observe the wide array of social actions humans express in their daily lives. There are for instance people hugging each other, waving to one another or shaking hands. A large part of our social behavior consists of carrying out such social actions and the recognition of those actions facilitates our interactions with other people. Therefore, action recognition has become more and more popular as a research topic over the years. Actions do not only appear at our point of fixation but also in the peripheral visual field. The current Ph.D. thesis aims at understanding action recognition in the human central and peripheral vision. To this end, action recognition processes have been investigated under more naturalistic conditions than has been done so far. This thesis extends the knowledge about action recognition processes into more realistic scenarios and the far visual periphery. In four studies, life size action stimuli were used (I) to examine the action categorization abilities of central and peripheral vision, (II) to investigate the viewpoint-dependency of peripheral action representations, (III) to behaviorally measure the perceptive field sizes of action sensitive channels and (IV) to investigate the influence of additional actors in the visual scene on action recognition processes. The main results of the different studies can be summarized as follows. In Study I a high categorization performance for social actions throughout the visual field with a nonlinear performance decline towards the visual periphery was shown. Study II revealed a viewpoint–dependence of action recognition only in far visual periphery. In Study III large perceptive fields for action recognition were measured that decrease in size towards the periphery. And in Study IV no influence of a surrounding crowd of people on the recognition of actions in central vision and the visual periphery was shown. In sum, this thesis provides evidence that the abilities of peripheral vision have been underestimated and that peripheral vision might play a more important role in daily life than merely triggering gaze saccades to events in our environment.Menschen sind soziale Wesen, die mit anderen Menschen in ihrer Umgebung interagieren. An einem öffentlichen Ort, zum Beispiel auf einem Bahnsteig, kann man die große Vielfalt sozialer Handlungen beobachten, die Menschen täglich ausführen. Beispielsweise sieht man dort Menschen die einander umarmen, die sich zuwinken oder sich die Hände schütteln. Ein großer Teil unseres Sozialverhaltens besteht darin solche Handlungen auszuführen und solche Handlungen anderer Menschen zu verstehen. Die Erkennung dieser Handlungen ermöglicht es uns mit anderen Menschen zu interagieren. Deshalb ist die Erkennung von menschlichen Handlungen mittlerweile ein beliebtes Forschungsthema. Allerdings erscheinen Handlungen nicht nur an der Stelle auf die wir gerade fixiert sind, sondern auch in unserer visuellen Peripherie. Das Ziel dieser Dissertation ist es menschliche Handlungserkennungsprozesse im zentralen Sehfeld und im peripheren Sehfeld besser zu verstehen. Hierfür, wurden Handlungserkennungsprozesse unter natürlicheren Bedingungen als bisher untersucht. Diese Dissertation erweitert das Wissen über Handlungserkennungsprozesse hin zu realistischeren Szenarios und der fernen visuellen Peripherie. In vier Studien wurden lebensgroße Handlungsstimuli verwendet (I) um Handlungs-Kategorisierung im zentralen und peripheren Sehen zu untersuchen, (II) um die Gesichtspunkt-Abhängigkeit der Handlungserkennung zu überprüfen, (III) um die Größe der perzeptiven Felder von Handlungssensitiven neuronalen Kanäle auszumessen und (IV) um den Einfluss zusätzlicher Menschen im Sehfeld auf Handlungserkennungsprozesse zu erforschen. Die Hauptergebnisse der verschiedenen Studien kann wie folgt zusammengefasst werden. Studie I ergab eine hohe Kategorisierungsleistung für soziale Handlungen durch das Visuelle Feld (bis zu 60° von der Fovea entfernt) mit einer nichtlinearen Abnahme der Erkennungsleistung zur Peripherie hin. Studie II zeigte, dass die Erkennung sozialer Handlungen in der Peripherie abhängig ist vom Gesichtspunkt der beobachteten Handlung. In Studie III wurden große perzeptive Felder gemessen für die Erkennung von menschlichen sozialen Handlungen, die zur Peripherie hin kleiner werden. Und in Studie IV wurde gezeigt dass die Anwesenheit einer Menschenmenge Handlungserkennungsprozesse im zentralen Sehe und im peripheren Sehen nicht beeinflusst. Zusammengefasst, diese Dissertation liefert Evidenz dafür, dass die visuellen Fähigkeiten des peripheren Sehfeldes bislang unterschätzt wurden und dass peripheres Sehen eine weitaus wichtigere Rolle in unserem täglichen Leben spielt als nur Blick Sakkaden zu Ereignissen in unserer Umgebung zu initiieren

The application of robotics to the assembly of flexible parts by sewing.

This thesis concerns the development of a robotic cell to perform assembly and handling operations on cloth.- A flexible automation approach was adopted, in which the robot was required to control the cloth panel during both handling and sewing operations, without the aid of hard automation attachments which might limit the flexibility of the system. The cell consisted of an adaptively controlled robot, a hierarchy of controllers, a conventional sewing machine, a two-fingered fabric steering end-effector, and several sensor systems. A technique was developed for producing a seam parallel to an edge of arbitrary contour, in which two cameras, a cloth tension sensor and the sewing machine's shaft encoder provided the sensory input. Two sensory servo control systems were required, one control system generated the robot's trajectory to maintain a small constant cloth tension, and the other directed the robot to manipulate the cloth panel to maintain a constant seam width. The design of the cloth tension control was based on the measured frequency response of the open loop system. The seam width control was designed using simulation studies, which accounted for the control transfer function, and nonlinearities such as camera pixel resolution, time delays and robot motion limitations. Several robotic handling techniques were developed, so that a cloth panel placed arbitrarily on the sewing table could be set up for an edge seaming operation, and the cloth could be rotated about the needle. The system's flexibility was demonstrated in the assembly of an irregularly shaped cloth panel, in which three adjacent sides were sewn up