Gesteme-free context-aware adaptation of robot behavior in human–robot cooperation

Background: Cooperative robotics is receiving greater acceptance because the typical advantages provided by manipulators are combined with an intuitive usage. In particular, hands-on robotics may benefit from the adaptation of the assistant behavior with respect to the activity currently performed by the user. A fast and reliable classification of human activities is required, as well as strategies to smoothly modify the control of the manipulator. In this scenario, gesteme-based motion classification is inadequate because it needs the observation of a wide signal percentage and the definition of a rich vocabulary. Objective: In this work, a system able to recognize the user's current activity without a vocabulary of gestemes, and to accordingly adapt the manipulator's dynamic behavior is presented. Methods and material: An underlying stochastic model fits variations in the user's guidance forces and the resulting trajectories of the manipulator's end-effector with a set of Gaussian distribution. The high-level switching between these distributions is captured with hidden Markov models. The dynamic of the KUKA light-weight robot, a torque-controlled manipulator, is modified with respect to the classified activity using sigmoidal-shaped functions. The presented system is validated over a pool of 12 naive users in a scenario that addresses surgical targeting tasks on soft tissue. The robot's assistance is adapted in order to obtain a stiff behavior during activities that require critical accuracy constraint, and higher compliance during wide movements. Both the ability to provide the correct classification at each moment (sample accuracy) and the capability of correctly identify the correct sequence of activity (sequence accuracy) were evaluated. Results: The proposed classifier is fast and accurate in all the experiments conducted (80% sample accuracy after the observation of similar to 450 ms of signal). Moreover, the ability of recognize the correct sequence of activities, without unwanted transitions is guaranteed (sequence accuracy similar to 90% when computed far away from user desired transitions). Finally, the proposed activity-based adaptation of the robot's dynamic does not lead to a not smooth behavior (high smoothness, i.e. normalized jerk score <0.01). Conclusion: The provided system is able to dynamic assist the operator during cooperation in the presented scenario

Enhanced context-aware framework for individual and crowd condition prediction

Context-aware framework is basic context-aware that utilizes contexts such as user with their individual activities, location and time, which are hidden information derived from smartphone sensors. These data are used to monitor a situation in a crowd scenario. Its application using embedded sensors has the potential to monitor tasks that are practically complicated to access. Inaccuracies observed in the individual activity recognition (IAR) due to faulty accelerometer data and data classification problem have led to its inefficiency when used for prediction. This study developed a solution to this problem by introducing a method of feature extraction and selection, which provides a higher accuracy by selecting only the relevant features and minimizing false negative rate (FNR) of IAR used for crowd condition prediction. The approach used was the enhanced context-aware framework (EHCAF) for the prediction of human movement activities during an emergency. Three new methods to ensure high accuracy and low FNR were introduced. Firstly, an improved statistical-based time-frequency domain (SBTFD) representing and extracting hidden context information from sensor signals with improved accuracy was introduced. Secondly, a feature selection method (FSM) to achieve improved accuracy with statistical-based time-frequency domain (SBTFD) and low false negative rate was used. Finally, a method for individual behaviour estimation (IBE) and crowd condition prediction in which the threshold and crowd density determination (CDD) was developed and used, achieved a low false negative rate. The approach showed that the individual behaviour estimation used the best selected features, flow velocity estimation and direction to determine the disparity value of individual abnormality behaviour in a crowd. These were used for individual and crowd density determination evaluation in terms of inflow, outflow and crowd turbulence during an emergency. Classifiers were used to confirm features ability to differentiate individual activity recognition data class. Experimenting SBTFD with decision tree (J48) classifier produced a maximum of 99:2% accuracy and 3:3% false negative rate. The individual classes were classified based on 7 best features, which produced a reduction in dimension, increased accuracy to 99:1% and had a low false negative rate (FNR) of 2:8%. In conclusion, the enhanced context-aware framework that was developed in this research proved to be a viable solution for individual and crowd condition prediction in our society

Adaptive Shared Autonomy between Human and Robot to Assist Mobile Robot Teleoperation

Die Teleoperation vom mobilen Roboter wird in großem Umfang eingesetzt, wenn es für Mensch unpraktisch oder undurchführbar ist, anwesend zu sein, aber die Entscheidung von Mensch wird dennoch verlangt. Es ist für Mensch stressig und fehleranfällig wegen Zeitverzögerung und Abwesenheit des Situationsbewusstseins, ohne Unterstützung den Roboter zu steuern einerseits, andererseits kann der völlig autonome Roboter, trotz jüngsten Errungenschaften, noch keine Aufgabe basiert auf die aktuellen Modelle der Wahrnehmung und Steuerung unabhängig ausführen. Deswegen müssen beide der Mensch und der Roboter in der Regelschleife bleiben, um gleichzeitig Intelligenz zur Durchführung von Aufgaben beizutragen. Das bedeut, dass der Mensch die Autonomie mit dem Roboter während des Betriebes zusammenhaben sollte. Allerdings besteht die Herausforderung darin, die beiden Quellen der Intelligenz vom Mensch und dem Roboter am besten zu koordinieren, um eine sichere und effiziente Aufgabenausführung in der Fernbedienung zu gewährleisten. Daher wird in dieser Arbeit eine neuartige Strategie vorgeschlagen. Sie modelliert die Benutzerabsicht als eine kontextuelle Aufgabe, um eine Aktionsprimitive zu vervollständigen, und stellt dem Bediener eine angemessene Bewegungshilfe bei der Erkennung der Aufgabe zur Verfügung. Auf diese Weise bewältigt der Roboter intelligent mit den laufenden Aufgaben auf der Grundlage der kontextuellen Informationen, entlastet die Arbeitsbelastung des Bedieners und verbessert die Aufgabenleistung. Um diese Strategie umzusetzen und die Unsicherheiten bei der Erfassung und Verarbeitung von Umgebungsinformationen und Benutzereingaben (i.e. der Kontextinformationen) zu berücksichtigen, wird ein probabilistischer Rahmen von Shared Autonomy eingeführt, um die kontextuelle Aufgabe mit Unsicherheitsmessungen zu erkennen, die der Bediener mit dem Roboter durchführt, und dem Bediener die angemesse Unterstützung der Aufgabenausführung nach diesen Messungen anzubieten. Da die Weise, wie der Bediener eine Aufgabe ausführt, implizit ist, ist es nicht trivial, das Bewegungsmuster der Aufgabenausführung manuell zu modellieren, so dass eine Reihe von der datengesteuerten Ansätzen verwendet wird, um das Muster der verschiedenen Aufgabenausführungen von menschlichen Demonstrationen abzuleiten, sich an die Bedürfnisse des Bedieners in einer intuitiven Weise über lange Zeit anzupassen. Die Praxistauglichkeit und Skalierbarkeit der vorgeschlagenen Ansätze wird durch umfangreiche Experimente sowohl in der Simulation als auch auf dem realen Roboter demonstriert. Mit den vorgeschlagenen Ansätzen kann der Bediener aktiv und angemessen unterstützt werden, indem die Kognitionsfähigkeit und Autonomieflexibilität des Roboters zu erhöhen