Human-robot interaction for assistive robotics

This dissertation presents an in-depth study of human-robot interaction (HRI) withapplication to assistive robotics. In various studies, dexterous in-hand manipulation is included, assistive robots for Sit-To-stand (STS) assistance along with the human intention estimation. In Chapter 1, the background and issues of HRI are explicitly discussed. In Chapter 2, the literature review introduces the recent state-of-the-art research on HRI, such as physical Human-Robot Interaction (HRI), robot STS assistance, dexterous in hand manipulation and human intention estimation. In Chapter 3, various models and control algorithms are described in detail. Chapter 4 introduces the research equipment. Chapter 5 presents innovative theories and implementations of HRI in assistive robotics, including a general methodology of robotic assistance from the human perspective, novel hardware design, robotic sit-to-stand (STS) assistance, human intention estimation, and control

Human sit-to-stand transfer modeling towards intuitive and biologically-inspired robot assistance

© 2016, Springer Science+Business Media New York. Sit-to-stand (STS) transfers are a common human task which involves complex sensorimotor processes to control the highly nonlinear musculoskeletal system. In this paper, typical unassisted and assisted human STS transfers are formulated as optimal feedback control problem that finds a compromise between task end-point accuracy, human balance, energy consumption, smoothness of motion and control and takes further human biomechanical control constraints into account. Differential dynamic programming is employed, which allows taking the full, nonlinear human dynamics into consideration. The biomechanical dynamics of the human is modeled by a six link rigid body including leg, trunk and arm segments. Accuracy of the proposed modelling approach is evaluated for different human healthy and patient/elderly subjects by comparing simulations and experimentally collected data. Acceptable model accuracy is achieved with a generic set of constant weights that prioritize the different criteria. Finally, the proposed STS model is used to determine optimal assistive strategies suitable for either a person with specific body segment weakness or a more general weakness. These strategies are implemented on a robotic mobility assistant and are intensively evaluated by 33 elderlies, mostly not able to perform unassisted STS transfers. The validation results show a promising STS transfer success rate and overall user satisfaction

A probabilistic approach to learn activities of daily living of a mobility aid device user

© 2014 IEEE. The problem of inferring human behaviour is naturally complex: people interact with the environment and each other in many different ways, and dealing with the often incomplete and uncertain sensed data by which the actions are perceived only compounds the difficulty of the problem. In this paper, we propose a framework whereby these elaborate behaviours can be naturally simplified by decomposing them into smaller activities, whose temporal dependencies can be more efficiently represented via probabilistic hierarchical learning models. In this regard, patterns of a number of activities typically carried out by users of an ambulatory aid device have been identified with the aid of a Hierarchical Hidden Markov Model (HHMM) framework. By decomposing the complex behaviours into multiple layers of abstraction the approach is shown capable of modelling and learning these tightly coupled human-machine interactions. The inference accuracy of the proposed model is proven to compare favourably against more traditional discriminative models, as well as other compatible generative strategies to provide a complete picture that highlights the benefits of the proposed approach, and opens the door to more intelligent assistance with a robotic mobility aid

Real-time Hybrid Locomotion Mode Recognition for Lower-limb Wearable Robots

Real-time recognition of locomotion-related activities is a fundamental skill that the controller of lower-limb wearable robots should possess. Subject-specific training and reliance on electromyographic interfaces are the main limitations of existing approaches. This study presents a novel methodology for real-time locomotion mode recognition of locomotion-related activities in lower-limb wearable robotics. A hybrid classifier can distinguish among seven locomotion-related activities. First, a time-based approach classifies between static and dynamical states based on gait kinematics data. Second, an event-based fuzzy logic method triggered by foot pressure sensors operates in a subject-independent fashion on a minimal set of relevant biomechanical features to classify among dynamical modes. The locomotion mode recognition algorithm is implemented on the controller of a portable powered orthosis for hip assistance. An experimental protocol is designed to evaluate the controller performance in an out-of-lab scenario without the need for a subject-specific training. Experiments are conducted on six healthy volunteers performing locomotion-related activities at slow, normal, and fast speeds under the zero-torque and assistive mode of the orthosis. The overall accuracy rate of the controller is 99.4% over more than 10,000 steps, including seamless transitions between different modes. The experimental results show a successful subject-independent performance of the controller for wearable robots assisting locomotion-related activities

Survey of transfemoral amputee experience and priorities for the user-centered design of powered robotic transfemoral prostheses

BACKGROUND: Transfemoral amputees experience a complex host of physical, psychological, and social challenges, compounded by the functional limitations of current transfemoral prostheses. However, the specific relationships between human factors and prosthesis design and performance characteristics have not yet been adequately investigated. The present study aims to address this knowledge gap. METHODS: A comprehensive single-cohort survey of 114 unilateral transfemoral amputees addressed a broad range of demographic and clinical characteristics, functional autonomy, satisfaction and attitudes towards their current prostheses, and design priorities for an ideal transfemoral prosthesis, including the possibility of active assistance from a robotic knee unit. The survey was custom-developed based on several standard questionnaires used to assess motor abilities and autonomy in activities of daily living, prosthesis satisfaction, and quality of life in lower-limb amputees. Survey data were analyzed to compare the experience (including autonomy and satisfaction) and design priorities of users of transfemoral prostheses with versus without microprocessor-controlled knee units (MPKs and NMPKs, respectively), with a subsequent analyses of cross-category correlation, principal component analysis (PCA), cost-sensitivity segmentation, and unsupervised K-means clustering applied within the most cost-sensitive participants, to identify functional groupings of users with respect to their design priorities. RESULTS: The cohort featured predominantly younger (< 50 years) traumatic male amputees with respect to the general transfemoral amputee population, with pronounced differences in age distribution and amputation etiology (traumatic vs. non-traumatic) between MPK and NMPK groups. These differences were further reflected in user experience, with MPK users reporting significantly greater overall functional autonomy, satisfaction, and sense of prosthesis ownership than those with NMPKs, in conjunction with a decreased incidence of instability and falls. Across all participants, the leading functional priorities for an ideal transfemoral prosthesis were overall stability, adaptability to variable walking velocity, and lifestyle-related functionality, while the highest-prioritized general characteristics were reliability, comfort, and weight, with highly variable prioritization of cost according to reimbursement status. PCA and user clustering analyses revealed the possibility for functionally relevant groupings of prosthesis features and users, based on their differential prioritization of these features—with implications towards prosthesis design tradeoffs. CONCLUSIONS: This study’s findings support the understanding that when appropriately prescribed according to patient characteristics and needs in the context of a proactive rehabilitation program, advanced transfemoral prostheses promote patient mobility, autonomy, and overall health. Survey data indicate overall stability, modularity, and versatility as key design priorities for the continued development of transfemoral prosthesis technology. Finally, observed associations between prosthesis type, user experience, and attitudes concerning prosthesis ownership suggest both that prosthesis characteristics influence device acceptance and functional outcomes, and that psychosocial factors should be specifically and proactively addressed during the rehabilitation process. SUPPLEMENTARY INFORMATION: The online version contains supplementary material available at 10.1186/s12984-021-00944-x

Adaptive control for wearable robots in human-centered rehabilitation tasks

Robotic rehabilitation therapies have been improving by providing the needed assistance to the patient, in a human-centered environment, and also helping the therapist to choose the necessary procedure. This thesis presents an adaptive "Assistance-as-needed" strategy which adheres to the specific needs of the patient and with the inputs from the therapist, whenever needed. The exertion of assistive and responsive behavior of the lower limb wearable robot is dedicated for the rehabilitation of incomplete spinal cord injury (SCI) patients. The main objective is to propose and evaluate an adaptive control model on a wearable robot, assisting the user and adhering to their needs, with no or less combination of external devices. The adaptation must be more interactive to understand the user needs and their volitional orders. Similarly, by using the existing muscular strength, in incomplete SCI patients, as a motivation to pursue the movement and assist them, only when needed. The adaptive behavior of the wearable robot is proposed by monitoring the interaction and movement of the user. This adaptation is achieved by modulating the stiffness of the exoskeleton in function of joint parameters, such as positions and interaction torques. These joint parameters are measured from the user independently and then used to update the new stiffness value. The adaptive algorithm performs with no need of external sensors, making it simple in terms of usage. In terms of rehabilitation, it is also desirable to be compatible with combination of assistive devices such as muscle stimulation, neural activity (BMI) and body balance (Wii), to deliver a user friendly and effective therapy. Combination of two control approaches has been employed, to improve the efficiency of the adaptive control model and was evaluated using a wearable lower limb exoskeleton device, H1. The control approaches, Hierarchical and Task based approach have been used to assist the patient as needed and simultaneously motivate the patient to pursue the therapy. Hierarchical approach facilitates combination of multiple devices to deliver an effective therapy by categorizing the control architecture in two layers, Low level and High level control. Task-based approaches engage in each task individually and allow the possibility to combine them at any point of time. It is also necessary to provide an interaction based approach to ensure the complete involvement of the user and for an effective therapy. By means of this dissertation, a task based adaptive control is proposed, in function of human-orthosis interaction, which is applied on a hierarchical control scheme. This control scheme is employed in a wearable robot, with the intention to be applied or accommodated to different pathologies, with its adaptive capabilities. The adaptive control model for gait assistance provides a comprehensive solution through a single implementation: Adaptation inside a gait cycle, continuous support through gait training and in real time. The performance of this control model has been evaluated with healthy subjects, as a preliminary study, and with paraplegic patients. Results of the healthy subjects showed a significant change in the pattern of the interaction torques, elucidating a change in the effort and adaptation to the user movement. In case of patients, the adaptation showed a significant improvement in the joint performance (flexion/extension range) and change in interaction torques. The change in interaction torques (positive to negative) reflects the active participation of the patient, which also explained the adaptive performance. The patients also reported that the movement of the exoskeleton is flexible and the walking patterns were similar to their own distinct patterns. The presented work is performed as part of the project HYPER, funded by Ministerio de Ciencia y Innovación, Spain. (CSD2009 - 00067 CONSOLIDER INGENIOLas terapias de rehabilitación robóticas han sido mejoradas gracias a la inclusión de la asistencia bajo demanda, adaptada a las variaciones de las necesidades del paciente, así como a la inclusión de la ayuda al terapeuta en la elección del procedimiento necesario. Esta tesis presenta una estrategia adaptativa de asistencia bajo demanda, la cual se ajusta a las necesidades específicas del paciente junto a las aportaciones del terapeuta siempre que sea necesario. El esfuerzo del comportamiento asistencial y receptivo del robot personal portátil para extremidades inferiores está dedicado a la rehabilitación de pacientes con lesión de la médula espinal (LME) incompleta. El objetivo principal es proponer y evaluar un modelo de control adaptativo en un robot portátil, ayudando al usuario y cumpliendo con sus necesidades, en ausencia o con reducción de dispositivos externos. La adaptación debe ser más interactiva para entender las necesidades del usuario y sus intenciones u órdenes volitivas. De modo similar, usando la fuerza muscular existente (en pacientes con LME incompleta) como motivación para lograr el movimiento y asistirles solo cuando sea necesario. El comportamiento adaptativo del robot portátil se propone mediante la monitorización de la interacción y movimiento del usuario. Esta adaptación conjunta se consigue modulando la rigidez en función de los parámetros de la articulación, tales como posiciones y pares de torsión. Dichos parámetros se miden del usuario de forma independiente y posteriormente se usan para actualizar el nuevo valor de la rigidez. El desempeño del algoritmo adaptativo no requiere de sensores externos, lo que favorece la simplicidad de su uso. Para una adecuada rehabilitación, efectiva y accesible para el usuario, es necesaria la compatibilidad con diversos mecanismos de asistencia tales como estimulación muscular, actividad neuronal y equilibrio corporal. Para mejorar la eficiencia del modelo de control adaptativo se ha empleado una combinación de dos enfoques de control, y para su evaluación se ha utilizado un exoesqueleto robótico H1. Los enfoques de control Jerárquico y de Tarea se han utilizado para ayudar al usuario según sea necesario, y al mismo tiempo motivarle para continuar el tratamiento. Enfoque jerárquico facilita la combinación de múltiples dispositivos para ofrecer un tratamiento eficaz mediante la categorización de la arquitectura de control en dos niveles : el control de bajo nivel y de alto nivel. Los enfoques basados en tareas involucran a la persona en cada tarea individual, y ofrecen la posibilidad de combinarlas en cualquier momento. También es necesario proporcionar un enfoque basado en la interacción con el usuario, para asegurar su participación y lograr así una terapia eficaz. Mediante esta tesis, proponemos un control adaptativo basado en tareas y en función de la interacción persona-ortesis, que se aplica en un esquema de control jerárquico. Este esquema de control se emplea en un robot portátil, con la intención de ser aplicado o acomodado a diferentes patologías, con sus capacidades de adaptación. El modelo de control adaptativo propuesto proporciona una solución integral a través de una única aplicación: adaptación dentro de la marcha y apoyo continúo a través de ejercicios de movilidad en tiempo real. El rendimiento del modelo se ha evaluado en sujetos sanos según un estudio preliminar, y posteriormente también en pacientes parapléjicos. Los resultados en sujetos sanos mostraron un cambio significativo en el patrón de los pares de interacción, elucidando un cambio en la energía y la adaptación al movimiento del usuario. En el caso de los pacientes, la adaptación mostró una mejora significativa en la actuación conjunta (rango de flexión / extensión) y el cambio en pares de interacción. El cambio activo en pares de interacción (positivo a negativo) refleja la participación activa del paciente, lo que también explica el comportamiento adaptativo

Nutzerorientierte Evaluation zweier altersgerechter Assistenzroboter zur Unterstützung von Alltagsaktivitäten („Ambient Assisted Living-Roboter“) bei älteren Menschen mit funktionellen Einschränkungen: MOBOT-Rollator und I-SUPPORT-Duschroboter

Ziel der vorliegenden Arbeit ist die nutzerorientierte Evaluation zweier Prototypen für altersgerechte Assistenzroboter zur Unterstützung von Alltagsaktivitäten („Ambient Assisted Living“ [AAL]-Roboter) bei älteren Menschen mit funktionellen Einschränkungen. Bei den Prototypen handelt es sich dabei um (1) einen robotergestützten Rollator zur Unterstützung der Mobilität (MOBOT) und (2) einen Assistenzroboter zur Unterstützung von Duschaktivitäten (I-SUPPORT). Manuskript I dokumentiert eine systematische Literaturanalyse des methodischen Vorgehens bisheriger Studien zur Evaluation robotergestützter Rollatoren aus der Nutzerperspektive. Die meisten Studien zeigen erhebliche methodische Mängel, wie unzureichende Stichprobengrößen/-beschreibungen; Teilnehmer nicht repräsentativ für die Nutzergruppe der robotergestützten Rollatoren; keine geeigneten, standardisierten und validierten Assessmentmethoden und/oder keine Inferenzstatistik. Ein generisches methodisches Vorgehen für die Evaluation robotergestützter Rollatoren konnte nicht identifiziert werden. Für die Konzeption und Durchführung zukünftiger Studien zur Evaluation robotergestützter Rollatoren, aber auch anderer AAL-Systeme werden in Manuskript I abschließend Handlungsempfehlungen formuliert. Manuskript II analysiert die Untersuchungsergebnisse der in Manuskript I identifizierten Studien. Es zeigen sich sehr heterogene Ergebnisse hinsichtlich des Mehrwerts der innovativen Assistenzfunktionen von robotergestützten Rollatoren. Im Allgemeinen werden sie jedoch als positiv von den Nutzern wahrgenommen. Die große Heterogenität und methodischen Mängel der Studien schränken die Interpretierbarkeit ihre Untersuchungsergebnisse stark ein. Insgesamt verdeutlicht Manuskript II, dass die Evidenz zur Effektivität und positiven Wahrnehmung robotergestützter Rollatoren aus der Nutzerperspektive noch unzureichend ist. Basierend auf den Erkenntnissen und Handlungsempfehlungen der systematischen Literaturanalysen aus Manuskript I und II wurden die nutzerorientierten Evaluationsstudien des MOBOT-Rollators konzipiert und durchgeführt (Manuskript III-VI). Manuskript III überprüft die Effektivität des in den MOBOT-Rollator integrierten Navigationssystems bei potentiellen Nutzern (= ältere Personen mit Gangstörungen bzw. Rollator als Gehhilfe im Alltag). Es liefert erstmals einen statistischen Nachweis dafür, dass eine solche Assistenzfunktion effektiv ist, um die Navigationsleistung der Nutzer (z. B. geringer Stoppzeit, kürzere Wegstrecke) – insbesondere derjenigen mit kognitiven Einschränkungen – in einem realitätsnahen Anwendungsszenario zu verbessern. Manuskript IV untersucht die konkurrente Validität des MOBOT-integrierten Ganganalysesystems bei potentiellen Nutzern. Im Vergleich zu einem etablierten Referenzstandard (GAITRite®-System) zeigt es eine hohe konkurrente Validität für die Erfassung zeitlicher, nicht jedoch raumbezogener Gangparameter. Diese können zwar ebenfalls mit hoher Konsistenz gemessen werden, aber lediglich mit einer begrenzten absoluten Genauigkeit. Manuskript V umfasst die nutzerorientierte Evaluation der im MOBOT-Rollator integrierten Assistenzfunktion zur Hindernisvermeidung und belegt erstmals die Effektivität einer solchen Funktionen bei potentiellen Nutzern. Unter Verwendung des für den MOBOT-Rollator neu entwickelten technischen Ansatzes für die Hindernisvermeidung zeigten die Teilnehmer signifikante Verbesserungen bei der Bewältigung eines Hindernisparcours (weniger Kollisionen und geringere Annäherungsgeschwindigkeit an die Hindernisse). Manuskript VI dokumentiert die Effektivität und Zufriedenheit mit der Aufstehhilfe des MOBOT-Rollators von potentiellen Nutzern. Es wird gezeigt, dass die Erfolgsrate für den Sitzen-Stehen-Transfer älterer Personen mit motorischen Einschränkungen durch die Aufstehhilfe signifikant verbessert werden kann. Die Ergebnisse belegen zudem eine hohe Nutzerzufriedenheit mit dieser Assistenzfunktion, insbesondere bei Personen mit höherem Body-Mass-Index. Manuskript VII untersucht die Mensch-Roboter-Interaktion zwischen dem I-SUPPORT-Duschroboter und seiner potentiellen Nutzer (= ältere Personen mit Problemen bei Baden/Duschen) und überprüft deren Effektivität sowie Zufriedenheit mit drei unterschiedlich autonomen Betriebsmodi. Die Studienergebnisse dokumentieren, dass sich mit zunehmender Kontrolle des Nutzers (= abnehmende Autonomie des Duschroboters) nicht nur die Effektivität für das Abduschen eines definierten Körperbereichs verringert, sondern auch die Nutzerzufriedenheit sinkt. Manuskript VIII umfasst die Evaluation eines spezifischen Nutzertrainings auf die gestenbasierte Mensch-Roboter-Interaktion mit dem I-SUPPORT-Duschroboter. Es wird gezeigt, dass ein solches Training die Ausführung der Gesten potentieller Nutzer und sowie die Gestenerkennungsrate des Duschroboters signifikant verbessern, was insgesamt auf eine optimierte Mensch-Roboter-Interaktion in Folge des Trainings schließen lässt. Teilnehmer mit der schlechtesten Ausgangsleistung in der Ausführung der Gesten und mit der größten Angst vor Technologien profitierten am meisten vom Nutzertraining. Insgesamt belegen die Studienergebnisse zur nutzerorientierten Evaluation des MOBOT-Rollators die Effektivität und Gültigkeit seiner innovativen Teilfunktionen. Sie weisen auf ein hohes Potential der Assistenzfunktionen (Navigationssystem, Hindernisvermeidung, Aufstehhilfe) zur Verbesserung der Mobilität älterer Menschen mit motorischen Einschränkungen hin. Vor dem Hintergrund der methodischen Mängel und unzureichenden evidenzbasierten Datenlage hierzu, liefert diese Dissertationsschrift erstmals statistische Belege für den Mehrwert solcher Teilfunktionen bei potentiellen Nutzern und leistet somit einen wichtigen Beitrag zur Schließung der bisherigen Forschungslücke hinsichtlich des nutzerorientierten Wirksamkeits- und Gültigkeitsnachweises robotergestützter Rollatoren und ihrer innovativen Teilfunktionen. Die Ergebnisse der Studien des I-SUPPORT-Duschroboters liefern wichtige Erkenntnisse hinsichtlich der Mensch-Roboter-Interaktion im höheren Alter. Sie zeigen, dass bei älteren Nutzern für eine effektive Interaktion Betriebsmodi mit einem hohen Maß an Autonomie des Duschroboters notwendig sind. Trotz ihrer eingeschränkten Kontrolle über den Roboter, waren die Nutzer mit dem autonomsten Betriebsmodus sogar am zufriedensten. Darüber hinaus unterstreichen die Ergebnisse hinsichtlich der gestenbasierten Interaktion mit dem I-SUPPORT-Duschroboter, dass zukünftige Entwicklungen von altersgerechten Assistenzrobotern mit gestenbasierter Interaktion nicht nur die Verbesserungen technischer Aspekte, sondern auch die Sicherstellung und Verbesserungen der Qualität der Nutzergesten für die Mensch-Roboter-Interaktion durch geeignete Trainings- oder Schulungsmaßnahmen berücksichtigen sollten. Das vorgestellte Nutzertraining könnte hierfür ein mögliches Modell darstellen