Development of an intelligent robotic system for rehabilitation of upper limbs using a collaborative robot

Mestrado de dupla diplomação com a UTFPR - Universidade Tecnológica Federal do ParanáRehabilitation is a relevant process for the recovery from dysfunctions and improves the realisation of patient’s Activities ofDaily Living (ADLs). Therefore, the development of technologies for this field has significant importance because the improvement of the rehabilitation can affect many people. This work proposes a robotic system for the rehabilitation of the upper limbs using a collaborative robot and an intelligent control algorithm that makes the solution robust and adaptable to each patient. The UR3 from Universal Robots© was used to implement two Reinforcement Learning algorithms, the SARSA and Q-learning, applied to this rehabilitation problem. The goal of this system provides a common training force applying resistance on the movement performed by the patient. This thesis is divided into twomain parts. The first one was the development of a simulation composed by the UR3 and a human model in V-REP platformthat could be controlled through a dedicated interface or externally through the MATLAB using the self-control algorithms. This simulation was created with a graphical interface for visualisation, and a human-machine interface, to control the robotic system with RL algorithm, built onMATLAB. The results obtained with the simulation presented the expected system behaviour. The second part was the experiment of the real system with a healthy subject. The experiment was divided in two phases the first considering the training only in one axis and second in the three Cartesian axes. The used algorithms were the same as the simulation, but in this case, they were implemented in Python language. The experiment considering one axis presents satisfactory results, while for the three axes the results were not so good. The obtained results with the real system experiment for one and three axis were compared with the human armmodel proposed in other studies to validate the applied methodology. This work represents an important contribution for the field because presents a new feature to help therapists and patients to get better results in the rehabilitation process.A reabilitação é um processo relevante para a recuperação de disfunções e para uma melhor realização das Atividades de Vida Diária (AVDs) do paciente. Portanto, o desenvolvimento de tecnologias para este campo tem uma importância significativa, pois o aprimoramento da reabilitação pode afetar muitas pessoas. Este trabalho propõe um sistema robótico para a reabilitação dos membros superiores utilizando umrobô colaborativo e umalgoritmo de controle inteligente, o que torna a solução robusta e adaptável para cada paciente. O robô UR3 da Universal Robots© foi usado como base para a implementação de dois algoritmos de Reinforcement Learning (RL), o SARSA e o Q-learning, aplicados a esse problema de reabilitação. O objetivo deste sistema é fornecer umtreinamento de força comum, aplicando uma resistência ao movimento realizado pelo paciente. Basicamente, esta tese está dividida em duas partes principais. A primeira foi o desenvolvimento de uma simulação composta pelo UR3 e um modelo do corpo humano na plataforma V-REP, que pudesse ser controlado através de uma interface dedicada ou, externamente, através do MATLAB usando os algoritmos de Reinforcement Learning. Essa simulação foi criada com uma interface gráfica para visualização e uma interface homem-máquina, para controlar o sistema robótico com o algoritmo RL, construído no MATLAB. Os resultados obtidos com a simulação apresentaram o comportamento esperado do sistema. A segunda parte foi o experimento do sistema real com umindivíduo saudável. O experimento foi dividido em duas fases: a primeira considerando o treinamento apenas em um eixo e a segunda nos três eixos cartesianos. Os algoritmos utilizados foram os mesmos da simulação,mas, neste caso, foramimplementados na linguagem Python. Os resultados são apresentados quer em simulação quer com o robô real e validam a metodologia desenvolvida e aplicada. Os resultados obtidos com o experimento real do sistema para a apenas umeixo foram comparados com a simulação do modelo do braço humano proposto em outros trabalhos para validar ametodologia aplicada. Este trabalho representa uma contribuição importante para o campo da reabilitação, pois apresenta umnovo recurso para ajudar terapeutas e pacientes a obter melhores resultados no processo de reabilitação