Active Training and Assistance Device for an Individually Adaptable Strength and Coordination Training

Das Altern der Weltbevölkerung, insbesondere in der westlichen Welt, stellt die Menschheit vor eine große Herausforderung. Zu erwarten sind erhebliche Auswirkungen auf den Gesundheitssektor, der im Hinblick auf eine steigende Anzahl von Menschen mit altersbedingtem körperlichem und kognitivem Abbau und dem damit erhöhten Bedürfnis einer individuellen Versorgung vor einer großen Aufgabe steht. Insbesondere im letzten Jahrhundert wurden viele wissenschaftliche Anstrengungen unternommen, um Ursache und Entwicklung altersbedingter Erkrankungen, ihr Voranschreiten und mögliche Behandlungen, zu verstehen. Die derzeitigen Modelle zeigen, dass der entscheidende Faktor für die Entwicklung solcher Krankheiten der Mangel an sensorischen und motorischen Einflüssen ist, diese wiederum sind das Ergebnis verringerter Mobilität und immer weniger neuer Erfahrungen. Eine Vielzahl von Studien zeigt, dass erhöhte körperliche Aktivität einen positiven Effekt auf den Allgemeinzustand von älteren Erwachsenen mit leichten kognitiven Beeinträchtigungen und den Menschen in deren unmittelbarer Umgebung hat. Diese Arbeit zielt darauf ab, älteren Menschen die Möglichkeit zu bieten, eigenständig und sicher ein individuelles körperliches Training zu absolvieren. In den letzten zwei Jahrzehnten hat die Forschung im Bereich der robotischen Bewegungsassistenten, auch Smarte Rollatoren genannt, den Fokus auf die sensorische und kognitive Unterstützung für ältere und eingeschränkte Personen gesetzt. Durch zahlreiche Bemühungen entstand eine Vielzahl von Ansätzen zur Mensch-Rollator-Interaktion, alle mit dem Ziel, Bewegung und Navigation innerhalb der Umgebung zu unterstützen. Aber trotz allem sind Trainingsmöglichkeiten zur motorischen Aktivierung mittels Smarter Rollatoren noch nicht erforscht. Im Gegensatz zu manchen Smarten Rollatoren, die den Fokus auf Rehabilitationsmöglichkeiten für eine bereits fortgeschrittene Krankheit setzen, zielt diese Arbeit darauf ab, kognitive Beeinträchtigungen in einem frühen Stadium soweit wie möglich zu verlangsamen, damit die körperliche und mentale Fitness des Nutzers so lang wie möglich aufrechterhalten bleibt. Um die Idee eines solchen Trainings zu überprüfen, wurde ein Prototyp-Gerät namens RoboTrainer-Prototyp entworfen, eine mobile Roboter-Plattform, die mit einem zusätzlichen Kraft-Momente-Sensor und einem Fahrradlenker als Eingabe-Schnittstelle ausgestattet wurde. Das Training beinhaltet vordefinierte Trainingspfade mit Markierungen am Boden, entlang derer der Nutzer das Gerät navigieren soll. Der Prototyp benutzt eine Admittanzgleichung, um seine Geschwindigkeit anhand der Eingabe des Nutzers zu berechnen. Desweiteren leitet das Gerät gezielte Regelungsaktionen bzw. Verhaltensänderungen des Roboters ein, um das Training herausfordernd zu gestalten. Die Pilotstudie, die mit zehn älteren Erwachsenen mit beginnender Demenz durchgeführt wurde, zeigte eine signifikante Steigerung ihrer Interaktionsfähigkeit mit diesem Gerät. Sie bewies ebenfalls den Nutzen von Regelungsaktionen, um die Komplexität des Trainings ständig neu anzupassen. Obwohl diese Studie die Durchführbarkeit des Trainings zeigte, waren Grundfläche und mechanische Stabilität des RoboTrainer-Prototyps suboptimal. Deswegen fokussiert sich der zweite Teil dieser Arbeit darauf, ein neues Gerät zu entwerfen, um die Nachteile des Prototyps zu beheben. Neben einer erhöhten mechanischen Stabilität, ermöglicht der RoboTrainer v2 eine Anpassung seiner Grundfläche. Dieses spezifische Merkmal der Smarten Rollatoren dient vor allem dazu, die Unterstützungsfläche für den Benutzer anzupassen. Das ermöglicht einerseits ein agiles Training mit gesunden Personen und andererseits Rehabilitations-Szenarien bei Menschen, die körperliche Unterstützung benötigen. Der Regelungsansatz für den RoboTrainer v2 erweitert den Admittanzregler des Prototypen durch drei adaptive Strategien. Die erste ist die Anpassung der Sensitivität an die Eingabe des Nutzers, abhängig von der Stabilität des Nutzer-Rollater-Systems, welche Schwankungen verhindert, die dann passieren können, wenn die Hände des Nutzers versteifen. Die zweite Anpassung beinhaltet eine neuartige nicht-lineare, geschwindigkeits-basierende Änderung der Admittanz-Parameter, um die Wendigkeit des Rollators zu erhöhen. Die dritte Anpassung erfolgt vor dem eigentlichen Training in einem Parametrierungsprozess, wo nutzereigene Interaktionskräfte gemessen werden, um individuelle Reglerkonstanten fein abzustimmen und zu berechnen. Die Regelungsaktionen sind Verhaltensänderungen des Gerätes, die als Bausteine für unterstützende und herausfordernde Trainingseinheiten mit dem RoboTrainer dienen. Sie nutzen das virtuelle Kraft-Feld-Konzept, um die Bewegung des Gerätes in der Trainingsumgebung zu beeinflussen. Die Bewegung des RoboTrainers wird in der Gesamtumgebung durch globale oder, in bestimmten Teilbereichen, durch räumliche Aktionen beeinflusst. Die Regelungsaktionen erhalten die Absicht des Nutzers aufrecht, in dem sie eine unabhängige Admittanzdynamik implementieren, um deren Einfluss auf die Geschwindigkeit des RoboTrainers zu berechnen. Dies ermöglicht die entscheidende Trennung von Reglerzuständen, um während des Trainings passive und sichere Interaktionen mit dem Gerät zu erreichen. Die oben genannten Beiträge wurden getrennt ausgewertet und in zwei Studien mit jeweils 22 bzw. 13 jungen, gesunden Erwachsenen untersucht. Diese Studien ermöglichen einen umfassenden Einblick in die Zusammenhänge zwischen unterschiedlichen Funktionalitäten und deren Einfluss auf die Nutzer. Sie bestätigen den gesamten Ansatz, sowie die gemachten Vermutungen im Hinblick auf die Gestaltung einzelner Teile dieser Arbeit. Die Einzelergebnisse dieser Arbeit resultieren in einem neuartigen Forschungsgerät für physische Mensch-Roboter-Interaktionen während des Trainings mit Erwachsenen. Zukünftige Forschungen mit dem RoboTrainer ebnen den Weg für Smarte Rollatoren als Hilfe für die Gesellschaft im Hinblick auf den bevorstehenden demographischen Wandel

A new application of smart walker for quantitative analysis of human walking

International audienceThis paper presents a new nonintrusive device for everyday gait analysis and health monitoring. The system is a standard rollator equipped with encoders and inertial sensors. The assisted walking of 25 healthy elderly and 23 young adults are compared to develop walking quality index. The subjects were asked to walk on a straight trajectory and an L-shaped trajectory respectively. The walking trajectory, which is missing in other gait analysis methods, is calculated based on the encoder data. The obtained trajectory and steps are compared with the results of a motion capture system. The gait analysis results show that new index obtained by using the walker measurements, and not available otherwise, are very discriminating, e.g., the elderly have larger lateral motion and maneuver area, smaller angular velocity during turning, their walking accuracy is lower and turning ability is weaker although they have almost the same walking velocity as the young people

POMDP-based long-term user intention prediction for wheelchair navigation

This paper presents an intelligent decision-making agent to assist wheelchair users in their daily navigation activities. Several navigational techniques have been successfully developed in the past to assist with specific behaviours such as "door passing" or "corridor following". These shared control strategies normally require the user to manually select the level of assistance required during use. Recent research has seen a move towards more intelligent systems that focus on forecasting users' intentions based on current and past actions. However, these predictions have been typically limited to locations immediately surrounding the wheelchair. The key contribution of the work presented here is the ability to predict the users' intended destination at a larger scale, that of a typical office arena. The systems relies on minimal user input - obtained from a standard wheelchair joystick - in conjunction with a learned Partially Observable Markov Decision Process (POMDP), to estimate and subsequently drive the user to his destination. The projection is constantly being updated, allowing for true user-platform integration. This shifts users' focus from fine motor-skilled control to coarse control broadly intended to convey intention. Successful simulation and experimental results on a real wheelchair robot demonstrate the validity of the approach. ©2008 IEEE

Humanoid Robot Soccer Locomotion and Kick Dynamics: Open Loop Walking, Kicking and Morphing into Special Motions on the Nao Robot

Striker speed and accuracy in the RoboCup (SPL) international robot soccer league is becoming increasingly important as the level of play rises. Competition around the ball is now decided in a matter of seconds. Therefore, eliminating any wasted actions or motions is crucial when attempting to kick the ball. It is common to see a discontinuity between walking and kicking where a robot will return to an initial pose in preparation for the kick action. In this thesis we explore the removal of this behaviour by developing a transition gait that morphs the walk directly into the kick back swing pose. The solution presented here is targeted towards the use of the Aldebaran walk for the Nao robot. The solution we develop involves the design of a central pattern generator to allow for controlled steps with realtime accuracy, and a phase locked loop method to synchronise with the Aldebaran walk so that precise step length control can be activated when required. An open loop trajectory mapping approach is taken to the walk that is stabilized statically through the use of a phase varying joint holding torque technique. We also examine the basic princples of open loop walking, focussing on the commonly overlooked frontal plane motion. The act of kicking itself is explored both analytically and empirically, and solutions are provided that are versatile and powerful. Included as an appendix, the broader matter of striker behaviour (process of goal scoring) is reviewed and we present a velocity control algorithm that is very accurate and efficient in terms of speed of execution

Nutzerorientierte Evaluation zweier altersgerechter Assistenzroboter zur Unterstützung von Alltagsaktivitäten („Ambient Assisted Living-Roboter“) bei älteren Menschen mit funktionellen Einschränkungen: MOBOT-Rollator und I-SUPPORT-Duschroboter

Ziel der vorliegenden Arbeit ist die nutzerorientierte Evaluation zweier Prototypen für altersgerechte Assistenzroboter zur Unterstützung von Alltagsaktivitäten („Ambient Assisted Living“ [AAL]-Roboter) bei älteren Menschen mit funktionellen Einschränkungen. Bei den Prototypen handelt es sich dabei um (1) einen robotergestützten Rollator zur Unterstützung der Mobilität (MOBOT) und (2) einen Assistenzroboter zur Unterstützung von Duschaktivitäten (I-SUPPORT). Manuskript I dokumentiert eine systematische Literaturanalyse des methodischen Vorgehens bisheriger Studien zur Evaluation robotergestützter Rollatoren aus der Nutzerperspektive. Die meisten Studien zeigen erhebliche methodische Mängel, wie unzureichende Stichprobengrößen/-beschreibungen; Teilnehmer nicht repräsentativ für die Nutzergruppe der robotergestützten Rollatoren; keine geeigneten, standardisierten und validierten Assessmentmethoden und/oder keine Inferenzstatistik. Ein generisches methodisches Vorgehen für die Evaluation robotergestützter Rollatoren konnte nicht identifiziert werden. Für die Konzeption und Durchführung zukünftiger Studien zur Evaluation robotergestützter Rollatoren, aber auch anderer AAL-Systeme werden in Manuskript I abschließend Handlungsempfehlungen formuliert. Manuskript II analysiert die Untersuchungsergebnisse der in Manuskript I identifizierten Studien. Es zeigen sich sehr heterogene Ergebnisse hinsichtlich des Mehrwerts der innovativen Assistenzfunktionen von robotergestützten Rollatoren. Im Allgemeinen werden sie jedoch als positiv von den Nutzern wahrgenommen. Die große Heterogenität und methodischen Mängel der Studien schränken die Interpretierbarkeit ihre Untersuchungsergebnisse stark ein. Insgesamt verdeutlicht Manuskript II, dass die Evidenz zur Effektivität und positiven Wahrnehmung robotergestützter Rollatoren aus der Nutzerperspektive noch unzureichend ist. Basierend auf den Erkenntnissen und Handlungsempfehlungen der systematischen Literaturanalysen aus Manuskript I und II wurden die nutzerorientierten Evaluationsstudien des MOBOT-Rollators konzipiert und durchgeführt (Manuskript III-VI). Manuskript III überprüft die Effektivität des in den MOBOT-Rollator integrierten Navigationssystems bei potentiellen Nutzern (= ältere Personen mit Gangstörungen bzw. Rollator als Gehhilfe im Alltag). Es liefert erstmals einen statistischen Nachweis dafür, dass eine solche Assistenzfunktion effektiv ist, um die Navigationsleistung der Nutzer (z. B. geringer Stoppzeit, kürzere Wegstrecke) – insbesondere derjenigen mit kognitiven Einschränkungen – in einem realitätsnahen Anwendungsszenario zu verbessern. Manuskript IV untersucht die konkurrente Validität des MOBOT-integrierten Ganganalysesystems bei potentiellen Nutzern. Im Vergleich zu einem etablierten Referenzstandard (GAITRite®-System) zeigt es eine hohe konkurrente Validität für die Erfassung zeitlicher, nicht jedoch raumbezogener Gangparameter. Diese können zwar ebenfalls mit hoher Konsistenz gemessen werden, aber lediglich mit einer begrenzten absoluten Genauigkeit. Manuskript V umfasst die nutzerorientierte Evaluation der im MOBOT-Rollator integrierten Assistenzfunktion zur Hindernisvermeidung und belegt erstmals die Effektivität einer solchen Funktionen bei potentiellen Nutzern. Unter Verwendung des für den MOBOT-Rollator neu entwickelten technischen Ansatzes für die Hindernisvermeidung zeigten die Teilnehmer signifikante Verbesserungen bei der Bewältigung eines Hindernisparcours (weniger Kollisionen und geringere Annäherungsgeschwindigkeit an die Hindernisse). Manuskript VI dokumentiert die Effektivität und Zufriedenheit mit der Aufstehhilfe des MOBOT-Rollators von potentiellen Nutzern. Es wird gezeigt, dass die Erfolgsrate für den Sitzen-Stehen-Transfer älterer Personen mit motorischen Einschränkungen durch die Aufstehhilfe signifikant verbessert werden kann. Die Ergebnisse belegen zudem eine hohe Nutzerzufriedenheit mit dieser Assistenzfunktion, insbesondere bei Personen mit höherem Body-Mass-Index. Manuskript VII untersucht die Mensch-Roboter-Interaktion zwischen dem I-SUPPORT-Duschroboter und seiner potentiellen Nutzer (= ältere Personen mit Problemen bei Baden/Duschen) und überprüft deren Effektivität sowie Zufriedenheit mit drei unterschiedlich autonomen Betriebsmodi. Die Studienergebnisse dokumentieren, dass sich mit zunehmender Kontrolle des Nutzers (= abnehmende Autonomie des Duschroboters) nicht nur die Effektivität für das Abduschen eines definierten Körperbereichs verringert, sondern auch die Nutzerzufriedenheit sinkt. Manuskript VIII umfasst die Evaluation eines spezifischen Nutzertrainings auf die gestenbasierte Mensch-Roboter-Interaktion mit dem I-SUPPORT-Duschroboter. Es wird gezeigt, dass ein solches Training die Ausführung der Gesten potentieller Nutzer und sowie die Gestenerkennungsrate des Duschroboters signifikant verbessern, was insgesamt auf eine optimierte Mensch-Roboter-Interaktion in Folge des Trainings schließen lässt. Teilnehmer mit der schlechtesten Ausgangsleistung in der Ausführung der Gesten und mit der größten Angst vor Technologien profitierten am meisten vom Nutzertraining. Insgesamt belegen die Studienergebnisse zur nutzerorientierten Evaluation des MOBOT-Rollators die Effektivität und Gültigkeit seiner innovativen Teilfunktionen. Sie weisen auf ein hohes Potential der Assistenzfunktionen (Navigationssystem, Hindernisvermeidung, Aufstehhilfe) zur Verbesserung der Mobilität älterer Menschen mit motorischen Einschränkungen hin. Vor dem Hintergrund der methodischen Mängel und unzureichenden evidenzbasierten Datenlage hierzu, liefert diese Dissertationsschrift erstmals statistische Belege für den Mehrwert solcher Teilfunktionen bei potentiellen Nutzern und leistet somit einen wichtigen Beitrag zur Schließung der bisherigen Forschungslücke hinsichtlich des nutzerorientierten Wirksamkeits- und Gültigkeitsnachweises robotergestützter Rollatoren und ihrer innovativen Teilfunktionen. Die Ergebnisse der Studien des I-SUPPORT-Duschroboters liefern wichtige Erkenntnisse hinsichtlich der Mensch-Roboter-Interaktion im höheren Alter. Sie zeigen, dass bei älteren Nutzern für eine effektive Interaktion Betriebsmodi mit einem hohen Maß an Autonomie des Duschroboters notwendig sind. Trotz ihrer eingeschränkten Kontrolle über den Roboter, waren die Nutzer mit dem autonomsten Betriebsmodus sogar am zufriedensten. Darüber hinaus unterstreichen die Ergebnisse hinsichtlich der gestenbasierten Interaktion mit dem I-SUPPORT-Duschroboter, dass zukünftige Entwicklungen von altersgerechten Assistenzrobotern mit gestenbasierter Interaktion nicht nur die Verbesserungen technischer Aspekte, sondern auch die Sicherstellung und Verbesserungen der Qualität der Nutzergesten für die Mensch-Roboter-Interaktion durch geeignete Trainings- oder Schulungsmaßnahmen berücksichtigen sollten. Das vorgestellte Nutzertraining könnte hierfür ein mögliches Modell darstellen

Mobility design and control of personal mobility aids for the elderly

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Mechanical Engineering, 2002.Includes bibliographical references (p. 127-130).Delaying the transition of the elderly to higher level of care using assistive robotic devices could have great social and economic significance. The transition, necessitated by the degradation of physical and cognitive capability of the elderly, results in drastic increase of cost and rapid decrease of quality of life. A Personal Aid for Mobility and Health Monitoring system (PAMM) has been developed at MIT Field and Space Robotics Laboratory for the elderly living independently or in senior assisted living facilities so as to delay their transition to nursing homes. This thesis research addresses the mobility design and control issues of such devices. Eldercare environments are semi-structured, usually congested, and filled with static and/or dynamic obstacles. Developing effective mobility designs to achieve good maneuverability is a great challenge. An omni-directional mobility concept using conventional wheels has been developed independently in this research. Mobility systems based on this concept are simple, lightweight, energy efficient, and capable of operating on a range of floor surfaces. Assistive mobility devices work in shared workspace and interact directly with their users with limited physical and cognitive capabilities. The users may not be well trained, nor fully understand system. The challenge is to design an ergonomic and intuitive human machine interaction and a control system that can properly allocate control authority between the human and the machine. For this purpose, the admittance-based control methodology is used for the human machine interaction control. An adaptive shared control framework allocates control based on metrics of the demonstrated human performance has been developed.(cont.) Substantial amount of field experiments have been conducted with the actual users to validate control system design. The mobility design and control system implemented and tested on PAMM, will also be applicable to other cooperative mobile robots working in semi-structured indoor environments such as a factory or warehouse.by Haoyong Yu.Ph.D

Instrumentation and validation of a robotic cane for transportation and fall prevention in patients with affected mobility

Dissertação de mestrado integrado em Engenharia Física, (especialização em Dispositivos, Microssistemas e Nanotecnologias)O ato de andar é conhecido por ser a forma primitiva de locomoção do ser humano, sendo que este traz muitos benefícios que motivam um estilo de vida saudável e ativo. No entanto, há condições de saúde que dificultam a realização da marcha, o que por consequência pode resultar num agravamento da saúde, e adicionalmente, levar a um maior risco de quedas. Nesse sentido, o desenvolvimento de um sistema de deteção e prevenção de quedas, integrado num dispositivo auxiliar de marcha, seria essencial para reduzir estes eventos de quedas e melhorar a qualidade de vida das pessoas. Para ultrapassar estas necessidades e limitações, esta dissertação tem como objetivo validar e instrumentar uma bengala robótica, denominada Anti-fall Robotic Cane (ARCane), concebida para incorporar um sistema de deteção de quedas e um mecanismo de atuação que possibilite a prevenção de quedas, ao mesmo tempo que assiste a marcha. Para esse fim, foi realizada uma revisão do estado da arte em bengalas robóticas para adquirir um conhecimento amplo e aprofundado dos componentes, mecanismos e estratégias utilizadas, bem como os protocolos experimentais, principais resultados, limitações e desafios em dispositivos existentes. Numa primeira fase, foi estipulado o objetivo de: (i) adaptar a missão do produto; (ii) estudar as necessidades do consumidor; e (iii) atualizar as especificações alvo da ARCane, continuação do trabalho de equipa, para obter um produto com design e engenharia compatível com o mercado. Foi depois estabelecida a arquitetura de hardware e discutidos os componentes a ser instrumentados na ARCane. Em seguida foram realizados testes de interoperabilidade a fim de validar o funcionamento singular e coletivo dos componentes. Relativamente ao controlo de movimento, foi desenvolvido um sistema inovador, de baixo custo e intuitivo, capaz de detetar a intenção do movimento e de reconhecer as fases da marcha do utilizador. Esta implementação foi validada com seis voluntários saudáveis que realizaram testes de marcha com a ARCane para testar sua operabilidade num ambiente de contexto real. Obteve-se uma precisão de 97% e de 90% em relação à deteção da intenção de movimento e ao reconhecimento da fase da marcha do utilizador. Por fim, foi projetado um método de deteção de quedas e mecanismo de prevenção de quedas para futura implementação na ARCane. Foi ainda proposta uma melhoria do método de deteção de quedas, de modo a superar as limitações associadas, bem como a proposta de dispositivos de deteção a serem implementados na ARCane para obter um sistema completo de deteção de quedas.The act of walking is known to be the primitive form of the human being, and it brings many benefits that motivate a healthy and active lifestyle. However, there are health conditions that make walking difficult, which, consequently, can result in worse health and, in addition, lead to a greater risk of falls. Thus, the development of a fall detection and prevention system integrated with a walking aid would be essential to reduce these fall events and improve people quality of life. To overcome these needs and limitations, this dissertation aims to validate and instrument a cane-type robot, called Anti-fall Robotic Cane (ARCane), designed to incorporate a fall detection system and an actuation mechanism that allow the prevention of falls, while assisting the gait. Therefore, a State-of-the-Art review concerning robotic canes was carried out to acquire a broad and in-depth knowledge of the used components, mechanisms and strategies, as well as the experimental protocols, main results, limitations and challenges on existing devices. On a first stage, it was set an objective to (i) enhance the product's mission statement; (ii) study the consumer needs; and (iii) update the target specifications of the ARCane, extending teamwork, to obtain a product with a market-compatible design and engineering that meets the needs and desires of the ARCane users. It was then established the hardware architecture of the ARCane and discussed the electronic components that will instrument the control, sensory, actuator and power units, being afterwards subjected to interoperability tests to validate the singular and collective functioning of cane components altogether. Regarding the motion control of robotic canes, an innovative, cost-effective and intuitive motion control system was developed, providing user movement intention recognition, and identification of the user's gait phases. This implementation was validated with six healthy volunteers who carried out gait trials with the ARCane, in order to test its operability in a real context environment. An accuracy of 97% was achieved for user motion intention recognition and 90% for user gait phase recognition, using the proposed motion control system. Finally, it was idealized a fall detection method and fall prevention mechanism for a future implementation in the ARCane, based on methods applied to robotic canes in the literature. It was also proposed an improvement of the fall detection method in order to overcome its associated limitations, as well as detection devices to be implemented into the ARCane to achieve a complete fall detection system

Adaptive shared-control of a robotic walker to improve human-robot cooperation in gait biomechanical rehabilitation

Dissertação de mestrado integrado em Engenharia Biomédica (especialização em Eletrónica Médica)Sessões de reabilitação de pacientes com deficiências na marcha é importante para que a qualidade de vida dos mesmos seja recuperada. Quando auxiliadas por andarilhos robóticos inteligentes as sessões têm mostrado melhorias significativas, face aos resultados obtidos por métodos clássicos. O andarilho WALKit é um dos dispositivos mencionados e permite ser conduzido por parte do paciente enquanto um especialista supervisiona todo o processo de forma a evitar colisões e quedas. Este processo de supervisão é moroso e requer constante presença de um especialista para cada paciente. Nesta dissertação é proposto um controlador autónomo e inteligente capaz de partilhar a condução do andarilho pelo paciente e pelo supervisor evitando colisões com obstáculos. Para remover a necessidade constante do médico supervisor, um módulo de condução autónoma foi desenvolvido. O modo autónomo proposto usa um sensor Light Detection and Ranging e o algoritmo de Simultaneous Localization and Mapping (Cartographer) para obter mapas e a localização do andarilho. Seguidamente, os planeadores global e local , A* e Dynamic Window Approach respetivamente, traçam caminhos válidos para o destino, interpretáveis pelo andarilho. Usando o modo autónomo como especialista e as intenções do paciente, o controlador partilhado usa o algoritmo Proximal Policy Optimization, aprendendo o comportamento pretendido através de um processo de tentiva e erro, maximizando a recompensa recebida através de uma função pré-estabelecida. Uma rede neuronal com camadas convolucionais e lineares é capaz de inferir o risco enfrentado pelo sistema paciente-WALKit e determinar se o modo autónomo deve assumir controlo de forma a neutralizar o risco mencionado. Globalmente foram detetados erros inferiores a 38 cm no sistema de mapeamento e localização. Quer nos cenários de testagem do controlador autónomo, quer nos do controlador partilhado, nenhuma colisão foi registada garantindo em todas as tentativas a chegada ao destino escolhido. O modo autónomo, apesar de evitar obstáculos, não foi capaz de alcançar certos destinos não contemplados em ambientes de reabilitação. O modo partilhado mostrou também certas transições bruscas entre modo autónomo e intenção que podem comprometer a segurança do paciente. É necessário, como trabalho futuro, estabelecer métricas de validação objetivas e testar o controlador com pacientes de forma a corretamente estimar o desempenho.Rehabilitation sessions of patients with gait disabilities is important to restore quality of life. When aided by intelligent robotic walkers the sessions have shown significant improvements when compared to the results obtained by classical methods. The WALKit walker is one of the devices mentioned and allows the patient to drive it while a medical expert supervises the entire process in order to avoid collisions and falls. This supervision process takes time and requires constant presence of a medical expert for each patient. This dissertation proposes an intelligent controller capable of sharing the walker’s drivability by the patient and the supervisor, avoiding collisions with obstacles. To remove the constant need of a supervisor, an autonomous driving module was developed. The proposed autonomous mode uses a Light Detection and Ranging sensor and the Simultaneous Localization and Mapping (Cartographer ) algorithm to obtain maps and the location of the walker. Then, the global and local planners, A * and Dynamic Window Approach respectively, draw valid paths to the destination, interpretable by the walker. Using the autonomous mode as a expert and the patient’s intentions, the SC uses the Proximal Policy Optimization algorithm, learning the intended behavior through a trial and error process, maximizing the reward received through a pre-established function. One neural network with convolutional and linear layers is able to infer the risk faced by the patient-WALKit system and determine whether the autonomous mode should take control in order to neutralize the mentioned risk. Globally, errors smaller than 38 cm were detected in the mapping and localization system. In the testing scenarios of the autonomous controller and in the SC no collisions were recorded guaranteeing the arrival at the chosen destination in all attempts. The autonomous mode, despite avoiding obstacles, was not able to reach certain destinations not covered in rehabilitation environments. The shared mode has also shown certain sudden transitions between autonomous mode and intention that could compromise patient safety. It is necessary, as future work, to establish objective validation metrics and testing the controller with patients is necessary in order to correctly estimate performance

Development of Waterloo Robotic Rollator (WATRR)

One of the major risk factors for impaired mobility is aging, and with the aging population on the rise, the demand for assistive technologies for individuals with mobility impairment is at an all time high. Impaired mobility can lead to loss of independence, increased chance of mortality, deterioration of health, decreased cognitive function and a poor quality of life. Moreover, individuals with impaired mobility also tend to have higher hospital utilization costs. Mobility capability can be (re)built through the use of assistive technologies. Rollators/Walkers are a commonly used mobility aid that has shown to help with mobility by providing support, particularly transferring a portion of the lower limb loads to the upper limbs. However, safety has been a concern with rollators, with thousands of accidents occurring every year. Currently, many research projects are investigating methods to improve rollators, particularly surrounding the use of robotic rollators. At University of Waterloo Neural and Rehabilitation lab (NRE lab), our goal is to develop technology to improve lives of people, with development of robotic rollators being one of our research foci. The Waterloo Robotic Rollators (WATRR) is an active rollator system with built-in sensing and actuation systems. It is believed that the user experience and safety of rollators can be improved through the use of smart control algorithms. The purpose of this thesis was to develop methods to address safety and user experience concerns by proposing a hybrid control approach, where distance and orientation control are key control parameters, including automatic braking. First, the Waterloo Robotic Rollator (WATRR), a low weight robotic rollator platform, representative of current rollators with sensors and actuators is presented. I describe key design decisions for the platform, offer an overview of the software architecture, and discuss further research development goals. The proposed hybrid controller is then described and both simulation and experimental data for controller design is presented. To enable the envisioned hybrid control systems, a human state estimator and a robot state estimator are required. The human state estimator uses computer vision and machine learning in a hourglass network structure to predict shoulder locations. Using the estimated location and depth data, human velocity, distance and orientation relative to the rollator are estimated. For the robot state estimator, a new velocity estimator based on learning methods is proposed. As rollator lateral velocity can be difficult to estimate with traditional methods, we propose an augmented learning-aided state estimator. This estimator is a Long- Short-Term Memory (LSTM) based estimator, augmented with an Unscented Kalman Filter (UKF). The proposed estimator was validated through experimental data. The main contribution of this thesis was a new lightweight rollator system with sensors and actuators that enabled development of advanced controls. Next, previous control systems are not only improved upon by using a new hybrid controller but also implemented on our platform. A new robot state estimator is developed that relies solely on the kinematics and is able to estimate lateral velocity with a mean error of $<10mm/s$ without requiring additional instrumentation or knowledge of the rollator's time varying parameters. Finally, a new human state estimator is designed which does not require instrumentation on the human and outperforms current estimators