Deep Learning Based Abnormal Gait Classification System Study with Heterogeneous Sensor Network

Gait is one of the important biological characteristics of the human body. Abnormal gait is mostly related to the lesion site and has been demonstrated to play a guiding role in clinical research such as medical diagnosis and disease prevention. In order to promote the research of automatic gait pattern recognition, this paper introduces the research status of abnormal gait recognition and systems analysis of the common gait recognition technologies. Based on this, two gait information extraction methods, sensor-based and vision-based, are studied, including wearable system design and deep neural network-based algorithm design. In the sensor-based study, we proposed a lower limb data acquisition system. The experiment was designed to collect acceleration signals and sEMG signals under normal and pathological gaits. Specifically, wearable hardware-based on MSP430 and upper computer software based on Labview is designed. The hardware system consists of EMG foot ring, high-precision IMU and pressure-sensitive intelligent insole. Data of 15 healthy persons and 15 hemiplegic patients during walking were collected. The classification of gait was carried out based on sEMG and the average accuracy rate can reach 92.8% for CNN. For IMU signals five kinds of abnormal gait are trained based on three models: BPNN, LSTM, and CNN. The experimental results show that the system combined with the neural network can classify different pathological gaits well, and the average accuracy rate of the six-classifications task can reach 93%. In vision-based research, by using human keypoint detection technology, we obtain the precise location of the key points through the fusion of thermal mapping and offset, thus extracts the space-time information of the key points. However, the results show that even the state-of-the-art is not good enough for replacing IMU in gait analysis and classification. The good news is the rhythm wave can be observed within 2 m, which proves that the temporal and spatial information of the key points extracted is highly correlated with the acceleration information collected by IMU, which paved the way for the visual-based abnormal gait classification algorithm.步态指人走路时表现出来的姿态，是人体重要生物特征之一。异常步态多与病变部位有关，作为反映人体健康状况和行为能力的重要特征，其被论证在医疗诊断、疾病预防等临床研究中具有指导作用。为了促进步态模式自动识别的研究，本文介绍了异常步态识别的研究现状，系统地分析了常见步态识别技术以及算法，以此为基础研究了基于传感器与基于视觉两种步态信息提取方法，内容包括可穿戴系统设计与基于深度神经网络的算法设计。 在基于传感器的研究中，本工作开发了下肢步态信息采集系统，并利用该信息采集系统设计实验，采集正常与不同病理步态下的加速度信号与肌电信号，搭建深度神经网络完成分类任务。具体的，在系统搭建部分设计了基于MSP430的可穿戴硬件设备以及基于Labview的上位机软件，该硬件系统由肌电脚环，高精度IMU以及压感智能鞋垫组成，该上位机软件接收、解包蓝牙数据并计算出步频步长等常用步态参数。 在基于运动信号与基于表面肌电的研究中，采集了15名健康人与15名偏瘫病人的步态数据，并针对表面肌电信号训练卷积神经网络进行帕金森步态的识别与分类，平均准确率可达92.8%。针对运动信号训练了反向传播神经网络，LSTM以及卷积神经网络三种模型进行五种异常步态的分类任务。实验结果表明，本工作中步态信息采集系统结合神经网络模型，可以很好地对不同病理步态进行分类，六分类平均正确率可达93%。 在基于视觉的研究中，本文利用人体关键点检测技术，首先检测出图片中的一个或多个人，接着对边界框做图像分割，接着采用全卷积resnet对每一个边界框中的人物的主要关节点做热力图并分析偏移量，最后通过热力图与偏移的融合得到关键点的精确定位。通过该算法提取了不同步态下姿态关键点时空信息，为基于视觉的步态分析系统提供了基础条件。但实验结果表明目前最高准确率的人体关键点检测算法不足以替代IMU实现步态分析与分类。但在2m之内可以观察到节律信息，证明了所提取的关键点时空信息与IMU采集的加速度信息呈现较高相关度，为基于视觉的异常步态分类算法铺平了道路

Human Gait Model Development for Objective Analysis of Pre/Post Gait Characteristics Following Lumbar Spine Surgery

Although multiple advanced tools and methods are available for gait analysis, the gait and its related disorders are usually assessed by visual inspection in the clinical environment. This thesis aims to introduce a gait analysis system that provides an objective method for gait evaluation in clinics and overcomes the limitations of the current gait analysis systems. Early identification of foot drop, a common gait disorder, would become possible using the proposed methodology

Evaluation of home-based rehabilitation sensing systems with respect to standardised clinical tests

With increased demand for tele-rehabilitation, many autonomous home-based rehabilitation systems have appeared recently. Many of these systems, however, suffer from lack of patient acceptance and engagement or fail to provide satisfactory accuracy; both are needed for appropriate diagnostics. This paper first provides a detailed discussion of current sensor-based home-based rehabilitation systems with respect to four recently established criteria for wide acceptance and long engagement. A methodological procedure is then proposed for the evaluation of accuracy of portable sensing home-based rehabilitation systems, in line with medically-approved tests and recommendations. For experiments, we deploy an in-house low-cost sensing system meeting the four criteria of acceptance to demonstrate the effectiveness of the proposed evaluation methodology. We observe that the deployed sensor system has limitations in sensing fast movement. Indicators of enhanced motivation and engagement are recorded through the questionnaire responses with more than 83% of the respondents supporting the system’s motivation and engagement enhancement. The evaluation results demonstrate that the deployed system is fit for purpose with statistically significant ( ϱc>0.99 , R2>0.94 , ICC>0.96 ) and unbiased correlation to the golden standard

Development of an exoskeleton model in a neurorehabilittion perspective

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2017A locomoção é uma tarefa de grande importância na vida das pessoas. Ainda que pareça uma tarefa simples, andar é um exercício complexo que envolve controlo nervoso a fim de ativar os músculos e criar um movimento coordenado. Embora exista variabilidade natural nos padrões de marcha de indivíduos saudáveis, é possível definir um padrão “normal”. O mínimo distúrbio a nível neuromuscular que afete a marcha de um individuo resulta na perturbação da qualidade de vida do mesmo, podendo mesmo condicionar a sua independência. Paralisia Cerebral, Esclerose Lateral Amiotrófica e Parkinson são algumas das doenças que podem afetar o padrão normal da marcha. Outra condição que pode desencadear alterações é o Acidente Vascular Cerebral (AVC), de acordo com a com a Organização Mundial de Saúde, cerca de 15 milhões de pessoas em cada ano sofrem um AVC, das quais 50% sofrem alterações da marcha não permanentes. Cada uma das condições mencionadas provoca alterações diferentes à marcha normal permitindo a definição de padrões de marcha de acordo com a condição que os afeta. Por norma, o tratamento mais utilizado para distúrbios da marcha é reabilitação motora que consiste na realização repetida de exercícios que permitem a estimulação dos músculos de forma a que voltem a estar ativos. Ao longo do tempo as técnicas de reabilitação motora foram evoluindo e recentemente a engenharia uniu-se à medicina para originar uma nova área: a Reabilitação Robótica. Esta área faz uso de tecnologias robóticas com o objetivo de proporcionar um tratamento mais personalizado e adequado a cada paciente, beneficiando assim quer o paciente, quer os terapeutas. Embora ainda esteja em crescimento, esta área tem já demonstrado um grande potencial. O Exoesqueleto é um dispositivo robótico que começou por ser usado em fins militares de forma a aumentar a capacidade que cada soldado carrega, é agora bastante utilizado na Reabilitação Robótica. Este dispositivo estimula o paciente a andar e vai apoiando conforme necessário, respondendo ao paradigma ajudar tanto quanto necessário, ou seja, o dispositivo ajuda o paciente a caminhar, dando-lhe apenas o impulso necessário para que este consiga prosseguir, tendo como objetivo final deixar de ser necessário enviar este impulso. Este procedimento é determinado pela estrutura de controlo do exosqueleto que consiste na estratégia que rege e define o comportamento do dispositivo robótico de acordo com a informação que os sensores do mesmo lhe fornecem. Por exemplo, existem controlos de posição, em que o exosqueleto conhece uma trajetória de padrão normal e ajusta a posição do paciente mediante a diferença que deteta entre a posição dita atual e a posição de referência. A estratégia de controlo desempenha também um papel muito importante no âmbito da Reabilitação Robótica, é claro que os pacientes beneficiam de terapias o mais personalizadas possível, no entanto, o desenvolvimento de uma estratégia de controlo é um processo moroso e que envolve recursos. Uma possível solução para esta limitação é a simulação, que consiste na imitação de um processo ou sistema do mundo real em função do tempo, sendo usado para processos de otimização, testes, treinos e engenharia de segurança. Tendo isto em conta, simulação seria uma forma rápida e económica de estudar novas estratégias de controlo ou até otimizar já existentes. O objetivo deste trabalho consistiu em desenvolver um modelo capaz de realizar simulações de um exosqueleto, mais especificamente do exosqueleto H1, desenvolvido ao abrigo do projeto HYPER. Este modelo foi desenvolvido em OpenSim, um simulador de uso livre desenvolvido pelo National Center for Simulation in Rehabilitation Research (NCSRR), Stanford University, USA. Este simulador é usado maioritariamente para projetos na área da biomecânica com especial enfoque para o estudo do comportamento de sistemas músculo-esqueléticos. Primeiramente, foi efetuado um estudo intensivo sobre padrões de marcha, de forma a perceber quais as condições que podem afetar a marcha de um individuo. Este estudo apresenta a definição de alguns padrões de marcha como: (1) Padrão Normal, (2) Padrão Hemiplégico, causado por AVC, (3) Padrão Diplégico, causado por Paralisia Cerebral, (4)Padrão Neuropático, causado por Esclerose Lateral Amiotrófica, (5) Padrão Miotrófico, causado por Distrofia Muscular, (6)Padrão Parkinsoniano, causado pela doença de Parkinson. Além disto, foi realizada uma pesquisa bibliográfica de forma a conhecer o estado da arte das estratégias de controlo usadas na área de Reabilitation Robótica. Conhecer as características de um padrão de marcha, bem como dos controladores existentes é importante na medida em pode ser interessante desenvolver estratégias de controlo de acordo com o padrão de marcha ou pelo menos conhecer que padrões se devem ajustar para uma terapia mais eficaz de acordo com a condição que afeta o paciente. A construção deste modelo iniciou-se no SolidWorks, um software de desenho assistido por computador, onde o sistema foi modelado de acordo com as propriedades físicas do H1, seguindo-se modelação por código em XML. Após a construção, o modelo foi validado. Para efetuar esta validação foram efetuadas provas estáticas e em movimento com o exosqueleto, tendo sido recolhidos os seguintes dados: ângulos e momento de cada articulação. Os momentos recolhidos nestas provas foram depois comparados com os momentos calculados com a ferramenta Inverse Dynamics do OpenSim, que usou como dados de entrada os ângulos de cada articulação. O modelo construído, denominado Exoskeleton, foi depois integrado num novo modelo em conjunto com um modelo já disponível na base de dados OpenSim, o 3DGait2392. A junção destes modelos deu origem ao ExoBody, um modelo que permite estudar a interação entre o dispositivo robótico e o paciente. Apesar de este modelo não ter passado por um processo de validação análogo ao do Exoskeleton, foi usado para um pequeno estudo de marcha onde se comparou a marcha de um individuo saudável com um paciente de AVC com e sem o uso do exosqueleto. Para a realização deste estudo foram utilizados data sets disponíveis online na base de dados OpenSim, estando já preparados para ser usados como dados de entrada das ferramentas Inverse Kinemaitcs e Inverse Dynamics. A Inverse Kynematics é uma ferramente que calcula para cada instante de tempo a posição do modelo que melhor corresponde à posição experimental, sendo esta determinada por marcadores por norma colocados na pele do individuo em estudo. A Inverse Dynamics, por sua vez, determina as forças generalizadas responsáveis por um determinado movimento em cada articulação. Ambos os modelos construídos são capazes de realizar simulações no OpenSim sem gerar erros de sistema e dentro de tempos computacionais considerados normais. Tal como esperado, a comparação entre os dados experimentais e os dados simulados referentes ao modelo Exoskeleton foram concordantes e por isso o modelo foi validado com sucesso. Considerando o ExoBody model, os resultados apresentados evidenciam diferenças entre os padrões de marcha e também é possível verificar diferenças aquando do uso do exosqueleto ou sem o mesmo. Posto isto, é possível concluir que os objetivos deste trabalho foram alcançados com sucesso uma vez que se desenvolveu o modelo que permite a simulação do exosqueleto bem como a sua personalização, adição de componentes como atuadores ou controladores. É importante referir que o modelo Exoskeleton tem algumas limitações, nomeadamente referentes ao design do mesmo que poderá ser melhorado. Partindo deste trabalho, novos desafios podem ser enfrentados na perspetiva de continuar a melhorar e abrir horizontes na Reabilitação Robótica, nomeadamente, seria importante fazer uma validação do ExoBody incluindo um estudo de forças de reação.Locomotion plays a very important role in a person’s life. Although healthy individuals show natural variability in gait patterns, it is possible to define an acceptable pattern for “normal gait”. However, some pathologies as Amyotrophic Lateral Sclerosis (ALS), Spinal Cord Injury (SCI), Stroke or others can induce abnormal gait patterns that can limit the life of a person, making him/her dependent of others and consequently reducing his/hers quality of life. Robotics rehabilitation therapies are a growing solution that intends to revert or diminish the impairments in gait. The use of robotic devices, such as exoskeletons, cover some limitations of the traditional therapeutic methods, which is a great benefit for both patients and therapists. Furthermore, the application of an adequate treatment in these patients can be improved with the understanding of how the pathology affects the individual and through the development of specific solutions for each patient. Nowadays, computational dynamic simulations have great potential and help researchers to find optimal and personalized solutions for each patient. Thus, the present work describes the development of an exoskeleton model in a neurorehabilitation perspective. First of all, a detailed description of gait patterns is presented, followed by the state of the art in robotics rehabilitation, considering that this field contains very powerful solutions for gait disorders. The model was developed in OpenSim, an open source software dedicated to model musculoskeletal systems and dynamic simulations of movement. In order to verify the accuracy of the model, experimental data were collected in static and motion trials performed with the wearable robot and afterwards compared with the simulated data resultant from Inverse Dynamics, a tool from OpenSim. The Exoskeleton model was successfully validated and then integrated in a new model, named ExoBody, within a musculoskeletal model. The ExoBody model was used to perform gait analysis comparing simulations with and without the exoskeleton, revealing some differences. Even though the built models present limitations, this work represents a step-forward in human-centered rehabilitation

A Review on Accelerometry-Based Gait Analysis and Emerging Clinical Applications

Gait analysis continues to be an important technique for many clinical applications to diagnose and monitor certain diseases. Many mental and physical abnormalities cause measurable differences in a person's gait. Gait analysis has applications in sport, computer games, physical rehabilitation, clinical assessment, surveillance, human recognition, modelling, and many other fields. There are established methods using various sensors for gait analysis, of which, accelerometers are one of the most often employed. Accelerometer sensors are generally more user friendly and less invasive. In this paper, we review research regarding accelerometer sensors used for gait analysis with particular focus on clinical applications. We provide a brief introduction to accelerometer theory followed by other popular sensing technologies. The commonly used gait phases and parameters are enumerated. The details of extracting the papers for review are provided. We also review several gait analysis software. Then, we provide an extensive report of accelerometry based gait analysis systems and applications with additional emphasis on trunk accelerometry. We conclude this review with future research directions

A mechatronic leg replica to benchmark human-exoskeleton physical interactions

: Evaluating human-exoskeleton interaction typically requires experiments with human subjects, which raises safety issues and entails time-consuming testing procedures. This paper presents a mechatronic replica of a human leg, which was designed to quantify physical interaction dynamics between exoskeletons and human limbs without the need for human testing. In the first part of this work, we present the mechanical, electronic, sensory system and software solutions integrated in our leg replica prototype. In the second part, we used the leg replica to test its interaction with two types of commercially available wearable devices, i.e. an active full leg exoskeleton and a passive knee orthosis. We ran basic test examples to demonstrate the functioning and benchmarking potential of the leg replica to assess the effects of joint misalignments on force transmission. The integrated force sensors embedded in the leg replica detected higher interaction forces in the misaligned scenario in comparison to the aligned one, in both active and passive modalities. The small standard deviation of force measurements across cycles demonstrates the potential of the leg replica as a standard test method for reproducible studies of human-exoskeleton physical interaction

Smart Sensors for Healthcare and Medical Applications

This book focuses on new sensing technologies, measurement techniques, and their applications in medicine and healthcare. Specifically, the book briefly describes the potential of smart sensors in the aforementioned applications, collecting 24 articles selected and published in the Special Issue “Smart Sensors for Healthcare and Medical Applications”. We proposed this topic, being aware of the pivotal role that smart sensors can play in the improvement of healthcare services in both acute and chronic conditions as well as in prevention for a healthy life and active aging. The articles selected in this book cover a variety of topics related to the design, validation, and application of smart sensors to healthcare

Rehabilitation Engineering

Population ageing has major consequences and implications in all areas of our daily life as well as other important aspects, such as economic growth, savings, investment and consumption, labour markets, pensions, property and care from one generation to another. Additionally, health and related care, family composition and life-style, housing and migration are also affected. Given the rapid increase in the aging of the population and the further increase that is expected in the coming years, an important problem that has to be faced is the corresponding increase in chronic illness, disabilities, and loss of functional independence endemic to the elderly (WHO 2008). For this reason, novel methods of rehabilitation and care management are urgently needed. This book covers many rehabilitation support systems and robots developed for upper limbs, lower limbs as well as visually impaired condition. Other than upper limbs, the lower limb research works are also discussed like motorized foot rest for electric powered wheelchair and standing assistance device

Wearable inertial sensors for human movement analysis

Introduction: The present review aims to provide an overview of the most common uses of wearable inertial sensors in the field of clinical human movement analysis.Areas covered: Six main areas of application are analysed: gait analysis, stabilometry, instrumented clinical tests, upper body mobility assessment, daily-life activity monitoring and tremor assessment. Each area is analyzed both from a methodological and applicative point of view. The focus on the methodological approaches is meant to provide an idea of the computational complexity behind a variable/parameter/index of interest so that the reader is aware of the reliability of the approach. The focus on the application is meant to provide a practical guide for advising clinicians on how inertial sensors can help them in their clinical practice.Expert commentary: Less expensive and more easy to use than other systems used in human movement analysis, wearable sensors have evolved to the point that they can be considered ready for being part of routine clinical routine