Multi-set canonical correlation analysis for 3D abnormal gait behaviour recognition based on virtual sample generation

Small sample dataset and two-dimensional (2D) approach are challenges to vision-based abnormal gait behaviour recognition (AGBR). The lack of three-dimensional (3D) structure of the human body causes 2D based methods to be limited in abnormal gait virtual sample generation (VSG). In this paper, 3D AGBR based on VSG and multi-set canonical correlation analysis (3D-AGRBMCCA) is proposed. First, the unstructured point cloud data of gait are obtained by using a structured light sensor. A 3D parametric body model is then deformed to fit the point cloud data, both in shape and posture. The features of point cloud data are then converted to a high-level structured representation of the body. The parametric body model is used for VSG based on the estimated body pose and shape data. Symmetry virtual samples, pose-perturbation virtual samples and various body-shape virtual samples with multi-views are generated to extend the training samples. The spatial-temporal features of the abnormal gait behaviour from different views, body pose and shape parameters are then extracted by convolutional neural network based Long Short-Term Memory model network. These are projected onto a uniform pattern space using deep learning based multi-set canonical correlation analysis. Experiments on four publicly available datasets show the proposed system performs well under various conditions

Deep Learning Based Abnormal Gait Classification System Study with Heterogeneous Sensor Network

Gait is one of the important biological characteristics of the human body. Abnormal gait is mostly related to the lesion site and has been demonstrated to play a guiding role in clinical research such as medical diagnosis and disease prevention. In order to promote the research of automatic gait pattern recognition, this paper introduces the research status of abnormal gait recognition and systems analysis of the common gait recognition technologies. Based on this, two gait information extraction methods, sensor-based and vision-based, are studied, including wearable system design and deep neural network-based algorithm design. In the sensor-based study, we proposed a lower limb data acquisition system. The experiment was designed to collect acceleration signals and sEMG signals under normal and pathological gaits. Specifically, wearable hardware-based on MSP430 and upper computer software based on Labview is designed. The hardware system consists of EMG foot ring, high-precision IMU and pressure-sensitive intelligent insole. Data of 15 healthy persons and 15 hemiplegic patients during walking were collected. The classification of gait was carried out based on sEMG and the average accuracy rate can reach 92.8% for CNN. For IMU signals five kinds of abnormal gait are trained based on three models: BPNN, LSTM, and CNN. The experimental results show that the system combined with the neural network can classify different pathological gaits well, and the average accuracy rate of the six-classifications task can reach 93%. In vision-based research, by using human keypoint detection technology, we obtain the precise location of the key points through the fusion of thermal mapping and offset, thus extracts the space-time information of the key points. However, the results show that even the state-of-the-art is not good enough for replacing IMU in gait analysis and classification. The good news is the rhythm wave can be observed within 2 m, which proves that the temporal and spatial information of the key points extracted is highly correlated with the acceleration information collected by IMU, which paved the way for the visual-based abnormal gait classification algorithm.步态指人走路时表现出来的姿态，是人体重要生物特征之一。异常步态多与病变部位有关，作为反映人体健康状况和行为能力的重要特征，其被论证在医疗诊断、疾病预防等临床研究中具有指导作用。为了促进步态模式自动识别的研究，本文介绍了异常步态识别的研究现状，系统地分析了常见步态识别技术以及算法，以此为基础研究了基于传感器与基于视觉两种步态信息提取方法，内容包括可穿戴系统设计与基于深度神经网络的算法设计。 在基于传感器的研究中，本工作开发了下肢步态信息采集系统，并利用该信息采集系统设计实验，采集正常与不同病理步态下的加速度信号与肌电信号，搭建深度神经网络完成分类任务。具体的，在系统搭建部分设计了基于MSP430的可穿戴硬件设备以及基于Labview的上位机软件，该硬件系统由肌电脚环，高精度IMU以及压感智能鞋垫组成，该上位机软件接收、解包蓝牙数据并计算出步频步长等常用步态参数。 在基于运动信号与基于表面肌电的研究中，采集了15名健康人与15名偏瘫病人的步态数据，并针对表面肌电信号训练卷积神经网络进行帕金森步态的识别与分类，平均准确率可达92.8%。针对运动信号训练了反向传播神经网络，LSTM以及卷积神经网络三种模型进行五种异常步态的分类任务。实验结果表明，本工作中步态信息采集系统结合神经网络模型，可以很好地对不同病理步态进行分类，六分类平均正确率可达93%。 在基于视觉的研究中，本文利用人体关键点检测技术，首先检测出图片中的一个或多个人，接着对边界框做图像分割，接着采用全卷积resnet对每一个边界框中的人物的主要关节点做热力图并分析偏移量，最后通过热力图与偏移的融合得到关键点的精确定位。通过该算法提取了不同步态下姿态关键点时空信息，为基于视觉的步态分析系统提供了基础条件。但实验结果表明目前最高准确率的人体关键点检测算法不足以替代IMU实现步态分析与分类。但在2m之内可以观察到节律信息，证明了所提取的关键点时空信息与IMU采集的加速度信息呈现较高相关度，为基于视觉的异常步态分类算法铺平了道路

Leveraging Smartphone Sensors for Detecting Abnormal Gait for Smart Wearable Mobile Technologies

Walking is one of the most common modes of terrestrial locomotion for humans. Walking is essential for humans to perform most kinds of daily activities. When a person walks, there is a pattern in it, and it is known as gait. Gait analysis is used in sports and healthcare. We can analyze this gait in different ways, like using video captured by the surveillance cameras or depth image cameras in the lab environment. It also can be recognized by wearable sensors. e.g., accelerometer, force sensors, gyroscope, flexible goniometer, magneto resistive sensors, electromagnetic tracking system, force sensors, and electromyography (EMG). Analysis through these sensors required a lab condition, or users must wear these sensors. For detecting abnormality in gait action of a human, we need to incorporate the sensors separately. We can know about one's health condition by abnormal human gait after detecting it. Understanding a regular gait vs. abnormal gait may give insights to the health condition of the subject using the smart wearable technologies. Therefore, in this paper, we proposed a way to analyze abnormal human gait through smartphone sensors. Though smart devices like smartphones and smartwatches are used by most of the person nowadays. So, we can track down their gait using sensors of these intelligent wearable devices

Single Input Single Head CNN-GRU-LSTM Architecture for Recognition of Human Activities

Due to its applications for the betterment of human life, human activity recognition has attracted more researchers in the recent past. Anticipation of intension behind the motion and behaviour recognition are intensive applications for research inside human activity recognition. Gyroscope, accelerometer, and magnetometer sensors are heavily used to obtain the data in time series for every timestep. The selection of temporal features is required for the successful recognition of human motion primitives. Different data pre-processing and feature extraction techniques were used in most past approaches with the constraint of sufficient domain knowledge. These approaches are heavily dependent on the quality of handcrafted features and are also time-consuming and not generalized. In this paper, a single head deep neural network-based approach with the combination of a convolutional neural network, Gated recurrent unit, and Long Short Term memory is proposed. The raw data from wearable sensors are used with minimum pre-processing steps and without the involvement of any feature extraction method. 93.48 % and 98.51% accuracy are obtained on UCI-HAR and WISDM datasets. This single-head deep neural network-based model shows higher classification performance over other architectures under deep neural networks

Intelligent signal processing for digital healthcare monitoring

Ein gesunder Gang ist ein komplexer Prozess und erfordert ein Gleichgewicht zwischen verschiedenen neurophysiologischen Systemen im Körper und gilt als wesentlicher Indikator für den physischen und kognitiven Gesundheitszustand einer Person. Folglich würden Anwendungen im Bereich der Bioinformatik und des Gesundheitswesens erheblich von den Informationen profitieren, die sich aus einer längeren oder ständigen Überwachung des Gangs, der Gewohnheiten und des Verhaltens von Personen unter ihren natürlichen Lebensbedingungen und bei ihren täglichen Aktivitäten mit Hilfe intelligenter Geräte ergeben. Vergleicht man Trägheitsmess- und stationäre Sensorsysteme, so bieten erstere hervorragende Möglichkeiten für Ganganalyseanwendungen und bieten mehrere Vorteile wie geringe Größe, niedriger Preis, Mobilität und sind leicht in tragbare Systeme zu integrieren. Die zweiten gelten als der Goldstandard, sind aber teuer und für Messungen im Freien ungeeignet. Diese Arbeit konzentriert sich auf die Verbesserung der Zeit und Qualität der Gangrehabilitation nach einer Operation unter Verwendung von Inertialmessgeräten, indem sie eine neuartige Metrik zur objektiven Bewertung des Fortschritts der Gangrehabilitation in realen Umgebungen liefert und die Anzahl der verwendeten Sensoren für praktische, reale Szenarien reduziert. Daher wurden die experimentellen Messungen für eine solche Analyse in einer stark kontrollierten Umgebung durchgeführt, um die Datenqualität zu gewährleisten. In dieser Arbeit wird eine neue Gangmetrik vorgestellt, die den Rehabilitationsfortschritt anhand kinematischer Gangdaten von Aktivitäten in Innen- und Außenbereichen quantifiziert und verfolgt. In dieser Arbeit wird untersucht, wie Signalverarbeitung und maschinelles Lernen formuliert und genutzt werden können, um robuste Methoden zur Bewältigung von Herausforderungen im realen Leben zu entwickeln. Es wird gezeigt, dass der vorgeschlagene Ansatz personalisiert werden kann, um den Fortschritt der Gangrehabilitation zu verfolgen. Ein weiteres Thema dieser Arbeit ist die erfolgreiche Anwendung von Methoden des maschinellen Lernens auf die Ganganalyse aufgrund der großen Datenmenge, die von den tragbaren Sensorsystemen erzeugt wird. In dieser Arbeit wird das neuartige Konzept des ``digitalen Zwillings'' vorgestellt, das die Anzahl der verwendeten Wearable-Sensoren in einem System oder im Falle eines Sensorausfalls reduziert. Die Evaluierung der vorgeschlagenen Metrik mit gesunden Teilnehmern und Patienten unter Verwendung statistischer Signalverarbeitungs- und maschineller Lernmethoden hat gezeigt, dass die Einbeziehung der extrahierten Signalmerkmale in realen Szenarien robust ist, insbesondere für das Szenario mit Rehabilitations-Gehübungen in Innenräumen. Die Methodik wurde auch in einer klinischen Studie evaluiert und lieferte eine gute Leistung bei der Überwachung des Rehabilitationsfortschritts verschiedener Patienten. In dieser Arbeit wird ein Prototyp einer mobilen Anwendung zur objektiven Bewertung des Rehabilitationsfortschritts in realen Umgebungen vorgestellt