Wearable Sensors and Machine Learning based Human Movement Analysis – Applications in Sports and Medicine

Die Analyse menschlicher Bewegung außerhalb des Labors unter realen Bedingungen ist in den letzten Jahren sowohl in sportlichen als auch in medizinischen Anwendungen zunehmend bedeutender geworden. Mobile Sensoren, welche am Körper getragen werden, haben sich in diesem Zusammenhang als wertvolle Messinstrumente etabliert. Auf Grund des Umfangs, der Komplexität, der Heterogenität und der Störanfälligkeit der Daten werden vielseitige Analysemethoden eingesetzt, um die Daten zu verarbeiten und auszuwerten. Zudem sind häufig Modellierungsansätze notwendig, da die gemessenen Größen nicht auf direktem Weg aussagekräftige biomechanische Variablen liefern. Seit wenigen Jahren haben sich hierfür Methoden des maschinellen Lernens als vielversprechende Instrumente zur Ermittlung von Zielvariablen, wie beispielsweise der Gelenkwinkel, herausgestellt. Aktuell befindet sich die Forschung an der Schnittstelle aus Biomechanik, mobiler Sensoren und maschinellem Lernen noch am Anfang. Der Bereich birgt grundsätzlich ein erhebliches Potenzial, um einerseits das Spektrum an mobilen Anwendungen im Sport, insbesondere in Sportarten mit komplexen Bewegungsanforderungen, wie beispielsweise dem Eishockey, zu erweitern. Andererseits können Methoden des maschinellen Lernens zur Abschätzung von Belastungen auf Körperstrukturen mittels mobiler Sensordaten genutzt werden. Vor allem die Anwendung mobiler Sensoren in Kombination mit Prädiktionsmodellen zur Ermittlung der Kniegelenkbelastung, wie beispielsweise der Gelenkmomente, wurde bisher nur unzureichend erforscht. Gleichwohl kommt der mobilen Erfassung von Gelenkbelastungen in der Diagnostik und Rehabilitation von Verletzungen sowie Muskel-Skelett-Erkrankungen eine zentrale Bedeutung zu. Das übergeordnete Ziel dieser Dissertation ist es, festzustellen inwieweit tragbare Sensoren und Verfahren des maschinellen Lernens zur Quantifizierung sportlicher Bewegungsmerkmale sowie zur Ermittlung der Belastung von Körperstrukturen bei der Ausführung von Alltags- und Sportbewegungen eingesetzt werden können. Die Dissertation basiert auf vier Studien, welche in internationalen Fachzeitschriften mit Peer-Review-Prozess erschienen sind. Die ersten beiden Studien konzentrieren sich zum einen auf die automatisierte Erkennung von zeitlichen Events und zum anderen auf die mobile Leistungsanalyse während des Schlittschuhlaufens im Eishockey. Die beiden weiteren Studien präsentieren jeweils einen neuartigen Ansatz zur Schätzung von Belastungen im Kniegelenk mittels künstlich neuronalen Netzen. Zwei mobile Sensoren, welche in eine Kniebandage integriert sind, dienen hierbei als Datenbasis zur Ermittlung von Kniegelenkskräften während unterschiedlicher Sportbewegungen sowie von Kniegelenksmomenten während verschiedener Lokomotionsaufgaben. Studie I zeigt eine präzise, effiziente und einfache Methode zur zeitlichen Analyse des Schlittschuhlaufens im Eishockey mittels einem am Schlittschuh befestigten Beschleunigungssensor. Die Validierung des neuartigen Ansatzes erfolgt anhand synchroner Messungen des plantaren Fußdrucks. Der mittlere Unterschied zwischen den beiden Erfassungsmethoden liegt sowohl für die Standphasendauer als auch der Gangzyklusdauer unter einer Millisekunde. Studie II zeigt das Potenzial von Beschleunigungssensoren zur Technik- und Leistungsanalyse des Schlittschuhlaufens im Eishockey. Die Ergebnisse zeigen für die Standphasendauer und Schrittintensität sowohl Unterschiede zwischen beschleunigenden Schritten und Schritten bei konstanter Geschwindigkeit als auch zwischen Teilnehmern unterschiedlichen Leistungsniveaus. Eine Korrelationsanalyse offenbart, insbesondere für die Schrittintensität, einen starken Zusammenhang mit der sportlichen Leistung des Schlittschuhlaufens im Sinne einer verkürzten Sprintzeit. Studie III präsentiert ein tragbares System zur Erfassung von Belastungen im Kniegelenk bei verschiedenen sportlichen Bewegungen auf Basis zweier mobiler Sensoren. Im Speziellen werden unterschiedliche lineare Bewegungen, Richtungswechsel und Sprünge betrachtet. Die mittels künstlich neuronalem Netz ermittelten dreidimensionalen Kniegelenkskräfte zeigen, mit Ausnahme der mediolateralen Kraftkomponente, für die meisten analysierten Bewegungen eine gute Übereinstimmung mit invers-dynamisch berechneten Referenzdaten. Die abschließende Studie IV stellt eine Erweiterung des in Studie III entwickelten tragbaren Systems zur Ermittlung von Belastungen im Kniegelenk dar. Die ambulante Beurteilung der Gelenkbelastung bei Kniearthrose steht hierbei im Fokus. Die entwickelten Prädiktionsmodelle zeigen für das Knieflexionsmoment eine gute Übereinstimmung mit invers-dynamisch berechneten Referenzdaten für den Großteil der analysierten Bewegungen. Demgegenüber ist bei der Ermittlung des Knieadduktionsmoments mittels künstlichen neuronalen Netzen Vorsicht geboten. Je nach Bewegung, kommt es zu einer schwachen bis starken Übereinstimmung zwischen der mittels Prädiktionsmodell bestimmten Belastung und dem Referenzwert. Zusammenfassend tragen die Ergebnisse von Studie I und Studie II zur sportartspezifischen Leistungsanalyse im Eishockey bei. Zukünftig können sowohl die Trainingsqualität als auch die gezielte Verbesserung sportlicher Leistung durch den Einsatz von am Körper getragener Sensoren in hohem Maße profitieren. Die methodischen Neuerungen und Erkenntnisse aus Studie III und Studie IV ebnen den Weg für die Entwicklung neuartiger Technologien im Gesundheitsbereich. Mit Blick in die Zukunft können mobile Sensoren zur intelligenten Analyse menschlicher Bewegungen sinnvoll eingesetzt werden. Die vorliegende Dissertation zeigt, dass die mobile Bewegungsanalyse zur Erleichterung der sportartspezifischen Leistungsdiagnostik unter Feldbedingungen beiträgt. Zudem zeigt die Arbeit, dass die mobile Bewegungsanalyse einen wichtigen Beitrag zur Verbesserung der Gesundheitsdiagnostik und Rehabilitation nach akuten Verletzungen oder bei chronischen muskuloskelettalen Erkrankungen leistet

Real-time human ambulation, activity, and physiological monitoring:taxonomy of issues, techniques, applications, challenges and limitations

Automated methods of real-time, unobtrusive, human ambulation, activity, and wellness monitoring and data analysis using various algorithmic techniques have been subjects of intense research. The general aim is to devise effective means of addressing the demands of assisted living, rehabilitation, and clinical observation and assessment through sensor-based monitoring. The research studies have resulted in a large amount of literature. This paper presents a holistic articulation of the research studies and offers comprehensive insights along four main axes: distribution of existing studies; monitoring device framework and sensor types; data collection, processing and analysis; and applications, limitations and challenges. The aim is to present a systematic and most complete study of literature in the area in order to identify research gaps and prioritize future research directions

Locomotion Traces Data Mining for Supporting Frail People with Cognitive Impairment

The rapid increase in the senior population is posing serious challenges to national healthcare systems. Hence, innovative tools are needed to early detect health issues, including cognitive decline. Several clinical studies show that it is possible to identify cognitive impairment based on the locomotion patterns of older people. Thus, this thesis at first focused on providing a systematic literature review of locomotion data mining systems for supporting Neuro-Degenerative Diseases (NDD) diagnosis, identifying locomotion anomaly indicators and movement patterns for discovering low-level locomotion indicators, sensor data acquisition, and processing methods, as well as NDD detection algorithms considering their pros and cons. Then, we investigated the use of sensor data and Deep Learning (DL) to recognize abnormal movement patterns in instrumented smart-homes. In order to get rid of the noise introduced by indoor constraints and activity execution, we introduced novel visual feature extraction methods for locomotion data. Our solutions rely on locomotion traces segmentation, image-based extraction of salient features from locomotion segments, and vision-based DL. Furthermore, we proposed a data augmentation strategy to increase the volume of collected data and generalize the solution to different smart-homes with different layouts. We carried out extensive experiments with a large real-world dataset acquired in a smart-home test-bed from older people, including people with cognitive diseases. Experimental comparisons show that our system outperforms state-of-the-art methods

Automatic recognition of gait patterns in human motor disorders using machine learning: A review

Background: automatic recognition of human movement is an effective strategy to assess abnormal gait patterns. Machine learning approaches are mainly applied due to their ability to work with multidimensional nonlinear features. Purpose: to compare several machine learning algorithms employed for gait pattern recognition in motor disorders using discriminant features extracted from gait dynamics. Additionally, this work highlights procedures that improve gait recognition performance. Methods: we conducted an electronic literature search on Web of Science, IEEE, and Scopus, using “human recognition”, “gait patterns’’, and “feature selection methods” as relevant keywords. Results: analysis of the literature showed that kernel principal component analysis and genetic algorithms are efficient at reducing dimensional features due to their ability to process nonlinear data and converge to global optimum. Comparative analysis of machine learning performance showed that support vector machines (SVMs) exhibited higher accuracy and proper generalization for new instances. Conclusions: automatic recognition by combining dimensional data reduction, cross-validation and normalization techniques with SVMs may offer an objective and rapid tool for investigating the subject's clinical status. Future directions comprise the real-time application of these tools to drive powered assistive devices in free-living conditions.This work was supported by the FCT - Fundação para a Ciência e Tecnologia - with the reference scholarship SFRH/BD/108309/2015, and the reference project UID/EEA/04436/2013, by FEDER funds through the COMPETE 2020 - Programa Operacional Competitividade e Internacionalização (POCI) - with the reference project POCI-01-0145-FEDER-006941. Also, this work was partially supported by grant RYC-2014-16613 by Spanish Ministry of Economy and Competitiveness

Electromyography-Based Control of Lower Limb Prostheses: A Systematic Review

Most amputations occur in lower limbs and despite improvements in prosthetic technology, no commercially available prosthetic leg uses electromyography (EMG) information as an input for control. Efforts to integrate EMG signals as part of the control strategy have increased in the last decade. In this systematic review, we summarize the research in the field of lower limb prosthetic control using EMG. Four different online databases were searched until June 2022: Web of Science, Scopus, PubMed, and Science Direct. We included articles that reported systems for controlling a prosthetic leg (with an ankle and/or knee actuator) by decoding gait intent using EMG signals alone or in combination with other sensors. A total of 1,331 papers were initially assessed and 121 were finally included in this systematic review. The literature showed that despite the burgeoning interest in research, controlling a leg prosthesis using EMG signals remains challenging. Specifically, regarding EMG signal quality and stability, electrode placement, prosthetic hardware, and control algorithms, all of which need to be more robust for everyday use. In the studies that were investigated, large variations were found between the control methodologies, type of research participant, recording protocols, assessments, and prosthetic hardware

Physical activity characterization:Does one site fit all?

Background: It is evident that a growing number of studies advocate a wrist-worn accelerometer for the assessment of patterns of physical activity a priori, yet the veracity of this site rather than any other body-mounted location for its accuracy in classifying activity is hitherto unexplored. Objective: The objective of this review was to identify the relative accuracy with which physical activities can be classified according to accelerometer site and analytical technique. Methods: A search of electronic databases was conducted using Web of Science, PubMed and Google Scholar. This review included studies written in the English language, published between database inception and December 2017, which characterized physical activities using a single accelerometer and reported the accuracy of the technique. Results: A total of 118 articles were initially retrieved. After duplicates were removed and the remaining articles screened, 32 full-text articles were reviewed, resulting in the inclusion of 19 articles that met the eligibility criteria. Conclusion: There is no 'one site fits all' approach to the selection of accelerometer site location or analytical technique. Research design and focus should always inform the most suitable location of attachment, and should be driven by the type of activity being characterized