Wearable Sensors and Machine Learning based Human Movement Analysis – Applications in Sports and Medicine

Die Analyse menschlicher Bewegung außerhalb des Labors unter realen Bedingungen ist in den letzten Jahren sowohl in sportlichen als auch in medizinischen Anwendungen zunehmend bedeutender geworden. Mobile Sensoren, welche am Körper getragen werden, haben sich in diesem Zusammenhang als wertvolle Messinstrumente etabliert. Auf Grund des Umfangs, der Komplexität, der Heterogenität und der Störanfälligkeit der Daten werden vielseitige Analysemethoden eingesetzt, um die Daten zu verarbeiten und auszuwerten. Zudem sind häufig Modellierungsansätze notwendig, da die gemessenen Größen nicht auf direktem Weg aussagekräftige biomechanische Variablen liefern. Seit wenigen Jahren haben sich hierfür Methoden des maschinellen Lernens als vielversprechende Instrumente zur Ermittlung von Zielvariablen, wie beispielsweise der Gelenkwinkel, herausgestellt. Aktuell befindet sich die Forschung an der Schnittstelle aus Biomechanik, mobiler Sensoren und maschinellem Lernen noch am Anfang. Der Bereich birgt grundsätzlich ein erhebliches Potenzial, um einerseits das Spektrum an mobilen Anwendungen im Sport, insbesondere in Sportarten mit komplexen Bewegungsanforderungen, wie beispielsweise dem Eishockey, zu erweitern. Andererseits können Methoden des maschinellen Lernens zur Abschätzung von Belastungen auf Körperstrukturen mittels mobiler Sensordaten genutzt werden. Vor allem die Anwendung mobiler Sensoren in Kombination mit Prädiktionsmodellen zur Ermittlung der Kniegelenkbelastung, wie beispielsweise der Gelenkmomente, wurde bisher nur unzureichend erforscht. Gleichwohl kommt der mobilen Erfassung von Gelenkbelastungen in der Diagnostik und Rehabilitation von Verletzungen sowie Muskel-Skelett-Erkrankungen eine zentrale Bedeutung zu. Das übergeordnete Ziel dieser Dissertation ist es, festzustellen inwieweit tragbare Sensoren und Verfahren des maschinellen Lernens zur Quantifizierung sportlicher Bewegungsmerkmale sowie zur Ermittlung der Belastung von Körperstrukturen bei der Ausführung von Alltags- und Sportbewegungen eingesetzt werden können. Die Dissertation basiert auf vier Studien, welche in internationalen Fachzeitschriften mit Peer-Review-Prozess erschienen sind. Die ersten beiden Studien konzentrieren sich zum einen auf die automatisierte Erkennung von zeitlichen Events und zum anderen auf die mobile Leistungsanalyse während des Schlittschuhlaufens im Eishockey. Die beiden weiteren Studien präsentieren jeweils einen neuartigen Ansatz zur Schätzung von Belastungen im Kniegelenk mittels künstlich neuronalen Netzen. Zwei mobile Sensoren, welche in eine Kniebandage integriert sind, dienen hierbei als Datenbasis zur Ermittlung von Kniegelenkskräften während unterschiedlicher Sportbewegungen sowie von Kniegelenksmomenten während verschiedener Lokomotionsaufgaben. Studie I zeigt eine präzise, effiziente und einfache Methode zur zeitlichen Analyse des Schlittschuhlaufens im Eishockey mittels einem am Schlittschuh befestigten Beschleunigungssensor. Die Validierung des neuartigen Ansatzes erfolgt anhand synchroner Messungen des plantaren Fußdrucks. Der mittlere Unterschied zwischen den beiden Erfassungsmethoden liegt sowohl für die Standphasendauer als auch der Gangzyklusdauer unter einer Millisekunde. Studie II zeigt das Potenzial von Beschleunigungssensoren zur Technik- und Leistungsanalyse des Schlittschuhlaufens im Eishockey. Die Ergebnisse zeigen für die Standphasendauer und Schrittintensität sowohl Unterschiede zwischen beschleunigenden Schritten und Schritten bei konstanter Geschwindigkeit als auch zwischen Teilnehmern unterschiedlichen Leistungsniveaus. Eine Korrelationsanalyse offenbart, insbesondere für die Schrittintensität, einen starken Zusammenhang mit der sportlichen Leistung des Schlittschuhlaufens im Sinne einer verkürzten Sprintzeit. Studie III präsentiert ein tragbares System zur Erfassung von Belastungen im Kniegelenk bei verschiedenen sportlichen Bewegungen auf Basis zweier mobiler Sensoren. Im Speziellen werden unterschiedliche lineare Bewegungen, Richtungswechsel und Sprünge betrachtet. Die mittels künstlich neuronalem Netz ermittelten dreidimensionalen Kniegelenkskräfte zeigen, mit Ausnahme der mediolateralen Kraftkomponente, für die meisten analysierten Bewegungen eine gute Übereinstimmung mit invers-dynamisch berechneten Referenzdaten. Die abschließende Studie IV stellt eine Erweiterung des in Studie III entwickelten tragbaren Systems zur Ermittlung von Belastungen im Kniegelenk dar. Die ambulante Beurteilung der Gelenkbelastung bei Kniearthrose steht hierbei im Fokus. Die entwickelten Prädiktionsmodelle zeigen für das Knieflexionsmoment eine gute Übereinstimmung mit invers-dynamisch berechneten Referenzdaten für den Großteil der analysierten Bewegungen. Demgegenüber ist bei der Ermittlung des Knieadduktionsmoments mittels künstlichen neuronalen Netzen Vorsicht geboten. Je nach Bewegung, kommt es zu einer schwachen bis starken Übereinstimmung zwischen der mittels Prädiktionsmodell bestimmten Belastung und dem Referenzwert. Zusammenfassend tragen die Ergebnisse von Studie I und Studie II zur sportartspezifischen Leistungsanalyse im Eishockey bei. Zukünftig können sowohl die Trainingsqualität als auch die gezielte Verbesserung sportlicher Leistung durch den Einsatz von am Körper getragener Sensoren in hohem Maße profitieren. Die methodischen Neuerungen und Erkenntnisse aus Studie III und Studie IV ebnen den Weg für die Entwicklung neuartiger Technologien im Gesundheitsbereich. Mit Blick in die Zukunft können mobile Sensoren zur intelligenten Analyse menschlicher Bewegungen sinnvoll eingesetzt werden. Die vorliegende Dissertation zeigt, dass die mobile Bewegungsanalyse zur Erleichterung der sportartspezifischen Leistungsdiagnostik unter Feldbedingungen beiträgt. Zudem zeigt die Arbeit, dass die mobile Bewegungsanalyse einen wichtigen Beitrag zur Verbesserung der Gesundheitsdiagnostik und Rehabilitation nach akuten Verletzungen oder bei chronischen muskuloskelettalen Erkrankungen leistet

Inside the brain of an elite athlete: The neural processes that support high achievement in sports

Events like the World Championships in athletics and the Olympic Games raise the public profile of competitive sports. They may also leave us wondering what sets the competitors in these events apart from those of us who simply watch. Here we attempt to link neural and cognitive processes that have been found to be important for elite performance with computational and physiological theories inspired by much simpler laboratory tasks. In this way we hope to inspire neuroscientists to consider how their basic research might help to explain sporting skill at the highest levels of performance

A Temporally Coherent Neural Algorithm for Artistic Style Transfer

Within the fields of visual effects and animation, humans have historically spent countless painstaking hours mastering the skill of drawing frame-by-frame animations. One such animation technique that has been widely used in the animation and visual effects industry is called rotoscoping and has allowed uniquely stylized animations to capture the motion of real life action sequences, however it is a very complex and time consuming process. Automating this arduous technique would free animators from performing frame by frame stylization and allow them to concentrate on their own artistic contributions. This thesis introduces a new artificial system based on an existing neural style transfer method which creates artistically stylized animations that simultaneously reproduce both the motion of the original videos that they are derived from and the unique style of a given artistic work. This system utilizes a convolutional neural network framework to extract a hierarchy of image features used for generating images that appear visually similar to a given artistic style while at the same time faithfully preserving temporal content. The use of optical flow allows the combination of style and content to be integrated directly with the apparent motion over frames of a video to produce smooth and visually appealing transitions. The implementation described in this thesis demonstrates how biologically-inspired systems such as convolutional neural networks are rapidly approaching human-level behavior in tasks that were once thought impossible for computers. Such a complex task elucidates the current and future technical and artistic capabilities of such biologically-inspired neural systems as their horizons expand exponentially. Further, this research provides unique insights into the way that humans perceive and utilize temporal information in everyday tasks. A secondary implementation that is explored in this thesis seeks to improve existing convolutional neural networks using a biological approach to the way these models adapt to their inputs. This implementation shows how these pattern recognition systems can be greatly improved by integrating recent neuroscience research into already biologically inspired systems. Such a novel hybrid activation function model replicates recent findings in the field of neuroscience and shows significant advantages over existing static activation functions

Signal processing techniques for GNSS anti-spoofing algorithms

The Global Navigation Satellite Systems (GNSS) usage is growing at a very high rate, and more applications are relying on GNSS for correct functioning. With the introduction of new GNSSs, like the European Galileo and the Chinese Beidou, in addition to the existing ones, the United States Global Positioning System (GPS) and the Russian GLONASS, the applications, accuracy of the position and usage of the signals are increasing by the day. Given that GNSS signals are received with very low power, they are prone to interference events that may reduce the usage or decrease the accuracy. From these interference, the spoofing attack is the one that has drawn major concerns in the GNSS community. A spoofing attack consist on the transmission of GNSS-like signals, with the goal of taking control of the receiver and make it compute an erroneous position and time solution. In the thesis, we focus on the design and validation of different signal processing techniques, that aim at detection and mitigation of the spoofing attack effects. These are standalone techniques, working at the receiver’s level and providing discrimination of spoofing events without the need of external hardware or communication links. Four different techniques are explored, each of them with its unique sets of advantages and disadvantages, and a unique approach to spoofing detection. For these techniques, a spoofing detection algorithm is designed and implemented, and its capabilities are validated by means of a set of datasets containing spoofing signals. The thesis focuses on two different aspects of the techniques, divided as per detection and mitigation capabilities. Both detection techniques are complementary, their joint use is explored and experimental results are shown that demonstrate the advantages. In addition, each mitigation technique is analyzed separately as they require specialized receiver architecture in order to achieve spoofing detection and mitigation. These techniques are able to decrease the effects of the spoofing attacks, to the point of removing the spoofing signal from the receiver and compute navigation solutions that are not controlled by the spoofer and lead in more accurate end results. The main contributions of this thesis are: the description of a multidimensional ratio metric test for distinction between spoofing and multipath effects; the introduction of a cross-check between automatic gain control measurements and the carrier to noise density ratio, for distinction between spoofing attacks and other interference events; the description of a novel signal processing method for detection and mitigation of spoofing effects, based on the use of linear regression algorithms; and the description of a spoofing detection algorithm based on a feedback tracking architecture