Classification of operator’s workload based on physiological response

People spend most of their lives at work, during which time they are exposed to mechanical and environmental conditions that can harm their health. This risk can occur in an hour- long or over long periods, even when performed at a light to moderate intensity due to cumulative fatigue. Several measures have been proposed in order to prevent or reduce fatigue-inducing repetitive work. However, these measures are essentially subjective or only measure fatigue locally. Wearables are an attractive solution to measure work-related fatigue globally and at any time. The purpose of this study is to quantify biosignals information for the determination of fatigue while performing repetitive work. Electrocardiogram (ECG), electromyography (EMG), respiratory inductance plethysmography (RIP) and Accelerometer (ACC) signals were collected from 25 healthy participants. The participants were instructed to perform a repetitive task after induced fatigue. Their biosignals were processed, and different families of features were extracted. These features were used to fit a classifier in order to evaluate fatigue. Self-Similarity Matrix (SSM) was used to select and segment the data in Baseline and Fatigue. Autocorrelation of inertial measures, respiratory synchrony, and the root mean square of the cardiovascular load features achieved 88% of accuracy. It was possible to verify that the ACC’s features lead to the best classification results, followed by the RIP, EMG and finally the ECG’s features. Multimodal data allows global classification of when a person is working after expe- riencing fatigue. Motor information contributes significantly to this classification due to compensations that occur while performing the repetitive task. More studies should be done to develop an index characterising the fatigue state.As pessoas passam a maior parte da sua vida a trabalhar. A exposição a condições mecânicas e ambientais no trabalho pode ser prejudicial à sua saúde. Este risco pode ocorrer devido à fadiga cumulativa. Lesões podem surgir tanto em curtos como em longos períodos, mesmo quando a tarefa tem uma intensidade leve a moderada. Várias medidas foram propostas para prevenir ou reduzir o trabalho repetitivo que induz fadiga, no entanto, estas medidas são essencialmente subjetivas ou apenas medem a fadiga localmente. Os wearables são uma solução interessante para medir a fadiga relacionada ao trabalho a nível global e em qualquer momento. O objetivo deste estudo foi quantificar informações de biosinais para a determinação da fadiga durante a realização de trabalhos repetitivos. Os sinais de eletrocardiograma (ECG), eletromiografia (EMG), pletismografia de indutância respiratória (RIP) e acelerómetro (ACC) foram recolhidos de 25 participantes saudáveis. Os participantes realizaram uma tarefa repetitiva onde fadiga foi provocada. Os biosinais foram processados, e diferentes famílias de métricas foram extraídas. Estas métricas foram usadas para classificar a fadiga. Recorreu-se a Matrizes de Auto-Similaridade (SSM) para selecionar e segmentar os dados em fadiga e não fadiga. A autocorrelação das medidas inerciais, a sincronia respiratória e o quadrado médio da raiz da carga cardiovascular alcançaram 88% de precisão. Foi possível verificar que as features do ACC tiveram os melhores resultados de classificação, seguindo-se do RIP, EMG e, por último, de ECG. Os dados multimodais permitiram a classificação global de quando uma pessoa está a trabalhar, após sentir fadiga. A informação motora contribui, significativamente, para esta classificação devido às compensações que ocorrem durante a realização da tarefa repetitiva. Futuro trabalho deve ser feito com fim a determinar um índice que possa caracterizar o estado de fadiga

Personal Healthcare Agents for Monitoring and Predicting Stress and Hypertension from Biosignals

We live in exciting times. The fast paced growth in mobile computers has put powerful computational devices in the palm of our hands. Blazing fast connectivity has made human-human, human-machine, and machine-machine communication effortless. Wearable devices and the internet of things have made monitoring every aspect of our lives easier. This has given rise to the domain of quantified self where we can continuous record and quantify the various signals generated in everyday life. Sensors on smartphones can continuously record our location and motion profile. Sensors on wearable devices can track changes in our bodies’ physiological responses. This monitoring also has the capability to revolutionise the health care domain by creating more informed and involved patients. This has the potential to shift care-management from a physician-centric approach to a patient-centric approach allowing individuals to create more empowered patients and individuals who are in better control of their health. However, the data deluge from all these sources can sometimes be overwhelming. There is a need for intelligent technology that can help us navigate the data and take informed decisions. The goal of this work is to develop a mobile, personal intelligent agent platform that can become a digital companion to live with the user. It can monitor the covert and overt signal streams of the user, identify activity and stress levels to help the users’ make healthy choices regarding their lives. This thesis particularly targets patients suffering from or at-risk of essential hypertension since its a difficult condition to detect and manage. This thesis delivers the following contributions: 1) An intelligent personal agent platform for on-the-go continuous monitoring of covert and overt signals. 2) A machine learning algorithm for accurate recognition of activities using smartphone signals recorded from in-the-wild scenarios. 3) A machine learning pipeline to combine various physiological signal streams, motion profiles, and user annotations for on-the-go stress recognition. 4) We design and train a complete signal processing and classification system for hypertension prediction. 5) Through a small pilot study we demonstrate that this system can distinguish between hypertensive and normotensive subjects with high accuracy

A review of biophysiological and biochemical indicators of stress for connected and preventive healthcare

Stress is a known contributor to several life-threatening medical conditions and a risk factor for triggering acute cardiovascular events, as well as a root cause of several social problems. The burden of stress is increasing globally and, with that, is the interest in developing effective stress-monitoring solutions for preventive and connected health, particularly with the help of wearable sensing technologies. The recent development of miniaturized and flexible biosensors has enabled the development of connected wearable solutions to monitor stress and intervene in time to prevent the progression of stress-induced medical conditions. This paper presents a review of the literature on different physiological and chemical indicators of stress, which are commonly used for quantitative assessment of stress, and the associated sensing technologies

Intelligent Biosignal Analysis Methods

This book describes recent efforts in improving intelligent systems for automatic biosignal analysis. It focuses on machine learning and deep learning methods used for classification of different organism states and disorders based on biomedical signals such as EEG, ECG, HRV, and others

Non-invasive fitness assessment in horses:Integrating wearables and machine learning

The field of human sports has advanced significantly with the integration of machine learning and sensors for performance analysis. However, sport horses have not benefited equally from technological advancements due to their inability to provide feedback, such as verbal expressions of fatigue or difficulty.Veterinarians and researchers traditionally interpret equine well-being through methods like verbal encouragement, facial expressions, and blood sample analysis. These methods are either subjective or invasive, causing stress and disruption during training. Accurate and reliable fitness parameter values are essential to avoid overtraining and injuries, necessitating a more effective and less intrusive approach.This PhD thesis aims to revolutionize sport horse training by using wearable inertial sensors and state-of-the-art machine learning to enhance performance and prevent injuries. The study is divided into nine chapters, each contributing to the overall goal of improving equine fitness and well-being.Each chapter begins with a literature review to identify gaps and challenges in equine fitness and performance. Inertial sensors were chosen for their ability to capture a wide range of real-time motion data. The sensors were placed on various parts of the horse’s body, including the head, neck, shoulders, back, and legs. Data were collected during various training and competition scenarios to evaluate the system's effectiveness.The results demonstrated that the system could accurately capture and analyze a broad spectrum of motion data, providing valuable insights for trainers and riders. This technology can improve fitness and prevent injuries in sport horses by offering practical tools for assessing equine fitness outside of laboratory settings.This thesis makes significant contributions to equine research by leveraging wearable sensor technology and machine learning to enhance our understanding of equine fitness, performance, and well-being. The findings are valuable not only to the scientific community but also to the broader equestrian world, promoting the welfare of sport horses and the sustainability of the equestrian industry

Human Gait Analysis using Spatiotemporal Data Obtained from Gait Videos

Mit der Entwicklung von Deep-Learning-Techniken sind Deep-acNN-basierte Methoden zum Standard für Bildverarbeitungsaufgaben geworden, wie z. B. die Verfolgung menschlicher Bewegungen und Posenschätzung, die Erkennung menschlicher Aktivitäten und die Erkennung von Gesichtern. Deep-Learning-Techniken haben den Entwurf, die Implementierung und den Einsatz komplexer und vielfältiger Anwendungen verbessert, die nun in einer Vielzahl von Bereichen, einschließlich der Biomedizintechnik, eingesetzt werden. Die Anwendung von Computer-Vision-Techniken auf die medizinische Bild- und Videoanalyse hat zu bemerkenswerten Ergebnissen bei der Erkennung von Ereignissen geführt. Die eingebaute Fähigkeit von convolutional neural network (CNN), Merkmale aus komplexen medizinischen Bildern zu extrahieren, hat in Verbindung mit der Fähigkeit von long short term memory network (LSTM), die zeitlichen Informationen zwischen Ereignissen zu erhalten, viele neue Horizonte für die medizinische Forschung geschaffen. Der Gang ist einer der kritischen physiologischen Bereiche, der viele Störungen im Zusammenhang mit Alterung und Neurodegeneration widerspiegeln kann. Eine umfassende und genaue Ganganalyse kann Einblicke in die physiologischen Bedingungen des Menschen geben. Bestehende Ganganalyseverfahren erfordern eine spezielle Umgebung, komplexe medizinische Geräte und geschultes Personal für die Erfassung der Gangdaten. Im Falle von tragbaren Systemen kann ein solches System die kognitiven Fähigkeiten beeinträchtigen und für die Patienten unangenehm sein. Außerdem wurde berichtet, dass die Patienten in der Regel versuchen, während des Labortests bessere Leistungen zu erbringen, was möglicherweise nicht ihrem tatsächlichen Gang entspricht. Trotz technologischer Fortschritte stoßen wir bei der Messung des menschlichen Gehens in klinischen und Laborumgebungen nach wie vor an Grenzen. Der Einsatz aktueller Ganganalyseverfahren ist nach wie vor teuer und zeitaufwändig und erschwert den Zugang zu Spezialgeräten und Fachwissen. Daher ist es zwingend erforderlich, über Methoden zu verfügen, die langfristige Daten über den Gesundheitszustand des Patienten liefern, ohne doppelte kognitive Aufgaben oder Unannehmlichkeiten bei der Verwendung tragbarer Sensoren. In dieser Arbeit wird daher eine einfache, leicht zu implementierende und kostengünstige Methode zur Erfassung von Gangdaten vorgeschlagen. Diese Methode basiert auf der Aufnahme von Gehvideos mit einer Smartphone-Kamera in einer häuslichen Umgebung unter freien Bedingungen. Deep neural network (NN) verarbeitet dann diese Videos, um die Gangereignisse zu extrahieren. Die erkannten Ereignisse werden dann weiter verwendet, um verschiedene räumlich-zeitliche Parameter des Gangs zu quantifizieren, die für jedes Ganganalysesystem wichtig sind. In dieser Arbeit wurden Gangvideos verwendet, die mit einer Smartphone-Kamera mit geringer Auflösung außerhalb der Laborumgebung aufgenommen wurden. Viele Deep- Learning-basierte NNs wurden implementiert, um die grundlegenden Gangereignisse wie die Fußposition in Bezug auf den Boden aus diesen Videos zu erkennen. In der ersten Studie wurde die Architektur von AlexNet verwendet, um das Modell anhand von Gehvideos und öffentlich verfügbaren Datensätzen von Grund auf zu trainieren. Mit diesem Modell wurde eine Gesamtgenauigkeit von 74% erreicht. Im nächsten Schritt wurde jedoch die LSTM-Schicht in dieselbe Architektur integriert. Die eingebaute Fähigkeit von LSTM in Bezug auf die zeitliche Information führte zu einer verbesserten Vorhersage der Etiketten für die Fußposition, und es wurde eine Genauigkeit von 91% erreicht. Allerdings gibt es Schwierigkeiten bei der Vorhersage der richtigen Bezeichnungen in der letzten Phase des Schwungs und der Standphase jedes Fußes. Im nächsten Schritt wird das Transfer-Lernen eingesetzt, um die Vorteile von bereits trainierten tiefen NNs zu nutzen, indem vortrainierte Gewichte verwendet werden. Zwei bekannte Modelle, inceptionresnetv2 (IRNV-2) und densenet201 (DN-201), wurden mit ihren gelernten Gewichten für das erneute Training des NN auf neuen Daten verwendet. Das auf Transfer-Lernen basierende vortrainierte NN verbesserte die Vorhersage von Kennzeichnungen für verschiedene Fußpositionen. Es reduzierte insbesondere die Schwankungen in den Vorhersagen in der letzten Phase des Gangschwungs und der Standphase. Bei der Vorhersage der Klassenbezeichnungen der Testdaten wurde eine Genauigkeit von 94% erreicht. Da die Abweichung bei der Vorhersage des wahren Labels hauptsächlich ein Bild betrug, konnte sie bei einer Bildrate von 30 Bildern pro Sekunde ignoriert werden. Die vorhergesagten Markierungen wurden verwendet, um verschiedene räumlich-zeitliche Parameter des Gangs zu extrahieren, die für jedes Ganganalysesystem entscheidend sind. Insgesamt wurden 12 Gangparameter quantifiziert und mit der durch Beobachtungsmethoden gewonnenen Grundwahrheit verglichen. Die NN-basierten räumlich-zeitlichen Parameter zeigten eine hohe Korrelation mit der Grundwahrheit, und in einigen Fällen wurde eine sehr hohe Korrelation erzielt. Die Ergebnisse belegen die Nützlichkeit der vorgeschlagenen Methode. DerWert des Parameters über die Zeit ergab eine Zeitreihe, eine langfristige Darstellung des Ganges. Diese Zeitreihe konnte mit verschiedenen mathematischen Methoden weiter analysiert werden. Als dritter Beitrag in dieser Dissertation wurden Verbesserungen an den bestehenden mathematischen Methoden der Zeitreihenanalyse von zeitlichen Gangdaten vorgeschlagen. Zu diesem Zweck werden zwei Verfeinerungen bestehender entropiebasierter Methoden zur Analyse von Schrittintervall-Zeitreihen vorgeschlagen. Diese Verfeinerungen wurden an Schrittintervall-Zeitseriendaten von normalen und neurodegenerativen Erkrankungen validiert, die aus der öffentlich zugänglichen Datenbank PhysioNet heruntergeladen wurden. Die Ergebnisse zeigten, dass die von uns vorgeschlagene Methode eine klare Trennung zwischen gesunden und kranken Gruppen ermöglicht. In Zukunft könnten fortschrittliche medizinische Unterstützungssysteme, die künstliche Intelligenz nutzen und von den hier vorgestellten Methoden abgeleitet sind, Ärzte bei der Diagnose und langfristigen Überwachung des Gangs von Patienten unterstützen und so die klinische Arbeitsbelastung verringern und die Patientensicherheit verbessern