Noninvasive autonomic nervous system assessment in respiratory disorders and sport sciences applications

La presente tesis está centrada en el análisis no invasivo de señales cardíacas y respiratorias, con el objetivo de evaluar la actividad del sistema nervioso autónomo (ANS) en diferentes escenarios, tanto clínicos como no clínicos. El documento está estructurado en tres partes principales. La primera parte consiste en una introducción a los aspectos fisiológicos y metodológicos que serán cubiertos en el resto de la tesis. En la segunda parte, se analiza la variabilidad del ritmo cardiaco (HRV) en el contexto de enfermedades respiratorias, concretamente asma (tanto en niños como en adultos) y apnea del sueño. En la tercera parte, se estudian algunas aplicaciones novedosas del análisis de señales cardiorespiratorias en el campo de las ciencias del deporte. La primera parte está compuesta por los capítulos 1 y 2. El capítulo 1 consiste en una extensa introducción al funcionamiento del sistema nervioso autónomo y las características de las bioseñales analizadas a lo largo de la tesis. Por otro lado, se aborda la patofisiología del asma y la apnea del sueño, su relación con el funcionamiento del ANS y las estrategias de diagnóstico y tratamiento de lasmismas. El capítulo concluye con una introducción a la fisiología del ejercicio, así como al interés en la estimación del volumen tidal y del umbral anaeróbico en el campo de las ciencias del deporte.En cuanto al capítulo 2, se presenta un marco de trabajo para el análisis contextualizado de la HRV. Después de una descripción de las técnicas de evaluación y acondicionamiento de la señal de HRV, el capítulo se centra en el efecto de los latidos ectópicos, la arritmia sinusal respiratoria y la frecuencia respiratoria en el análisis de la HRV.Además, se discute el uso de un índice para la evaluación de la distribución de la potencia en los espectros de HRV, así como diferentes medidas de acoplo cardiorespiratorio.La segunda parte está compuesta por los capítulos 3, 4 y 5, todos ellos relacionados con el análisis de la HRV en enfermedades respiratorias. Mientras que los capítulos 3 y 4 están centrados en asma infantil y en adultos respectivamente, el capítulo 5 aborda la apnea del sueño. El asma es una enfermedad respiratoria crónica que aparece habitualmente acompañada por una inflamación de las vías respiratorias. Aunque afecta a personas detodas las edades, normalmente se inicia en edades tempranas, y ha llegado a constituir una de las enfermedades crónicasmás comunes durante la infancia. Sin embargo, todavía no existe un método adecuado para el diagnóstico de asma en niños pequeños. Por otro lado, el rol fundamental que desempeña el sistema nervioso parasimpático en el control del tono bronco-motor y la bronco-dilatación sugiere que la rama parasimpática del ANS podría estar implicada en la patogénesis del asma. De estemodo, en el capítulo 3 se evalúa el ANS mediante el análisis de la HRV en dos bases de datos diferentes, compuestas por niños en edad pre-escolar clasificados en función de su riesgo de desarrollar asma, o de su condición asmática actual. Los resultados del análisis revelaron un balance simpáticovagal reducido y una componente espectral de alta frecuencia más picuda en aquellos niños con un mayor riesgo de desarrollar asma. Además, la actividad parasimpática y el acoplo cardiorespiratorio se redujeron en un grupo de niños con bajo riesgo de asma al finalizar un tratamiento para bronquitis obstructiva, mientras que estos permanecieron inalterados en aquellos niños con una peor prógnosis.A diferencia de los niños pequeños, en el caso de adultos el diagnóstico de asma se realiza a través de una rutina clínica bien definida. Sin embargo, la estratificación de los pacientes en función de su grado de control de los síntomas se basa generalmente en el uso de cuestionarios auto-aplicados, que pueden tener un carácter subjetivo. Por otro lado, la evaluación de la severidad del asma requiere de una visita hospitalaria y de incómodas pruebas, que no pueden aplicarse de una forma continua en el tiempo. De este modo, en el capítulo 4 se estudia el valor de la evaluación del ANS para la estratificación de adultos asmáticos. Para ello, se emplearon diferentes características extraídas de la HRV y la respiración, junto con varios parámetros clínicos, para entrenar un conjunto de algoritmos de clasificación. La inclusión de características relacionadas con el ANS para clasificar los sujetos atendiendo a la severidad del asma derivó en resultados similares al caso de utilizar únicamente parámetros clínicos, superando el desempeño de estos últimos en algunos casos. Por lo tanto, la evaluación del ANS podría representar un potencial complemento para la mejora de la monitorización de sujetos asmáticos.En el capítulo 5, se analiza la HRV en sujetos que padecen el síndrome de apnea del sueño (SAS) y comorbididades cardíacas asociadas. El SAS se ha relacionado con un incremento de 5 veces en el riesgo de desarrollar enfermedades cardiovasculares (CVD), que podría aumentar hasta 11 veces si no se trata convenientemente. Por otro lado, una HRV alterada se ha relacionado independientemente con el SAS y con numerosos factores de riesgo para el desarrollo de CVD. De este modo, este capítulo se centra en evaluar si una actividad autónoma desbalanceada podría estar relacionada con el desarrollo de CVD en pacientes de SAS. Los resultados del análisis revelaron una dominancia simpática reducida en aquellos sujetos que padecían SAS y CVD, en comparación con aquellos sin CVD. Además, un análisis retrospectivo en una base de datos de sujetos con SAS que desarollarán CVD en el futuro también reveló una actividad simpática reducida, sugiriendo que un ANS desbalanceado podría constituir un factor de riesgo adicional para el desarrollo de CVD en pacientes de SAS.La tercera parte está formada por los capítulos 6 y 7, y está centrada en diferentes aplicaciones del análisis de señales cardiorespiratorias en el campo de las ciencias del deporte. El capítulo 6 aborda la estimación del volumen tidal (TV) a partir del electrocardiograma (ECG). A pesar de que una correcta monitorización de la actividad respiratoria es de gran interés en ciertas enfermedades respiratorias y en ciencias del deporte, la mayor parte de la actividad investigadora se ha centrado en la estimación de la frecuencia respiratoria, con sólo unos pocos estudios centrados en el TV, la mayoría de los cuales se basan en técnicas no relacionadas con el ECG. En este capítulo se propone un marco de trabajo para la estimación del TV en reposo y durante una prueba de esfuerzo en tapiz rodante utilizando únicamente parámetros derivados del ECG. Errores de estimación del 14% en la mayoría de los casos y del 6% en algunos sugieren que el TV puede estimarse a partir del ECG, incluso en condiciones no estacionarias.Por último, en el capítulo 7 se propone una metodología novedosa para la estimación del umbral anaeróbico (AT) a partir del análisis de las dinámicas de repolarización ventricular. El AT representa la frontera a partir de la cual el sistema cardiovascular limita la actividad física de resistencia, y aunque fue inicialmente concebido para la evaluación de la capacidad física de pacientes con CVD, también resulta de gran interés en el campo de las ciencias del deporte, permitiendo diseñar mejores rutinas de entrenamiento o para prevenir el sobre-entrenamiento. Sin embargo, la evaluación del AT requiere de técnicas invasivas o de dispositivos incómodos. En este capítulo, el AT fue estimado a partir del análisis de las variaciones de las dinámicas de repolarización ventricular durante una prueba de esfuerzo en cicloergómetro. Errores de estimación de 25 W, correspondientesa 1 minuto en este estudio, en un 63% de los sujetos (y menores que 50 W en un 74% de ellos) sugieren que el AT puede estimarse de manera no invasiva, utilizando únicamente registros de ECG.<br /

Autonomic nervous system biomarkers from multi-modal and model-based signal processing in mental health and illness

Esta tesis se centra en técnicas de procesado multimodal y basado en modelos de señales para derivar parámetros fisiológicos, es decir, biomarcadores, relacionados con el sistema nervioso autónomo (ANS). El desarrollo de nuevos métodos para derivar biomarcadores de ANS no invasivos en la salud y la enfermedad mental ofrece la posibilidad de mejorar la evaluación del estrés y la monitorización de la depresión. Para este fin, el presente documento se estructura en tres partes principales. En la Parte I, se proporciona unaintroducción a la salud y la enfermedad mental (Cap. 1). Además, se presenta un marco teórico para investigar la etiología de los trastornos mentales y el papel del estrés en la enfermedad mental (Cap. 2). También se destaca la importancia de los biomarcadores no invasivos para la evaluación del ANS, prestando especial atención en la depresión clínica (Cap. 3, 4). En la Parte II, se proporciona el marco metodológico para derivar biomarcadores del ANS. Las técnicas de procesado de señales incluyen el análisis conjunto de la variabilidad del rítmo cardíaco (HRV) y la señal respiratoria (Cap. 6), técnicas novedosas para derivar la señal respiratoria del electrocardiograma (ECG) (Cap. 7) y un análisis robusto que se basa en modelar la forma de ondas del pulso del fotopletismograma (PPG) (Ch. 8). En la Parte III, los biomarcadores del ANS se evalúan en la quantificacióndel estrés (Cap. 9) y en la monitorización de la depresión (Ch. 10).Parte I: La salud mental no solo está relacionada con ese estado positivo de bienestar, en el que un individuo puede enfrentar a las situaciones estresantes de la vida, sino también con la ausencia de enfermedad mental. La enfermedad o trastorno mental se puede definir como un trastorno emocional, cognitivo o conductual que causa un deterioro funcional sustancial en una o más actividades importantes de la vida. Los trastornos mentales más comunes, que muchas veces coexisten, son la ansiedad y el trastorno depresivo mayor (MDD). La enfermedad mental tiene un impacto negativo en la calidad de vida, ya que se asocia con pérdidas considerables en la salud y el funcionamiento, y aumenta ignificativamente el riesgo de una persona de padecer enfermedades ardiovasculares.Un instigador común que subyace a la comorbilidad entre el MDD, la patologíacardiovascular y la ansiedad es el estrés mental. El estrés es común en nuestra vida de rítmo rapido e influye en nuestra salud mental. A corto plazo, ANS controla la respuesta cardiovascular a estímulos estresantes. La regulación de parámetros fisiológicos, como el rítmo cardíaco, la frecuencia respiratoria y la presión arterial, permite que el organismo responda a cambios repentinos en el entorno. Sin embargo, la adaptación fisiológica a un fenómeno ambiental que ocurre regularmente altera los sistemas biológicos involucrados en la respuesta al estrés. Las alteraciones neurobiológicas en el cerebro pueden alterar lafunción del ANS. La disfunción del ANS y los cambios cerebrales estructurales tienen un impacto negativo en los procesos cognitivos, emocionales y conductuales, lo que conduce al desarrollo de una enfermedad mental.Parte II: El desarrollo de métodos novedosos para derivar biomarcadores del ANS no invasivos ofrece la posibilidad de mejorar la evaluacón del estrés en individuos sanos y la disfunción del ANS en pacientes con MDD. El análisis conjunto de varias bioseñales (enfoquemultimodal) permite la cuantificación de interacciones entre sistemas biológicos asociados con ANS, mientras que el modelado de bioseãles y el análisis posterior de los parámetros del modelo (enfoque basado en modelos) permite la cuantificación robusta de cambios en mecanismos fisiológicos relacionados con el ANS. Un método novedoso, quetiene en cuenta los fenómenos de acoplo de fase y frecuencia entre la respiración y las señales de HRV para evaluar el acoplo cardiorrespiratorio no lineal cuadrático se propone en el Cap. 6.3. En el Cap. 7 se proponen nuevas técnicas paramejorar lamonitorización de la respiración. En el Cap. 8, para aumentar la robustez de algunas medidas morfológicas que reflejan cambios en el tonno arterial, se considera el modelado del pulso PPG como una onda principal superpuesta con varias ondas reflejadas.Parte III: Los biomarcadores del ANS se evalúan en la cuantificación de diferentes tipos de estrés, ya sea fisiológico o psicológico, en individuos sanos, y luego, en la monitorización de la depresión. En presencia de estrés mental (Cap. 9.1), inducido por tareas cognitivas, los sujetos sanos muestran un incremento en la frecuencia respiratoria y un mayor número de interacciones no lineales entre la respiración y la seãl de HRV. Esto podría estar asociado con una activación simpática, pero también con una respiración menos regular. En presencia de estrés hemodinámico (Cap. 9.2), inducido por un cambio postural, los sujetos sanos muestran una reducción en el acoplo cardiorrespiratoriono lineal cuadrático, que podría estar relacionado con una retracción vagal. En presencia de estrés térmico (Cap. 9.3), inducido por la exposición a emperaturas ambientales elevadas, los sujetos sanos muestran un aumento del equilibrio simpatovagal. Esto demuestra que los biomarcadores ANS son capaces de evaluar diferentes tipos de estrés y pueden explorarse más en el contexto de la monitorización de la depresión. En el Cap. 10, se evalúan las diferencias en la función del ANS entre elMDD y los sujetos sanos durante un protocolo de estrés mental, no solo con los valores brutos de los biomarcadores del ANS, sino también con los índices de reactividad autónoma, que reflejan la capacidad deun individuo para afrontar con una situación desafiante. Los resultados muestran que la depresión se asocia con un desequilibrio autonómico, que se caracteriza por una mayor actividad simpática y una reducción de la distensibilidad arterial. Los índices de reactividad autónoma cuantificados por cambios, entre etapas de estrés y de recuperación, en los sustitutos de la rigidez arterial, como la pérdida de amplitud de PPG en las ondas reflejadas, muestran el mejor rendimiento en términos de correlación con el grado de la depresión, con un coeficiente de correlación r = −0.5. La correlación negativa implicaque un mayor grado de depresión se asocia con una disminución de la reactividadautónoma. El poder discriminativo de los biomarcadores del ANS se aprecia también por su alto rendimiento diagnóstico para clasificar a los sujetos como MDD o sanos, con una precisión de 80.0%. Por lo tanto, se puede concluir que los biomarcadores del ANS pueden usarse para evaluar el estrés y que la distensibilidad arterial deteriorada podría constituir un biomarcador de salud mental útil en el seguimiento de la depresión.This dissertation is focused on multi-modal and model-based signal processing techniques for deriving physiological parameters, i.e. biomarkers, related to the autonomic nervous system (ANS). The development of novel approaches for deriving noninvasive ANS biomarkers in mental health and illness offers the possibility to improve the assessment of stress and the monitoring of depression. For this purpose, the present document is structured in three main parts. In Part I, an introduction to mental health and illness is provided (Ch. 1). Moreover, a theoretical framework for investigating the etiology of mental disorders and the role of stress in mental illness is presented (Ch. 2). The importance of noninvasive biomarkers for ANS assessment, paying particular attention in clinical depression, is also highlighted (Ch. 3, 4). In Part II, themethodological framework for deriving ANS biomarkers is provided. Signal processing techniques include the joint analysis of heart rate variability (HRV) and respiratory signals (Ch. 6), novel techniques for deriving the respiratory signal from electrocardiogram (ECG) (Ch. 7), and a robust photoplethysmogram(PPG)waveform analysis based on amodel-based approach (Ch. 8). In Part III, ANS biomarkers are evaluated in stress assessment (Ch. 9) and in the monitoring of depression (Ch. 10). Part I:Mental health is not only related to that positive state ofwell-being, inwhich an individual can cope with the normal stresses of life, but also to the absence of mental illness. Mental illness or disorder can be defined as an emotional, cognitive, or behavioural disturbance that causes substantial functional impairment in one or more major life activities. The most common mental disorders, which are often co-occurring, are anxiety and major depressive disorder (MDD). Mental illness has a negative impact on the quality of life, since it is associated with considerable losses in health and functioning, and increases significantly a person’s risk for cardiovascular diseases. A common instigator underlying the co-morbidity between MDD, cardiovascular pathology, and anxiety is mental stress. Stress is common in our fast-paced society and strongly influences our mental health. In the short term, ANS controls the cardiovascular response to stressful stimuli. Regulation of physiological parameters, such as heart rate, respiratory rate, and blood pressure, allows the organism to respond to sudden changes in the environment. However, physiological adaptation to a regularly occurring environmental phenomenon alters biological systems involved in stress response. Neurobiological alterations in the brain can disrupt the function of the ANS. ANS dysfunction and structural brain changes have a negative impact on cognitive, emotional, and behavioral processes, thereby leading to development of mental illness. Part II: The development of novel approaches for deriving noninvasive ANS biomarkers offers the possibility to improve the assessment of stress in healthy individuals and ANS dysfunction in MDD patients. Joint analysis of various biosignals (multi-modal approach) allows for the quantification of interactions among biological systems associated with ANS, while the modeling of biosignals and subsequent analysis of the model’s parameters (model-based approach) allows for the robust quantification of changes in physiological mechanisms related to the ANS. A novel method, which takes into account both phase and frequency locking phenomena between respiration and HRV signals, for assessing quadratic nonlinear cardiorespiratory coupling is proposed in Ch. 6.3. Novel techniques for improving the monitoring of respiration are proposed in Ch. 7. In Ch. 8, to increase the robustness for some morphological measurements reflecting arterial tone changes, the modeling of the PPG pulse as amain wave superposed with several reflected waves is considered. Part III: ANS biomarkers are evaluated in the assessment of different types of stress, either physiological or psychological, in healthy individuals, and then, in the monitoring of depression. In the presence of mental stress (Ch. 9.1), induced by cognitive tasks, healthy subjects show an increment in the respiratory rate and higher number of nonlinear interactions between respiration and HRV signal, which might be associated with a sympathetic activation, but also with a less regular breathing. In the presence of hemodynamic stress (Ch. 9.2), induced by a postural change, healthy subjects show a reduction in strength of the quadratic nonlinear cardiorespiratory coupling, whichmight be related to a vagal withdrawal. In the presence of heat stress (Ch. 9.3), induced by exposure to elevated environmental temperatures, healthy subjects show an increased sympathovagal balance. This demonstrates that ANS biomarkers are able to assess different types of stress and they can be further explored in the context of depression monitoring. In Ch. 10, differences in ANS function between MDD and healthy subjects during a mental stress protocol are assessed, not only with the raw values of ANS biomarkers but also with autonomic reactivity indices, which reflect the ability of an individual to copewith a challenging situation. Results show that depression is associated with autonomic imbalance, characterized by increased sympathetic activity and reduced arterial compliance. Autonomic reactivity indices quantified by changes, from stress to recovery, in arterial stiffness surrogates, such as the PPG amplitude loss in wave reflections, show the best performance in terms of correlation with depression severity, yielding to correlation coefficient r = −0.5. The negative correlation implies that a higher degree of depression is associated with a decreased autonomic reactivity. The discriminative power of ANS biomarkers is supported by their high diagnostic performance for classifying subjects as having MDD or not, yielding to accuracy of 80.0%. Therefore, it can be concluded that ANS biomarkers can be used for assessing stress and that impaired arterial compliance might constitute a biomarker of mental health useful in the monitoring of depression.<br /

Automatic Pain Assessment by Learning from Multiple Biopotentials

Kivun täsmällinen arviointi on tärkeää kivunhallinnassa, erityisesti sairaan- hoitoa vaativille ipupotilaille. Kipu on subjektiivista, sillä se ei ole pelkästään aistituntemus, vaan siihen saattaa liittyä myös tunnekokemuksia. Tällöin itsearviointiin perustuvat kipuasteikot ovat tärkein työkalu, niin auan kun potilas pystyy kokemuksensa arvioimaan. Arviointi on kuitenkin haasteellista potilailla, jotka eivät itse pysty kertomaan kivustaan. Kliinisessä hoito- työssä kipua pyritään objektiivisesti arvioimaan esimerkiksi havainnoimalla fysiologisia muuttujia kuten sykettä ja käyttäytymistä esimerkiksi potilaan kasvonilmeiden perusteella. Tutkimuksen päätavoitteena on automatisoida arviointiprosessi hyödyntämällä koneoppimismenetelmiä yhdessä biosignaalien prosessointnin kanssa. Tavoitteen saavuttamiseksi mitattiin autonomista keskushermoston toimintaa kuvastavia biopotentiaaleja: sydänsähkökäyrää, galvaanista ihoreaktiota ja kasvolihasliikkeitä mittaavaa lihassähkökäyrää. Mittaukset tehtiin terveillä vapaaehtoisilla, joille aiheutettiin kokeellista kipuärsykettä. Järestelmän kehittämiseen tarvittavaa tietokantaa varten rakennettiin biopotentiaaleja keräävä Internet of Things -pohjainen tallennusjärjestelmä. Koostetun tietokannan avulla kehitettiin biosignaaleille prosessointimenetelmä jatku- vaan kivun arviointiin. Signaaleista eroteltiin piirteitä sekuntitasoon mukautetuilla aikaikkunoilla. Piirteet visualisoitiin ja tarkasteltiin eri luokittelijoilla kivun ja kiputason tunnistamiseksi. Parhailla luokittelumenetelmillä saavutettiin kivuntunnistukseen 90% herkkyyskyky (sensitivity) ja 84% erottelukyky (specificity) ja kivun voimakkuuden arviointiin 62,5% tarkkuus (accuracy). Tulokset vahvistavat kyseisen käsittelytavan käyttökelpoisuuden erityis- esti tunnistettaessa kipua yksittäisessä arviointi-ikkunassa. Tutkimus vahvistaa biopotentiaalien avulla kehitettävän automatisoidun kivun arvioinnin toteutettavuuden kokeellisella kivulla, rohkaisten etenemään todellisen kivun tutkimiseen samoilla menetelmillä. Menetelmää kehitettäessä suoritettiin lisäksi vertailua ja yhteenvetoa automaattiseen kivuntunnistukseen kehitettyjen eri tutkimusten välisistä samankaltaisuuksista ja eroista. Tarkastelussa löytyi signaalien eroavaisuuksien lisäksi tutkimusmuotojen aiheuttamaa eroa arviointitavoitteisiin, mikä hankaloitti tutkimusten vertailua. Lisäksi pohdit- tiin mitkä perinteisten prosessointitapojen osiot rajoittavat tai edistävät ennustekykyä ja miten, sekä tuoko optimointi läpimurtoa järjestelmän näkökulmasta.Accurate pain assessment plays an important role in proper pain management, especially among hospitalized people experience acute pain. Pain is subjective in nature which is not only a sensory feeling but could also combine affective factors. Therefore self-report pain scales are the main assessment tools as long as patients are able to self-report. However, it remains a challenge to assess the pain from the patients who cannot self-report. In clinical practice, physiological parameters like heart rate and pain behaviors including facial expressions are observed as empirical references to infer pain objectively. The main aim of this study is to automate such process by leveraging machine learning methods and biosignal processing. To achieve this goal, biopotentials reflecting autonomic nervous system activities including electrocardiogram and galvanic skin response, and facial expressions measured with facial electromyograms were recorded from healthy volunteers undergoing experimental pain stimulus. IoT-enabled biopotential acquisition systems were developed to build the database aiming at providing compact and wearable solutions. Using the database, a biosignal processing flow was developed for continuous pain estimation. Signal features were extracted with customized time window lengths and updated every second. The extracted features were visualized and fed into multiple classifiers trained to estimate the presence of pain and pain intensity separately. Among the tested classifiers, the best pain presence estimating sensitivity achieved was 90% (specificity 84%) and the best pain intensity estimation accuracy achieved was 62.5%. The results show the validity of the proposed processing flow, especially in pain presence estimation at window level. This study adds one more piece of evidence on the feasibility of developing an automatic pain assessment tool from biopotentials, thus providing the confidence to move forward to real pain cases. In addition to the method development, the similarities and differences between automatic pain assessment studies were compared and summarized. It was found that in addition to the diversity of signals, the estimation goals also differed as a result of different study designs which made cross dataset comparison challenging. We also tried to discuss which parts in the classical processing flow would limit or boost the prediction performance and whether optimization can bring a breakthrough from the system’s perspective

Conception de système de traitement de données sur les émotions d’un être humain dans un environnement mobile et incertain

Une émotion humaine est considérée comme un état d’esprit d’un individu qui est complexe et intense, débutant de manière brutale et peut durer pendant une période relativement brève. Les émotions affectent généralement à la fois l’état physiologique et psychologique et peuvent aider à améliorer la santé humaine et l’efficacité au travail si elles sont positives, tandis que les émotions négatives peuvent causer des problèmes de santé et de comportements très graves. La détection et la surveillance des émotions sont primordiales dans de nombreux domaines tels que la conduite de véhicules, afin d’agir dans le temps opportun en cas de présence d’un état émotionnel négatif qui peut affecter dangereusement la vie du conducteur. Dans la science, on a défini plusieurs méthodes de détection d’émotions qui peuvent être classifiées en deux grandes catégories ; l’une utilise les signaux physiques humains tels que l’expression faciale, la parole, le geste, la posture, etc., qui ont l’avantage d’être facilement collectés et étudiés, mais qui souffrent d’une fiabilité modeste en raison de la possibilité de ne pas montrer les signaux physiques vrais pour cacher de véritables émotions. La deuxième catégorie utilise les signaux internes (les signaux physiologiques), qui comprennent l’électrocardiogramme (ECG), l’électroencéphalogramme (EEG), la température (T), l’électromyogramme (EMG), etc. qui sont plus fiable due à leur nature interne et non contrôler directement par l’être humain. Dans cette thèse, nous avons étudié le problème de la détection des émotions humaines chez un conducteur de véhicule en se basant sur le signal ECG. Pour cela, nous avons proposé trois contributions liées à la détection des émotions. La première est une approche d’optimisation des paramètres de classification des catégories des signaux ECG qui parmi elle une classe ECG anormale représentant un état émotionnel inhabituel. La deuxième contribution est une version améliorée de l’approche Random Forest pour la dé- tection de l’état du stress d’un conducteur. La troisième contribution est un système de détection d’émotions en suggérant une approche d’apprentissage profond ; il s’agit d’un nouveau réseau de ivneurones convolutif et d’augmentation de données qui considère la variabilité de la fréquence cardiaque (Heart Rate Variability -HRV-) comme critère essentiel de détection. Le système proposé a été bien développé et prouvé par une étude de validation et une comparaison avec les travaux de référence similaires proposés dans la littérature

A biosignal embedded system for physiological computing

Thesis submitted in the fulfilment of the requirements for the Degree of Master in Electronic and Telecomunications EngineeringO estudo e a utilização dos biosinais tem vindo a aumentar dentro da comunidade global de engenharia. Daí têm nascido novos campos de aplicações, para além das mais tradicionais em áreas da medicina. Enumerando alguns exemplos temos: monitorização da actividade humana em desporto, onde novos dispositivos (Hardware e Software) têm vindo a ser lançados pela indústria para auto-monitorização de performance; interação Homem-Máquina em jogos de computador/consola, possibilitando ao utilizador interagir com o jogo e vice-versa; em biometria, onde novos sistemas baseados em eletrocardiografia vêm adicionar novas propriedades de identificação às modalidades já existentes (reconhecimento facial, iris, impressão digital). Adicionalmente, as recentes correntes de “Open-Source” e “Do-It-Yourself” têm vindo a transformar o modo como a indústria e o ensino de engenharia são executados. Desta forma, surgem novas plataformas de desenvolvimento, tais como o Arduino e o Raspberry Pi, que têm revelado uma vibrante comunidade de seguidores, e têm inspirado diversos projectos na área de sistemas embebidos. Contudo, muitos dos projectos encontrados no estado da arte focam-se principalmente na computação física, onde interagem com simples sensores e actuadores, tais como LEDs e botões ou mesmo pequenos motores, tendo poucos requisitos em termos de aquisição de sinal, nomeadamente baixa tolerância ao ruído e baixas frequências de amostragem, não sendo compativeis com o estudo e aquisição de biosinais. Com este trabalho apresentamos o "BITalino", uma versátil e multimodal plataforma para aquisição de biosinais, de baixo-custo, que pode ser utilizada como ferramenta em actividades de sala de aula, que possibilita a interacção com outros dispositivos, e que potencia a prototipagem rápida de aplicações finais de utilizador na área da computação fisiológica. O principal objectivo é tornar a aquisição de biosinais fácil e acessível a todos, desde estudantes, investigadores, engenhocas, e pessoas com interesse em trabalhar na área dos biosinais. O BITalino é uma placa de hardware que integra um micro-controlador, um módulo de acondicionamento para a alimentação do sistema e controlo de carga da bateria, um módulo wireless para transmissão de dados utilizando a tecnologia Bluetooth, que possibilita a sua ligação a um computador, telemóvel, ou qualquer outro dispositivo que tenha um receptor Bluetooth. Integra também vários sensores muitos especializados na medição de sinais do corpo humano, nomeadamente, sensor para medir a actividade do coração, outro que permite medir a actividade muscular, outro para medir a actividade do sistema nervoso simpático e um outro que permite medir o movimento. Adicionalmente, integra também um sensor que permite medir a luz ambiente e também um simples LED que permite dar um feedback muito simples ao utilizador da placa. Além do baixo-custo, outra particularidade do sistema é o facto de estar desenhado como um Lego, em que todos os blocos descritos anteriormente podem ser destacados da placa principal,dando liberdade ao utilizador para combiná-los do modo que for mais interessante para a sua aplicação. Neste trabalho são focados os principais conceitos teóricos para a medida de biosinais, nomeadamente Eletrocardiografia, Eletromiografia, actividade Eletrodérmica e Acelerometria, assim como a caracterização detalhada de todo o hardware e firmware, nomeadamente cada módulo e respectivos testes de caracterização e avaliação de performance. Serão apresentados também alguns exemplos de aplicação construídos com base na plataforma desenvolvida, que demonstram o seu potencial, nomeadamente: um detector de ritmo cardíaco que utiliza sinais de eletrocardiografia para actuar num LED; um controlador de luz, que utiliza sinais de acelerometria para ligar ou desligar uma lâmpada; uma fechadura de porta que é controlada através de sinais de eletromiografia; um didático e interactivo detector de mentiras que se baseia nas variações emocionais captadas através dos sinais de actividade eletrodérmica e ritmo cardíaco; e uma flôr equipada com sensores adicionais que envia mensagens para o Twitter a informar o seu estado de saúde.Abstract: By definition, physical computing deals with the study and development of interactive systems that sense and react to the analog world. In an analogous way, physiological computing can be defined as the field, within physical computing, that deals with the study and development of systems that sense and react to the human body. While physical computing has seen significant advancements leveraged by the popular Arduino platform, no such equivalent can yet be found for physiological computing. In this work we present "BITalino", a novel, low-cost, versatile platform, targeted at multimodal biosignal acquisition that can be used to support classroom activities, interface with other devices, or perform rapid prototyping of end-user applications in the field of physiological computing. BITalino integrates a micro-controller, a module for power conditioning and battery management, a wireless communication module that uses Bluetooth technology, allowing it to be connected to a computer, mobile phone or any other device that includes a Bluetooth receiver. Targeting the acquisition of physiological signals, it also integrates many specialized sensors to measure signals from the human body, in particular sensors to measure the activity of the heart, muscles, the activity of the sympathetic nervous system and movement. Additionally, it also includes a sensor that measures ambient light as well as a simple LED that gives easy feedback to the user. Besides as low-cost, another feature of the system is the fact that it is designed as a Lego, in which all the blocks described above can be detached from the main board, providing the user freedom to combine them in the manner that is most interesting for their own applications. The emphases of this work is on the main theoretical concepts of the Biosignals measurement, including Electrocardiography, Electromyography, Electrodermal Activity and Accelerometry, as well as detailed characterization of all hardware and firmware modules, including each block and their characterization tests and performance evaluation. We also present several examples of ap- plications built using the developed platform to demonstrate its potential, namely: a Heartbeatdetector that uses Electrocardiographic (ECG) signals to trigger a LED; a light controlled by the wave of the hands, using Accelerometric (ACC) signals; a Muscle-controlled door lock, that uses Electromyographic (EMG) signals as a trigger; a didactic and interactive lie-detector setup that answers according to the emotional variations based on Electrodermal Activity (EDA) signals and Heart Rate (HR); and a twitting flower vase fitted with some additional non-BITalino sensors, that monitors the ambient light, soil moisture, relative humidity of air and temperature, to check the ”health” status of a flower

Effect of ECG-derived respiration (EDR) on modeling ventricular repolarization dynamics in different physiological and psychological conditions

Ventricular repolarization dynamics is an important predictor of the outcome in cardiovascular diseases. Mathematical modeling of the heart rate variability (RR interval variability) and ventricular repolarization variability (QT interval variability) is one of the popular methods to understand the dynamics of ventricular repolarization. Although ECG derived respiration (EDR) was previously suggested as a surrogate of respiration, but the effect of respiratory movement on ventricular repolarization dynamics was not studied. In this study, the importance of considering the effect of respiration and the validity of using EDR as a surrogate of respiration for linear parametric modeling of ventricular repolarization variability is studied in two cases with different physiological and psychological conditions. In the first case study, we used 20 young and 20 old healthy subjects&rsquo; ECG and respiration data from Fantasia database at Physionet to analyze a bivariate QT&ndash;RR and a trivariate QT&ndash;RR&ndash;RESP or QT&ndash;RR&ndash;EDR model structure to study the aging effect on cardiac repolarization variability. In the second study, we used 16 healthy subjects&rsquo; data from drivedb (stress detection for automobile drivers) database at Physionet to do the same analysis for different psychological condition (i.e., in stressed and no stress condition). The results of our study showed that model having respiratory information (QT&ndash;RR&ndash;RESP and QT&ndash;RR&ndash;EDR) gave significantly better fit value (p &lt; 0.05) than that of found from the QT&ndash;RR model. EDR showed statistically similar (p &gt; 0.05) performance as that of respiration as an exogenous model input in describing repolarization variability irrespective of age and different mental conditions. Another finding of our study is that both respiration and EDR-based models can significantly (p &lt; 0.05) differentiate the ventricular repolarization dynamics between healthy subjects of different age groups and with different psychological conditions, whereas models without respiration or EDR cannot distinguish between the groups. These results established the importance of using respiration and the validity of using EDR as a surrogate of respiration in the absence of respiration signal recording in linear parametric modeling of ventricular repolarization variability in healthy subjects

Big data analysis of cyclic alternating pattern during sleep using deep learning

Sleep scoring has been of great interest since the invention of the polysomnography method, which enabled the recording of physiological signals overnight. With the surge in wearable devices in recent years, the topic of what is high-quality sleep, how can it be determined and how can it be achieved attracted increasing interest. In the last two decades, cyclic alternating pattern (CAP) was introduced as a scoring alternative to traditional sleep staging. CAP is known as a synonym for sleep microstructure and describes sleep instability. Manual CAP scoring performed by sleep experts is a very exhausting and time-consuming task. Hence, an automatic method would facilitate the processing of sleep data and provide a valuable tool to enhance the understanding of the role of CAP. This thesis aims to expand the knowledge about CAP by developing a high-performance automated CAP scoring system that can reliably detect and classify CAP events in sleep recordings. The automated system is equipped with state-of-the-art signal processing methods and exploits the dynamic, temporal information in brain activity using deep learning. The automated scoring system is validated using large community-based cohort studies and comparing the output to verified values in the literature. Our findings present novel clinical results on the relationship between CAP and age, gender, subjective sleep quality, and sleep disorders demonstrating that automated CAP analysis of large population based studies can lead to new findings on CAP and its subcomponents. Next, we study the relationship between CAP and behavioural, cognitive, and quality-of-life measures and the effect of adenotonsillectomy on CAP in children with obstructive sleep apnoea as the link between CAP and cognitive functioning in children is largely unknown. Finally, we investigate cortical-cardiovascular interactions during CAP to gain novel insights into the causal relationships between cortical and cardiovascular activity that are underpinning the microstructure of sleep. In summary, the research outcomes in this thesis outline the importance of a fully automated end-to-end CAP scoring solution for future studies on sleep microstructure. Furthermore, we present novel critical information for a better understanding of CAP and obtain first evidence on physiological network dynamics between the central nervous system and the cardiovascular system during CAP.Thesis (Ph.D.) -- University of Adelaide, School of Electrical and Electronic Engineering, 202