Sleep detection with photoplethysmography for wearable-based health monitoring

Remote health monitoring has gained increasing attention in the recent years. Detecting sleep patterns provides users with insights on their personal health issues, and can help in the diagnosis of various sleep disorders. Conventional methods are focused on the acceleration data, or are not suitable for continuous monitoring, like the polysomnography. Wearable devices enable a way to continuously measure photoplethysmography signal. Photoplethysmography signal contains information on multiple physiological systems, and can be used to detect sleep patterns. Sleep detection using wearable-based photoplethysmography signal offers a convenient and easy way to monitor health. In this thesis, a photoplethysmography-based sleep detection method for wearable-based health monitoring is described. This technique aims to separate wakefulness and asleep states with adequate accuracy. To examine the importance of good quality data in sleep detection, the quality of the signal is assessed. The proposed method uses statistical and heart rate based features extracted from the photoplethysmography signal. Using the most relevant features, various supervised learning algorithms are trained, compared and evaluated. These algorithms are logistic regression, decision tree, random forest, support vector machine, k-nearest neighbors, and Naive Bayes. The best performance is obtained by the random forest classifier. The method received an overall accuracy of 81 percent. It was able to detect the sleep periods with 86 percent accuracy and the awake periods with 74 percent accuracy. Motion artifacts occurring during the awake time caused distortion to the signal. Features related to the shape of the signal improved the accuracy of sleep detection, since signal distortion was associated with the awake time. It is concluded that photoplethysmography signal provides a good alternative for wearable-based sleep detection. Future studies with more comprehensive sleep level analysis could be conducted to provide valuable information on the quality of sleep.Viime vuosina etänä tapahtuva terveyden seuranta on saanut yhä enemmän huomiota. Unen tunnistaminen antaa käyttäjille tietoa heidän henkilökohtaisista terveysongelmistaan ja voi auttaa erilaisten unihäiriöiden diagnosoinnissa. Tavanomaiset menetelmät käyttävät kiihtyvyyteen perustuvaa dataa, tai eivät ole soveltuvia jatkuvaan seurantaan, kuten polysomnografia. Puettavan teknologian avulla fotopletysmografiasignaalin jatkuva mittaus on mahdollista. Fotopletysmografiasignaali sisältää tietoa useista fysiologisista järjestelmistä ja sitä voidaan käyttää unen tunnistamiseen. Puettavan teknologian avulla mitatun fotopletysmografiasignaalin käyttö unen tunnistuksessa tarjoaa kätevän ja helpon tavan seurata terveyttä. Tässä diplomityössä kuvataan fotopletysmografiaan perustuva unenhavaitsemismenetelmä, joka soveltuu puettavaa teknologiaa hyödyntävään terveyden seurantaan. Tekniikalla pyritään erottamaan hereillä olo ja uni riittävän tarkasti. Signaalin laatu arvioidaan, jotta voidaan tutkia datan laadun tärkeys unen tunnistuksessa. Kehitetty menetelmä käyttää tilastollisia ja sykkeeseen perustuvia ominaisuuksia, jotka on erotettu fotopletysmografiasignaalista. Tärkeimpiä ominaisuuksia käyttämällä erilaisia valvottuja oppimisalgoritmeja koulutetaan, vertaillaan ja arvioidaan. Käytetyt algoritmit ovat logistinen regressio, päätöspuu, satunnainen metsä, tukivektorikone, k-lähimmät naapurit ja Naive Bayes. Paras tulos saadaan käyttämällä satunnainen metsä -algoritmia. Menetelmällä saavutetaan 81 prosentin kokonaistarkkuus. Uni pystytään tunnistamaan 86 prosentin tarkkuudella ja hereillä olo 74 prosentin tarkkuudella. Hereillä ollessa liikkeestä johtuvat häiriöt aiheuttavat vääristymää signaaliin. Signaalin muotoon liittyvät ominaisuudet paransivat unentunnistuksen tarkkuutta, koska signaalin vääristyminen yhdistettiin hereilläoloaikaan. Tutkimuksen tuloksista voidaan tehdä johtopäätös, että fotopletysmografiasignaali tarjoaa hyvän vaihtoehdon puettavaa teknologiaa hyödyntävään unen tunnistamiseen. Tulevaisuudessa unen eri vaiheita voitaisiin tutkia kattavammin, jolloin saataisiin arvokasta tietoa unen laadusta

A multimodal system for stress detection

Stress is the physiological or psychological response to internal or external factors, which can happen in short or long terms. Prolonged stress can be harmful since it affects the body, negatively, in several ways, thus contributing to mental and physical health problems. Although stress is not simple to properly identify, there are several studied approaches that solidify the existence of a correlation between stress and perceivable human features. In order to detect stress, there are several approaches that can be taken into consideration. However, this task is more difficult in uncontrolled environments and where non-invasive methods are required. Heart Rate Variability (HRV), facial expressions, eye blinks, pupil diameter and PERCLOS (percentage of eye closure) consist in non-invasive approaches, proved capable to accurately identify the mental stress present in people. For this project, the users’ physiological signals were collected by an external video-based application, in a non-invasive way. Moreover, data from a brief questionnaire was also used to complement the physiological data. After the proposed solution was implemented and tested, it was concluded that the best algorithm for stress detection was the random forest classifier, which managed to obtain a final result of 84.04% accuracy, with 94.89% recall and 87.88% f1 score. This solution uses HRV data, facial expressions, PERCLOS and some personal characteristics of the userO stress é a resposta fisiológica ou psicológica a fatores internos ou externos, o que pode acontecer a curto ou longo prazo. O stress prolongado pode ser prejudicial uma vez que afeta o corpo, negativamente, de várias formas, contribuindo assim para problemas de saúde mental e física. Embora o stress não seja simples de identificar corretamente, existem várias abordagens estudadas que solidificam a existência de uma correlação entre o stress e as características humanas percetíveis. De forma a detetar o stress, existem várias abordagens que podem ser tidas em consideração. No entanto, esta tarefa é mais difícil em ambientes não controlados e onde são necessários métodos não invasivos. A variabilidade da frequência cardíaca (HRV), expressões faciais, piscar de olhos e diâmetro da pupila e PERCLOS (fecho ocular percentual) consistem em abordagens não-invasivas, comprovadamente capazes de identificar o stress nas pessoas. Para este projeto, os dados fisiológicos dos utilizadores são recolhidos a partir de uma aplicação externa baseada em vídeo, de forma não invasiva. Além disso, serão também utilizados dados recolhidos a partir de um breve questionário para complementar os dados fisiológicos Após a implementação e teste da solução proposta, concluiu-se que o melhor algoritmo de deteção de stress foi o random forest classifier, que conseguiu obter um resultado final de 84,04% de precision, com 94,89% de recall e 87,88% de f1 score. Esta solução utiliza dados de HRV, expressões faciais, PERCLOS e certas características pessoais do utilizado

Prediction of postoperative atrial fibrillation using the electrocardiogram: A proof of concept

Hospital patients recovering from major cardiac surgery are at high risk of postoperative atrial fibrillation (POAF), an arrhythmia which can be life-threatening. With the development of a tool to predict POAF early enough, the development of the arrhythmia could be potentially prevented using prophylactic treatments, thus reducing risks and hospital costs. To date, no reliable method suitable for autonomous clinical integration has been proposed yet. This thesis presents a study on the prediction of POAF using the electrocardiogram. A novel P-wave quality assessment tool to automatically identify high-quality P-waves was designed, and its clinical utility was assessed. Prediction of paroxysmal atrial fibrillation (AF) was performed by implementing and improving a selection of previously proposed methods. This allowed to perform a systematic comparison of those methods, and to test if their combination improved prediction of AF. Finally, prediction of POAF was tested in a clinically relevant scenario. This included studying the 48 hours preceding POAF, and automatically excluding noise-corrupted P-waves using the quality assessment tool. The P-wave quality assessment tool identified high-quality P-waves with high sensitivity (0.93) and good specificity (0.84). In addition, this tool improved the ability to predict AF, since it improved the precision of P-wave measurements. The best predictors of AF and POAF were measurements of the variability in P-wave time- and morphological features. Paroxysmal AF could be predicted with high specificity (0.93) and good sensitivity (0.82) when several predictors were combined. Furthermore, POAF could be predicted 48 hours before its onset with good sensitivity (0.74) and specificity (0.70). This leaves time for prophylactic treatments to be administered and possibly prevent POAF. Despite being promising, further work is required for these techniques to be useful in the clinical setting

Novel Approaches to Pervasive and Remote Sensing in Cardiovascular Disease Assessment

Cardiovascular diseases (CVDs) are the leading cause of death worldwide, responsible for 45% of all deaths. Nevertheless, their mortality is decreasing in the last decade due to better prevention, diagnosis, and treatment resources. An important medical instrument for the latter processes is the Electrocardiogram (ECG). The ECG is a versatile technique used worldwide for its ease of use, low cost, and accessibility, having evolved from devices that filled up a room, to small patches or wrist- worn devices. Such evolution allowed for more pervasive and near-continuous recordings. The analysis of an ECG allows for studying the functioning of other physiological systems of the body. One such is the Autonomic Nervous System (ANS), responsible for controlling key bodily functions. The ANS can be studied by analyzing the characteristic inter-beat variations, known as Heart Rate Variability (HRV). Leveraging this relation, a pilot study was developed, where HRV was used to quantify the contribution of the ANS in modulating cardioprotection offered by an experimental medical procedure called Remote Ischemic Conditioning (RIC), offering a more objective perspective. To record an ECG, electrodes are responsible for converting the ion-propagated action potential to electrons, needed to record it. They are produced from different materials, including metal, carbon-based, or polymers. Also, they can be divided into wet (if an elec- trolyte gel is used) or dry (if no added electrolyte is used). Electrodes can be positioned either inside the body (in-the-person), attached to the skin (on-the-body), or embedded in daily life objects (off-the-person), with the latter allowing for more pervasive recordings. To this effect, a novel mobile acquisition device for recording ECG rhythm strips was developed, where polymer-based embedded electrodes are used to record ECG signals similar to a medical-grade device. One drawback of off-the-person solutions is the increased noise, mainly caused by the intermittent contact with the recording surfaces. A new signal quality metric was developed based on delayed phase mapping, a technique that maps time series to a two-dimensional space, which is then used to classify a segment into good or noisy. Two different approaches were developed, one using a popular image descriptor, the Hu image moments; and the other using a Convolutional Neural Network, both with promising results for their usage as signal quality index classifiers.As doenças cardiovasculares (DCVs) são a principal causa de morte no mundo, res- ponsáveis por 45% de todas estas. No entanto, a sua mortalidade tem vindo a diminuir na última década, devido a melhores recursos na prevenção, diagnóstico e tratamento. Um instrumento médico importante para estes recursos é o Eletrocardiograma (ECG). O ECG é uma técnica versátil utilizada em todo o mundo pela sua facilidade de uso, baixo custo e acessibilidade, tendo evoluído de dispositivos que ocupavam uma sala inteira para pequenos adesivos ou dispositivos de pulso. Tal evolução permitiu aquisições mais pervasivas e quase contínuas. A análise de um ECG permite estudar o funcionamento de outros sistemas fisiológi- cos do corpo. Um deles é o Sistema Nervoso Autônomo (SNA), responsável por controlar as principais funções corporais. O SNA pode ser estudado analisando as variações inter- batidas, conhecidas como Variabilidade da Frequência Cardíaca (VFC). Aproveitando essa relação, foi desenvolvido um estudo piloto, onde a VFC foi utilizada para quantificar a contribuição do SNA na modulação da cardioproteção oferecida por um procedimento mé- dico experimental, denominado Condicionamento Isquêmico Remoto (CIR), oferecendo uma perspectiva mais objetiva. Na aquisição de um ECG, os elétrodos são os responsáveis por converter o potencial de ação propagado por iões em eletrões, necessários para a sua recolha. Estes podem ser produzidos a partir de diferentes materiais, incluindo metal, à base de carbono ou polímeros. Além disso, os elétrodos podem ser classificados em húmidos (se for usado um gel eletrolítico) ou secos (se não for usado um eletrólito adicional). Os elétrodos podem ser posicionados dentro do corpo (dentro-da-pessoa), colocados em contacto com a pele (na-pessoa) ou embutidos em objetos da vida quotidiana (fora-da-pessoa), sendo que este último permite gravações mais pervasivas . Para este efeito, foi desenvolvido um novo dispositivo de aquisição móvel para gravar sinal de ECG, onde elétrodos embutidos à base de polímeros são usados para recolher sinais de ECG semelhantes a um dispositivo de grau médico. Uma desvantagem das soluções onde os elétrodos estão embutidos é o aumento do ruído, causado principalmente pelo contato intermitente com as superfícies de aquisição. Uma nova métrica de qualidade de sinal foi desenvolvida com base no mapeamento de fase atrasada, uma técnica que mapeia séries temporais para um espaço bidimensional, que é então usado para classificar um segmento em bom ou ruidoso. Duas abordagens diferentes foram desenvolvidas, uma usando um popular descritor de imagem, e outra utilizando uma Rede Neural Convolucional, com resultados promissores para o seu uso como classificadores de qualidade de sinal

Bio-Radar: sistema de aquisição de sinais vitais sem contacto

The Bio-Radar system is capable to measure vital signs accurately, namely the respiratory and cardiac signal, using electromagnetic waves. In this way, it is possible to monitor subjects remotely and comfortably for long periods of time. This system is based on the micro-Doppler effect, which relates the received signal phase variation with the distance change between the subject chest-wall and the radar antennas, which occurs due to the cardiopulmonary function. Considering the variety of applications where this system can be used, it is required to evaluate its performance when applied to real context scenarios and thus demonstrate the advantages that bioradar systems can bring to the general population. In this work, a bio-radar prototype was developed in order to verify the viability to be integrated in specific applications, using robust and low profile solutions that equally guarantee the general system performance while addressing the market needs. Considering these two perspectives to be improved, different level solutions were developed. On the hardware side, textile antennas were developed to be embedded in a car seat upholstery, thus reaching a low profile solution and easy to include in the industrialization process. Real context scenarios imply long-term monitoring periods, where involuntary body motion can occur producing high amplitude signals that overshadow the vital signs. Non-controlled monitoring environments might also produce time varying parasitic reflections that have a direct impact in the signal. Additionally, the subject's physical stature and posture during the monitoring period can have a different impact in the signals quality. Therefore, signal processing algorithms were developed to be robust to low quality signals and non-static scenarios. On the other hand, the bio-radar potential can also be maximized if the acquired signals are used pertinently to help identify the subject's psychophysiological state enabling one to act accordingly. The random body motion until now has been seen as a noisy source, however it can also provide useful information regarding subject's state. In this sense, the acquired vital signs as well as other body motions were used in machine learning algorithms with the goal to identify the subject's emotions and thus verify if the remotely acquired vital signs can also provide useful information.O sistema Bio-Radar permite medir sinais vitais com precisão, nomeadamente o sinal respiratório e cardíaco, utilizando ondas eletromagnéticas para esse fim. Desta forma, é possível monitorizar sujeitos de forma remota e confortável durante longos períodos de tempo. Este sistema é baseado no efeito de micro-Doppler, que relaciona a variação de fase do sinal recebido com a alteração da distância entre as antenas do radar e a caixa torácica do sujeito, que ocorre durante a função cardiopulmonar. Considerando a variedade de aplicações onde este sistema pode ser utilizado, é necessário avaliar o seu desempenho quando aplicado em contextos reais e assim demonstrar as vantagens que os sistemas bio-radar podem trazer à população geral. Neste trabalho, foi desenvolvido um protótipo do bio radar com o objetivo de verificar a viabilidade de integrar estes sistemas em aplicações específicas, utilizando soluções robustas e discretas que garantam igualmente o seu bom desempenho, indo simultaneamente de encontro às necessidades do mercado. Considerando estas duas perspetivas em que o sistema pode ser melhorado, foram desenvolvidas soluções de diferentes níveis. Do ponto de vista de hardware, foram desenvolvidas antenas têxteis para serem integradas no estofo de um banco automóvel, alcançando uma solução discreta e fácil de incluir num processo de industrialização. Contextos reais de aplicação implicam períodos de monitorização longos, onde podem ocorrer movimentos corporais involuntários que produzem sinais de elevada amplitude que se sobrepõem aos sinais vitais. Ambientes de monitorização não controlados podem produzir reflexões parasitas variantes no tempo que têm impacto direto no sinal. Adicionalmente, a estrutura física do sujeito e a sua postura durante o período de monitorização podem ter impactos diferentes na qualidade dos sinais. Desta forma, foram desenvolvidos algoritmos de processamento de sinal robustos a sinais de baixa qualidade e a cenários não estáticos. Por outro lado, o potencial do bio radar pode também ser maximizado se os sinais adquiridos forem pertinentemente utilizados de forma a ajudar a identificar o estado psicofisiológico do sujeito, permitindo mais tarde agir em conformidade. O movimento corporal aleatório que foi até agora visto como uma fonte de ruído, pode no entanto também fornecer informação útil sobre o estado do sujeito. Neste sentido, os sinais vitais e outros movimentos corporais adquiridos foram utilizados em algoritmos de aprendizagem automática com o objetivo de identificar as emoções do sujeito e assim verificar que sinais vitais adquiridos remotamente podem também conter informação útil.Programa Doutoral em Engenharia Eletrotécnic