Deep learning for automated sleep monitoring

Wearable electroencephalography (EEG) is a technology that is revolutionising the longitudinal monitoring of neurological and mental disorders, improving the quality of life of patients and accelerating the relevant research. As sleep disorders and other conditions related to sleep quality affect a large part of the population, monitoring sleep at home, over extended periods of time could have significant impact on the quality of life of people who suffer from these conditions. Annotating the sleep architecture of patients, known as sleep stage scoring, is an expensive and time-consuming process that cannot scale to a large number of people. Using wearable EEG and automating sleep stage scoring is a potential solution to this problem. In this thesis, we propose and evaluate two deep learning algorithms for automated sleep stage scoring using a single channel of EEG. In our first method, we use time-frequency analysis for extracting features that closely follow the guidelines that human experts follow, combined with an ensemble of stacked sparse autoencoders as our classification algorithm. In our second method, we propose a convolutional neural network (CNN) architecture for automatically learning filters that are specific to the problem of sleep stage scoring. We achieved state-of-the-art results (mean F1-score 84%; range 82-86%) with our first method and comparably good results with the second (mean F1-score 81%; range 79-83%). Both our methods effectively account for the skewed performance that is usually found in the literature due to sleep stage duration imbalance. We propose a filter analysis and visualisation methodology for CNNs to understand the filters that CNNs learn. Our results indicate that our CNN was able to robustly learn filters that closely follow the sleep scoring guidelines.Open Acces

Convolutional neural networks in space weather predictions

Abstract. Our modern life on Earth is vulnerable to the effects of space weather, as it can for example disturb our satellites. Thus being able to predict the electric currents flowing in the near-Earth space is of importance. However, while the large scale features of these currents are known, their small scale behaviour can be harder to predict. In this thesis two different convolutional neural network architectures are implemented to predict ionospheric currents from time-series input. Convolutional neural networks are a special case of artificial neural networks, a machine learning approach capable of learning complicated features from the input data. In this thesis a brief introduction to the current systems in the near-Earth space and the fundamental forces behind them is given. In addition to this the theory of artificial neural networks is introduced, with a special interest in convolutional neural networks. The first one of the two implemented neural networks is ResNet, utilising so called residual learning and ending in a linear layer. The other network is U-Net, a fully-convolutional encoder-decoder architecture investigating the input at multiple resolutions. Both architectures are capable of predicting the behaviour of the ionospheric currents, but tend to underestimate the strength of the largest currents. It also appears that U-Net creates too strong spatial dependency between the components of the input resulting in overly smooth predictions. This indicates the importance of the final fully-connected layer.Konvoluutioneuroverkkojen käyttö avaruussään ennustamisessa . Tiivistelmä. Nykyaikainen elämämme maapallolla on haavoittuvainen avaruussään vaikutuksille. Myrskyinen avaruussää voi muun muuassa aiheuttaa häiriötä satelliittiliikenteeseemme, ja siksi Maan lähiavaruuden sähkövirtojen ennustaminen on tärkeää. Vaikka virtojen yleiset piirteet ovat tiedossa, niiden pienemmän skaalan käyttäytymisen ennustaminen voi olla hankalaa. Tässä pro gradu -tutkielmassa toteutetaan kaksi erilaista konvoluutioneuroverkkoa ennustamaan ionosfäärin sähkövirtojen käyttäytymistä aikasarjan pohjalta. Konvoluutioneuroverkot ovat erikoistapaus keinotekoisista neuroverkoista, koneoppimismenetelmistä, jotka kykenevät oppimaan hyvinkin monimutkaisia piirteitä saamastaan syötteestä. Tässä tutkielmassa tutustutaan lyhyesti Maan lähiavaruuden sähkövirtoihin ja niiden takana vaikuttaviin perusvoimiin. Tämän lisäksi käydään läpineuroverkkojen teoriaa ja keskitytään erityisesti konvoluutioneuroverkkoihin. Ennustamiseen käytetyistä arkkitehtuureista ensimmäinen on ResNet, joka hyödyntää niin kutsuttua residuaalista oppimista ja päättyy täysin kytkettyyn kerrokseen. Toinen arkkitehtuuri on U-Net, niin sanottu enkoodaus- dekoodaus arkkitehtuuri, joka käsittelee saamaansa syötettä usealla resoluutiolla ja päättyy konvoluutiokerrokseen. Molemmat arkkitehtuurit osoittautuvat kykeniviksi ennustamaan ionosfäärivirtojen käyttätymistä, joskin ennusteissa esiintyy virtojen voimakkuuden aliarviointia. Lisäksi vaikuttaa siltä, että U-Net muodostaa liian vahvan avaruudellisen riippuvuuden syötteen yksittäisten elementtien välille, mikä näkyy ResNetin ennusteita sileämpinä tulosteina ja viittaisi viimeisen täysin kytketyn kerroksen tärkeyteen