Deep learning for time series classification: a review

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-of-the-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.Comment: Accepted at Data Mining and Knowledge Discover

Feature-based time-series analysis

This work presents an introduction to feature-based time-series analysis. The time series as a data type is first described, along with an overview of the interdisciplinary time-series analysis literature. I then summarize the range of feature-based representations for time series that have been developed to aid interpretable insights into time-series structure. Particular emphasis is given to emerging research that facilitates wide comparison of feature-based representations that allow us to understand the properties of a time-series dataset that make it suited to a particular feature-based representation or analysis algorithm. The future of time-series analysis is likely to embrace approaches that exploit machine learning methods to partially automate human learning to aid understanding of the complex dynamical patterns in the time series we measure from the world.Comment: 28 pages, 9 figure

Novel Approaches to Pervasive and Remote Sensing in Cardiovascular Disease Assessment

Cardiovascular diseases (CVDs) are the leading cause of death worldwide, responsible for 45% of all deaths. Nevertheless, their mortality is decreasing in the last decade due to better prevention, diagnosis, and treatment resources. An important medical instrument for the latter processes is the Electrocardiogram (ECG). The ECG is a versatile technique used worldwide for its ease of use, low cost, and accessibility, having evolved from devices that filled up a room, to small patches or wrist- worn devices. Such evolution allowed for more pervasive and near-continuous recordings. The analysis of an ECG allows for studying the functioning of other physiological systems of the body. One such is the Autonomic Nervous System (ANS), responsible for controlling key bodily functions. The ANS can be studied by analyzing the characteristic inter-beat variations, known as Heart Rate Variability (HRV). Leveraging this relation, a pilot study was developed, where HRV was used to quantify the contribution of the ANS in modulating cardioprotection offered by an experimental medical procedure called Remote Ischemic Conditioning (RIC), offering a more objective perspective. To record an ECG, electrodes are responsible for converting the ion-propagated action potential to electrons, needed to record it. They are produced from different materials, including metal, carbon-based, or polymers. Also, they can be divided into wet (if an elec- trolyte gel is used) or dry (if no added electrolyte is used). Electrodes can be positioned either inside the body (in-the-person), attached to the skin (on-the-body), or embedded in daily life objects (off-the-person), with the latter allowing for more pervasive recordings. To this effect, a novel mobile acquisition device for recording ECG rhythm strips was developed, where polymer-based embedded electrodes are used to record ECG signals similar to a medical-grade device. One drawback of off-the-person solutions is the increased noise, mainly caused by the intermittent contact with the recording surfaces. A new signal quality metric was developed based on delayed phase mapping, a technique that maps time series to a two-dimensional space, which is then used to classify a segment into good or noisy. Two different approaches were developed, one using a popular image descriptor, the Hu image moments; and the other using a Convolutional Neural Network, both with promising results for their usage as signal quality index classifiers.As doenças cardiovasculares (DCVs) são a principal causa de morte no mundo, res- ponsáveis por 45% de todas estas. No entanto, a sua mortalidade tem vindo a diminuir na última década, devido a melhores recursos na prevenção, diagnóstico e tratamento. Um instrumento médico importante para estes recursos é o Eletrocardiograma (ECG). O ECG é uma técnica versátil utilizada em todo o mundo pela sua facilidade de uso, baixo custo e acessibilidade, tendo evoluído de dispositivos que ocupavam uma sala inteira para pequenos adesivos ou dispositivos de pulso. Tal evolução permitiu aquisições mais pervasivas e quase contínuas. A análise de um ECG permite estudar o funcionamento de outros sistemas fisiológi- cos do corpo. Um deles é o Sistema Nervoso Autônomo (SNA), responsável por controlar as principais funções corporais. O SNA pode ser estudado analisando as variações inter- batidas, conhecidas como Variabilidade da Frequência Cardíaca (VFC). Aproveitando essa relação, foi desenvolvido um estudo piloto, onde a VFC foi utilizada para quantificar a contribuição do SNA na modulação da cardioproteção oferecida por um procedimento mé- dico experimental, denominado Condicionamento Isquêmico Remoto (CIR), oferecendo uma perspectiva mais objetiva. Na aquisição de um ECG, os elétrodos são os responsáveis por converter o potencial de ação propagado por iões em eletrões, necessários para a sua recolha. Estes podem ser produzidos a partir de diferentes materiais, incluindo metal, à base de carbono ou polímeros. Além disso, os elétrodos podem ser classificados em húmidos (se for usado um gel eletrolítico) ou secos (se não for usado um eletrólito adicional). Os elétrodos podem ser posicionados dentro do corpo (dentro-da-pessoa), colocados em contacto com a pele (na-pessoa) ou embutidos em objetos da vida quotidiana (fora-da-pessoa), sendo que este último permite gravações mais pervasivas . Para este efeito, foi desenvolvido um novo dispositivo de aquisição móvel para gravar sinal de ECG, onde elétrodos embutidos à base de polímeros são usados para recolher sinais de ECG semelhantes a um dispositivo de grau médico. Uma desvantagem das soluções onde os elétrodos estão embutidos é o aumento do ruído, causado principalmente pelo contato intermitente com as superfícies de aquisição. Uma nova métrica de qualidade de sinal foi desenvolvida com base no mapeamento de fase atrasada, uma técnica que mapeia séries temporais para um espaço bidimensional, que é então usado para classificar um segmento em bom ou ruidoso. Duas abordagens diferentes foram desenvolvidas, uma usando um popular descritor de imagem, e outra utilizando uma Rede Neural Convolucional, com resultados promissores para o seu uso como classificadores de qualidade de sinal

Heart beat variability analysis in perinatal brain injury and infection

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2018Todos os anos, mais de 95 mil recém-nascidos são admitidos nas Unidades de Cuidados Intensivos Neonatais (UCIN) do Reino Unido, devido principalmente a partos prematuros ou outras complicações que pudessem ter ocorrido, como é o caso da encefalopatia hipóxico-isquémica (EHI), que assume 3% de todas as admissões nas unidades referidas. EHI é o termo que define uma complicação inesperada durante o parto, que resulta em lesões neurológicas a longo prazo e até em morte neonatal, devido à privação de oxigénio e fluxo sanguíneo ao recém-nascido durante o nascimento. Estima-se que tenha uma incidência de um a seis casos por 1000 nascimentos. Nos países desenvolvidos, a hipotermia é utilizada como método preventivo-terapêutico para esta condição. No entanto, existem dois grandes obstáculos para a obtenção da neuroprotecção pretendida e totalmente benéfica, na prática clínica. Em primeiro lugar, esta técnica é eficaz se for iniciada dentro de seis horas após o parto. Visto que o estado clínico da encefalopatia neonatal evolui nos dias posteriores ao nascimento, a sua deteção precoce é um grande desafio. Tal situação pode levar a diversos erros nas UCIN, tal como indivíduos sujeitos à terapia de hipotermia desnecessariamente, ou ainda mais grave, casos em que recém-nascidos foram inicialmente considerados como saudáveis, não tendo sido submetidos à terapia referida, apresentarem sinais de EHI após seis horas de vida. A segunda questão prende-se com o facto de a neuroprotecção poder ser perdida se o bebé estiver stressado durante o tratamento. Para além disso, não existe nenhuma ferramenta válida para a avaliação da dor dos recém-nascidos submetidos a esta terapia. Os obstáculos frisados anteriormente demonstram duas necessidades ainda não correspondidas: a carência de um método não invasivo e largamente adaptável a diferentes cenários para uma correta identificação de recém-nascidos com maior probabilidade de HIE, dentro de uma margem de seis horas após o parto, mas também um método preciso de stress em tempo real, não invasivo, que possa orientar tanto pessoal médico, como pais, de modo a oferecer um tratamento mais responsável, célere e individualizado. Deste modo, a análise do ritmo cardíaco demostra um enorme potencial para ser um biomarcador de encefalopatia neonatal, bem como um medidor de stress, através da eletrocardiografia (ECG), visto que é um importante indicador de homeostase, mas também de possíveis condições que podem afetar o sistema nervoso autónomo e, consequentemente, o equilíbrio do corpo humano. É extremamente difícil a obtenção de um parâmetro fisiológico, sem a presença de artefactos, especialmente no caso de recém-nascidos admitidos nas UCIN. Tanto no caso da aquisição de ECGs, como de outros parâmetros, existe uma maior probabilidade de o sinal ser corrompido por artefactos, visto que são longas aquisições, normalmente dias, onde o bebé é submetido a diversas examinações médicas, está rodeado de equipamentos eletrónicos, entre outros. Artefactos são definidos como uma distorção do sinal, podendo ser causados por diversas fontes, fisiológicas ou não. A sua presença nos dados adquiridos influencia e dissimula as informações corretas e reais, podendo mesmo levar a diagnósticos e opções terapêuticas erradas e perigosas para o paciente. Apesar de existirem diversos algoritmos de identificação de artefactos adequados para o sinal cardíaco adulto, são poucos os que funcionam corretamente para o de recém-nascido. Para além disso, é necessário bastante tempo tanto para o staff clínico, como para os investigadores, para o processo de visualização e identificação de artefactos no eletrocardiograma manualmente. Deste modo, o projeto desenvolvido na presente dissertação propõe um novo algoritmo de identificação e marcação de artefactos no sinal cardíaco de recém-nascidos. Para tal, foi criado um modelo híbrido de um método que tem em consideração todas as relações matemáticas de batimento para batimento cardíaco, com outro que tem como objetivo a remoção de spikes no mesmo sinal. O algoritmo final para além de cumprir com o objetivo descrito acima, é também adaptável a diferentes tipos de artefactos presentes no sinal, permitindo ao utilizador, de uma forma bastante intuitiva, escolher o tipo de parâmetros e passos a aplicar, podendo ser facilmente utilizado por profissionais de diferentes áreas. Deste modo, este algoritmo é uma mais-valia quando aplicado no processamento de sinal pretendido, evitando assim uma avaliação visual demorada de todo o sinal. Para obter a melhor performance possível, durante o desenvolvimento do algoritmo foram sempre considerados os resultados de validação, tais como exatidão, sensibilidade, entre outros. Para tal, foram analisados e comparados eletrocardiogramas de 4 recém-nascidos saudáveis e 4 recém-nascidos com encefalopatia. Todos possuíam aproximadamente 5 horas de sinal cardíaco adquirido após o nascimento, com diferentes níveis de presença de artefactos. O algoritmo final, obteve uma taxa de sensibilidade de 96.2% (±2.4%) e uma taxa de exatidão de 92.6% (±3.2%). Como se pode verificar pelos valores obtidos, o algoritmo obteve percentagens altas nos vários parâmetros de classificação, o que significa uma deteção correta. A taxa de exatidão apresenta um valor mais baixo, comparativamente ao parâmetro da sensibilidade, pois em diversas situações, normalmente perto de artefactos, os batimentos normais são considerados como artefactos, pelo algoritmo. Contudo, essa taxa não é alarmante, tendo sido considerada uma taxa reduzida, pelo pessoal médico. Após o processamento do sinal cardíaco dos grupos mencionados acima, um estudo comparativo, utilizando parâmetros da variabilidade do ritmo cardíaco, foi realizado. Diferenças significativas foram encontradas entre os dois grupos, onde o saudável assumiu sempre valores maiores. SDNN e baixa frequência foram os parâmetros que traduziram uma diferença maior entre os dois grupos, com um p-value <0.01. De modo a corresponder ao segundo obstáculo referido nesta dissertação, outro objetivo desta tese foi a criação de um algoritmo que pudesse identificar e diferenciar uma situação de stress nesta faixa etária, com recurso ao ritmo cardíaco. Um estudo multidimensional foi aplicado aos diferentes métodos de entropia utilizados nesta tese (approximate entropy, sample entropy, multiscales entopy e fuzzy entropy) de modo a estudar como os diferentes métodos de entropia interagem entre si e quais são os resultados dessa relação, especialmente na distinção de estados normais e stressantes. Para tal, a utilização de clusters foi essencial. Dado que para todos os ECGs de bebés saudáveis analisados neste projeto foram registados todas as possíveis situações de stress, como é o caso de choro, examinações médicas, mudança de posição, entre outros, foram escolhidos 10 minutos do sinal do ritmo cardíaco adquirido, antes da situação, para análise. Infelizmente, associado a um evento stressante, na maioria dos casos encontra-se uma percentagem bastante alta do sinal corrompida por artefactos. No entanto, em alguns casos foi possível observar uma clara distinção de grupos de clusters, indicando que naquele período de tempo, houve uma mudança de estado. Foi também realizado um estudo intensivo de diversos métodos de entropia aplicados ao grupo de sujeitos apresentados nesta dissertação, onde foi provado que o método mais adequado a nível de diferenciação é a Fuzzy Entropy (p=0.0078). Ainda é possível sugerir alguns aspetos e apontar algumas limitações, no âmbito de poderem ser ultrapassadas no futuro. Em primeiro lugar, é necessária a aquisição de mais eletrocardiogramas, quer de recém-nascidos saudáveis, quer com encefalopatia hipóxico-isquémica, de modo a aumentar o tamanho da amostra e, deste modo diminuir os valores do desvio-padrão em todos os parâmetros calculados. Relativamente ao estudo do stress, seria interessante, com uma amostra maior, a definição de clusters, de modo a ter uma identificação precisa de situações stressantes. Para além disso, a transformação do software atualmente escrito em MATLAB para GUI (interface gráfica do utilizador), a fim de tornar mais acessível a sua utilização por profissionais de diversas áreas.In Neonatal Intensive Care Unit (NICU), the heart rate (HR) offers significant insight into the autonomic function of sick newborns, especially with hypoxic ischemic encephalopathy condition (HIE). However, the intensity of clinical care and monitoring contributes to the electrocardiogram (ECG) to be often noisy and contaminated with artefacts from various sources. These artefacts, defined as any distortion of the signal caused by diverse sources, being physiological or non-physiological features, interfere with the characterization and subsequent evaluation of the heart rate, leading to grave consequences, both in diagnostic and therapeutic decisions. Besides, its manual inspection in the ECG trace is highly time-consuming, which is not feasible in clinical monitoring, especially in NICU. In this dissertation, it is proposed an algorithm capable of automatically detect and mark artefacts in neonatal ECG data, mainly dealing with mathematical aspects of the heart rate, starting from the raw signal. Also, it is proposed an adjacent algorithm, using complexity science applied to HR data, with the objective of identifying stress scenarios. Periods of 10-minute ECG were considered from 8 newborns (4 healthy and 4 HIE) to the identification of stress situations, whereas for the artefacts removal algorithm small portions varying in time length according to the amount of noise present in the originally 5 hours long samples were utilised. In this report it is also present several comparisons utilising heart rate parameters between healthy and HIE groups. Fuzzy Entropy was considered the best method to differentiate both groups (p=0.00078). In this report, substantial differences in heart rate variability were found between healthy and HIE groups, especially in SDNN and low frequency (p<0.01), confirming results of previous literature. For the final artefact removal algorithm, it is illustrated significant differences between raw and post-processed ECG signals. This method had a Recall rate of 96.2% (±2.4%) and a Precision Rate of 92.6% (±3.2%), demonstrating high efficiency in ECG noise removal. Regarding stress measures, associated with a stressful event, in most cases there is a high percentage of the signal corrupted by artefacts. However, in some cases it was possible to see a clear distinction between groups of clusters, indicating that in that period, there was a change of state. Not all the time segments from subjects demonstrated differences in stress stages, indicating that there is still room for improvement in the method developed