Entropy Measures in Machine Fault Diagnosis: Insights and Applications

Entropy, as a complexity measure, has been widely applied for time series analysis. One preeminent example is the design of machine condition monitoring and industrial fault diagnostic systems. The occurrence of failures in a machine will typically lead to non-linear characteristics in the measurements, caused by instantaneous variations, which can increase the complexity in the system response. Entropy measures are suitable to quantify such dynamic changes in the underlying process, distinguishing between different system conditions. However, notions of entropy are defined differently in various contexts (e.g., information theory and dynamical systems theory), which may confound researchers in the applied sciences. In this paper, we have systematically reviewed the theoretical development of some fundamental entropy measures and clarified the relations among them. Then, typical entropy-based applications of machine fault diagnostic systems are summarized. Further, insights into possible applications of the entropy measures are explained, as to where and how these measures can be useful towards future data-driven fault diagnosis methodologies. Finally, potential research trends in this area are discussed, with the intent of improving online entropy estimation and expanding its applicability to a wider range of intelligent fault diagnostic systems

Entropy Analysis of Univariate Biomedical Signals:Review and Comparison of Methods

International audienc

Inherent Fuzzy Entropy for the Improvement of EEG Complexity Evaluation

© 2017 IEEE. In recent years, the concept of entropy has been widely used to measure the dynamic complexity of signals. Since the state of complexity of human beings is significantly affected by their health state, developing accurate complexity evaluation algorithms is a crucial and urgent area of study. This paper proposes using inherent fuzzy entropy (Inherent FuzzyEn) and its multiscale version, which employs empirical mode decomposition and fuzzy membership function (exponential function) to address the dynamic complexity in electroencephalogram (EEG) data. In the literature, the reliability of entropy-based complexity evaluations has been limited by superimposed trends in signals and a lack of multiple time scales. Our proposed method represents the first attempt to use the Inherent FuzzyEn algorithm to increase the reliability of complexity evaluation in realistic EEG applications. We recorded the EEG signals of several subjects under resting condition, and the EEG complexity was evaluated using approximate entropy, sample entropy, FuzzyEn, and Inherent FuzzyEn, respectively. The results indicate that Inherent FuzzyEn is superior to other competing models regardless of the use of fuzzy or nonfuzzy structures, and has the most stable complexity and smallest root mean square deviation

Stratified Multivariate Multiscale Dispersion Entropy for Physiological Signal Analysis

Multivariate Entropy quantification algorithms are becoming a prominent tool for the extraction of information from multi-channel physiological time-series. However, in the analysis of physiological signals from heterogeneous organ systems, certain channels may overshadow the patterns of others, resulting in information loss. Here, we introduce the framework of Stratified Entropy to prioritize each channels' dynamics based on their allocation to respective strata, leading to a richer description of the multi-channel time-series. As an implementation of the framework, three algorithmic variations of the Stratified Multivariate Multiscale Dispersion Entropy are introduced. These variations and the original algorithm are applied to synthetic time-series, waveform physiological time-series, and derivative physiological data . Based on the synthetic time-series experiments, the variations successfully prioritize channels following their strata allocation while maintaining the low computation time of the original algorithm. In experiments on waveform physiological time-series and derivative physiological data, increased discrimination capacity was noted for multiple strata allocations in the variations when benchmarked to the original algorithm. This suggests improved physiological state monitoring by the variations. Furthermore, our variations can be modified to utilize a priori knowledge for the stratification of channels. Thus, our research provides a novel approach for the extraction of previously inaccessible information from multi-channel time series acquired from heterogeneous systems

A Process Capability Analysis Method Using Adjusted Modified Sample Entropy

Citation: Koppel, S., & Chang, S. I. (2016). A Process Capability Analysis Method Using Adjusted Modified Sample Entropy. Procedia Manufacturing, 5, 122-131. doi:10.1016/j.promfg.2016.08.012The evolution of sensors and data storage possibilities has created possibilities for more precise data collection in processes. However, process capability analysis has become more difficult. Traditional methods, such as process capability ratios, cannot handle large volumes of process data over time because these methods assume normal process distribution that is not changing. Entropy methods have been proposed for process capability studies because entropy is not dependent on distribution and can therefore provide accurate readings in changing distribution environments. The goal of this paper is to explore the use of entropy-based methods, specifically modified Sample Entropy to identify process variations over time. A study based on simulated data sets showed that the proposed method provides process capability information. © 2016 The Author

Multiscale entropy analysis of heart rate variability in neonatal patients with and without seizures

The complex physiological dynamics of neonatal seizures make their detection challenging. A timely diagnosis and treatment, especially in intensive care units, are essential for a better prognosis and the mitigation of possible adverse effects on the newborn’s neurodevelopment. In the literature, several electroencephalographic (EEG) studies have been proposed for a parametric characterization of seizures or their detection by artificial intelligence techniques. At the same time, other sources than EEG, such as electrocardiography, have been investigated to evaluate the possible impact of neonatal seizures on the cardio-regulatory system. Heart rate variability (HRV) analysis is attracting great interest as a valuable tool in newborns applications, especially where EEG technologies are not easily available. This study investigated whether multiscale HRV entropy indexes could detect abnormal heart rate dynamics in newborns with seizures, especially during ictal events. Furthermore, entropy measures were analyzed to discriminate between newborns with seizures and seizure-free ones. A cohort of 52 patients (33 with seizures) from the Helsinki University Hospital public dataset has been evaluated. Multiscale sample and fuzzy entropy showed significant differences between the two groups (p-value < 0.05, Bonferroni multiple-comparison post hoc correction). Moreover, interictal activity showed significant differences between seizure and seizure-free patients (Mann-Whitney Test: p-value < 0.05). Therefore, our findings suggest that HRV multiscale entropy analysis could be a valuable pre-screening tool for the timely detection of seizure events in newborns

Detection of Epileptic Seizures on EEG Signals Using ANFIS Classifier, Autoencoders and Fuzzy Entropies

Epileptic seizures are one of the most crucial neurological disorders, and their early diagnosis will help the clinicians to provide accurate treatment for the patients. The electroencephalogram (EEG) signals are widely used for epileptic seizures detection, which provides specialists with substantial information about the functioning of the brain. In this paper, a novel diagnostic procedure using fuzzy theory and deep learning techniques is introduced. The proposed method is evaluated on the Bonn University dataset with six classification combinations and also on the Freiburg dataset. The tunable- Q wavelet transform (TQWT) is employed to decompose the EEG signals into different sub-bands. In the feature extraction step, 13 different fuzzy entropies are calculated from different sub-bands of TQWT, and their computational complexities are calculated to help researchers choose the best set for various tasks. In the following, an autoencoder (AE) with six layers is employed for dimensionality reduction. Finally, the standard adaptive neuro-fuzzy inference system (ANFIS), and also its variants with grasshopper optimization algorithm (ANFIS-GOA), particle swarm optimization (ANFIS-PSO), and breeding swarm optimization (ANFIS-BS) methods are used for classification. Using our proposed method, ANFIS-BS method has obtained an accuracy of 99.7

Bearing fault diagnosis based on adaptive mutiscale fuzzy entropy and support vector machine

This paper proposes a new rolling bearing fault diagnosis method based on adaptive multiscale fuzzy entropy (AMFE) and support vector machine (SVM). Unlike existing multiscale Fuzzy entropy (MFE) algorithms, the scales of AMFE method are adaptively determined by using the robust Hermite-local mean decomposition (HLMD) method. AMFE method can be achieved by calculating the Fuzzy Entropy (FuzzyEn) of residual sums of the product functions (PFs) through consecutive removal of high-frequency components. Subsequently, the obtained fault features are fed into the multi-fault classifier SVM to automatically fulfill the fault patterns recognition. The experimental results show that the proposed method outperforms the traditional MFE method for the nonlinear and non-stationary signal analysis, which can be applied to recognize the different categories of rolling bearings

Heart beat variability analysis in perinatal brain injury and infection

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica) Universidade de Lisboa, Faculdade de Ciências, 2018Todos os anos, mais de 95 mil recém-nascidos são admitidos nas Unidades de Cuidados Intensivos Neonatais (UCIN) do Reino Unido, devido principalmente a partos prematuros ou outras complicações que pudessem ter ocorrido, como é o caso da encefalopatia hipóxico-isquémica (EHI), que assume 3% de todas as admissões nas unidades referidas. EHI é o termo que define uma complicação inesperada durante o parto, que resulta em lesões neurológicas a longo prazo e até em morte neonatal, devido à privação de oxigénio e fluxo sanguíneo ao recém-nascido durante o nascimento. Estima-se que tenha uma incidência de um a seis casos por 1000 nascimentos. Nos países desenvolvidos, a hipotermia é utilizada como método preventivo-terapêutico para esta condição. No entanto, existem dois grandes obstáculos para a obtenção da neuroprotecção pretendida e totalmente benéfica, na prática clínica. Em primeiro lugar, esta técnica é eficaz se for iniciada dentro de seis horas após o parto. Visto que o estado clínico da encefalopatia neonatal evolui nos dias posteriores ao nascimento, a sua deteção precoce é um grande desafio. Tal situação pode levar a diversos erros nas UCIN, tal como indivíduos sujeitos à terapia de hipotermia desnecessariamente, ou ainda mais grave, casos em que recém-nascidos foram inicialmente considerados como saudáveis, não tendo sido submetidos à terapia referida, apresentarem sinais de EHI após seis horas de vida. A segunda questão prende-se com o facto de a neuroprotecção poder ser perdida se o bebé estiver stressado durante o tratamento. Para além disso, não existe nenhuma ferramenta válida para a avaliação da dor dos recém-nascidos submetidos a esta terapia. Os obstáculos frisados anteriormente demonstram duas necessidades ainda não correspondidas: a carência de um método não invasivo e largamente adaptável a diferentes cenários para uma correta identificação de recém-nascidos com maior probabilidade de HIE, dentro de uma margem de seis horas após o parto, mas também um método preciso de stress em tempo real, não invasivo, que possa orientar tanto pessoal médico, como pais, de modo a oferecer um tratamento mais responsável, célere e individualizado. Deste modo, a análise do ritmo cardíaco demostra um enorme potencial para ser um biomarcador de encefalopatia neonatal, bem como um medidor de stress, através da eletrocardiografia (ECG), visto que é um importante indicador de homeostase, mas também de possíveis condições que podem afetar o sistema nervoso autónomo e, consequentemente, o equilíbrio do corpo humano. É extremamente difícil a obtenção de um parâmetro fisiológico, sem a presença de artefactos, especialmente no caso de recém-nascidos admitidos nas UCIN. Tanto no caso da aquisição de ECGs, como de outros parâmetros, existe uma maior probabilidade de o sinal ser corrompido por artefactos, visto que são longas aquisições, normalmente dias, onde o bebé é submetido a diversas examinações médicas, está rodeado de equipamentos eletrónicos, entre outros. Artefactos são definidos como uma distorção do sinal, podendo ser causados por diversas fontes, fisiológicas ou não. A sua presença nos dados adquiridos influencia e dissimula as informações corretas e reais, podendo mesmo levar a diagnósticos e opções terapêuticas erradas e perigosas para o paciente. Apesar de existirem diversos algoritmos de identificação de artefactos adequados para o sinal cardíaco adulto, são poucos os que funcionam corretamente para o de recém-nascido. Para além disso, é necessário bastante tempo tanto para o staff clínico, como para os investigadores, para o processo de visualização e identificação de artefactos no eletrocardiograma manualmente. Deste modo, o projeto desenvolvido na presente dissertação propõe um novo algoritmo de identificação e marcação de artefactos no sinal cardíaco de recém-nascidos. Para tal, foi criado um modelo híbrido de um método que tem em consideração todas as relações matemáticas de batimento para batimento cardíaco, com outro que tem como objetivo a remoção de spikes no mesmo sinal. O algoritmo final para além de cumprir com o objetivo descrito acima, é também adaptável a diferentes tipos de artefactos presentes no sinal, permitindo ao utilizador, de uma forma bastante intuitiva, escolher o tipo de parâmetros e passos a aplicar, podendo ser facilmente utilizado por profissionais de diferentes áreas. Deste modo, este algoritmo é uma mais-valia quando aplicado no processamento de sinal pretendido, evitando assim uma avaliação visual demorada de todo o sinal. Para obter a melhor performance possível, durante o desenvolvimento do algoritmo foram sempre considerados os resultados de validação, tais como exatidão, sensibilidade, entre outros. Para tal, foram analisados e comparados eletrocardiogramas de 4 recém-nascidos saudáveis e 4 recém-nascidos com encefalopatia. Todos possuíam aproximadamente 5 horas de sinal cardíaco adquirido após o nascimento, com diferentes níveis de presença de artefactos. O algoritmo final, obteve uma taxa de sensibilidade de 96.2% (±2.4%) e uma taxa de exatidão de 92.6% (±3.2%). Como se pode verificar pelos valores obtidos, o algoritmo obteve percentagens altas nos vários parâmetros de classificação, o que significa uma deteção correta. A taxa de exatidão apresenta um valor mais baixo, comparativamente ao parâmetro da sensibilidade, pois em diversas situações, normalmente perto de artefactos, os batimentos normais são considerados como artefactos, pelo algoritmo. Contudo, essa taxa não é alarmante, tendo sido considerada uma taxa reduzida, pelo pessoal médico. Após o processamento do sinal cardíaco dos grupos mencionados acima, um estudo comparativo, utilizando parâmetros da variabilidade do ritmo cardíaco, foi realizado. Diferenças significativas foram encontradas entre os dois grupos, onde o saudável assumiu sempre valores maiores. SDNN e baixa frequência foram os parâmetros que traduziram uma diferença maior entre os dois grupos, com um p-value <0.01. De modo a corresponder ao segundo obstáculo referido nesta dissertação, outro objetivo desta tese foi a criação de um algoritmo que pudesse identificar e diferenciar uma situação de stress nesta faixa etária, com recurso ao ritmo cardíaco. Um estudo multidimensional foi aplicado aos diferentes métodos de entropia utilizados nesta tese (approximate entropy, sample entropy, multiscales entopy e fuzzy entropy) de modo a estudar como os diferentes métodos de entropia interagem entre si e quais são os resultados dessa relação, especialmente na distinção de estados normais e stressantes. Para tal, a utilização de clusters foi essencial. Dado que para todos os ECGs de bebés saudáveis analisados neste projeto foram registados todas as possíveis situações de stress, como é o caso de choro, examinações médicas, mudança de posição, entre outros, foram escolhidos 10 minutos do sinal do ritmo cardíaco adquirido, antes da situação, para análise. Infelizmente, associado a um evento stressante, na maioria dos casos encontra-se uma percentagem bastante alta do sinal corrompida por artefactos. No entanto, em alguns casos foi possível observar uma clara distinção de grupos de clusters, indicando que naquele período de tempo, houve uma mudança de estado. Foi também realizado um estudo intensivo de diversos métodos de entropia aplicados ao grupo de sujeitos apresentados nesta dissertação, onde foi provado que o método mais adequado a nível de diferenciação é a Fuzzy Entropy (p=0.0078). Ainda é possível sugerir alguns aspetos e apontar algumas limitações, no âmbito de poderem ser ultrapassadas no futuro. Em primeiro lugar, é necessária a aquisição de mais eletrocardiogramas, quer de recém-nascidos saudáveis, quer com encefalopatia hipóxico-isquémica, de modo a aumentar o tamanho da amostra e, deste modo diminuir os valores do desvio-padrão em todos os parâmetros calculados. Relativamente ao estudo do stress, seria interessante, com uma amostra maior, a definição de clusters, de modo a ter uma identificação precisa de situações stressantes. Para além disso, a transformação do software atualmente escrito em MATLAB para GUI (interface gráfica do utilizador), a fim de tornar mais acessível a sua utilização por profissionais de diversas áreas.In Neonatal Intensive Care Unit (NICU), the heart rate (HR) offers significant insight into the autonomic function of sick newborns, especially with hypoxic ischemic encephalopathy condition (HIE). However, the intensity of clinical care and monitoring contributes to the electrocardiogram (ECG) to be often noisy and contaminated with artefacts from various sources. These artefacts, defined as any distortion of the signal caused by diverse sources, being physiological or non-physiological features, interfere with the characterization and subsequent evaluation of the heart rate, leading to grave consequences, both in diagnostic and therapeutic decisions. Besides, its manual inspection in the ECG trace is highly time-consuming, which is not feasible in clinical monitoring, especially in NICU. In this dissertation, it is proposed an algorithm capable of automatically detect and mark artefacts in neonatal ECG data, mainly dealing with mathematical aspects of the heart rate, starting from the raw signal. Also, it is proposed an adjacent algorithm, using complexity science applied to HR data, with the objective of identifying stress scenarios. Periods of 10-minute ECG were considered from 8 newborns (4 healthy and 4 HIE) to the identification of stress situations, whereas for the artefacts removal algorithm small portions varying in time length according to the amount of noise present in the originally 5 hours long samples were utilised. In this report it is also present several comparisons utilising heart rate parameters between healthy and HIE groups. Fuzzy Entropy was considered the best method to differentiate both groups (p=0.00078). In this report, substantial differences in heart rate variability were found between healthy and HIE groups, especially in SDNN and low frequency (p<0.01), confirming results of previous literature. For the final artefact removal algorithm, it is illustrated significant differences between raw and post-processed ECG signals. This method had a Recall rate of 96.2% (±2.4%) and a Precision Rate of 92.6% (±3.2%), demonstrating high efficiency in ECG noise removal. Regarding stress measures, associated with a stressful event, in most cases there is a high percentage of the signal corrupted by artefacts. However, in some cases it was possible to see a clear distinction between groups of clusters, indicating that in that period, there was a change of state. Not all the time segments from subjects demonstrated differences in stress stages, indicating that there is still room for improvement in the method developed