Deep fusion of multi-channel neurophysiological signal for emotion recognition and monitoring

How to fuse multi-channel neurophysiological signals for emotion recognition is emerging as a hot research topic in community of Computational Psychophysiology. Nevertheless, prior feature engineering based approaches require extracting various domain knowledge related features at a high time cost. Moreover, traditional fusion method cannot fully utilise correlation information between different channels and frequency components. In this paper, we design a hybrid deep learning model, in which the 'Convolutional Neural Network (CNN)' is utilised for extracting task-related features, as well as mining inter-channel and inter-frequency correlation, besides, the 'Recurrent Neural Network (RNN)' is concatenated for integrating contextual information from the frame cube sequence. Experiments are carried out in a trial-level emotion recognition task, on the DEAP benchmarking dataset. Experimental results demonstrate that the proposed framework outperforms the classical methods, with regard to both of the emotional dimensions of Valence and Arousal

EEG sleep stages identification based on weighted undirected complex networks

Sleep scoring is important in sleep research because any errors in the scoring of the patient's sleep electroencephalography (EEG) recordings can cause serious problems such as incorrect diagnosis, medication errors, and misinterpretations of patient's EEG recordings. The aim of this research is to develop a new automatic method for EEG sleep stages classification based on a statistical model and weighted brain networks. Methods each EEG segment is partitioned into a number of blocks using a sliding window technique. A set of statistical features are extracted from each block. As a result, a vector of features is obtained to represent each EEG segment. Then, the vector of features is mapped into a weighted undirected network. Different structural and spectral attributes of the networks are extracted and forwarded to a least square support vector machine (LS-SVM) classifier. At the same time the network's attributes are also thoroughly investigated. It is found that the network's characteristics vary with their sleep stages. Each sleep stage is best represented using the key features of their networks. Results In this paper, the proposed method is evaluated using two datasets acquired from different channels of EEG (Pz-Oz and C3-A2) according to the R&K and the AASM without pre-processing the original EEG data. The obtained results by the LS-SVM are compared with those by Naïve, k-nearest and a multi-class-SVM. The proposed method is also compared with other benchmark sleep stages classification methods. The comparison results demonstrate that the proposed method has an advantage in scoring sleep stages based on single channel EEG signals. Conclusions An average accuracy of 96.74% is obtained with the C3-A2 channel according to the AASM standard, and 96% with the Pz-Oz channel based on the R&K standard

Signal processing methods for EEG data classification

Imperial Users onl

EmoEEG - recognising people's emotions using electroencephalography

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas), Universidade de Lisboa, Faculdade de Ciências, 2020As emoções desempenham um papel fulcral na vida humana, estando envolvidas numa extensa variedade de processos cognitivos, tais como tomada de decisão, perceção, interações sociais e inteligência. As interfaces cérebro-máquina (ICM) são sistemas que convertem os padrões de atividade cerebral de um utilizador em mensagens ou comandos para uma determinada aplicação. Os usos mais comuns desta tecnologia permitem que pessoas com deficiência motora controlem braços mecânicos, cadeiras de rodas ou escrevam. Contudo, também é possível utilizar tecnologias ICM para gerar output sem qualquer controle voluntário. A identificação de estados emocionais é um exemplo desse tipo de feedback. Por sua vez, esta tecnologia pode ter aplicações clínicas tais como a identificação e monitorização de patologias psicológicas, ou aplicações multimédia que facilitem o acesso a músicas ou filmes de acordo com o seu conteúdo afetivo. O interesse crescente em estabelecer interações emocionais entre máquinas e pessoas, levou à necessidade de encontrar métodos fidedignos de reconhecimento emocional automático. Os autorrelatos podem não ser confiáveis devido à natureza subjetiva das próprias emoções, mas também porque os participantes podem responder de acordo com o que acreditam que os outros responderiam. A fala emocional é uma maneira eficaz de deduzir o estado emocional de uma pessoa, pois muitas características da fala são independentes da semântica ou da cultura. No entanto, a precisão ainda é insuficiente quando comparada com outros métodos, como a análise de expressões faciais ou sinais fisiológicos. Embora o primeiro já tenha sido usado para identificar emoções com sucesso, ele apresenta desvantagens, tais como o fato de muitas expressões faciais serem "forçadas" e o fato de que as leituras só são possíveis quando o rosto do sujeito está dentro de um ângulo muito específico em relação à câmara. Por estes motivos, a recolha de sinais fisiológicos tem sido o método preferencial para o reconhecimento de emoções. O uso do EEG (eletroencefalograma) permite-nos monitorizar as emoções sentidas sob a forma de impulsos elétricos provenientes do cérebro, permitindo assim obter uma ICM para o reconhecimento afetivo. O principal objetivo deste trabalho foi estudar a combinação de diferentes elementos para identificar estados afetivos, estimando valores de valência e ativação usando sinais de EEG. A análise realizada consistiu na criação de vários modelos de regressão para avaliar como diferentes elementos afetam a precisão na estimativa de valência e ativação. Os referidos elementos foram os métodos de aprendizagem automática, o género do indivíduo, o conceito de assimetria cerebral, os canais de elétrodos utilizados, os algoritmos de extração de características e as bandas de frequências analisadas. Com esta análise foi possível criarmos o melhor modelo possível, com a combinação de elementos que maximiza a sua precisão. Para alcançar os nossos objetivos, recorremos a duas bases de dados (AMIGOS e DEAP) contendo sinais de EEG obtidos durante experiências de desencadeamento emocional, juntamente com a autoavaliação realizada pelos respetivos participantes. Nestas experiências, os participantes visionaram excertos de vídeos de conteúdo afetivo, de modo a despoletar emoções sobre eles, e depois classificaram-nas atribuindo o nível de valência e ativação experienciado. Os sinais EEG obtidos foram divididos em epochs de 4s e de seguida procedeu-se à extração de características através de diferentes algoritmos: o primeiro, segundo e terceiro parâmetros de Hjorth; entropia espectral; energia e entropia de wavelets; energia e entropia de FMI (funções de modos empíricos) obtidas através da transformada de Hilbert-Huang. Estes métodos de processamento de sinal foram escolhidos por já terem gerado resultados bons noutros trabalhos relacionados. Todos estes métodos foram aplicados aos sinais EEG dentro das bandas de frequência alfa, beta e gama, que também produziram bons resultados de acordo com trabalhos já efetuados. Após a extração de características dos sinais EEG, procedeu-se à criação de diversos modelos de estimação da valência e ativação usando as autoavaliações dos participantes como “verdade fundamental”. O primeiro conjunto de modelos criados serviu para aferir quais os melhores métodos de aprendizagem automática a utilizar para os testes vindouros. Após escolher os dois melhores, tentámos verificar as diferenças no processamento emocional entre os sexos, realizando a estimativa em homens e mulheres separadamente. O conjunto de modelos criados a seguir visou testar o conceito da assimetria cerebral, que afirma que a valência emocional está relacionada com diferenças na atividade fisiológica entre os dois hemisférios cerebrais. Para este teste específico, foram consideradas a assimetria diferencial e racional segundo pares de elétrodos homólogos. Depois disso, foram criados modelos de estimação de valência e ativação considerando cada um dos elétrodos individualmente. Ou seja, os modelos seriam gerados com todos os métodos de extração de características, mas com os dados obtidos de um elétrodo apenas. Depois foram criados modelos que visassem comparar cada um dos algoritmos de extração de características utilizados. Os modelos gerados nesta fase incluíram os dados obtidos de todos os elétrodos, já que anteriormente se verificou que não haviam elétrodos significativamente melhores que outros. Por fim, procedeu-se à criação dos modelos com a melhor combinação de elementos possível, otimizaram-se os parâmetros dos mesmos, e procurámos também aferir a sua validação. Realizámos também um processo de classificação emocional associando cada par estimado de valores de valência e ativação ao quadrante correspondente no modelo circumplexo de afeto. Este último passo foi necessário para conseguirmos comparar o nosso trabalho com as soluções existentes, pois a grande maioria delas apenas identificam o quadrante emocional, não estimando valores para a valência e ativação. Em suma, os melhores métodos de aprendizagem automática foram RF (random forest) e KNN (k-nearest neighbours), embora a combinação dos melhores métodos de extração de características fosse diferente para os dois. KNN apresentava melhor precisão considerando todos os métodos de extração menos a entropia espectral, enquanto que RF foi mais preciso considerando apenas o primeiro parâmetro de Hjorth e a energia de wavelets. Os valores dos coeficientes de Pearson obtidos para os melhores modelos otimizados ficaram compreendidos entre 0,8 e 0,9 (sendo 1 o valor máximo). Não foram registados melhoramentos nos resultados considerando cada género individualmente, pelo que os modelos finais foram criados usando os dados de todos os participantes. É possível que a diminuição da precisão dos modelos criados para cada género seja resultado da menor quantidade de dados envolvidos no processo de treino. O conceito de assimetria cerebral só foi útil nos modelos criados usando a base de dados DEAP, especialmente para a estimação de valência usando as características extraídas segundo a banda alfa. Em geral, as nossas abordagens mostraram-se a par ou mesmo superiores a outros trabalhos, obtendo-se valores de acurácia de 86.5% para o melhor modelo de classificação gerado com a base de dados AMIGOS e 86.6% usando a base de dados DEAP.Emotion recognition is a field within affective computing that is gaining increasing relevance and strives to predict an emotional state using physiological signals. Understanding how these biological factors are expressed according to one’s emotions can enhance the humancomputer interaction (HCI). This knowledge, can then be used for clinical applications such as the identification and monitoring of psychiatric disorders. It can also be used to provide better access to multimedia content, by assigning affective tags to videos or music. The goal of this work was to create several models for estimating values of valence and arousal, using features extracted from EEG signals. The different models created were meant to compare how various elements affected the accuracy of the model created. These elements were the machine learning techniques, the gender of the individual, the brain asymmetry concept, the electrode channels, the feature extraction methods and the frequency of the brain waves analysed. The final models contained the best combination of these elements and achieved PCC values over 0.80. As a way to compare our work with previous approaches, we also implemented a classification procedure to find the correspondent quadrant in the valence and arousal space according to the circumplex model of affect. The best accuracies achieved were over 86%, which was on par or even superior to some of the works already done

時間周波数領域でのてんかん脳波識別に関する研究 ‐平均二乗根に基づく特徴抽出に着目して‐

Epilepsy affects over 50 million people on an average yearly world wide. Epileptic Seizure is a generalised term which has broad classification depending on the reasons behind its occurrence. Parvez et al. when applied feature instantaneous bandwidth B2AM and time averaged bandwidth B2FM for classification of interictal and ictal on Freiburg data base, the result dipped low to 77.90% for frontal lobe whereas it was 80.20% for temporal lobe compare to the 98.50% of classification accuracy achieved on Bonn dataset with same feature for classification of ictal against interictal. We found reasons behind such low results are, first Parvez et al. has used first IMF of EMD for feature computation which mostly noised induce. Secondly, they used same kernel parameters of SVM as Bajaj et al. which they must have optimised with different dataset. But the most important reason we found is that two signals s1 and s2 can have same instantaneous bandwidth. Therefore, the motivation of the dissertation is to address the drawback of feature instantaneous bandwidth by new feature with objective of achieving comparable classification accuracy. In this work, we have classified ictal from healthy nonseizure interictal successfully first by using RMS frequency and another feature from Hilbert marginal spectrum then with its parameters ratio. RMS frequency is the square root of sum of square bandwidth and square of center frequency. Its contributing parameters ratio is ratio of center frequency square to square bandwidth. We have also used dominant frequency and its parameters ratio for the same purpose. Dominant frequency have same physical relevance as RMS frequency but different by definition, i.e. square root of sum of square of instantaneous band- width and square of instantaneous frequency. Third feature that we have used is by exploiting the equivalence of RMS frequency and dominant frequency (DF) to define root mean instantaneous frequency square (RMIFS) as square root of sum of time averaged bandwidth square and center frequency square. These features are average measures which shows good discrimination power in classifying ictal from interictal using SVM. These features, fr and fd also have an advantage of overcoming the draw back of square bandwidth and instantaneous bandwidth. RMS frequency that we have used in this work is different from generic root mean square analysis. We have used an adaptive thresholding algorithm to address the issue of false positive. It was able to increase the specificity by average of 5.9% on average consequently increasing the accuracy. Then we have applied morphological component analysis (MCA) with the fractional contribution of dominant frequency and other rest of the features like band- width parameter’s contribution and RMIFS frequency and its parameters and their ratio. With the results from proposed features, we validated our claim to overcome the drawback of instantaneous bandwidth and square bandwidth.九州工業大学博士学位論文 学位記番号：生工博甲第323号 学位授与年月日：平成30年6月28日1 Introduction|2 Empirical Mode Decomposition|3 Root Mean Square Frequency|4 Root Mean Instantaneous Frequency Square|5 Morphological Component Analysis|6 Conclusion九州工業大学平成30年

Automated Classification of EEG Signals Using Component Analysis and Support Vector Machines

Epileptic seizures are characterized by abnormal electrical activity occurring in the brain. EEG records the seizures demonstrating changes in signal morphology. These signal characteristics, however, differ between patients as well as between different seizures in the same patient. Epilepsy is managed with anti-epileptic medications but in some extreme cases surgery might be necessary. Non-invasive surface electrode EEG measurement gives an estimate of the seizure onset but more invasive intra-cranial electrocorticogram (ECoG) are required at times for precise localization of the epileptogenic zone. The epileptogenic zone can be described as the cortical area targeted for resection to render the patient symptom free. Epileptologists use the “evolution” of aberrant signals for identifying epileptic seizures and the epileptogenic zone is identified by concentrating on the area contributing to the onset of seizure. This process is done by visually analyzing hours of ECoG data. The signal morphology during an epileptic seizure is not very different from abnormal discharges noticed in ECoG data thereby complicating signal analysis for the epileptologists. This thesis aims to classify the ECoG channel data as epileptic or non-epileptic using an automated machine learning algorithm called support vector machines (SVM). The data will be decomposed into various frequency bands identified by wavelet transform and will span the range of 0-30Hz. Statistical measures will be applied to these frequency bands to identify features that will subsequently be used to train SVM. This thesis will further investigate feature reduction using multivariate analysis methods to train the SVM and compare it to the performance of classification when all the features were used to train SVM. Results show that channel data classification using trained SVM that did not undergo feature reduction performed better with 98% sensitivity but needed more runtime than the SVM algorithms that was trained using reduced features. For high frequency analysis of frequencies between 60-500Hz, the results show the same sensitivity yet less specificity when compared to the classification using lower frequency range of 0-30Hz. The results seen in this thesis show that support vector machines classifiers can be trained to classify the data as epileptic or non-epileptic with good accuracy. Even though training the classifiers took almost two hours, it was still noticeably less than other machine learning algorithms such as artificial neural networks. The accuracy of this algorithm can be improved with changes to the data segment length, size of training matrix, accuracy of epileptic and nonepileptic data, and amount of data used for training