A multiplex connectivity map of valence-arousal emotional model

high number of studies have already demonstrated an electroencephalography (EEG)-based emotion recognition system with moderate results. Emotions are classified into discrete and dimensional models. We focused on the latter that incorporates valence and arousal dimensions. The mainstream methodology is the extraction of univariate measures derived from EEG activity from various frequencies classifying trials into low/high valence and arousal levels. Here, we evaluated brain connectivity within and between brain frequencies under the multiplexity framework. We analyzed an EEG database called DEAP that contains EEG responses to video stimuli and users’ emotional self-assessments. We adopted a dynamic functional connectivity analysis under the notion of our dominant coupling model (DoCM). DoCM detects the dominant coupling mode per pair of EEG sensors, which can be either within frequencies coupling (intra) or between frequencies coupling (cross-frequency). DoCM revealed an integrated dynamic functional connectivity graph (IDFCG) that keeps both the strength and the preferred dominant coupling mode. We aimed to create a connectomic mapping of valence-arousal map via employing features derive from IDFCG. Our results outperformed previous findings succeeding to predict in a high accuracy participants’ ratings in valence and arousal dimensions based on a flexibility index of dominant coupling modes

Metodología para la selección automática de características de señales EEG utilizando algoritmos de aprendizaje de máquina aplicado al reconocimiento del procesamiento emocional en excombatientes

Los diferentes procesos de desmovilización y reincorporación a la vida en sociedad han conseguido que miles de excombatientes de diferentes grupos armados busquen retornar a la vida civil. Sin embargo, se ha reportado en la literatura que la experiencia de guerra causa en estas personas trastornos y desordenes psicológicos que les impiden completar su proceso de reintegración. Se ha encontrado en la literatura distintas alternativas para estudiar el comportamiento de personas que han participado en el conflicto armado, algunos de estos métodos abordan el problema desde la psicología, haciendo entrevistas y encuestas asistidas por expertos. En los últimos años estos estudios han sido apoyados cada vez más con técnicas de aprendizaje de máquina, haciendo análisis de registros electroencefalográficos (EEG), ya que el uso de los sensores para la adquisición de estas señales tiene un costo reducido y la prueba es no invasiva, lo cual facilita poner en práctica esta técnica. Además, los registros EEG tienen una muy buena resolución temporal (milisegundos), y mediante su análisis se ha mostrado una mejoría considerable en el rendimiento de la tarea de clasificación entre las clases (controles y excombatientes). La metodología desarrollada fue probada en dos bases de datos que evalúan el procesamiento emocional de controles y sujetos expuesto al conflicto. El primer conjunto de datos tiene como objetivo discriminar entre las clases utilizando una tarea de valencia contextual, y el segundo utiliza estímulos con imágenes anqueadas para distinguir entre sujetos que han recibido alta exposición y sujetos con baja exposición al conflicto armado colombiano. En esta tesis se plantea una metodología que utiliza dos formas de caracterización de registros EEG utilizando combinación de la representación de estas señales en tiempo, frecuencia y espacio. El primero de los métodos utiliza caracterización en tiempo-frecuencia empleando la transformada Wavelet en su forma discreta para descomponer las señales EEG. Después se extrajeron datos estadísticos sobre los coeficientes de detalle y aproximación, los cuales fueron utilizados como características. Por otro lado, se utilizó también información en frecuencia-espacio, haciendo análisis de conectividad funcional y aplicando la teoría de grafos a las conexiones encontradas en diferentes escalas de conectividad. Adicionalmente, se realizó un análisis de relevancia con tres métodos que permiten brindar mayor interpretabilidad a los resultados obtenidos y obtener una mayor tasa de clasificación al utilizar las características más relevantes. Los métodos utilizados son búsqueda exhaustiva, aprendizaje multi kernel (MKL), y selección de características con ANOVA. Finalmente, se realiza la clasificación de las características con una máquina de vectores de soporte, obteniendo el puntaje F1 como medida de evaluación. Los resultados sugieren que existe diferencia entre las clases de la tarea denominada como Flanker, consiguiendo hasta 94% de puntaje F1 en la tarea de clasificación. Para el caso de valencia contextual se tiene hasta un 85% en el puntaje F1 combinando la información espectral con MKL. En general, se obtuvo que el análisis por bandas de frecuencia obtiene a lo largo de las pruebas los resultados m as altos, aunque el análisis de relevancia con MKL es también consistente, y se observó que la banda en donde se dieron los mejores resultados fue en los rangos de frecuencia altos de B. Esto sugiere que los controles y pacientes expuestos al conflicto presentan una diferencia en los niveles de concentración y atención.The different demobilization process have bring thousands of colombian excombatants in searching for return to the civil life. However, it is reported that the war experience produces psychological disorders that prevent completing their reintegration process. The literature shows several alternatives to study the behavior of people with war experiences, some of these methods address the problem using psychology, i.e., making interviews by experts. In the last years, the studies have been helped by arti cial intelligence using electroencephalographic (EEG) signals, due to EEG is a non-invasive and low-cost study, which facilitates put into practice this technique. Also, EEG signals have an adequate time resolution (milliseconds), and with its analysis the classi cation task between excombatants and controls have improved. The developed methodology was evaluated in two di erent datasets, both assess the emotion processing in controls and subjects with high exposure to the armed con ict. The rst dataset aims to discriminate between classes using contextual valence. The second dataset uses stimuli with anker images to distinguish between subjects that have been highly exposed to the con ict and subjects with low exposure. In this thesis it is developed a methodology that uses two ways of EEG characterization making combinations of the representations of these signals in di erent domains as time, frequency, and space. The rst approach uses features in time-frequency domain employing decomposition with multiple discrete wavelets, then, statistics features are extracted from the decomposition coe cients. On the other hand, it is used frequency-space information making a functional connectivity analysis and applying graph theory over the connections found on the connectivity. Also, it was made a feature relevance analysis through three methods that give better interpretability of the data. The relevance analysis methods used are: Exhaustive search with frequency bands, weights assignment with MKL, and ANOVA feature selection technique. Finally, the classi cation was made using SVM, and evaluated with the F1 score metric. Results suggest that there is a di erence between the classes in the anker dataset, reaching a 94% of F1 score. For the contextual valence dataset, the F1 score achieves an 85% by combining the spectral information with MKL. In general the exhaustive search method showed the best scores among several tests, nevertheless the relevance analysis with MKL is the most regular method. Finally, it is shown that higher frequencies in the beta band are the most relevant ones, suggesting that the controls and subjects present di erences in the concentration and attention level

Emotion Recognition and Dynamic Functional Connectivity Analysis Based on EEG

10.1109/ACCESS.2019.2945059IEEE Access7143293-14330