Metodología para la selección automática de características de señales EEG utilizando algoritmos de aprendizaje de máquina aplicado al reconocimiento del procesamiento emocional en excombatientes

Los diferentes procesos de desmovilización y reincorporación a la vida en sociedad han conseguido que miles de excombatientes de diferentes grupos armados busquen retornar a la vida civil. Sin embargo, se ha reportado en la literatura que la experiencia de guerra causa en estas personas trastornos y desordenes psicológicos que les impiden completar su proceso de reintegración. Se ha encontrado en la literatura distintas alternativas para estudiar el comportamiento de personas que han participado en el conflicto armado, algunos de estos métodos abordan el problema desde la psicología, haciendo entrevistas y encuestas asistidas por expertos. En los últimos años estos estudios han sido apoyados cada vez más con técnicas de aprendizaje de máquina, haciendo análisis de registros electroencefalográficos (EEG), ya que el uso de los sensores para la adquisición de estas señales tiene un costo reducido y la prueba es no invasiva, lo cual facilita poner en práctica esta técnica. Además, los registros EEG tienen una muy buena resolución temporal (milisegundos), y mediante su análisis se ha mostrado una mejoría considerable en el rendimiento de la tarea de clasificación entre las clases (controles y excombatientes). La metodología desarrollada fue probada en dos bases de datos que evalúan el procesamiento emocional de controles y sujetos expuesto al conflicto. El primer conjunto de datos tiene como objetivo discriminar entre las clases utilizando una tarea de valencia contextual, y el segundo utiliza estímulos con imágenes anqueadas para distinguir entre sujetos que han recibido alta exposición y sujetos con baja exposición al conflicto armado colombiano. En esta tesis se plantea una metodología que utiliza dos formas de caracterización de registros EEG utilizando combinación de la representación de estas señales en tiempo, frecuencia y espacio. El primero de los métodos utiliza caracterización en tiempo-frecuencia empleando la transformada Wavelet en su forma discreta para descomponer las señales EEG. Después se extrajeron datos estadísticos sobre los coeficientes de detalle y aproximación, los cuales fueron utilizados como características. Por otro lado, se utilizó también información en frecuencia-espacio, haciendo análisis de conectividad funcional y aplicando la teoría de grafos a las conexiones encontradas en diferentes escalas de conectividad. Adicionalmente, se realizó un análisis de relevancia con tres métodos que permiten brindar mayor interpretabilidad a los resultados obtenidos y obtener una mayor tasa de clasificación al utilizar las características más relevantes. Los métodos utilizados son búsqueda exhaustiva, aprendizaje multi kernel (MKL), y selección de características con ANOVA. Finalmente, se realiza la clasificación de las características con una máquina de vectores de soporte, obteniendo el puntaje F1 como medida de evaluación. Los resultados sugieren que existe diferencia entre las clases de la tarea denominada como Flanker, consiguiendo hasta 94% de puntaje F1 en la tarea de clasificación. Para el caso de valencia contextual se tiene hasta un 85% en el puntaje F1 combinando la información espectral con MKL. En general, se obtuvo que el análisis por bandas de frecuencia obtiene a lo largo de las pruebas los resultados m as altos, aunque el análisis de relevancia con MKL es también consistente, y se observó que la banda en donde se dieron los mejores resultados fue en los rangos de frecuencia altos de B. Esto sugiere que los controles y pacientes expuestos al conflicto presentan una diferencia en los niveles de concentración y atención.The different demobilization process have bring thousands of colombian excombatants in searching for return to the civil life. However, it is reported that the war experience produces psychological disorders that prevent completing their reintegration process. The literature shows several alternatives to study the behavior of people with war experiences, some of these methods address the problem using psychology, i.e., making interviews by experts. In the last years, the studies have been helped by arti cial intelligence using electroencephalographic (EEG) signals, due to EEG is a non-invasive and low-cost study, which facilitates put into practice this technique. Also, EEG signals have an adequate time resolution (milliseconds), and with its analysis the classi cation task between excombatants and controls have improved. The developed methodology was evaluated in two di erent datasets, both assess the emotion processing in controls and subjects with high exposure to the armed con ict. The rst dataset aims to discriminate between classes using contextual valence. The second dataset uses stimuli with anker images to distinguish between subjects that have been highly exposed to the con ict and subjects with low exposure. In this thesis it is developed a methodology that uses two ways of EEG characterization making combinations of the representations of these signals in di erent domains as time, frequency, and space. The rst approach uses features in time-frequency domain employing decomposition with multiple discrete wavelets, then, statistics features are extracted from the decomposition coe cients. On the other hand, it is used frequency-space information making a functional connectivity analysis and applying graph theory over the connections found on the connectivity. Also, it was made a feature relevance analysis through three methods that give better interpretability of the data. The relevance analysis methods used are: Exhaustive search with frequency bands, weights assignment with MKL, and ANOVA feature selection technique. Finally, the classi cation was made using SVM, and evaluated with the F1 score metric. Results suggest that there is a di erence between the classes in the anker dataset, reaching a 94% of F1 score. For the contextual valence dataset, the F1 score achieves an 85% by combining the spectral information with MKL. In general the exhaustive search method showed the best scores among several tests, nevertheless the relevance analysis with MKL is the most regular method. Finally, it is shown that higher frequencies in the beta band are the most relevant ones, suggesting that the controls and subjects present di erences in the concentration and attention level

Internet and Biometric Web Based Business Management Decision Support

Internet and Biometric Web Based Business Management Decision Support MICROBE MOOC material prepared under IO1/A5 Development of the MICROBE personalized MOOCs content and teaching materials Prepared by: A. Kaklauskas, A. Banaitis, I. Ubarte Vilnius Gediminas Technical University, Lithuania Project No: 2020-1-LT01-KA203-07810

Survey of contributions for a pipeline of emotion recognition and awareness - context variables, instruments & sensors, pre-processing techniques and extracted properties for automatic recognition of emotions

A avaliação emocional tem sido uma área de investigação, desde há muitos anos, na área da saúde e na área psicossocial. Foi a partir da década de 90 que o reconhecimento de emoções ganhou mais atenção por parte dos investigadores, tornando-se num importante tópico de investigação até aos dias de hoje (Basu, Bag, Mahadevappa, Mukherjee, & Guha, 2016). Segundo Picard, o estudo das emoções moveu-se da psicologia para a área da computação, criando um novo campo de investigação chamado de Affective Computing (AC). Aliás, no seu livro “Affective Computing”, indica as bases para a criação de um sistema inteligente para deteção emocional de forma automática (R. W. Picard, 1995). Nos últimos anos, tem-se presenciado a um aumento deste tipo de investigações, talvez pela necessidade de transformar a relação entre as coisas (e.g. hardware, software e produtos em geral) e as pessoas, numa interação mais inteligente e natural (R. Picard & Klein, 2002), transformando assim o AC num tópico importante de investigação (Bos, 2010). Vários autores consideram que a deteção automática de emoções poderá ter um impacto positivo na vida das pessoas. Por exemplo, a área da psicologia poderá beneficiar, com menos subjetividade, de dados contínuos e menos diferidos no tempo; a saúde poderá ser avaliada com informação complementar à fisiológica; poderá ser mais fácil detetar delitos como atos de delinquência e atentados terroristas; e será mais fácil desenhar produtos especializados em provocar ou transmitir emoções no mundo virtual (Murad & Malkawi, 2012). Poderá também ser possível criar sistemas inteligentes do ponto de vista afetivo, conscientes ao nível emocional, capazes de percecionar e reagir às emoções dos utilizadores. Apesar de existirem já vários estudos com o objetivo de detetar automaticamente emoções, os autores acreditam que a correlação de variáveis sociais, culturais e religiosas, com as fisiológicas, poderá contribuir de forma positiva para a qualidade dos resultados obtidos. Neste contexto, está-se a preparar uma experiência para detetar automaticamente o bem-estar nos trabalhadores de escritório. Pretende-se recolher variáveis de contexto de várias modalidades e, depois do respetivo pré-processamento, usar esses dados como input de algoritmos de Machine Learning (ML) para a respetiva classificação. O objetivo é verificar a possibilidade de criar sistemas inteligentes do ponto de vista afetivo, conscientes ao nível emocional, capazes de percecionar e reagir às emoções dos funcionários de escritório. Este relatório resume as obras estudadas pelos autores na área do AC na revisão bibliográfica sobre o tema. Sugere-se um sistema de tokens para melhor categorização da informação, e propõe-se também uma sistematização da informação através da organização desses tokens em quadros resumo, para permitir uma análise agregada das investigações. Na secção seguinte são resumidas as variáveis de contexto e propriedades de domínio utilizadas pelos autores. Depois são apresentados os instrumentos & sensores utilizados na recolha das variáveis de contexto. Posteriormente são resumidas as técnicas de pré-processamento utilizadas. Conclui-se com uma enumeração das propriedades extraídas mais utilizadas nas obras estudadas.Emotional assessment has been a research area of health and psychosocial field, since many years. It was from 90’s that the recognition of emotions gained more attention from the researchers, becoming an importante topic of research up to today (Basu, Bag, Mahadevappa, Mukherjee, & Guha, 2016). According to Picard, the study of emotions moved from psychology to the area of computing, creating a new research field called Affective Computing (AC). In fact, in her book “Affective Computing”, she indicates the basis for creating na intelligent system for automatic emotional detection (R. W. Picard, 1995). In recent years, there has been an increase in this kind of research, perhaps due the need to transform the interaction between things (e.g. hardware, software and products in general) and people more natural and intelligent (R. Picard & Klein, 2002). This transformed the AC in an important research topic (Bos, 2010). Several authors believe that the automatic emotional detection can have positive impacto on people’s lives. As an exemple, the area of psychology may benefit with less subjectivity, continuous and less deferred data in time; health can be assessed with additional info besides physiological data; it may be easier to detect crimes such as acts of delinquency and terrorist attacks; and it will be easier to design products specialized in provoking or transmitting emotions in the virtual world (Murad & Malkawi, 2012). It may also be possible to create intelligent affective systems. Emotion-aware systems that can understanding and react to people emotions. Although there are already several studies with the objective of automatically detecting emotions, the authors believe that the correlation of social, cultural and religious variables with physiological ones, may contribute positively to the quality of the results obtained. In this context, an experiment is being prepared to automatically detect the well-being of office workers. It is intended to collect context variables of several modalities and, after the pre- processing phase, use that data as input to Machine Learning (ML) classification algorithms. The goal is to verify the possibility of creating intelligent systems from an affective point of view, conscious at the emotional level, capable of perceiving and reacting to the emotions of office workers. This technical report summarizes the studied researchs by the authors during the bibliographic review on the AC topic. A token system is suggested for better categorization of information, and a systematization of information is also proposed through the organization of these tokens in summary tables, to allow an aggregated analysis of the investigations. The following section summarizes the context variables and domain properties used by the authors. Then, the instruments & sensors used to collect the context variables are presented. Subsequently, the pre-processing techniques used are summarized. It concludes with an enumeration of the extracted properties most used in the studied works.info:eu-repo/semantics/draf