Hyperdimensional Computing-based Multimodality Emotion Recognition with Physiological Signals

To interact naturally and achieve mutual sympathy between humans and machines, emotion recognition is one of the most important function to realize advanced human-computer interaction devices. Due to the high correlation between emotion and involuntary physiological changes, physiological signals are a prime candidate for emotion analysis. However, due to the need of a huge amount of training data for a high-quality machine learning model, computational complexity becomes a major bottleneck. To overcome this issue, brain-inspired hyperdimensional (HD) computing, an energy-efficient and fast learning computational paradigm, has a high potential to achieve a balance between accuracy and the amount of necessary training data. We propose an HD Computing-based Multimodality Emotion Recognition (HDC-MER). HDCMER maps real-valued features to binary HD vectors using a random nonlinear function, and further encodes them over time, and fuses across different modalities including GSR, ECG, and EEG. The experimental results show that, compared to the best method using the full training data, HDC-MER achieves higher classification accuracy for both valence (83.2% vs. 80.1%) and arousal (70.1% vs. 68.4%) using only 1/4 training data. HDC-MER also achieves at least 5% higher averaged accuracy compared to all the other methods in any point along the learning curve

Exploratory psychometric validation and efficacy assessment study of an agoraphobia treatment based on virtual reality serious games and biofeedback

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas), Universidade de Lisboa, Faculdade de Ciências, 2020Uma fobia é um tipo de perturbação ansiosa, definida por um medo persistente e excessivo em relação a um objeto ou situação, tendo um impacto bastante limitativo na vida do doente fóbico. Atualmente, as perturbações mentais são ainda vistas como tabu, e existe uma elevada incidência de pessoas que sofrem de fobias (~ 83M na União Europeia, e 32M no Estados Unidos da América). Os métodos atuais para tratamento de perturbações mentais baseiam-se sobretudo em psicoterapia e em farmacologia. Especificamente, o tratamento de perturbações fóbicas baseia-se em terapia por exposição in vivo. Esta técnica foca-se em alterar a resposta do doente ao objeto ou situação que é alvo de medo, através de exposição repetida ao mesmo. A título de exemplo, um doente de fobia de elevadores pode iniciar a sua terapia apenas a pensar em entrar num elevador. De seguida, o terapeuta pode levar o doente a andar de elevador apenas de um andar para o seguinte, a andar de elevador durante vários andares, e a entrar num elevador muito lotado. Este método designa-se assim por dessensibilização fóbica. No entanto, os métodos convencionais possuem várias limitações. Nomeadamente, o tratamento de fobias peca pela falta de quantificação (não são retiradas quaisquer métricas de avaliação), personalização ao doente (a personalização é apenas dependente da opinião subjetiva do terapeuta), ritmo terapêutico gradual e controlado, e segurança, visto que se baseia em terapia por exposição in vivo. A investigação tem demonstrado a eficácia da utilização alternativa de terapia por exposição virtual, baseada em jogos sérios em Realidade Virtual (RV). No entanto, apesar deste método permitir um ritmo terapêutico gradual e em segurança (permitindo uma exposição fóbica virtual no ambiente clínico seguro, ao invés de in vivo – em estágios terapêuticos iniciais e intermédios), não soluciona a falta de quantificação e personalização. Assim, surgiu a hipótese de adicionar biofeedback – uma técnica emergente que utiliza sinais vitais para controlar diretamente a adaptação de um dado sistema, amplamente aplicada em sistemas de treino cerebral – para personalizar e quantificar a terapia por exposição virtual. A técnica é bastante utilizada recorrendo a sinais cerebrais (Neurofeedback), no entanto também são utilizados sinais cardiovasculares, por exemplo. É atualmente conhecido que, a nível fisiológico, as emoções (especificamente o medo) e a ansiedade são correlacionáveis com respostas fisiológicas do sistema cardiovascular. Por exemplo, o sistema cardiovascular responde ao stress, em conjunto com o sistema endócrino, com elevados níveis de cortisol e com um ritmo cardíaco e uma pressão sanguínea aumentados. O presente estudo avalia a eficácia de um novo método de tratamento de agorafobia (ansiedade/medo extremos de espaços abertos ou fechados com multidões) baseado em jogos sérios em RV e biofeedback, como complemento aos métodos terapêuticos convencionais. A adição de uma técnica complementar de relaxamento em RV – seguinte à exposição fóbica – é também avaliada. Como primeiro passo, o estudo avalia se a ansiedade suscita respostas cardíacas e cerebrais diferenciadas, isto é, se é possível retirar biomarcadores da ansiedade. Seguindo investigação prévia, uma experiência preliminar foi conduzida com 156 pessoas saudáveis que assistiram a um conjunto de videoclipes que suscitavam respostas emocionais diferentes, enquanto que as suas atividades cerebrais e cardíacas foram monitorizadas através de sensores de Eletroencefalografia (EEG) e Fotopletismografia (PPG), respetivamente. Foram estudadas seis categorias emocionais: Medo, Alegria, Raiva, Nojo, Neutro, Tristeza, e Ternura. A categoria emocional de Ansiedade/Medo suscitou respostas diferenciadas nos sinais fisiológicos, sugerindo que componentes podem ser utilizadas como biomarcadores da ansiedade. A categoria emocional Ternura foi também alvo de uma análise detalhado, dado que esta é uma emoção ainda pouco conhecida, não sendo consensual a sua natureza. De seguida, um teste de prova-de-conceito de 8 sessões foi conduzido com 5 doentes de agorafobia, dos quais 3 deles foram submetidos ao protocolo terapêutico convencional com a adição do novo método de RV + biofeedback, enquanto que os restantes 2 doentes foram submetidos apenas ao protocolo convencional (psicoterapia e farmacologia). O protocolo do novo método inicia-se com questionários de auto-avaliação de agorafobia e de ansiedade, de seguida passa para o cenário RV de exposição fóbica, e finalmente para o cenário RV de relaxamento. O cenário RV de exposição fóbica consiste numa sala de cinema, na qual o número de pessoas varia de sessão para sessão consoante os resultados fisiológicos e auto-reportados do doente na sessão anterior (biofeedback manual). Por outro lado, o cenário RV de relaxamento consiste numa praia paradísica numa ilha, na qual a turbulência das ondas do mar varia automaticamente consoante os resultados fisiológicos e auto-reportados do doente na sessão anterior (biofeedback preliminar). O objetivo do cenário RV de exposição fóbica é assim expor o doente gradualmente ao cenário de fobia, personalizando o nível de exposição em cada sessão consoante a sua resposta, através do biofeedback. Ou seja, se na sessão anterior o doente conseguiu estar confortável no cenário, o que se traduz nos seus sinais fisiológicos, na sessão seguinte é exposto a um cenário de maior intensidade, obrigando-o assim a habituar-se gradualmente ao cenário. Contrariamente, o objetivo do cenário RV de relaxamento é relaxar gradualmente o doente, expondo-o a um cenário cujo caráter relaxante se intensifica à medida que o doente relaxa, seguindo uma metodologia de biofeedback semelhante. Os resultados mostraram que a diminuição dos sintomas ansiosos e agorafóbicos, entre a primeira e a última sessões, no grupo experimental, foi 3,28 e 5,02 vezes mais elevada, respetivamente, do que a diminuição desses sintomas no grupo de controlo. Resultados relativos a potenciais biomarcadores de estados ansiosos e relaxados foram também adquiridos. De um modo geral, estas conclusões sugerem e quantificam o valor acrescentado deste novo método terapêutico, como complemento à psicoterapia convencional, demonstrando, como foi conjeturado, que a abordagem mista de exposição fóbica + relaxamento permite uma maior redução sintomática. O presente trabalho constitui assim um avanço no estado-da-arte, dado que se retiraram resultados conclusivos relativamente à eficácia e valor acrescentado de um método terapêutico inovador, ainda não explorado na literatura. Trabalho futuro irá avaliar a eficácia e o valor acrescentado do biofeedback, através de um grupo de controlo com biofeedback placebo. Os jogos sérios poderão também ser melhorados, desenvolvendo outros cenários e também os triggers da ansiedade, alvo do controlo automático via biofeedback. Pretende-se também otimizar o biofeedback, através de algoritmos de Aprendizagem Automática de reconhecimento emocional, nomeadamente utilizando algoritmos de redes neuronais. Especificamente, o presente trabalho servirá de base para o desenvolvimento e avaliação de um classificador de estados ansiosos baseado nos biomarcadores encontrados. Por fim, planeia-se ainda avaliar o valor acrescentado de uma abordagem terapêutica no domicílio, como complemento à terapêutica clínica.Current treatment methods for mental disorders – namely, psychotherapy and pharmacology – have several limitations. Specifically, phobias’ treatment lack quantification, personalization to the patient, a gradual and controlled therapy pace, and safety, since it relies on in vivo exposure therapy (phobic desensitization). Research has shown the efficacy of using virtual exposure therapy, based on Virtual Reality (VR) serious games. However, although this method enables a gradual and controlled therapy pace, it does not solve quantification and personalization. Thus, the hypothesis to add biofeedback – an emergent technique that uses vital signs to directly control a system’s adaptation, widely used for brain training systems – to personalize and quantify virtual exposure therapy, arose. This study aims to assess the efficacy of a novel agoraphobia (extreme anxiety/fear of crowded open or closed spaces) treatment method based on VR serious games and biofeedback, as a complement to the conventional methods. The addition of a complementary VR relaxation technique – following the phobic exposure – was also studied. As a first step, the study aims at evaluating if anxiety elicits differentiated brain and heart activity responses, i.e., it aims at evaluating if anxiety biomarkers can be retrieved. Following previous research, a preliminary study was conducted with 156 healthy subjects that watched a set of videoclips that elicited different emotional responses, while their brain and heart activity was monitored through Electroencephalography (EEG) and Photoplethysmography (PPG) sensors, respectively. The fear/anxious emotional category elicited differentiated responses on heart and brain activity, suggesting that certain features can be used as anxiety biomarkers. It was retrieved conclusions regarding the best anxiety biomarker performer, showing the strongest correlations with the self-reporting emotional states, suggesting that the Anxiety/Fear emotional state elicited most differentiated responses on the cardiovascular system, rather than on the Central Nervous System and providing insights into the not yet consensual literature on the topic. Then, a proof-of-concept trial of 8 sessions was conducted with 5 agoraphobic patients, in which 3 of them underwent the conventional treatment protocol with the addition of the novel VR + biofeedback method, while the other 2 only underwent the conventional protocol. The novel method’s protocol begins with agoraphobia and anxiety self-assessment questionnaires, then moves to the VR phobic exposure scenario, and, lastly, to the VR relaxation scenario. Results showed that the decrease of anxious and agoraphobic symptoms, between the initial and last sessions, in the experimental group was 3.28 and 5.02 times greater, respectively, than the decrease of those symptoms in the control group. Results regarding anxious and relaxed states’ biomarkers were also retrieved. Overall, these findings show and quantify the added-value of this novel therapy method – innovative in the literature –, as a complement to the conventional psychotherapy, showing that, as hypothesized, the mixed exposure + relaxation approach enables a more significant symptom reduction. Future work will assess the efficiency and added-value of biofeedback, using Machine Learning methods, as well as of a home-based approach

Barnes Hospital Bulletin

https://digitalcommons.wustl.edu/bjc_barnes_bulletin/1238/thumbnail.jp