Energy-Aware Embedded Classifier Design for Real-Time Emotion Analysis

Detection and classification of human emotions from multiple bio-signals has a wide variety of applications. Though electronic devices are available in the market today that acquire multiple body signals, the classification of human emotions in real-time, adapted to the tight energy budgets of wearable embedded systems is a big challenge. In this paper we present an embedded classifier for real-time emotion classification. We propose a system that operates at different energy budgeted modes, depending on the available energy, where each mode is constrained by an operating energy bound. The classifier has an offline training phase where feature selection is performed for each operating mode, with an energy-budget aware algorithm that we propose. Across the different operating modes, the classification accuracy ranges from 95% - 75% and 89% - 70% for arousal and valence respectively. The accuracy is traded off for less power consumption, which results in an increased battery life of up to 7.7 times (from 146.1 to 1126.9 hours)

Survey of contributions for a pipeline of emotion recognition and awareness - context variables, instruments & sensors, pre-processing techniques and extracted properties for automatic recognition of emotions

A avaliação emocional tem sido uma área de investigação, desde há muitos anos, na área da saúde e na área psicossocial. Foi a partir da década de 90 que o reconhecimento de emoções ganhou mais atenção por parte dos investigadores, tornando-se num importante tópico de investigação até aos dias de hoje (Basu, Bag, Mahadevappa, Mukherjee, & Guha, 2016). Segundo Picard, o estudo das emoções moveu-se da psicologia para a área da computação, criando um novo campo de investigação chamado de Affective Computing (AC). Aliás, no seu livro “Affective Computing”, indica as bases para a criação de um sistema inteligente para deteção emocional de forma automática (R. W. Picard, 1995). Nos últimos anos, tem-se presenciado a um aumento deste tipo de investigações, talvez pela necessidade de transformar a relação entre as coisas (e.g. hardware, software e produtos em geral) e as pessoas, numa interação mais inteligente e natural (R. Picard & Klein, 2002), transformando assim o AC num tópico importante de investigação (Bos, 2010). Vários autores consideram que a deteção automática de emoções poderá ter um impacto positivo na vida das pessoas. Por exemplo, a área da psicologia poderá beneficiar, com menos subjetividade, de dados contínuos e menos diferidos no tempo; a saúde poderá ser avaliada com informação complementar à fisiológica; poderá ser mais fácil detetar delitos como atos de delinquência e atentados terroristas; e será mais fácil desenhar produtos especializados em provocar ou transmitir emoções no mundo virtual (Murad & Malkawi, 2012). Poderá também ser possível criar sistemas inteligentes do ponto de vista afetivo, conscientes ao nível emocional, capazes de percecionar e reagir às emoções dos utilizadores. Apesar de existirem já vários estudos com o objetivo de detetar automaticamente emoções, os autores acreditam que a correlação de variáveis sociais, culturais e religiosas, com as fisiológicas, poderá contribuir de forma positiva para a qualidade dos resultados obtidos. Neste contexto, está-se a preparar uma experiência para detetar automaticamente o bem-estar nos trabalhadores de escritório. Pretende-se recolher variáveis de contexto de várias modalidades e, depois do respetivo pré-processamento, usar esses dados como input de algoritmos de Machine Learning (ML) para a respetiva classificação. O objetivo é verificar a possibilidade de criar sistemas inteligentes do ponto de vista afetivo, conscientes ao nível emocional, capazes de percecionar e reagir às emoções dos funcionários de escritório. Este relatório resume as obras estudadas pelos autores na área do AC na revisão bibliográfica sobre o tema. Sugere-se um sistema de tokens para melhor categorização da informação, e propõe-se também uma sistematização da informação através da organização desses tokens em quadros resumo, para permitir uma análise agregada das investigações. Na secção seguinte são resumidas as variáveis de contexto e propriedades de domínio utilizadas pelos autores. Depois são apresentados os instrumentos & sensores utilizados na recolha das variáveis de contexto. Posteriormente são resumidas as técnicas de pré-processamento utilizadas. Conclui-se com uma enumeração das propriedades extraídas mais utilizadas nas obras estudadas.Emotional assessment has been a research area of health and psychosocial field, since many years. It was from 90’s that the recognition of emotions gained more attention from the researchers, becoming an importante topic of research up to today (Basu, Bag, Mahadevappa, Mukherjee, & Guha, 2016). According to Picard, the study of emotions moved from psychology to the area of computing, creating a new research field called Affective Computing (AC). In fact, in her book “Affective Computing”, she indicates the basis for creating na intelligent system for automatic emotional detection (R. W. Picard, 1995). In recent years, there has been an increase in this kind of research, perhaps due the need to transform the interaction between things (e.g. hardware, software and products in general) and people more natural and intelligent (R. Picard & Klein, 2002). This transformed the AC in an important research topic (Bos, 2010). Several authors believe that the automatic emotional detection can have positive impacto on people’s lives. As an exemple, the area of psychology may benefit with less subjectivity, continuous and less deferred data in time; health can be assessed with additional info besides physiological data; it may be easier to detect crimes such as acts of delinquency and terrorist attacks; and it will be easier to design products specialized in provoking or transmitting emotions in the virtual world (Murad & Malkawi, 2012). It may also be possible to create intelligent affective systems. Emotion-aware systems that can understanding and react to people emotions. Although there are already several studies with the objective of automatically detecting emotions, the authors believe that the correlation of social, cultural and religious variables with physiological ones, may contribute positively to the quality of the results obtained. In this context, an experiment is being prepared to automatically detect the well-being of office workers. It is intended to collect context variables of several modalities and, after the pre- processing phase, use that data as input to Machine Learning (ML) classification algorithms. The goal is to verify the possibility of creating intelligent systems from an affective point of view, conscious at the emotional level, capable of perceiving and reacting to the emotions of office workers. This technical report summarizes the studied researchs by the authors during the bibliographic review on the AC topic. A token system is suggested for better categorization of information, and a systematization of information is also proposed through the organization of these tokens in summary tables, to allow an aggregated analysis of the investigations. The following section summarizes the context variables and domain properties used by the authors. Then, the instruments & sensors used to collect the context variables are presented. Subsequently, the pre-processing techniques used are summarized. It concludes with an enumeration of the extracted properties most used in the studied works.info:eu-repo/semantics/draf