High-Frequency Electroencephalographic Activity in Left Temporal Area Is Associated with Pleasant Emotion Induced by Video Clips

Recent findings suggest that specific neural correlates for the key elements of basic emotions do exist and can be identified by neuroimaging techniques. In this paper, electroencephalogram (EEG) is used to explore the markers for video-induced emotions. The problem is approached from a classifier perspective: the features that perform best in classifying person’s valence and arousal while watching video clips with audiovisual emotional content are searched from a large feature set constructed from the EEG spectral powers of single channels as well as power differences between specific channel pairs. The feature selection is carried out using a sequential forward floating search method and is done separately for the classification of valence and arousal, both derived from the emotional keyword that the subject had chosen after seeing the clips. The proposed classifier-based approach reveals a clear association between the increased high-frequency (15–32 Hz) activity in the left temporal area and the clips described as “pleasant” in the valence and “medium arousal” in the arousal scale. These clips represent the emotional keywords amusement and joy/happiness. The finding suggests the occurrence of a specific neural activation during video-induced pleasant emotion and the possibility to detect this from the left temporal area using EEG

Deep fusion of multi-channel neurophysiological signal for emotion recognition and monitoring

How to fuse multi-channel neurophysiological signals for emotion recognition is emerging as a hot research topic in community of Computational Psychophysiology. Nevertheless, prior feature engineering based approaches require extracting various domain knowledge related features at a high time cost. Moreover, traditional fusion method cannot fully utilise correlation information between different channels and frequency components. In this paper, we design a hybrid deep learning model, in which the 'Convolutional Neural Network (CNN)' is utilised for extracting task-related features, as well as mining inter-channel and inter-frequency correlation, besides, the 'Recurrent Neural Network (RNN)' is concatenated for integrating contextual information from the frame cube sequence. Experiments are carried out in a trial-level emotion recognition task, on the DEAP benchmarking dataset. Experimental results demonstrate that the proposed framework outperforms the classical methods, with regard to both of the emotional dimensions of Valence and Arousal

nChoice - eine neue Methode der Erfolgsprognose, durch die Kombination der CHANCE®-Methode und EEG-Messungen

Der gesättigte Markt der Verbrauchsgüter erzeugt einen hohen Innovationsdruck auf die beteiligten Unternehmen. Diese platzieren jedes Jahr eine Vielzahl von neuen Produkten auf dem Markt. Jedoch stellen Produktneueinführungen durch verkürzte Produktlebenszyklen sowie übersättigte Märkte eine immer größere Herausforderung für Unternehmen dar (Neuproduktdilemma). Obwohl Unternehmen ca. 80 Mrd. € in Kommunikationsmaßnahmen investieren, scheitern trotz intensiver Marktforschung ca. 80% der neu eingeführten Verbrauchsgüter auf dem Deutschen Markt. Laut Gesellschaft für Konsumforschung (GfK) verursachen diese hohen Misserfolge jährlich Kosten von ca. 10 Mrd. € in Deutschland. Um wettbewerbsfähig zu bleiben, ist allerdings die Einführung neuer Produkte für die Überlebensfähigkeit von Unternehmen essentiell. Die vorliegende Arbeit beleuchtet diese Thematik und stellt ein neues Verfahren zur Prognose des Markterfolges von Prouktinnovationen vor. Die Kombination der „CHANCE®-Methode“ mit der auf Hirnstrommessung basierenden „Frontalen Alpha Asymmetrie“ erfasst im Vergleich zu traditionellen Verfahren präzisiere Ergebnisse für die Ermittlung von Kaufentscheidungsprozessen. Der Einbezug implizieter Vorgänge, die das Kaufverhalten maßgeblich beeinflussen und die intrapersonale Vorgehensweise der CHANCE®-Methode, ermöglichen validere Vorhersagen. Mit „nChoice“ wird ein vielversprechendes neues Instrument, am Beispiel von Schokoladenverwendern, entwickelt.The saturated consumer goods market creates a high pressure of innovation on the participating companies. Each year, they place a large number of new products on the market. However, product launches through shorter product lifecycles and oversaturated markets are becoming an ever-greater challenge for companies (new product dilemma). Although companies invest about € 80 billion in communication measures, despite intensive market research, about 80% of newly launched consumer goods fail on the German market. According to the Gesellschaft für Konsumforschung (GfK), these major failures produce costs of about € 10 billion a year in Germany. To remain competitive, the introduction of new products is essential to the viability of businesses. The present work addresses this problem and presents a new method for predicting the market success of product innovations. The combination of the "CHANCE®-method" with the brainwave-based "Frontal Alpha Asymmetry" creates more precise results when determining purchase decision-making processes compared to traditional methods. The inclusion of implicit transactions that significantly influence buying behavior and the intangible approach of the CHANCE®-method enables more valid predictions. With "nChoice" a promising new instrument is developed, using the example of chocolate users

Nuevos sistemas hápticos para la evocación de emociones en eventos audiovisuales en personas con discapacidad auditiva

Day by day the current society is more aware of the existing barriers to impaired people. The difficulties they face are not only architectural, such as stairs, traffic lights without acoustic warning or information panels without Braille writing, but also cultural, such as the lack of subtitles, audio description and sign language in regular television programming, including on-demand television. All these obstacles limit access to culture and prevent the full enjoyment of both culture and information. The performing arts also suffer from this lack of accessibility. Incorporating greater accessibility in the performing arts for the hearing-impaired will favour access to cultural material, fostering the integration of the group and raising awareness among the population. The auditory channel is fundamental for the emotional activation caused by audio-visual stimuli. In particular, music, a basic support in any medium to reinforce the evocation of the desired emotion, is a purely auditory channel. If this channel is lost, there is a loss of information that causes the emotional activation contained in the music not to occur and, therefore, an alternative channel is needed. Tactile stimulation has been found to be a viable means of replacing the auditory channel due to their psychophysical similarities, both sound and vibration are perceived as vibratory stimuli, the receptors of these senses being sensitive to pressure and able to distinguish their frequencies. For years, the entertainment industry has been developing devices that, with the support of haptic stimuli, offer an augmented experience of, for example, video games. Likewise, 4D cinemas also use haptic stimulation, among other stimuli, to make the viewer feel immersed in the projection. None of these ways take the music into account, and that is where our research begins. The focus of this project is the design of devices, aimed at people with hearing impairment, which can transmit the emotions evoked by music. In this way, in the future, we will achieve, the total inclusion of impaired people in any social activity. As this topic has a wider scope than a pure engineering research, this work has been divided into three main sections that are presented in detail, providing a basis for the whole subject. The first section covers the theoretical basis on which this research is based, explaining what are the emotions, what generates them and where their processing is located in the cerebral cortex. To record these activations, measured as electrical potentials, the different techniques used are presented, with their pros and cons. Here we will link to the power of music to generate emotions, and the scientific databases that serve for standardization in the comparison of measurements of emotions evoked by audio-visual media. As the focus of this work is people with hearing impairment, music, which has a clear auditory component, will have to be transmitted through an alternative channel, such as touch, a sense with psychophysical characteristics similar to the auditory one. Therefore, we will delve into the physiology of this sense, the current technology for its stimulation and examples of devices that have been used in different investigations. In the second section we will explain the design process of the tools, both hardware and software, used in this work, which purpose is the evocation of emotions through haptic stimulation. As the path of this research has been long, the designed devices have evolved along the work itself and therefore the development of the different systems is presented. In the last section, we present the different clinical tests performed, the process of recording brain activation and the results for of each of them. Every device is discussed in depth and related to the tests performed, facilitating the understanding of the previous section and helping the global vision of the work. In view of the achieved results, we will conclude that the integration of simple multimodal stimuli, visual and vibro-tactile, helps to enhance the activation of emotional processes similar to the activation by musical stimulation in normal-hearing people. It has also been concluded that multimodal visual and vibro-tactile stimulation reinforces both attentional and emotional processes. This paves the way to a future implementation of simple systems that can help the hearing-impaired people to fully enjoy an audio-visual event, a result with a huge impact in this community.Día a día la sociedad actual es más consciente de las barreras existentes a personas con discapacidad. Las dificultades a las que se enfrentan no son sólo arquitectónicas, como pueden escaleras, semáforos sin aviso acústico o paneles informativos sin escritura en Braille, sino también culturales, como puede ser la falta de subtítulos, Audiodescripción y lengua de signos en la programación habitual de la televisión, incluida la televisión bajo demanda. Todas estas trabas limitan el acceso a la cultura e impiden que se pueda disfrutar plenamente tanto de la cultura como de la información. Las artes escénicas, por su lado, también adolecen de esta falta de accesibilidad. Incorporando una mayor accesibilidad en las artes escénicas para las personas con deficiencias auditivas se favorecerá el acceso al material cultural fomentando la integración del colectivo y sensibilizando a la población. El canal auditivo es fundamental para la activación emocional provocada por estímulos audiovisuales. En concreto la música, apoyo básico en cualquier medio para reforzar la evocación de la emoción deseada, es un canal meramente auditivo. Si se pierde este canal, se produce una pérdida de información que provoca que la activación emocional contenida en la música no llegue a producirse y, por lo tanto, se necesite un canal alternativo. Se ha comprobado que la estimulación táctil es un medio viable para sustituir el canal auditivo debido a sus similitudes psicofísicas, tanto el sonido como la vibración se perciben como estímulos vibratorios, siendo los receptores de estos sentidos sensibles a presión y capaces de distinguir sus frecuencias. La industria del ocio lleva años desarrollando dispositivos que, bajo el apoyo de estímulos hápticos, ofrezcan una experiencia aumentada de, por ejemplo, los video juegos. Así mismo, los cines 4D, también emplean estimulación háptica, entre otros estímulos, para conseguir que el espectador se vea inmerso en la proyección. Ninguna de estas vías, tienen en cuenta la música, y es ahí donde comienza nuestra investigación. La idea que fundamenta este proyecto es el diseño de dispositivos, dirigidos a personas con discapacidad auditiva, que puedan transmitir las emociones que evocan la música. De esta forma, en un futuro, conseguiremos, entre todos, la inclusión total de las personas con discapacidad a cualquier actividad social. Como este tema excede el alcance de una mera investigación de ingeniería, se ha divido este trabajo en tres secciones principales que se exponen en detalle, dando base a toda la temática. En la primera de las secciones se abarca la base teórica en la que se sustenta esta investigación, se explica qué son las emociones, que las genera y dónde se localiza su procesamiento en la corteza cerebral. Para medir estas activaciones, medidas como potenciales eléctricos, se exponen las diferentes técnicas empleadas, con sus pros y contras. Aquí enlazaremos con el poder de la música para generar emociones, y las bases de datos científicas que sirven para la estandarización en la comparación de las mediciones de las emociones evocadas por los medios audiovisuales. Como el enfoque de este trabajo son las personas con discapacidad auditiva, la música, que tiene un claro componente auditivo, habrá que transmitirla a través de un canal alternativo, como es el tacto, sentido con características psicofísicas similares al auditivo. Por ello profundizaremos en la fisiología de este sentido, la tecnología actual para su estimulación y ejemplos de dispositivos que se han empleado en diferentes investigaciones. En la segunda sección se explicará el proceso del diseño de las herramientas, tanto hardware como software, empleadas en este trabajo cuyo fin es la evocación emociona a través de estimulación háptica. Como el camino de esta investigación ha sido largo, los dispositivos diseñados han evolucionado a lo largo del propio trabajo y se presenta el desarrollo de los diferentes sistemas. En la última sección, presentamos las diferentes pruebas clínicas realizadas, el proceso de registro de la activación cerebral y los resultados de cada una de estas. Se profundiza y relaciona cada dispositivo con las pruebas realizadas, facilitando la comprensión de la sección anterior y ayudando a visión global del trabajo. A la vista de los resultados alcanzados, podemos concluir que la integración estímulos simples multimodales, visual y vibro-táctil, ayudan a potenciar la activación de procesos emocionales similares a la activación ante estimulación musical. También se ha llegado a la conclusión que la estimulación multimodal, visual y vibro-táctil, refuerza tanto los procesos atencionales como los procesos emocionales. Estos resultados abren el camino para futuros desarrollos que permitan que una persona con discapacidad auditiva pueda disfrutar plenamente de un evento audiovisual, lo que generará un gran impacto para este colectivo.Programa de Doctorado en Ingeniería Eléctrica, Electrónica y Automática por la Universidad Carlos III de MadridPresidente: Eva Bermejo Sánchez.- Secretario: José Antonio Belloch Rodríguez.- Vocal: Javier Pérez Tejer