The background music-content congruence of TV advertisements: A neurophysiological study

[EN] Music affects viewers¿ responses to advertisements. In this study we present the findings of an experiment that investigates the emotional and cognitive reactions of subjects¿ brains during exposure to television advertisements with music congruent, and incongruent, with the advertisement content. We analyze the electroencephalography signals and eye-tracking behaviors of a group of 90 women watching six TV advertisements. The study's findings suggested that incongruent music generates higher levels of attention and advertisement recall. On the other hand, frontal asymmetry measured through electroencephalography was shown to be higher with congruent music. Similarly, cognitive workload was higher when the music was incongruent with the advertisement content. No significant differences were found in terms of advertisement likeability based on incongruent versus congruent music. The results demonstrated the validity of neurophysiological techniques for assessing the effects of levels of music congruence in advertisements.Ausin, JM.; Bigné, E.; Marín-Morales, J.; Guixeres Provinciale, J.; Alcañiz Raya, ML. (2021). The background music-content congruence of TV advertisements: A neurophysiological study. European Research on Management and Business Economics. 27(2):1-14. https://doi.org/10.1016/j.iedeen.2021.100154S11427

La neurociencia como instrumento para medir la eficacia de la publicidad en medios audiovisuales

Tesis por compendio[ES] El proceso de evaluar la eficacia en publicidad es una tarea complicada. Para poder cumplir con los requisitos de los clientes, el publicista está acostumbrado a apoyarse en los criterios objetivos que garantizan las soluciones de la propuesta de comunicación. Así como los aspectos subjetivos del creativo, como la estética, la música, el argumento, y el formato, suelen ser abordados según un criterio creativo. El objetivo de este trabajo es proponer y evaluar experimentalmente una metodología que, mediante la combinación de las respuestas psicofisiológicas, los modelos de aprendizaje automático y las técnicas tradicionales permita cuantificar y predecir, de una forma científica y metódica, el impacto emocional y cognitivo de la publicidad audiovisual. Para ello han planteado 3 estudios experimentales que investigan diferentes características de la metodología propuesta: investigar la capacidad de medidas que provienen de la neurociencia para predecir la eficacia de la publicidad. El segundo plantea comparar el efecto de un nuevo tipo de publicidad más inmersiva de video 360º en frente de la publicidad audiovisual clásica en formato video estándar. Y el tercero la evaluación de la música en el contexto de la congruencia e incongruencia musical aplicado en los anuncios de TV. En cuanto al estudio del impacto de la música en los anuncios se investigó los resultados de las reacciones emocionales y cognitivas de los sujetos durante la exposición a anuncios de televisión con música congruente e incongruente. Se analizaron las señales de electroencefalografía (EEG) y eye tracking (ET) de un grupo de 90 personas que vieron 6 anuncios de televisión. Los resultados mostraron que la música congruente genera niveles más altos asimetría prefrontal cerebral asociada al procesamiento positivo emocional. Por otro lado, los anuncios incongruentes con música alegre mostraron mayor nivel de atención y carga cognitiva, generando mayor recuerdo que los anuncios con música congruente. El estudio demostró, por tanto, la validez del empleo de técnicas basadas neurofisiología para evaluar el impacto de la música en los anuncios. En el segundo estudio se comparó la eficacia de un nuevo tipo de publicidad audiovisual mediante video 360º en la que el usuario tiene una mayor capacidad de interacción frente anuncios audiovisuales clásicos (2D) en los que el visionado carece de interacción. Se comparo el impacto en términos de atención visual, reconocimiento de marca, compromiso y emociones. Las herramientas que se utilizaron fueron señales neurofisiológicas como la electroencefalografía, variabilidad cardiaca, seguimiento ocular y codificación facial. Se compararon cuatro anuncios existentes para bienes duraderos y bienes de consumo de alta rotación. En los resultados se determinó que la mirada depende del contenido del anuncio, que la atención visual es menor en los anuncios de 360º así como el reconocimiento del logo de la marca. Los productos duraderos son los que generan más emociones positivas y el nivel de engagement. Este tipo de metodología ayudara por tanto a cuantificar el mejor formato según la estrategia de contenidos. En el último estudio se investigó la efectividad de los nuevos canales digitales de comunicación (YouTube) para predecir el número de visitas mediante el uso de las redes neuronales artificiales y nuevas métricas basadas en neurociencia extraídas de la electroencefalografía, eye tracking y variabilidad cardíaca. Se descubrieron correlaciones significativas entre la respuesta psicofisiológica del sujeto y la efectividad de los anuncios ponderada como el número de visitas en el canal de YouTube que tubo a posteriori ese anuncio. Esta tesis proporciona por tanto contribuciones novedosas en cuanto al uso de la neurociencia y la inteligencia artificial en la investigación del impacto de la publicidad.[CA] El procés d'avaluar l'eficàcia en publicitat és una tasca complicada. Per poder complir amb els requisits dels clients, el publicista està acostumat a recolzar-se en els criteris objectius que garanteixen les solucions de la proposta de comunicació. Així com els aspectes subjectius de l'creatiu, com l'estètica, la música, l'argument, el format, solen ser abordats segons un criteri creatiu. L'objectiu d'aquest treball és proposar i avaluar experimentalment una metodologia que, mitjançant la combinació de les eines, tecnologia de respostes psicofisiològiques, models d'aprenentatge automàtic i les tècniques tradicionals permeti obtenir, d'una manera científica i metòdica, la resposta dels usuaris davant els anuncis de TV per obtenir la informació necessària per aportar valor a la publicitat. Per a això es plantegen 3 estudis experimentals que investiguen diferents característiques de la metodologia proposada: investigar la capacitat de les eines de neurociència per predir l'eficàcia de la publicitat. El segon planteja mesurar l'eficàcia de Els anuncis segons el format de la publicitat, 2D vs 360º. I el tercer l'avaluació de la música en el context de la congruència i incongruència musical aplicat en els anuncis de TV. L'estudi on comparem l'eficàcia de la publicitat de 360º vs els anuncis estàtics (2D) en termes d'atenció visual, reconeixement de marca, compromís i emocions. Les eines que es van utilitzar van ser eines neurofisiològiques com l'electroencefalografia, variabilitat cardíaca seguiment ocular i codificació facial. Es van comparar quatre anuncis existents per a béns duradors i béns de consum d'alta rotació. En els resultats es mostra que la mirada depèn de l'contingut de l'anunci, l'atenció visual és menor en els anuncis de 360º així com el reconeixement de l'logotip de la marca. Els productes duradors són els que generen més emocions positives i el nivell d'engagement. El que comporta tenir-ho en compte per generar una estratègia de continguts que és el que es desenvolupa en el capítol 2. Pel que fa a l'estudi de l'impacte de la música en els anuncis es va investigar els resultats de les reaccions emocionals i cognitives dels subjectes durant l'exposició a anuncis de televisió amb música congruent i incongruent. Es van analitzar els senyals de electroencefalografia i eye tracking d'un grup de 90 persones que van veure 6 anuncis de televisió. Els resultats mostres que la música congruent genera nivells més alts asimetria prefrontal que representa el gust cerebral. Així com els anuncis incongruents amb música alegre tenen major nivell d'atenció i càrrega cognitiva, generant major recordo que els anuncis amb música congruent. Demostrant la validesa de les tècniques de neurofisiologia per avaluar l'impacte de la música en els anuncis. En l'últim estudi es va investigar l'efectivitat dels nous canals digitals de comunicació (YouTube) per predir mitjançant l'ús de les xarxes neuronals artificials i mètriques basades en neurociències com l'electroencefalografia, eye tracking, variabilitat cardíaca. Es va descobrir les correlacions significatives entre les mètriques de la neurociència i l'efectivitat dels anuncis i el nombre de visites al canal de Youtube. Creant una predicció d'un 82,9% la precisió mitjana i les visualitzacions en línia. Aquesta tesi proporciona contribucions noves a l'ús de la neurociència en la investigació de l'comportament humà, particularment en el consumidor i com li afecta la presa de decisions. La neurociència de el consumidor pot ajudar a l'aplicació de metodologies per a la valoració dels estímuls audiovisuals des d'una perspectiva més exacta i precisa. A més, creant models d'aprenentatge automàtic podem predir les respostes dels usuaris davant els diferents estímuls publicitaris creant campanyes més eficaces i econòmiques. Creiem fermament que el neuromarketing revolucionarà els mètodes d'avaluació de continguts audiovisuals i de presa de decisions. La present tesi té com a objectiu contribuir a aquest progrés. Els resultats d'aquesta tesi poden ser d'utilitat per als investigadors i publicistes interessats a conèixer millor el comportament de consumidor.[EN] The process of evaluating advertising effectiveness is a complicated task. In order to meet customer requirements, the advertiser is used to relying on objective criteria that guarantee the solutions of the communication proposal. As well as the subjective aspects of the creative, such as aesthetics, music, plot, format, they are usually approached according to a creative criterion. The objective of this work is to propose and experimentally evaluate a methodology that, through the combination of tools, psychophysiological response technology, machine learning models and traditional techniques allows to obtain, in a scientific and methodical way, the response of users to TV commercials to obtain the information necessary to add value to the advertisement. For this, 3 experimental studies are proposed that investigate different characteristics of the proposed methodology: investigate the capacity of neuroscience tools to predict the effectiveness of advertising. The second proposes to measure the effectiveness of the ads according to the advertising format, 2D vs 360º. And the third is the evaluation of music in the context of musical congruence and incongruity applied in TV commercials. The study where we compared the effectiveness of 360º advertising vs static (2D) ads in terms of visual attention, brand recognition, engagement and emotions. The tools used were neurophysiological tools such as electroencephalography, cardiac variability, eye tracking, and facial coding. Four existing ads for durable goods and high-turnover consumer goods were compared. The results show that the look depends on the content of the ad, the visual attention is less in the 360º ads as well as the recognition of the brand logo. Durable products are the ones that generate the most positive emotions and the level of engagement. What it takes to take it into account to generate a content strategy. 2. Regarding the study of the impact of music on advertisements, the results of the emotional and cognitive reactions of the subjects during exposure to television advertisements with congruent and incongruous music were investigated. The electroencephalography and eye tracking signals of a group of 90 people who watched 6 television commercials were analysed. The results show that congruent music generates higher levels of prefrontal asymmetry than represents cerebral taste. Just as incongruous ads with happy music have a higher level of attention and cognitive load, generating greater memory than ads with congruent music. Demonstrating the validity of neurophysiology techniques to evaluate the impact of music on advertisements. The latest study investigated the effectiveness of new digital communication channels (YouTube) to predict through the use of artificial neural networks and metrics based on neurosciences such as electroencephalography, eye tracking, and cardiac variability. Significant correlations between neuroscience metrics and the effectiveness of ads and the number of views on the YouTube channel were discovered. Creating a prediction of 82.9% the average precision and online visualizations. This thesis provides novel contributions to the use of neuroscience in human behaviour research, particularly in the consumer and how it affects decision-making. Consumer neuroscience can help the application of methodologies for the assessment of audiovisual stimuli from a more accurate and precise perspective. In addition, by creating machine learning models, we can predict user responses to different advertising stimuli, creating more effective and economical campaigns. We firmly believe that neuromarketing will revolutionize audiovisual content evaluation and decision-making methods. The present thesis aims to contribute to this progress.Ausin Azofra, JM. (2021). La neurociencia como instrumento para medir la eficacia de la publicidad en medios audiovisuales [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/180237TESISCompendi

Exploiting physiological changes during the flow experience for assessing virtual-reality game design.

Immersive experiences are considered the principal attraction of video games. Achieving a healthy balance between the game's demands and the user's skills is a particularly challenging goal. However, it is a coveted outcome, as it gives rise to the flow experience – a mental state of deep concentration and game engagement. When this balance fractures, the player may experience considerable disinclination to continue playing, which may be a product of anxiety or boredom. Thus, being able to predict manifestations of these psychological states in video game players is essential for understanding player motivation and designing better games. To this end, we build on earlier work to evaluate flow dynamics from a physiological perspective using a custom video game. Although advancements in this area are growing, there has been little consideration given to the interpersonal characteristics that may influence the expression of the flow experience. In this thesis, two angles are introduced that remain poorly understood. First, the investigation is contextualized in the virtual reality domain, a technology that putatively amplifies affective experiences, yet is still insufficiently addressed in the flow literature. Second, a novel analysis setup is proposed, whereby the recorded physiological responses and psychometric self-ratings are combined to assess the effectiveness of our game's design in a series of experiments. The analysis workflow employed heart rate and eye blink variability, and electroencephalography (EEG) as objective assessment measures of the game's impact, and self-reports as subjective assessment measures. These inputs were submitted to a clustering method, cross-referencing the membership of the observations with self-report ratings of the players they originated from. Next, this information was used to effectively inform specialized decoders of the flow state from the physiological responses. This approach successfully enabled classifiers to operate at high accuracy rates in all our studies. Furthermore, we addressed the compression of medium-resolution EEG sensors to a minimal set required to decode flow. Overall, our findings suggest that the approaches employed in this thesis have wide applicability and potential for improving game designing practices

Analysis and Classification of Music-induced States of Sadness

The enjoyment and pleasure derived from sad music has sparked fascination amongst researchers due to its seemingly paradoxical nature in producing positive affect. Research is yet to develop a comprehensive understanding of this ‘paradox’. Contradictory findings have resulted in a great variability within the literature, meaning results and interpretations can be difficult to derive. Consequently, this review collated the current literature, seeking to utilize the variability in the findings to propose a model of differential sad states, providing a means for past and future findings to be interpreted. The proposed model is based in theoretical understanding, as such it requires full empirical support. Comparisons to alternative models, theoretical, clinical, and cognitive implications, as well as future directions are discussed

Social and Affective Neuroscience of Everyday Human Interaction

This Open Access book presents the current state of the art knowledge on social and affective neuroscience based on empirical findings. This volume is divided into several sections first guiding the reader through important theoretical topics within affective neuroscience, social neuroscience and moral emotions, and clinical neuroscience. Each chapter addresses everyday social interactions and various aspects of social interactions from a different angle taking the reader on a diverse journey. The last section of the book is of methodological nature. Basic information is presented for the reader to learn about common methodologies used in neuroscience alongside advanced input to deepen the understanding and usability of these methods in social and affective neuroscience for more experienced readers

Social and Affective Neuroscience of Everyday Human Interaction

This Open Access book presents the current state of the art knowledge on social and affective neuroscience based on empirical findings. This volume is divided into several sections first guiding the reader through important theoretical topics within affective neuroscience, social neuroscience and moral emotions, and clinical neuroscience. Each chapter addresses everyday social interactions and various aspects of social interactions from a different angle taking the reader on a diverse journey. The last section of the book is of methodological nature. Basic information is presented for the reader to learn about common methodologies used in neuroscience alongside advanced input to deepen the understanding and usability of these methods in social and affective neuroscience for more experienced readers