Analysis of basic emotions through elctroencephalographies and physiological data

Trabajo de Fin de Grado en Desarrollo de Videojuegos, Facultad de Informática UCM, Departamento de Ingeniería del Software e Inteligencia Artificial, Curso 2023/2024. El código del preprocesado se encuentra disponible en el repositorio de GitHub: https://github.com/javics2002/EmotionTracker.La electroencefalografía y los sensores biométricos han existido desde hace años. Sin embargo, la gran mayoría de videojuegos todavía no utilizan este tipo de sensores para adaptar su jugabilidad al estado emocional del jugador. Usando un electroencefalógrafo y sensores fisiológicos, hemos creado un sistema de predicción de emociones que permitiría a un videojuego cualquiera adaptar su estado al estado anímico del jugador en tiempo real. Se han recogido 48 minutos y 11 segundos de datos EEG y fisiológicos de tres sujetos que han jugado videojuegos distintos, cuya finalidad es evocar emociones distintas con la mayor intensidad posible. Las emociones evaluadas se representan mediante escalas de Likert de cinco valores que enfrentan dos emociones consideradas como opuestas. Estas parejas son relajación-concentración, frustración-diversión, anticipación-sorpresa, seguridad-miedo y distracción-inmersión. Los datos recogidos se han usado para entrenar un modelo predictivo de aprendizaje automático. Según los resultados obtenidos, el mejor modelo de predicción de emociones es random forest. El desempeño de este modelo en tiempo real es similar para los pares de emociones de concentración y diversión, en cambio, para las demás predicciones no es tan preciso. Cabe destacar que la frecuencia de predicción no es un factor significativo para la precisión, pero al comparar los resultados separando los datos EEG y fisiológicos, los datos fisiológicos son prescindibles para todos los pares de emociones a excepción de la diversión.Electroencephalography and biometric sensors have been around for years. However, the vast majority of video games still do not use this type of sensors to adapt their gameplay to the emotional state of the player. Using an electroencephalograph and physiological sensors, we have created an emotion prediction system that would allow any video game to adapt its state to the player's mood in real time. We have collected 48 minutes and 11 seconds of EEG and physiological data from three subjects who have played different video games, the purpose of which is to evoke different emotions with the highest possible intensity. The emotions evaluated are represented by five-value Likert scales that face two emotions considered as opposites. These pairs are relaxation-focus, frustration-amusement, anticipation-surprise, security fright and distraction-immersion. According to the results obtained, the best emotion prediction model is random forest, with a mean value for each emotion pair of 0.2545, which is considered slightly inaccurate since a value is acceptable below 0.25. The real-time performance of this model is similar for the concentration and fun emotion pairs, in contrast, for the other predictions it is much worse, raising the mean value to 1.0667. It should be noted that prediction frequency is not a significant factor for accuracy, but when comparing the results by separating EEG and physiological data, physiological data are dispensable for all emotion pairs except for amusement.Depto. de Ingeniería de Software e Inteligencia Artificial (ISIA)Fac. de InformáticaTRUEunpu