Enhancing video game performance through an individualized biocybernetic system

Biocybernetic systems are physiological software systems that explicitly utilize physiological signals to control or adapt software functionality (Pope et al., 1995.) These systems have tremendous potential for innovation in human computer interaction by using physiological signals to infer a user\u27s emotional and mental states (Allanson & Fairclough, 2004; Fairclough, 2008). Nevertheless, development of these systems has been ultimately hindered by two fundamental challenges. First, these systems make generalizations about physiological indicators of cognitive states across populations when, in fact, relationships between physiological responses and cognitive states are specific to each individual (Andreassi, 2006). Second, they often employ largely inconsistent retrospective techniques to subjectively infer user\u27s mental state (Fairclough, 2008). An individualized biocybernetic system was developed to address the fundamental challenges of biocybernetic research. This system was used to adapt video game difficulty through real-time classifications of physiological responses to subjective appraisals. A study was conducted to determine the system\u27s ability to improve player\u27s performance. The results provide evidence of significant task performance increase and higher attained task difficulty when players interacted with the game using the system than without. This work offers researchers with an alternative method for software adaptation by conforming to the individual characteristics of each user

Emotional Brain-Computer Interfaces

Research in Brain-computer interface (BCI) has significantly increased during the last few years. In addition to their initial role as assisting devices for the physically challenged, BCIs are now proposed for a wider range of applications. As in any HCI application, BCIs can also benefit from adapting their operation to the emotional state of the user. BCIs have the advantage of having access to brain activity which can provide signicant insight into the user's emotional state. This information can be utilized in two manners. 1) Knowledge of the inuence of the emotional state on brain activity patterns can allow the BCI to adapt its recognition algorithms, so that the intention of the user is still correctly interpreted in spite of signal deviations induced by the subject's emotional state. 2) The ability to recognize emotions can be used in BCIs to provide the user with more natural ways of controlling the BCI through affective modulation. Thus, controlling a BCI by recollecting a pleasant memory can be possible and can potentially lead to higher information transfer rates.\ud These two approaches of emotion utilization in BCI are elaborated in detail in this paper in the framework of noninvasive EEG based BCIs

Autonomous Assessment of Videogame Difficulty Using Physiological Signals

Given the well-explored relation between challenge and involvement in a task, (e.g., as described in Csikszentmihalyi’s theory of flow), it could be argued that the presence of challenge in videogames is a core element that shapes player experiences and should, therefore, be matched to the player’s skills and attitude towards the game. However, handling videogame difficulty, is a challenging problem in game design, as too easy a task can lead to boredom and too hard can lead to frustration. Thus, by exploring the relationship between difficulty and emotion, the current work intends to propose an artificial intelligence model that autonomously predicts difficulty according to the set of emotions elicited in the player. To test the validity of this approach, we developed a simple puzzle-based Virtual Reality (VR) videogame, based on the Trail Making Test (TMT), and whose objective was to elicit different emotions according to three levels of difficulty. A study was carried out in which physiological responses as well as player self- reports were collected during gameplay. Statistical analysis of the self-reports showed that different levels of experience with either VR or videogames didn’t have a measurable impact on how players performed during the three levels. Additionally, the self-assessed emotional ratings indicated that playing the game at different difficulty levels gave rise to different emotional states. Next, classification using a Support Vector Machine (SVM) was performed to verify if it was possible to detect difficulty considering the physiological responses associated with the elicited emotions. Results report an overall F1-score of 68% in detecting the three levels of difficulty, which verifies the effectiveness of the adopted methodology and encourages further research with a larger dataset.Dada a relação bem explorada entre desafio e envolvimento numa tarefa (p. ex., con- forme descrito na teoria do fluxo de Csikszentmihalyi), pode-se argumentar que a pre- sença de desafio em videojogos é um elemento central que molda a experiência do jogador e deve, portanto, ser compatível com as habilidades e a atitude que jogador exibe perante o jogo. No entanto, saber como lidar com a dificuldade de um videojogo é um problema desafiante no design de jogos, pois uma tarefa muito fácil pode gerar tédio e muito di- fícil pode levar à frustração. Assim, ao explorar a relação entre dificuldade e emoção, o presente trabalho pretende propor um modelo de inteligência artificial que preveja de forma autônoma a dificuldade de acordo com o conjunto de emoções elicitadas no jogador. Para testar a validade desta abordagem, desenvolveu-se um jogo de puzzle em Realidade Virtual (RV), baseado no Trail Making Test (TMT), e cujo objetivo era elicitar diferentes emoções tendo em conta três níveis de dificuldade. Foi realizado um estudo no qual se recolheram as respostas fisiológicas, juntamente com os autorrelatos dos jogado- res, durante o jogo. A análise estatística dos autorelatos mostrou que diferentes níveis de experiência com RV ou videojogos não tiveram um impacto mensurável no desempenho dos jogadores durante os três níveis. Além disso, as respostas emocionais auto-avaliadas indicaram que jogar o jogo em diferentes níveis de dificuldade deu origem a diferentes estados emocionais. Em seguida, foi realizada a classificação por intermédio de uma Má- quina de Vetores de Suporte (SVM) para verificar se era possível detectar dificuldade, considerando as respostas fisiológicas associadas às emoções elicitadas. Os resultados re- latam um F1-score geral de 68% na detecção dos três níveis de dificuldade, o que verifica a eficácia da metodologia adotada e incentiva novas pesquisas com um conjunto de dados maior

Play Experience Enhancement Using Emotional Feedback

Innovations in computer game interfaces continue to enhance the experience of players. Affective games - those that adapt or incorporate a player’s emotional state - have shown promise in creating exciting and engaging user experiences. However, a dearth of systematic exploration into what types of game elements should adapt to affective state leaves game designers with little guidance on how to incorporate affect into their games. We created an affective game engine, using it to deploy a design probe into how adapting the player’s abilities, the enemy’s abilities, or variables in the environment affects player performance and experience. Our results suggest that affectively adapting games can increase player arousal. Furthermore, we suggest that reducing challenge by adapting non-player characters is a worse design choice than giving players the tools that they need (through enhancing player abilities or a supportive environment) to master greater challenges

Affective Classication of Gaming Activities Coming From RPG Gaming Sessions

Each human activity involves feelings and subjective emotions: different people will perform and sense the same task with different outcomes and experience; to understand this experience, concepts like Flow or Boredom must be investigated using objective data provided by methods like electroencephalography. This work carries on the analysis of EEG data coming from brain-computer interface and videogame "Neverwinter Nights 2": we propose an experimental methodology comparing results coming from different off-the-shelf machine learning techniques, employed on the gaming activities, to check if each affective state corresponds to the hypothesis xed in their formal design guidelines

Kessel Run: towards emotion adaptation in a BCI multiplayer game

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2017O objetivo original de uma Interface Cerebro-Máquina (BCI, do inglês Brain-Computer Interface) é o restauro de função a portadores de deficiências motoras, com aplicações que abrangem desde o mover de um cursor de computador ou de uma cadeira de rodas, a dispositivos complexos de soletração que substituem a fala. No entanto, com o recente aparecimento no mercado de aparelhos de BCI portáteis e económicos, as aplicações de BCI têm vindo a migrar lentamente para áreas fora do âmbito da saúde, como é o caso do entretenimento. Em particular, o desenvolvimento de videojogos em que os modos de interação tradicionais (teclado ou botões, por exemplo) são substituídos por controlos BCI é uma aposta frequente em vários grupos de investigação em neurociências. O uso de paradigmas de BCI como controladores de jogos tem a capacidade de não só possibilitar novos meios de interação mais intuitivos (como é o caso de apenas pensar em mover a personagem do jogo, em vez de pressionar o botão que a move), mas também de criar novos mecanismos de jogo que não são possíveis com dispositivos tradicionais. Para a criação destes novos mecanismos a Computação Afetiva é de relativo interesse, já que esta é a área de investigação encarregue de encontrar relações entre o estado emocional de um sujeito, através de BCIs, por exemplo, e utilizá-las para melhorar a interação com um computador (ou um jogo). Apesar de beneficiarem de um ligação direta ao cérebro, poucos são os videojogos BCI que a utilizam para adaptar o conteúdo do jogo ao estado emocional do jogador, em parte porque são poucas as relações conhecidas entre o eletroencefalograma (EEG) e o estado emocional do indivíduo, especialmente em condições pouco controladas e em cenários realistas. De facto, a maioria dos estudos em Computação Afetiva feitos com o objetivo de procurar correlações entre o estado emocional do sujeito e o seu EEG pecam por serem realizados sob condições pouco realistas, e, em particular, nunca durante uma situação de jogo. Por outro lado, apesar da frequente aposta no desenvolvimento de novos videojogos controlados por um paradigma de BCI, poucos têm em consideração as regras de um bom desenho de jogos, resultando muitas vezes num jogo que mesmo sendo funcional, é aborrecido. Com as perspetivas da aplicação de BCI e Computação Afetiva aos videojogos em mente, esta dissertação tem como objetivo o desenvolvimento de um jogo multiplayer controlado por BCI, que ao seguir as regras de bom desenho de jogos, é capaz de desencadear uma sensação de divertimento nos seus jogadores. Para além disso, o jogo também deve ser capaz de evocar um conjunto diversificado de estados emocionais nos seus jogadores, de forma a poder estudar-se as correlações entre o EEG e o estado emocional de cada indivíduo no espectro da frequência. Desta forma, poder-se-á comparar as correlações obtidas num cenário realístico de jogo com o estado-da-arte, frequentemente realizado em situações controladas, e assim contribuir para o avanço da adaptação emocional em videojogos BCI. Para concretizar estes objetivos, o videojogo Kessel Run foi desenvolvido. Kessel Run é um jogo 3D de uma corrida espacial para dois jogadores, em que ambos devem cooperar um com o outro de forma a direcionar uma nave espacial para longe de asteróides e assim conseguir finalizar uma corrida de 2 minutos com o mínimo de danos possível. Neste jogo, as regras básicas de desenho de jogos (Teoria de Flow e o Paradoxo de Controlo) foram aplicadas de forma a criar uma sensação de divertimento e de controlo no jogador. A sensação de controlo por parte do jogador é particularmente importante na criação de um jogo BCI, uma vez que a sua falta poderá levar a perda de imersão no jogo e, consequentemente, à diminuição do divertimento. Assim, de forma a garantir o bom controlo do jogo o paradigma SSVEP (do inglês Steady-State Visually Evoked Potential) foi escolhido como modo de interação BCI. De forma a evocarem-se um conjunto diversificado de estados emocionais nos jogadores, várias estratégias de elicitação foram aplicadas no jogo. Em primeiro lugar, este dispõe de dois níveis de dificuldade (um fácil e um difícil). O primeiro nível desafia as capacidades dos jogadores sem contudo ser demasiado difícil, pelo que se espera que evoque emoções mais positivas. Já o segundo nível aumenta bastante a dificuldade do jogo, tornando-se muito difícil batê-lo. Para além da dificuldade acrescida, o nível difícil do jogo foi programado de forma a que o controlo BCI falhe com frequência sem o conhecimento do jogador. Espera-se por isso que o segundo nível evoque níveis de frustração maiores, e estados emocionais mais negativos e excitados. O jogo Kessel Run foi colocado em prática ao desenvolver-se um protocolo experimental onde 12 participantes jogaram os dois níveis de dificuldade do jogo. A cada participante foi pedido a classificação do jogo em termos de experiência do utilizador, e de cada nível relativamente às emoções sentidas no decorrer do jogo, na forma de questionários. Foram também adquiridos os sinais de EEG de cada participante. De forma geral, o desempenho do paradigma BCI foi menor do o que esperado, conseguindo-se apenas um máximo de 79% classificações correctas. Este resultado deve-se essencialmente a dois factores: o grau deficiente de escuridão da sala laboratorial, responsável pela perda de desempenho na ordem dos 6%, e a deteção individual das frequências escolhidas para estímulo SSVEP (12 e 15 Hz). Neste último, os participantes tiveram maior facilidade em reconhecer o estímulo de 12 Hz, com um desempenho individual médio de 63%, face ao estímulo de 15 Hz com apenas 38%, o que comprometeu a performance geral do reconhecimento SSVEP. No entanto, apesar do desempenho fraco do paradigma, os participantes reportaram uma experiência bastante divertida (média de flow = 2:6 numa escala 0-5) e desafiante (média de challenge = 2:3 numa escala 0-5), com apenas um ligeiro aborrecimento (média de tension=annoyance = 1:1 numa escala 0-5), podendo-se concluir o sucesso do emprego das regras de bom desenho de jogos. As estratégias de elicitação de emoções foram apenas parcialmente bem sucedidas; não foram observadas diferenças significativas entre os níveis de dificuldade do jogo Kessel Run em termos de valência e excitação emocionais. No entanto conseguiu-se uma boa distribuição das avaliações emocionais dos participantes pelos quatro quadrantes das dimensões de valência e excitação, possibilitando o estudo de correlações entre o EEG dos participantes e as suas avaliações para cada nível de jogo em termos de oscilações no espectro da frequência e assimetrias na banda alfa. Encontraram-se correlações significativas na dimensão da valência que parecem contradizer a teoria da assimetria da banda alfa. Em particular, obteve-se uma correlação positiva significativa indicando uma relação de diminuição da activação hemisférica esquerda e consequente aumento da banda alfa. Esta contradição foi também confirmada pela obtenção de uma assimetria esquerda bastante significativa na banda alfa para o córtex frontal. Observou-se ainda uma diminuição da potência central da banda beta e um aumento occipital e temporal direito para a mesma banda relacionado com a dimensão da valência. Para a excitação encontrou-se uma correlação negativa significativa em regiões centrais e frontais na banda alfa, indicando uma activação destas regiões cerebrais aquando de estados mais excitados. Mais ainda, uma correlação significativa indicou uma assimetria direita na banda alfa para um par de eléctrodos fronto-centrais. Espera-se que este estudo possa contribuir para uma futura geração de videojogos com a capacidade de adaptação ao conteúdo emocional do seu jogador.Lately the field of (digital) game research is rapidly growing, with studies dedicated to capture game experience, adopting new technologies or exploring outside traditional input methods. Alongside, research in Brain-Computer Interfaces (BCI) has significantly increased in its applications for healthy users, such as games. BCIs benefit from access to brain activity which can bypass bodily mediation (e.g. controllers) and enable gamers to express themselves more naturally in a given game context. Moreover, BCI can provide significant insight into the user's emotional state. Recent research points to numerous correlates of emotion in brain signals. A complex challenge is to use BCI for access to the player's affective state in a real gaming context, improving and tailoring the user experience. The goal of this dissertation project is to introduce affective research to BCI games by creating a novel multiplayer Steady-State Visually Evoked Potential (SSVEP) BCI game, capable of providing a fun experience to its players and eliciting emotions for a study on EEG correlates of emotion. The multiplayer game Kessel Run was created, resulting in a space exploration game with a exible system that followed good game design rules with emotion elicitation strategies, controlled by the SSVEP paradigm. Twelve participants played Kessel Run using a 32-electrode EEG cap and rated the emotions felt during gameplay in a questionnaire. The SSVEP game performance achieved a maximum of 79% accuracy and an average of 55%. In addition, players reported that playing the game created a fun and immersive experience. A significant correlation with increased alpha power on the left hemisphere and positive valence led to the contradiction of the popular alpha asymmetry theory, which states that processing of positive information causes a decrease in alpha power on the left frontal hemisphere. Furthermore, correlates in the beta frequency range have been found for valence on right temporal and central sites. In the arousal dimension a significant central and frontal alpha power decrease was found, along with significant alpha asymmetry on fronto-central pairs for increased arousal

A taxonomy and state of the art revision on affective games

Affective Games are a sub-field of Affective Computing that tries to study how to design videogames that are able to react to the emotions expressed by the player, as well as provoking desired emotions to them. To achieve those goals it is necessary to research on how to measure and detect human emotions using a computer, and how to adapt videogames to the perceived emotions to finally provoke them to the players. This work presents a taxonomy for research on affective games centring on the aforementioned issues. Here we devise as well a revision of the most relevant published works known to the authors on this area. Finally, we analyse and discuss which important research problem are yet open and might be tackled by future investigations in the area of Affective GamesThis work has been co-funded by the following research projects: EphemeCH (TIN2014-56494-C4-{1,4}-P) and DeepBio (TIN2017-85727-C4-3-P) by Spanish Ministry of Economy and Competitivity, under the European Regional Development Fund FEDER, and Justice Programme of the European Union (2014–2020) 723180 – RiskTrack – JUST-2015-JCOO-AG/JUST-2015-JCOO-AG-

Characterizing player’s experience from physiological signals using fuzzy decision trees

Author manuscript, published in "IEEE Conference on Computational Intelligence and Games (CIG) 2010, Copenhagen : Denmark (2010)"In the recent years video games have enjoyed a dramatic increase in popularity, the growing market being echoed by a genuine interest in the academic field. With this flourishing technological and theoretical efforts, there is need to develop new evaluative methodologies for acknowledging the various aspects of the player’s subjective experience, and especially the emotional aspect. In this study, we addressed the possibility of developing a model for assessing the player’s enjoyment (amusement) with respect to challenge in an action game. Our aim was to explore the viability of a generic model for assessing emotional experience during gameplay from physiological signals. In particular, we propose an approach to characterize the player’s subjective experience in different psychological levels of enjoyment from physiological signals using fuzzy decision trees.In the recent years video games have enjoyed a dramatic increase in popularity, the growing market being echoed by a genuine interest in the academic field. With this flourishing technological and theoretical efforts, there is need to develop new evaluative methodologies for acknowledging the various aspects of the player’s subjective experience, and especially the emotional aspect. In this study, we addressed the possibility of developing a model for assessing the player’s enjoyment (amusement) with respect to challenge in an action game. Our aim was to explore the viability of a generic model for assessing emotional experience during gameplay from physiological signals. In particular, we propose an approach to characterize the player’s subjective experience in different psychological levels of enjoyment from physiological signals using fuzzy decision trees