Games and Brain-Computer Interfaces: The State of the Art

BCI gaming is a very young field; most games are proof-of-concepts. Work that compares BCIs in a game environments with traditional BCIs indicates no negative effects, or even a positive effect of the rich visual environments on the performance. The low transfer-rate of current games poses a problem for control of a game. This is often solved by changing the goal of the game. Multi-modal input with BCI forms an promising solution, as does assigning more meaningful functionality to BCI control

BCI-Based Navigation in Virtual and Real Environments

A Brain-Computer Interface (BCI) is a system that enables people to control an external device with their brain activity, without the need of any muscular activity. Researchers in the BCI field aim to develop applications to improve the quality of life of severely disabled patients, for whom a BCI can be a useful channel for interaction with their environment. Some of these systems are intended to control a mobile device (e. g. a wheelchair). Virtual Reality is a powerful tool that can provide the subjects with an opportunity to train and to test different applications in a safe environment. This technical review will focus on systems aimed at navigation, both in virtual and real environments.This work was partially supported by the Innovation, Science and Enterprise Council of the Junta de Andalucía (Spain), project P07-TIC-03310, the Spanish Ministry of Science and Innovation, project TEC 2011-26395 and by the European fund ERDF

Kessel Run: towards emotion adaptation in a BCI multiplayer game

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2017O objetivo original de uma Interface Cerebro-Máquina (BCI, do inglês Brain-Computer Interface) é o restauro de função a portadores de deficiências motoras, com aplicações que abrangem desde o mover de um cursor de computador ou de uma cadeira de rodas, a dispositivos complexos de soletração que substituem a fala. No entanto, com o recente aparecimento no mercado de aparelhos de BCI portáteis e económicos, as aplicações de BCI têm vindo a migrar lentamente para áreas fora do âmbito da saúde, como é o caso do entretenimento. Em particular, o desenvolvimento de videojogos em que os modos de interação tradicionais (teclado ou botões, por exemplo) são substituídos por controlos BCI é uma aposta frequente em vários grupos de investigação em neurociências. O uso de paradigmas de BCI como controladores de jogos tem a capacidade de não só possibilitar novos meios de interação mais intuitivos (como é o caso de apenas pensar em mover a personagem do jogo, em vez de pressionar o botão que a move), mas também de criar novos mecanismos de jogo que não são possíveis com dispositivos tradicionais. Para a criação destes novos mecanismos a Computação Afetiva é de relativo interesse, já que esta é a área de investigação encarregue de encontrar relações entre o estado emocional de um sujeito, através de BCIs, por exemplo, e utilizá-las para melhorar a interação com um computador (ou um jogo). Apesar de beneficiarem de um ligação direta ao cérebro, poucos são os videojogos BCI que a utilizam para adaptar o conteúdo do jogo ao estado emocional do jogador, em parte porque são poucas as relações conhecidas entre o eletroencefalograma (EEG) e o estado emocional do indivíduo, especialmente em condições pouco controladas e em cenários realistas. De facto, a maioria dos estudos em Computação Afetiva feitos com o objetivo de procurar correlações entre o estado emocional do sujeito e o seu EEG pecam por serem realizados sob condições pouco realistas, e, em particular, nunca durante uma situação de jogo. Por outro lado, apesar da frequente aposta no desenvolvimento de novos videojogos controlados por um paradigma de BCI, poucos têm em consideração as regras de um bom desenho de jogos, resultando muitas vezes num jogo que mesmo sendo funcional, é aborrecido. Com as perspetivas da aplicação de BCI e Computação Afetiva aos videojogos em mente, esta dissertação tem como objetivo o desenvolvimento de um jogo multiplayer controlado por BCI, que ao seguir as regras de bom desenho de jogos, é capaz de desencadear uma sensação de divertimento nos seus jogadores. Para além disso, o jogo também deve ser capaz de evocar um conjunto diversificado de estados emocionais nos seus jogadores, de forma a poder estudar-se as correlações entre o EEG e o estado emocional de cada indivíduo no espectro da frequência. Desta forma, poder-se-á comparar as correlações obtidas num cenário realístico de jogo com o estado-da-arte, frequentemente realizado em situações controladas, e assim contribuir para o avanço da adaptação emocional em videojogos BCI. Para concretizar estes objetivos, o videojogo Kessel Run foi desenvolvido. Kessel Run é um jogo 3D de uma corrida espacial para dois jogadores, em que ambos devem cooperar um com o outro de forma a direcionar uma nave espacial para longe de asteróides e assim conseguir finalizar uma corrida de 2 minutos com o mínimo de danos possível. Neste jogo, as regras básicas de desenho de jogos (Teoria de Flow e o Paradoxo de Controlo) foram aplicadas de forma a criar uma sensação de divertimento e de controlo no jogador. A sensação de controlo por parte do jogador é particularmente importante na criação de um jogo BCI, uma vez que a sua falta poderá levar a perda de imersão no jogo e, consequentemente, à diminuição do divertimento. Assim, de forma a garantir o bom controlo do jogo o paradigma SSVEP (do inglês Steady-State Visually Evoked Potential) foi escolhido como modo de interação BCI. De forma a evocarem-se um conjunto diversificado de estados emocionais nos jogadores, várias estratégias de elicitação foram aplicadas no jogo. Em primeiro lugar, este dispõe de dois níveis de dificuldade (um fácil e um difícil). O primeiro nível desafia as capacidades dos jogadores sem contudo ser demasiado difícil, pelo que se espera que evoque emoções mais positivas. Já o segundo nível aumenta bastante a dificuldade do jogo, tornando-se muito difícil batê-lo. Para além da dificuldade acrescida, o nível difícil do jogo foi programado de forma a que o controlo BCI falhe com frequência sem o conhecimento do jogador. Espera-se por isso que o segundo nível evoque níveis de frustração maiores, e estados emocionais mais negativos e excitados. O jogo Kessel Run foi colocado em prática ao desenvolver-se um protocolo experimental onde 12 participantes jogaram os dois níveis de dificuldade do jogo. A cada participante foi pedido a classificação do jogo em termos de experiência do utilizador, e de cada nível relativamente às emoções sentidas no decorrer do jogo, na forma de questionários. Foram também adquiridos os sinais de EEG de cada participante. De forma geral, o desempenho do paradigma BCI foi menor do o que esperado, conseguindo-se apenas um máximo de 79% classificações correctas. Este resultado deve-se essencialmente a dois factores: o grau deficiente de escuridão da sala laboratorial, responsável pela perda de desempenho na ordem dos 6%, e a deteção individual das frequências escolhidas para estímulo SSVEP (12 e 15 Hz). Neste último, os participantes tiveram maior facilidade em reconhecer o estímulo de 12 Hz, com um desempenho individual médio de 63%, face ao estímulo de 15 Hz com apenas 38%, o que comprometeu a performance geral do reconhecimento SSVEP. No entanto, apesar do desempenho fraco do paradigma, os participantes reportaram uma experiência bastante divertida (média de flow = 2:6 numa escala 0-5) e desafiante (média de challenge = 2:3 numa escala 0-5), com apenas um ligeiro aborrecimento (média de tension=annoyance = 1:1 numa escala 0-5), podendo-se concluir o sucesso do emprego das regras de bom desenho de jogos. As estratégias de elicitação de emoções foram apenas parcialmente bem sucedidas; não foram observadas diferenças significativas entre os níveis de dificuldade do jogo Kessel Run em termos de valência e excitação emocionais. No entanto conseguiu-se uma boa distribuição das avaliações emocionais dos participantes pelos quatro quadrantes das dimensões de valência e excitação, possibilitando o estudo de correlações entre o EEG dos participantes e as suas avaliações para cada nível de jogo em termos de oscilações no espectro da frequência e assimetrias na banda alfa. Encontraram-se correlações significativas na dimensão da valência que parecem contradizer a teoria da assimetria da banda alfa. Em particular, obteve-se uma correlação positiva significativa indicando uma relação de diminuição da activação hemisférica esquerda e consequente aumento da banda alfa. Esta contradição foi também confirmada pela obtenção de uma assimetria esquerda bastante significativa na banda alfa para o córtex frontal. Observou-se ainda uma diminuição da potência central da banda beta e um aumento occipital e temporal direito para a mesma banda relacionado com a dimensão da valência. Para a excitação encontrou-se uma correlação negativa significativa em regiões centrais e frontais na banda alfa, indicando uma activação destas regiões cerebrais aquando de estados mais excitados. Mais ainda, uma correlação significativa indicou uma assimetria direita na banda alfa para um par de eléctrodos fronto-centrais. Espera-se que este estudo possa contribuir para uma futura geração de videojogos com a capacidade de adaptação ao conteúdo emocional do seu jogador.Lately the field of (digital) game research is rapidly growing, with studies dedicated to capture game experience, adopting new technologies or exploring outside traditional input methods. Alongside, research in Brain-Computer Interfaces (BCI) has significantly increased in its applications for healthy users, such as games. BCIs benefit from access to brain activity which can bypass bodily mediation (e.g. controllers) and enable gamers to express themselves more naturally in a given game context. Moreover, BCI can provide significant insight into the user's emotional state. Recent research points to numerous correlates of emotion in brain signals. A complex challenge is to use BCI for access to the player's affective state in a real gaming context, improving and tailoring the user experience. The goal of this dissertation project is to introduce affective research to BCI games by creating a novel multiplayer Steady-State Visually Evoked Potential (SSVEP) BCI game, capable of providing a fun experience to its players and eliciting emotions for a study on EEG correlates of emotion. The multiplayer game Kessel Run was created, resulting in a space exploration game with a exible system that followed good game design rules with emotion elicitation strategies, controlled by the SSVEP paradigm. Twelve participants played Kessel Run using a 32-electrode EEG cap and rated the emotions felt during gameplay in a questionnaire. The SSVEP game performance achieved a maximum of 79% accuracy and an average of 55%. In addition, players reported that playing the game created a fun and immersive experience. A significant correlation with increased alpha power on the left hemisphere and positive valence led to the contradiction of the popular alpha asymmetry theory, which states that processing of positive information causes a decrease in alpha power on the left frontal hemisphere. Furthermore, correlates in the beta frequency range have been found for valence on right temporal and central sites. In the arousal dimension a significant central and frontal alpha power decrease was found, along with significant alpha asymmetry on fronto-central pairs for increased arousal

Manipulation of Rat Movement via Nigrostriatal Stimulation Controlled by Human Visually Evoked Potentials

Here, we report that the development of a brain-to-brain interface (BBI) system that enables a human user to manipulate rat movement without any previous training. In our model, the remotely-guided rats (known as ratbots) successfully navigated a T-maze via contralateral turning behaviour induced by electrical stimulation of the nigrostriatal (NS) pathway by a brain-computer interface (BCI) based on the human controller's steady-state visually evoked potentials (SSVEPs). The system allowed human participants to manipulate rat movement with an average success rate of 82.2% and at an average rat speed of approximately 1.9 m/min. The ratbots had no directional preference, showing average success rates of 81.1% and 83.3% for the left-and right-turning task, respectively. This is the first study to demonstrate the use of NS stimulation for developing a highly stable ratbot that does not require previous training, and is the first instance of a training-free BBI for rat navigation. The results of this study will facilitate the development of borderless communication between human and untrained animals, which could not only improve the understanding of animals in humans, but also allow untrained animals to more effectively provide humans with information obtained with their superior perception.11Ysciescopu