Kessel Run: exploring cooperative behaviours in a multiplayer BCI game

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2017Apesar de terem como propósito original o restauro da função a portadores de deficiências motoras, as Interfaces Cérebro-Computador (BCI, do inglês Brain-Computer Interface) têm cada vez mais aplicações que vão para além de controlar o cursor de um computador ou mover uma cadeira de rodas. Com o recente avanço da tecnologia de electroencefalografia (EEG), cada vez mais portátil e económica, a investigação na área dos BCI tem nos últimos anos dado maior destaque às aplicações para utilizadores saudáveis, nomeadamente na área do entretenimento. BCI baseados em EEG estão gradualmente a ser mais usados até mesmo em jogos comerciais. Os videojogos do género multijogador são extremamente populares entre os jogadores, pelo que se torna bastante interessante olhar para os jogos multi-cérebro, isto é, jogos onde de uma ou outra forma a atividade cerebral de mais do que um utilizador é analisada e necessária para jogar o jogo. Num outro tópico de investigação, as medições de EEG são também usadas por neurocientistas na pesquisa convencional dos processos de tomada de decisão e raciocínio estratégico. Um dos paradigmas mais frequentemente utilizados para estudar a tomada de decisão _e o uso de dilemas da teoria de jogos jogados por uma ou duas pessoas. A teoria de jogos é aplicada a uma panóplia de áreas que vão desde a economia à psicologia, podendo naturalmente ser aplicável aos videojogos cooperativos ou competitivos. Conseguiremos extrair novos conhecimentos acerca da neurociência da tomada de decisão a partir de jogos BCI multijogador? E, por exemplo, será possível manipular a estratégia de um jogador fornecendo-lhe informação sobre o que vai na mente dos seus adversários? O objetivo desta dissertação é explorar os comportamentos cooperativos que ocorrem entre jogadores num jogo BCI multijogador, bem como enquanto jogam dilemas clássicos da teoria de jogos. Ao investigar medidas neurológicas correlacionadas com o raciocínio estratégico tais como os potenciais evocados (ERP, do inglês Event-Related Potentials) durante decisões cooperativas ou desertoras, procuramos aplicar os conhecimentos da pesquisa em tomada de decisão aos jogos digitais de classe comercial. Numa primeira etapa deste trabalho, foi desenhado e implementado um jogo BCI cooperativo baseado no paradigma SSVEP (do inglês Steady-State Visually-Evoked Potential) chamado Kessel Run. No jogo Kessel Run, dois jogadores devem trabalhar juntos de forma a pilotar uma nave espacial através de um campo de asteróides. O objetivo do jogo é finalizar uma corrida de 2 minutos sem perder todo o combustível, desviando-se de obstáculos e recolhendo bónus. O paradigma de interacção SSVEP foi implementado usando dois painéis LED externos, acoplados ao monitor, permitindo aos jogadores mover a nave para cima ou para baixo ao olhar para as luzes, a piscar a uma frequência de 15 e 12 Hz, respetivamente. Dado que uma das nossas principais motivações era desenhar um jogo BCI que não fosse simplesmente uma prova de conceito da tecnologia, mas também divertido para os jogadores, foram seguidos os requerimentos para um bom design de jogo. Desta forma, o jogo Kessel Run apresenta regras e objetivos claros, mantendo-se desafiante para os jogadores, com o desafio adicional de controlar o BCI. Para além disso, de forma a proporcionar a experiência cooperativa adequada, os dois jogadores tinham funções interdependentes ditadas pelas mecânicas de jogo, uma vez que um jogador só consegue controlar um motor da nave, e esta só pode subir ou descer quando ambos os jogadores a controlam ao mesmo tempo. Para os ajudar a alcançar a vitória mútua, os jogadores podem comunicar verbalmente para antecipar obstáculos e melhor controlar o jogo. Na segunda etapa deste trabalho, foi desenhado o jogo Dilemmas: um conjunto de cinco dilemas sociais iterados habitualmente utilizados na teoria de jogos. Em cada jogo, os jogadores enfrentam uma escolha entre duas opções: cooperar com o outro jogador ou desertar. A combinação de ambas as decisões resulta num de quatro desfechos possíveis, cada um com diferentes consequências para cada jogador, representados por uma pontuação numérica. Para cada jogo, um jogador ganha uma ronda quando recebe mais pontos do que o adversário, mas os jogadores tanto podem tentar maximizar a sua pontuação pessoal para derrotar o adversário como tentar maximizar a pontuação do grupo ao tomar decisões que beneficiam ambos os jogadores igualmente. O jogo Dilemmas tem o propósito de servir como um ambiente controlado que nos permita recolher dados da atividade cerebral durante decisões cooperativas e desertoras. Os participantes tomam as suas decisões recorrendo ao teclado e não há qualquer comunicação permitida, como a finalidade de reduzir artefactos devidos ao movimento e ruído no sinal. Foram analisados os ERPs no sinal de EEG marcado no tempo no momento que antecede a tomada de decisão e após a apresentação do desfecho de cada ronda do jogo. Após implementar ambos os jogos, foi preparada uma experiência onde 12 participantes (em 6 pares) foram convidados a usar toucas EEG enquanto jogavam Kessel Run, seguido de Dilemmas. A performance do BCI durante o Kessel Run foi calculado através de uma sessão de treino antes do jogo começar. A experiência de jogo e social dos participantes foi também estudada, com recurso a questionários validados preenchidos após cada sessão de jogo. Foi realizada a análise da atividade cerebral registada durante ambos os jogos, onde foram estudados os ERPs com origem no córtex medial frontal, nomeadamente as componentes P300 e a negatividade relativa a feedback (FRN, do inglês Feedback-Related Negativity). A performance do paradigma SSVEP no BCI foi mais baixa do que o esperado, alcançando apenas uma precisão máxima de 79% como precisão média geral de 55% para um nível de chance de 33%. Os dois fatores identificados que mais influenciaram este resultado foram a variabilidade na deteção da frequência de SSVEP entre sujeitos e a falta de escuridão na sala. A maioria dos participantes obteve piores resultados de classificação para a frequência de 15 Hz do que para 12 Hz, possivelmente devido a 12 Hz pertencer à banda alfa dominante. Embora funcione como prova de conceito para um jogo SSVEP multijogador, um paradigma mais intuitivo como o movimento imaginado pode ser mais adequado para o Kessel Run, permitindo aos jogadores manter o olhar no ecrã. A experiência reportada pelos jogadores foi de forma geral positiva, apesar da dificuldade em controlar o jogo com o paradigma SSVEP. Os jogadores não se sentiram muito competentes durante o jogo, mas de qualquer maneira atingiram um estado de Flow. Isto pode dever-se à estratégia colaborativa desenvolvida por alguns jogadores para contornar a má classificação SSVEP, em que o jogador com melhor controlo controlava a nave enquanto o companheiro dava direções. Na avaliação da presença social, os jogadores reportaram que empatizaram com o outro, em parte devido à necessidade de comunicar para ganhar o jogo. Dado que os jogadores se sentiram inclinados a trabalhar com o outro, podemos dizer que as regras de design de jogo cooperativo foram implementadas com sucesso e o jogo proporcionou uma experiência social positiva. No jogo Dilemmas, a presença social reportada pelos jogadores foi ligeiramente diferente, resultado da natureza contrastante do jogo. Neste jogo, o nível de familiaridade dos dois participantes em cada sessão influenciou fortemente a forma como jogaram. Participantes emparelhados com um desconhecido sentiram-se menos inclinados a cooperar, e tomaram uma abordagem mais competitiva ao jogo, sentindo menos empatia pelo outro. Os jogadores reportaram também mais sentimentos negativos durante o Dilemmas do que durante o Kessel Run, embora tal se deva talvez às rondas perdidas e não à interação com o companheiro. A estratégia tit-for-tat (olho por olho) foi a mais adoptada pelos jogadores, o que significa que começavam por cooperar e subsequentemente replicavam a decisão feita pelo adversário na ronda anterior. No que respeita ao estudo de ERPs durante o jogo, começou por se analisar os dados recolhidos durante o Kessel Run. Os registos acabaram por ser demasiado ruidosos para se extrair alguma informação sobre os potenciais que antecedem a tomada de decisão. As mecânicas e comandos do jogo não favoreceram a recolha de dados EEG para esta análise, uma vez que os jogadores eram encorajados a falar e mover a cabeça para olhar para as fontes de luz de forma a controlar o jogo. A implementação de um paradigma de interação passivo pode possibilitar este estudo num jogo BCI. Por outro lado, foram identificadas com sucesso duas componentes ERP marcadas no tempo em relação à apresentação do desfecho no jogo Dilemmas: o P300 e a FRN. O ambiente mais controlado deste jogo facilitou a deteção de uma forte positividade na região medial frontal, para os canais Fc1, Fc2, Fz e Cz. Esta positividade corresponde às características da componente P300, uma deexão positiva no ERP, relacionada com o processamento de informação acerca de ganhos e perdas. O P300 foi observado entre 200 e 500 ms após a apresentação do desfecho dos jogos aos jogadores. A componente FRN foi também detetada, embora apenas nos ensaios em que os jogadores cooperaram e perderam nessa ronda. A FRN foi identificada de 200 a 250 ms após o estímulo visual (desfecho), correspondendo a situações em que os jogadores adotaram a estratégia tit-for-tat, particularmente comum entre participantes que não se conhecem. Um jogador que coopera e recebe um desfecho negativo (perde a ronda) tem maiores probabilidades de desertar na ronda seguinte, repetindo o comportamento prévio do adversário. Os resultados alcançados neste trabalho ajudam-nos a compreender a dificuldade em adquirir dados EEG durante uma experiência de jogo BCI ativa. Para atingir uma deteção adequada de ERPs durante um jogo, é necessário desenvolver algoritmos mais robustos de forma a ultrapassar a presença de artefactos. Todavia, as aplicações dos correlatos neuronais de tomada de decisão em jogos parecem promissoras, sobretudo em jogos sérios e jogos multijogador.Traditional brain-computer interface (BCI) research has recently turned to applications for healthy users, such as games. Because electroencephalography (EEG) is a cheap, portable and popular way of accessing brain activity, EEG-based BCIs are gradually being more used even for commercial games. Multiplayer games are immensely popular among gamers, so it becomes interesting to look at `multi-brain games', that is, games where in one or other form the measured brain activity of more than one user is needed to play the game. On a different research topic, EEG measures are also used by neuroscientists in traditional decision-making and strategic reasoning research. One of the most common paradigms used to study decision making is to use game theory dilemmas played by one or two persons. Game theory is applied to a myriad of areas from economics to psychology, and can of course be applicable to cooperative or competitive video games. The goal of this dissertation is to explore the cooperative behaviors that happen between players in a multiplayer BCI game, as well as while playing classic game theory dilemmas. By looking at neural correlates of strategic reasoning such as event-related potentials (ERPs) during cooperative or defective decisions, we will try to bring decision-making research and insights to commercial grade digital games. We have divided this work's methodology into two parts: firstly, an original two player cooperative BCI game (Kessel Run) controlled with steady-state visually evoked potentials (SSVEP) was conceptualized and developed; secondly, a non-BCI game inspired by iterated social dilemmas was also developed. We have designed and set-up an experiment where participants played both games sequentially, and have collected EEG data during both gaming experiences, as well as the reported game experience and social presence from participant-filled questionnaires. Despite a lower than expected accuracy in the BCI paradigm used to control the game Kessel Run (maximum of 79% and 55% on average), participants adjusted and developed strategies to successfully navigate a spaceship together in a virtual environment, reporting a positive game experience. Studying ERPs while playing Kessel Run proved ineffective, due to the fast pacing of the game and movement artefacts caused by the SSVEP paradigm. However, in a more controlled setting like the game Dilemmas, we have successfully identified two components heavily linked to information processing and decision-making. A strong medial frontal positivity corresponding to the P300 component was observed between 200 and 500ms after the presentation of game outcomes to the player. In trials where players cooperated and lost the round, the feedback-related negativity (FRN) was also detected, as would be expected when participants fail to achieve a desired feedback. Designing a BCI game that employs the P300 paradigm might improve the success of merging decision-making neural correlates in a gaming experience. Never the less, the insights gathered in this study made us understand the difficulty of collecting EEG data during active BCI game play. Still, an interesting prospect would be to use a subject's particular brainwaves as a means to decode future decisions, and in that way improve collaboration in a game or team activity

Kessel Run: towards emotion adaptation in a BCI multiplayer game

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2017O objetivo original de uma Interface Cerebro-Máquina (BCI, do inglês Brain-Computer Interface) é o restauro de função a portadores de deficiências motoras, com aplicações que abrangem desde o mover de um cursor de computador ou de uma cadeira de rodas, a dispositivos complexos de soletração que substituem a fala. No entanto, com o recente aparecimento no mercado de aparelhos de BCI portáteis e económicos, as aplicações de BCI têm vindo a migrar lentamente para áreas fora do âmbito da saúde, como é o caso do entretenimento. Em particular, o desenvolvimento de videojogos em que os modos de interação tradicionais (teclado ou botões, por exemplo) são substituídos por controlos BCI é uma aposta frequente em vários grupos de investigação em neurociências. O uso de paradigmas de BCI como controladores de jogos tem a capacidade de não só possibilitar novos meios de interação mais intuitivos (como é o caso de apenas pensar em mover a personagem do jogo, em vez de pressionar o botão que a move), mas também de criar novos mecanismos de jogo que não são possíveis com dispositivos tradicionais. Para a criação destes novos mecanismos a Computação Afetiva é de relativo interesse, já que esta é a área de investigação encarregue de encontrar relações entre o estado emocional de um sujeito, através de BCIs, por exemplo, e utilizá-las para melhorar a interação com um computador (ou um jogo). Apesar de beneficiarem de um ligação direta ao cérebro, poucos são os videojogos BCI que a utilizam para adaptar o conteúdo do jogo ao estado emocional do jogador, em parte porque são poucas as relações conhecidas entre o eletroencefalograma (EEG) e o estado emocional do indivíduo, especialmente em condições pouco controladas e em cenários realistas. De facto, a maioria dos estudos em Computação Afetiva feitos com o objetivo de procurar correlações entre o estado emocional do sujeito e o seu EEG pecam por serem realizados sob condições pouco realistas, e, em particular, nunca durante uma situação de jogo. Por outro lado, apesar da frequente aposta no desenvolvimento de novos videojogos controlados por um paradigma de BCI, poucos têm em consideração as regras de um bom desenho de jogos, resultando muitas vezes num jogo que mesmo sendo funcional, é aborrecido. Com as perspetivas da aplicação de BCI e Computação Afetiva aos videojogos em mente, esta dissertação tem como objetivo o desenvolvimento de um jogo multiplayer controlado por BCI, que ao seguir as regras de bom desenho de jogos, é capaz de desencadear uma sensação de divertimento nos seus jogadores. Para além disso, o jogo também deve ser capaz de evocar um conjunto diversificado de estados emocionais nos seus jogadores, de forma a poder estudar-se as correlações entre o EEG e o estado emocional de cada indivíduo no espectro da frequência. Desta forma, poder-se-á comparar as correlações obtidas num cenário realístico de jogo com o estado-da-arte, frequentemente realizado em situações controladas, e assim contribuir para o avanço da adaptação emocional em videojogos BCI. Para concretizar estes objetivos, o videojogo Kessel Run foi desenvolvido. Kessel Run é um jogo 3D de uma corrida espacial para dois jogadores, em que ambos devem cooperar um com o outro de forma a direcionar uma nave espacial para longe de asteróides e assim conseguir finalizar uma corrida de 2 minutos com o mínimo de danos possível. Neste jogo, as regras básicas de desenho de jogos (Teoria de Flow e o Paradoxo de Controlo) foram aplicadas de forma a criar uma sensação de divertimento e de controlo no jogador. A sensação de controlo por parte do jogador é particularmente importante na criação de um jogo BCI, uma vez que a sua falta poderá levar a perda de imersão no jogo e, consequentemente, à diminuição do divertimento. Assim, de forma a garantir o bom controlo do jogo o paradigma SSVEP (do inglês Steady-State Visually Evoked Potential) foi escolhido como modo de interação BCI. De forma a evocarem-se um conjunto diversificado de estados emocionais nos jogadores, várias estratégias de elicitação foram aplicadas no jogo. Em primeiro lugar, este dispõe de dois níveis de dificuldade (um fácil e um difícil). O primeiro nível desafia as capacidades dos jogadores sem contudo ser demasiado difícil, pelo que se espera que evoque emoções mais positivas. Já o segundo nível aumenta bastante a dificuldade do jogo, tornando-se muito difícil batê-lo. Para além da dificuldade acrescida, o nível difícil do jogo foi programado de forma a que o controlo BCI falhe com frequência sem o conhecimento do jogador. Espera-se por isso que o segundo nível evoque níveis de frustração maiores, e estados emocionais mais negativos e excitados. O jogo Kessel Run foi colocado em prática ao desenvolver-se um protocolo experimental onde 12 participantes jogaram os dois níveis de dificuldade do jogo. A cada participante foi pedido a classificação do jogo em termos de experiência do utilizador, e de cada nível relativamente às emoções sentidas no decorrer do jogo, na forma de questionários. Foram também adquiridos os sinais de EEG de cada participante. De forma geral, o desempenho do paradigma BCI foi menor do o que esperado, conseguindo-se apenas um máximo de 79% classificações correctas. Este resultado deve-se essencialmente a dois factores: o grau deficiente de escuridão da sala laboratorial, responsável pela perda de desempenho na ordem dos 6%, e a deteção individual das frequências escolhidas para estímulo SSVEP (12 e 15 Hz). Neste último, os participantes tiveram maior facilidade em reconhecer o estímulo de 12 Hz, com um desempenho individual médio de 63%, face ao estímulo de 15 Hz com apenas 38%, o que comprometeu a performance geral do reconhecimento SSVEP. No entanto, apesar do desempenho fraco do paradigma, os participantes reportaram uma experiência bastante divertida (média de flow = 2:6 numa escala 0-5) e desafiante (média de challenge = 2:3 numa escala 0-5), com apenas um ligeiro aborrecimento (média de tension=annoyance = 1:1 numa escala 0-5), podendo-se concluir o sucesso do emprego das regras de bom desenho de jogos. As estratégias de elicitação de emoções foram apenas parcialmente bem sucedidas; não foram observadas diferenças significativas entre os níveis de dificuldade do jogo Kessel Run em termos de valência e excitação emocionais. No entanto conseguiu-se uma boa distribuição das avaliações emocionais dos participantes pelos quatro quadrantes das dimensões de valência e excitação, possibilitando o estudo de correlações entre o EEG dos participantes e as suas avaliações para cada nível de jogo em termos de oscilações no espectro da frequência e assimetrias na banda alfa. Encontraram-se correlações significativas na dimensão da valência que parecem contradizer a teoria da assimetria da banda alfa. Em particular, obteve-se uma correlação positiva significativa indicando uma relação de diminuição da activação hemisférica esquerda e consequente aumento da banda alfa. Esta contradição foi também confirmada pela obtenção de uma assimetria esquerda bastante significativa na banda alfa para o córtex frontal. Observou-se ainda uma diminuição da potência central da banda beta e um aumento occipital e temporal direito para a mesma banda relacionado com a dimensão da valência. Para a excitação encontrou-se uma correlação negativa significativa em regiões centrais e frontais na banda alfa, indicando uma activação destas regiões cerebrais aquando de estados mais excitados. Mais ainda, uma correlação significativa indicou uma assimetria direita na banda alfa para um par de eléctrodos fronto-centrais. Espera-se que este estudo possa contribuir para uma futura geração de videojogos com a capacidade de adaptação ao conteúdo emocional do seu jogador.Lately the field of (digital) game research is rapidly growing, with studies dedicated to capture game experience, adopting new technologies or exploring outside traditional input methods. Alongside, research in Brain-Computer Interfaces (BCI) has significantly increased in its applications for healthy users, such as games. BCIs benefit from access to brain activity which can bypass bodily mediation (e.g. controllers) and enable gamers to express themselves more naturally in a given game context. Moreover, BCI can provide significant insight into the user's emotional state. Recent research points to numerous correlates of emotion in brain signals. A complex challenge is to use BCI for access to the player's affective state in a real gaming context, improving and tailoring the user experience. The goal of this dissertation project is to introduce affective research to BCI games by creating a novel multiplayer Steady-State Visually Evoked Potential (SSVEP) BCI game, capable of providing a fun experience to its players and eliciting emotions for a study on EEG correlates of emotion. The multiplayer game Kessel Run was created, resulting in a space exploration game with a exible system that followed good game design rules with emotion elicitation strategies, controlled by the SSVEP paradigm. Twelve participants played Kessel Run using a 32-electrode EEG cap and rated the emotions felt during gameplay in a questionnaire. The SSVEP game performance achieved a maximum of 79% accuracy and an average of 55%. In addition, players reported that playing the game created a fun and immersive experience. A significant correlation with increased alpha power on the left hemisphere and positive valence led to the contradiction of the popular alpha asymmetry theory, which states that processing of positive information causes a decrease in alpha power on the left frontal hemisphere. Furthermore, correlates in the beta frequency range have been found for valence on right temporal and central sites. In the arousal dimension a significant central and frontal alpha power decrease was found, along with significant alpha asymmetry on fronto-central pairs for increased arousal

Standardization of Protocol Design for User Training in EEG-based Brain-Computer Interface

International audienceBrain-computer interfaces (BCIs) are systems that enable a personto interact with a machine using only neural activity. Such interaction canbe non-intuitive for the user hence training methods are developed to increaseone’s understanding, confidence and motivation, which would in parallel increasesystem performance. To clearly address the current issues in the BCI usertraining protocol design, here it is divided intointroductoryperiod and BCIinteractionperiod. First, theintroductoryperiod (before BCI interaction) mustbe considered as equally important as the BCI interaction for user training. Tosupport this claim, a review of papers show that BCI performance can dependon the methodologies presented in such introductory period. To standardize itsdesign, the literature from human-computer interaction (HCI) is adjusted to theBCI context. Second, during the user-BCI interaction, the interface can takea large spectrum of forms (2D, 3D, size, color etc.) and modalities (visual,auditory or haptic etc.) without following any design standard or guidelines.Namely, studies that explore perceptual affordance on neural activity show thatmotor neurons can be triggered from a simple observation of certain objects, anddepending on objects’ properties (size, location etc.) neural reactions can varygreatly. Surprisingly, the effects of perceptual affordance were not investigatedin the BCI context. Both inconsistent introductions to BCI as well as variableinterface designs make it difficult to reproduce experiments, predict their outcomesand compare results between them. To address these issues, a protocol designstandardization for user training is proposed

Kessel Run - A Cooperative Multiplayer SSVEP BCI Game

Digital game research has been rapidly growing with studies dedicated to game experience and adopting new technologies. Alongside, research in Brain-Computer Interfaces (BCI) is growing in game applications. Besides technical shortcomings, BCI research in gaming can also be lacking due to challenges such as poorly designed games that do not provide a fun experience to its players.In this paper we present a novel multiplayer Steady-State Visually Evoked Potential (SSVEP) game - Kessel Run - with BCI-focused cooperative mechanics, drawing attention to the impact of game design in the user experience.Twelve participants played Kessel Run using a 2-electrode cap and rated their experience in a questionnaire. The SSVEP performance was lower than expected, with an average classification accuracy of 55% and maximum of 79% at a 33% chance level. Despite low performances, players still reported a state of Flow, felt behaviorally involved and empathized with each other, finding it enjoyable to play the game together