Using neurophysiological signals that reflect cognitive or affective state: Six recommendations to avoid common pitfalls

Estimating cognitive or affective state from neurophysiological signals and designing applications that make use of this information requires expertise in many disciplines such as neurophysiology, machine learning, experimental psychology, and human factors. This makes it difficult to perform research that is strong in all its aspects as well as to judge a study or application on its merits. On the occasion of the special topic “Using neurophysiological signals that reflect cognitive or affective state” we here summarize often occurring pitfalls and recommendations on how to avoid them, both for authors (researchers) and readers. They relate to defining the state of interest, the neurophysiological processes that are expected to be involved in the state of interest, confounding factors, inadvertently “cheating” with classification analyses, insight on what underlies successful state estimation, and finally, the added value of neurophysiological measures in the context of an application. We hope that this paper will support the community in producing high quality studies and well-validated, useful applications

Affective Brain-Computer Interfaces Neuroscientific Approaches to Affect Detection

The brain is involved in the registration, evaluation, and representation of emotional events, and in the subsequent planning and execution of adequate actions. Novel interface technologies – so-called affective brain-computer interfaces (aBCI) - can use this rich neural information, occurring in response to affective stimulation, for the detection of the affective state of the user. This chapter gives an overview of the promises and challenges that arise from the possibility of neurophysiology-based affect detection, with a special focus on electrophysiological signals. After outlining the potential of aBCI relative to other sensing modalities, the reader is introduced to the neurophysiological and neurotechnological background of this interface technology. Potential application scenarios are situated in a general framework of brain-computer interfaces. Finally, the main scientific and technological challenges that have to be solved on the way toward reliable affective brain-computer interfaces are discussed

Translation of EEG spatial filters from resting to motor imagery using independent component analysis.

Electroencephalogram (EEG)-based brain-computer interfaces (BCIs) often use spatial filters to improve signal-to-noise ratio of task-related EEG activities. To obtain robust spatial filters, large amounts of labeled data, which are often expensive and labor-intensive to obtain, need to be collected in a training procedure before online BCI control. Several studies have recently developed zero-training methods using a session-to-session scenario in order to alleviate this problem. To our knowledge, a state-to-state translation, which applies spatial filters derived from one state to another, has never been reported. This study proposes a state-to-state, zero-training method to construct spatial filters for extracting EEG changes induced by motor imagery. Independent component analysis (ICA) was separately applied to the multi-channel EEG in the resting and the motor imagery states to obtain motor-related spatial filters. The resultant spatial filters were then applied to single-trial EEG to differentiate left- and right-hand imagery movements. On a motor imagery dataset collected from nine subjects, comparable classification accuracies were obtained by using ICA-based spatial filters derived from the two states (motor imagery: 87.0%, resting: 85.9%), which were both significantly higher than the accuracy achieved by using monopolar scalp EEG data (80.4%). The proposed method considerably increases the practicality of BCI systems in real-world environments because it is less sensitive to electrode misalignment across different sessions or days and does not require annotated pilot data to derive spatial filters

Enhancement and optimization of a multi-command-based brain-computer interface

Brain-computer interfaces (BCI) assist disabled person to control many appliances without any physically interaction (e.g., pressing a button). SSVEP is brain activities elicited by evoked signals that are observed by visual stimuli paradigm. In this dissertation were addressed the problems which are oblige more usability of BCI-system by optimizing and enhancing the performance using particular design. Main contribution of this work is improving brain reaction response depending on focal approaches

Kessel Run: exploring cooperative behaviours in a multiplayer BCI game

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2017Apesar de terem como propósito original o restauro da função a portadores de deficiências motoras, as Interfaces Cérebro-Computador (BCI, do inglês Brain-Computer Interface) têm cada vez mais aplicações que vão para além de controlar o cursor de um computador ou mover uma cadeira de rodas. Com o recente avanço da tecnologia de electroencefalografia (EEG), cada vez mais portátil e económica, a investigação na área dos BCI tem nos últimos anos dado maior destaque às aplicações para utilizadores saudáveis, nomeadamente na área do entretenimento. BCI baseados em EEG estão gradualmente a ser mais usados até mesmo em jogos comerciais. Os videojogos do género multijogador são extremamente populares entre os jogadores, pelo que se torna bastante interessante olhar para os jogos multi-cérebro, isto é, jogos onde de uma ou outra forma a atividade cerebral de mais do que um utilizador é analisada e necessária para jogar o jogo. Num outro tópico de investigação, as medições de EEG são também usadas por neurocientistas na pesquisa convencional dos processos de tomada de decisão e raciocínio estratégico. Um dos paradigmas mais frequentemente utilizados para estudar a tomada de decisão _e o uso de dilemas da teoria de jogos jogados por uma ou duas pessoas. A teoria de jogos é aplicada a uma panóplia de áreas que vão desde a economia à psicologia, podendo naturalmente ser aplicável aos videojogos cooperativos ou competitivos. Conseguiremos extrair novos conhecimentos acerca da neurociência da tomada de decisão a partir de jogos BCI multijogador? E, por exemplo, será possível manipular a estratégia de um jogador fornecendo-lhe informação sobre o que vai na mente dos seus adversários? O objetivo desta dissertação é explorar os comportamentos cooperativos que ocorrem entre jogadores num jogo BCI multijogador, bem como enquanto jogam dilemas clássicos da teoria de jogos. Ao investigar medidas neurológicas correlacionadas com o raciocínio estratégico tais como os potenciais evocados (ERP, do inglês Event-Related Potentials) durante decisões cooperativas ou desertoras, procuramos aplicar os conhecimentos da pesquisa em tomada de decisão aos jogos digitais de classe comercial. Numa primeira etapa deste trabalho, foi desenhado e implementado um jogo BCI cooperativo baseado no paradigma SSVEP (do inglês Steady-State Visually-Evoked Potential) chamado Kessel Run. No jogo Kessel Run, dois jogadores devem trabalhar juntos de forma a pilotar uma nave espacial através de um campo de asteróides. O objetivo do jogo é finalizar uma corrida de 2 minutos sem perder todo o combustível, desviando-se de obstáculos e recolhendo bónus. O paradigma de interacção SSVEP foi implementado usando dois painéis LED externos, acoplados ao monitor, permitindo aos jogadores mover a nave para cima ou para baixo ao olhar para as luzes, a piscar a uma frequência de 15 e 12 Hz, respetivamente. Dado que uma das nossas principais motivações era desenhar um jogo BCI que não fosse simplesmente uma prova de conceito da tecnologia, mas também divertido para os jogadores, foram seguidos os requerimentos para um bom design de jogo. Desta forma, o jogo Kessel Run apresenta regras e objetivos claros, mantendo-se desafiante para os jogadores, com o desafio adicional de controlar o BCI. Para além disso, de forma a proporcionar a experiência cooperativa adequada, os dois jogadores tinham funções interdependentes ditadas pelas mecânicas de jogo, uma vez que um jogador só consegue controlar um motor da nave, e esta só pode subir ou descer quando ambos os jogadores a controlam ao mesmo tempo. Para os ajudar a alcançar a vitória mútua, os jogadores podem comunicar verbalmente para antecipar obstáculos e melhor controlar o jogo. Na segunda etapa deste trabalho, foi desenhado o jogo Dilemmas: um conjunto de cinco dilemas sociais iterados habitualmente utilizados na teoria de jogos. Em cada jogo, os jogadores enfrentam uma escolha entre duas opções: cooperar com o outro jogador ou desertar. A combinação de ambas as decisões resulta num de quatro desfechos possíveis, cada um com diferentes consequências para cada jogador, representados por uma pontuação numérica. Para cada jogo, um jogador ganha uma ronda quando recebe mais pontos do que o adversário, mas os jogadores tanto podem tentar maximizar a sua pontuação pessoal para derrotar o adversário como tentar maximizar a pontuação do grupo ao tomar decisões que beneficiam ambos os jogadores igualmente. O jogo Dilemmas tem o propósito de servir como um ambiente controlado que nos permita recolher dados da atividade cerebral durante decisões cooperativas e desertoras. Os participantes tomam as suas decisões recorrendo ao teclado e não há qualquer comunicação permitida, como a finalidade de reduzir artefactos devidos ao movimento e ruído no sinal. Foram analisados os ERPs no sinal de EEG marcado no tempo no momento que antecede a tomada de decisão e após a apresentação do desfecho de cada ronda do jogo. Após implementar ambos os jogos, foi preparada uma experiência onde 12 participantes (em 6 pares) foram convidados a usar toucas EEG enquanto jogavam Kessel Run, seguido de Dilemmas. A performance do BCI durante o Kessel Run foi calculado através de uma sessão de treino antes do jogo começar. A experiência de jogo e social dos participantes foi também estudada, com recurso a questionários validados preenchidos após cada sessão de jogo. Foi realizada a análise da atividade cerebral registada durante ambos os jogos, onde foram estudados os ERPs com origem no córtex medial frontal, nomeadamente as componentes P300 e a negatividade relativa a feedback (FRN, do inglês Feedback-Related Negativity). A performance do paradigma SSVEP no BCI foi mais baixa do que o esperado, alcançando apenas uma precisão máxima de 79% como precisão média geral de 55% para um nível de chance de 33%. Os dois fatores identificados que mais influenciaram este resultado foram a variabilidade na deteção da frequência de SSVEP entre sujeitos e a falta de escuridão na sala. A maioria dos participantes obteve piores resultados de classificação para a frequência de 15 Hz do que para 12 Hz, possivelmente devido a 12 Hz pertencer à banda alfa dominante. Embora funcione como prova de conceito para um jogo SSVEP multijogador, um paradigma mais intuitivo como o movimento imaginado pode ser mais adequado para o Kessel Run, permitindo aos jogadores manter o olhar no ecrã. A experiência reportada pelos jogadores foi de forma geral positiva, apesar da dificuldade em controlar o jogo com o paradigma SSVEP. Os jogadores não se sentiram muito competentes durante o jogo, mas de qualquer maneira atingiram um estado de Flow. Isto pode dever-se à estratégia colaborativa desenvolvida por alguns jogadores para contornar a má classificação SSVEP, em que o jogador com melhor controlo controlava a nave enquanto o companheiro dava direções. Na avaliação da presença social, os jogadores reportaram que empatizaram com o outro, em parte devido à necessidade de comunicar para ganhar o jogo. Dado que os jogadores se sentiram inclinados a trabalhar com o outro, podemos dizer que as regras de design de jogo cooperativo foram implementadas com sucesso e o jogo proporcionou uma experiência social positiva. No jogo Dilemmas, a presença social reportada pelos jogadores foi ligeiramente diferente, resultado da natureza contrastante do jogo. Neste jogo, o nível de familiaridade dos dois participantes em cada sessão influenciou fortemente a forma como jogaram. Participantes emparelhados com um desconhecido sentiram-se menos inclinados a cooperar, e tomaram uma abordagem mais competitiva ao jogo, sentindo menos empatia pelo outro. Os jogadores reportaram também mais sentimentos negativos durante o Dilemmas do que durante o Kessel Run, embora tal se deva talvez às rondas perdidas e não à interação com o companheiro. A estratégia tit-for-tat (olho por olho) foi a mais adoptada pelos jogadores, o que significa que começavam por cooperar e subsequentemente replicavam a decisão feita pelo adversário na ronda anterior. No que respeita ao estudo de ERPs durante o jogo, começou por se analisar os dados recolhidos durante o Kessel Run. Os registos acabaram por ser demasiado ruidosos para se extrair alguma informação sobre os potenciais que antecedem a tomada de decisão. As mecânicas e comandos do jogo não favoreceram a recolha de dados EEG para esta análise, uma vez que os jogadores eram encorajados a falar e mover a cabeça para olhar para as fontes de luz de forma a controlar o jogo. A implementação de um paradigma de interação passivo pode possibilitar este estudo num jogo BCI. Por outro lado, foram identificadas com sucesso duas componentes ERP marcadas no tempo em relação à apresentação do desfecho no jogo Dilemmas: o P300 e a FRN. O ambiente mais controlado deste jogo facilitou a deteção de uma forte positividade na região medial frontal, para os canais Fc1, Fc2, Fz e Cz. Esta positividade corresponde às características da componente P300, uma deexão positiva no ERP, relacionada com o processamento de informação acerca de ganhos e perdas. O P300 foi observado entre 200 e 500 ms após a apresentação do desfecho dos jogos aos jogadores. A componente FRN foi também detetada, embora apenas nos ensaios em que os jogadores cooperaram e perderam nessa ronda. A FRN foi identificada de 200 a 250 ms após o estímulo visual (desfecho), correspondendo a situações em que os jogadores adotaram a estratégia tit-for-tat, particularmente comum entre participantes que não se conhecem. Um jogador que coopera e recebe um desfecho negativo (perde a ronda) tem maiores probabilidades de desertar na ronda seguinte, repetindo o comportamento prévio do adversário. Os resultados alcançados neste trabalho ajudam-nos a compreender a dificuldade em adquirir dados EEG durante uma experiência de jogo BCI ativa. Para atingir uma deteção adequada de ERPs durante um jogo, é necessário desenvolver algoritmos mais robustos de forma a ultrapassar a presença de artefactos. Todavia, as aplicações dos correlatos neuronais de tomada de decisão em jogos parecem promissoras, sobretudo em jogos sérios e jogos multijogador.Traditional brain-computer interface (BCI) research has recently turned to applications for healthy users, such as games. Because electroencephalography (EEG) is a cheap, portable and popular way of accessing brain activity, EEG-based BCIs are gradually being more used even for commercial games. Multiplayer games are immensely popular among gamers, so it becomes interesting to look at `multi-brain games', that is, games where in one or other form the measured brain activity of more than one user is needed to play the game. On a different research topic, EEG measures are also used by neuroscientists in traditional decision-making and strategic reasoning research. One of the most common paradigms used to study decision making is to use game theory dilemmas played by one or two persons. Game theory is applied to a myriad of areas from economics to psychology, and can of course be applicable to cooperative or competitive video games. The goal of this dissertation is to explore the cooperative behaviors that happen between players in a multiplayer BCI game, as well as while playing classic game theory dilemmas. By looking at neural correlates of strategic reasoning such as event-related potentials (ERPs) during cooperative or defective decisions, we will try to bring decision-making research and insights to commercial grade digital games. We have divided this work's methodology into two parts: firstly, an original two player cooperative BCI game (Kessel Run) controlled with steady-state visually evoked potentials (SSVEP) was conceptualized and developed; secondly, a non-BCI game inspired by iterated social dilemmas was also developed. We have designed and set-up an experiment where participants played both games sequentially, and have collected EEG data during both gaming experiences, as well as the reported game experience and social presence from participant-filled questionnaires. Despite a lower than expected accuracy in the BCI paradigm used to control the game Kessel Run (maximum of 79% and 55% on average), participants adjusted and developed strategies to successfully navigate a spaceship together in a virtual environment, reporting a positive game experience. Studying ERPs while playing Kessel Run proved ineffective, due to the fast pacing of the game and movement artefacts caused by the SSVEP paradigm. However, in a more controlled setting like the game Dilemmas, we have successfully identified two components heavily linked to information processing and decision-making. A strong medial frontal positivity corresponding to the P300 component was observed between 200 and 500ms after the presentation of game outcomes to the player. In trials where players cooperated and lost the round, the feedback-related negativity (FRN) was also detected, as would be expected when participants fail to achieve a desired feedback. Designing a BCI game that employs the P300 paradigm might improve the success of merging decision-making neural correlates in a gaming experience. Never the less, the insights gathered in this study made us understand the difficulty of collecting EEG data during active BCI game play. Still, an interesting prospect would be to use a subject's particular brainwaves as a means to decode future decisions, and in that way improve collaboration in a game or team activity

The use of P300-based BCIs in amyotrophic lateral sclerosis : from augmentative and alternative communication to cognitive assessment

The use of augmentative and alternative communication (AAC) tools in patients with amyotrophic lateral sclerosis (ALS), as effective means to compensate for the progressive loss of verbal and gestural communication, has been deeply investigated in the recent literature. The development of advanced AAC systems, such as eye-tracking (ET) and brain-computer interface (BCI) devices, allowed to bypass the important motor difficulties present in ALS patients. In particular, BCIs could be used in moderate to severe stages of the disease, since they do not require preserved ocular-motor ability, which is necessary for ET applications. Furthermore, some studies have proved the reliability of BCIs, regardless of the severity of the disease and the level of physical decline. However, the use of BCI in ALS patients still shows some limitations, related to both technical and neuropsychological issues. In particular, a range of cognitive deficits in most ALS patients have been observed. At the moment, no effective verbal-motor free measures are available for the evaluation of ALS patients\u2019 cognitive integrity; BCIs could offer a new possibility to administer cognitive tasks without the need of verbal or motor responses, as highlighted by preliminary studies in this field. In this review, we outline the essential features of BCIs systems, considering advantages and challenges of these tools with regard to ALS patients and the main applications developed in this field. We then outline the main findings with regard to cognitive deficits observed in ALS and some preliminary attempts to evaluate them by means of BCIs. The definition of specific cognitive profiles could help to draw flexible approaches tailored on patients\u2019 needs. It could improve BCIs efficacy and reduce patients\u2019 efforts. Finally, we handle the open question, represented by the use of BCIs with totally locked in patients, who seem unable to reliably learn to use such tool

Making the case for mobile cognition: EEG and sports performance

In the high stakes world of International sport even the smallest change in performance can make the difference between success and failure, leading sports professionals to become increasingly interested in the potential benefits of neuroimaging. Here we describe evidence from EEG studies that either identify neural signals associated with expertise in sport, or employ neurofeedback to improve performance. Evidence for the validity of neurofeedback as a technique for enhancing sports performance remains limited. By contrast, progress in characterizing the neural correlates of sporting behavior is clear: frequency domain studies link expert performance to changes in alpha rhythms, whilst time-domain studies link expertise in response evaluation and motor output with modulations of P300 effects and readiness potentials. Despite early promise, however, findings have had relatively little impact for sports professionals, at least in part because there has been a mismatch between lab tasks and real sporting activity. After selectively reviewing existing findings and outlining limitations, we highlight developments in mobile EEG technology that offer new opportunities for sports neuroscience