A wireless steady state visually evoked potential-based BCI eating assistive system

© 2017 IEEE. Brain-Computer interface (BCI) which aims at enabling users to perform tasks through their brain waves has been a feasible and worth developing solution for growing demand of healthcare. Current proposed BCI systems are often with lower applicability and do not provide much help for reducing burdens of users because of the time-consuming preparation required by adopted wet sensors and the shortage of provided interactive functions. Here, by integrating a state visually evoked potential (SSVEP)-based BCI system and a robotic eating assistive system, we propose a non-invasive wireless steady state visually evoked potential (SSVEP)-based BCI eating assistive system that enables users with physical disabilities to have meals independently. The analysis compared different methods of classification and indicated the best method. The applicability of the integrated eating assistive system was tested by an Amyotrophic Lateral Sclerosis (ALS) patient, and a questionnaire reply and some suggestion are provided. Fifteen healthy subjects engaged the experiment, and an average accuracy of 91.35%, and information transfer rate (ITR) of 20.69 bit per min are achieved. For online performance evaluation, the ALS patient gave basic affirmation and provided suggestions for further improvement. In summary, we proposed a usable SSVEP-based BCI system enabling users to have meals independently. With additional adjustment of movement design of the robotic arm and classification algorithm, the system may offer users with physical disabilities a new way to take care of themselves

A Wireless Multifunctional SSVEP-Based Brain Computer Interface Assistive System

IEEE Several kinds of brain-computer interface (BCI) systems have been proposed to compensate for the lack of medical technology for assisting patients who lose the ability to use motor functions to communicate with the outside world. However, most of the proposed systems are limited by their non-portability, impracticality and inconvenience because of the adoption of wired or invasive electroencephalography (EEG) acquisition devices. Another common limitation is the shortage of functions provided because of the difficulty of integrating multiple functions into one BCI system. In this study, we propose a wireless, non-invasive and multifunctional assistive system which integrates steady state visually evoked potential (SSVEP)-based BCI and a robotic arm to assist patients to feed themselves. Patients are able to control the robotic arm via the BCI to serve themselves food. Three other functions: video entertainment, video calling, and active interaction are also integrated. This is achieved by designing a functional menu and integrating multiple subsystems. A refinement decision-making mechanism is incorporated to ensure the accuracy and applicability of the system. Fifteen participants were recruited to validate the usability and performance of the system. The averaged accuracy and information transfer rate (ITR) achieved is 90.91% and 24.94 bit per min respectively. The feedback from the participants demonstrates that this assistive system is able to significantly improve the quality of daily life

Cross-Platform Implementation of an SSVEP-Based BCI for the Control of a 6-DOF Robotic Arm

[EN] Robotics has been successfully applied in the design of collaborative robots for assistance to people with motor disabilities. However, man-machine interaction is difficult for those who suffer severe motor disabilities. The aim of this study was to test the feasibility of a low-cost robotic arm control system with an EEG-based brain-computer interface (BCI). The BCI system relays on the Steady State Visually Evoked Potentials (SSVEP) paradigm. A cross-platform application was obtained in C++. This C++ platform, together with the open-source software Openvibe was used to control a Staubli robot arm model TX60. Communication between Openvibe and the robot was carried out through the Virtual Reality Peripheral Network (VRPN) protocol. EEG signals were acquired with the 8-channel Enobio amplifier from Neuroelectrics. For the processing of the EEG signals, Common Spatial Pattern (CSP) filters and a Linear Discriminant Analysis classifier (LDA) were used. Five healthy subjects tried the BCI. This work allowed the communication and integration of a well-known BCI development platform such as Openvibe with the specific control software of a robot arm such as Staubli TX60 using the VRPN protocol. It can be concluded from this study that it is possible to control the robotic arm with an SSVEP-based BCI with a reduced number of dry electrodes to facilitate the use of the system.Funding for open access charge: Universitat Politecnica de Valencia.Quiles Cucarella, E.; Dadone, J.; Chio, N.; García Moreno, E. (2022). Cross-Platform Implementation of an SSVEP-Based BCI for the Control of a 6-DOF Robotic Arm. Sensors. 22(13):1-26. https://doi.org/10.3390/s22135000126221

Emerging ExG-based NUI Inputs in Extended Realities : A Bottom-up Survey

Incremental and quantitative improvements of two-way interactions with extended realities (XR) are contributing toward a qualitative leap into a state of XR ecosystems being efficient, user-friendly, and widely adopted. However, there are multiple barriers on the way toward the omnipresence of XR; among them are the following: computational and power limitations of portable hardware, social acceptance of novel interaction protocols, and usability and efficiency of interfaces. In this article, we overview and analyse novel natural user interfaces based on sensing electrical bio-signals that can be leveraged to tackle the challenges of XR input interactions. Electroencephalography-based brain-machine interfaces that enable thought-only hands-free interaction, myoelectric input methods that track body gestures employing electromyography, and gaze-tracking electrooculography input interfaces are the examples of electrical bio-signal sensing technologies united under a collective concept of ExG. ExG signal acquisition modalities provide a way to interact with computing systems using natural intuitive actions enriching interactions with XR. This survey will provide a bottom-up overview starting from (i) underlying biological aspects and signal acquisition techniques, (ii) ExG hardware solutions, (iii) ExG-enabled applications, (iv) discussion on social acceptance of such applications and technologies, as well as (v) research challenges, application directions, and open problems; evidencing the benefits that ExG-based Natural User Interfaces inputs can introduceto the areaof XR.Peer reviewe

Emerging ExG-based NUI Inputs in Extended Realities : A Bottom-up Survey

Incremental and quantitative improvements of two-way interactions with extended realities (XR) are contributing toward a qualitative leap into a state of XR ecosystems being efficient, user-friendly, and widely adopted. However, there are multiple barriers on the way toward the omnipresence of XR; among them are the following: computational and power limitations of portable hardware, social acceptance of novel interaction protocols, and usability and efficiency of interfaces. In this article, we overview and analyse novel natural user interfaces based on sensing electrical bio-signals that can be leveraged to tackle the challenges of XR input interactions. Electroencephalography-based brain-machine interfaces that enable thought-only hands-free interaction, myoelectric input methods that track body gestures employing electromyography, and gaze-tracking electrooculography input interfaces are the examples of electrical bio-signal sensing technologies united under a collective concept of ExG. ExG signal acquisition modalities provide a way to interact with computing systems using natural intuitive actions enriching interactions with XR. This survey will provide a bottom-up overview starting from (i) underlying biological aspects and signal acquisition techniques, (ii) ExG hardware solutions, (iii) ExG-enabled applications, (iv) discussion on social acceptance of such applications and technologies, as well as (v) research challenges, application directions, and open problems; evidencing the benefits that ExG-based Natural User Interfaces inputs can introduceto the areaof XR.Peer reviewe

On Tackling Fundamental Constraints in Brain-Computer Interface Decoding via Deep Neural Networks

A Brain-Computer Interface (BCI) is a system that provides a communication and control medium between human cortical signals and external devices, with the primary aim to assist or to be used by patients who suffer from a neuromuscular disease. Despite significant recent progress in the area of BCI, there are numerous shortcomings associated with decoding Electroencephalography-based BCI signals in real-world environments. These include, but are not limited to, the cumbersome nature of the equipment, complications in collecting large quantities of real-world data, the rigid experimentation protocol and the challenges of accurate signal decoding, especially in making a system work in real-time. Hence, the core purpose of this work is to investigate improving the applicability and usability of BCI systems, whilst preserving signal decoding accuracy. Recent advances in Deep Neural Networks (DNN) provide the possibility for signal processing to automatically learn the best representation of a signal, contributing to improved performance even with a noisy input signal. Subsequently, this thesis focuses on the use of novel DNN-based approaches for tackling some of the key underlying constraints within the area of BCI. For example, recent technological improvements in acquisition hardware have made it possible to eliminate the pre-existing rigid experimentation procedure, albeit resulting in noisier signal capture. However, through the use of a DNN-based model, it is possible to preserve the accuracy of the predictions from the decoded signals. Moreover, this research demonstrates that by leveraging DNN-based image and signal understanding, it is feasible to facilitate real-time BCI applications in a natural environment. Additionally, the capability of DNN to generate realistic synthetic data is shown to be a potential solution in reducing the requirement for costly data collection. Work is also performed in addressing the well-known issues regarding subject bias in BCI models by generating data with reduced subject-specific features. The overall contribution of this thesis is to address the key fundamental limitations of BCI systems. This includes the unyielding traditional experimentation procedure, the mandatory extended calibration stage and sustaining accurate signal decoding in real-time. These limitations lead to a fragile BCI system that is demanding to use and only suited for deployment in a controlled laboratory. Overall contributions of this research aim to improve the robustness of BCI systems and enable new applications for use in the real-world

Kessel Run: towards emotion adaptation in a BCI multiplayer game

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2017O objetivo original de uma Interface Cerebro-Máquina (BCI, do inglês Brain-Computer Interface) é o restauro de função a portadores de deficiências motoras, com aplicações que abrangem desde o mover de um cursor de computador ou de uma cadeira de rodas, a dispositivos complexos de soletração que substituem a fala. No entanto, com o recente aparecimento no mercado de aparelhos de BCI portáteis e económicos, as aplicações de BCI têm vindo a migrar lentamente para áreas fora do âmbito da saúde, como é o caso do entretenimento. Em particular, o desenvolvimento de videojogos em que os modos de interação tradicionais (teclado ou botões, por exemplo) são substituídos por controlos BCI é uma aposta frequente em vários grupos de investigação em neurociências. O uso de paradigmas de BCI como controladores de jogos tem a capacidade de não só possibilitar novos meios de interação mais intuitivos (como é o caso de apenas pensar em mover a personagem do jogo, em vez de pressionar o botão que a move), mas também de criar novos mecanismos de jogo que não são possíveis com dispositivos tradicionais. Para a criação destes novos mecanismos a Computação Afetiva é de relativo interesse, já que esta é a área de investigação encarregue de encontrar relações entre o estado emocional de um sujeito, através de BCIs, por exemplo, e utilizá-las para melhorar a interação com um computador (ou um jogo). Apesar de beneficiarem de um ligação direta ao cérebro, poucos são os videojogos BCI que a utilizam para adaptar o conteúdo do jogo ao estado emocional do jogador, em parte porque são poucas as relações conhecidas entre o eletroencefalograma (EEG) e o estado emocional do indivíduo, especialmente em condições pouco controladas e em cenários realistas. De facto, a maioria dos estudos em Computação Afetiva feitos com o objetivo de procurar correlações entre o estado emocional do sujeito e o seu EEG pecam por serem realizados sob condições pouco realistas, e, em particular, nunca durante uma situação de jogo. Por outro lado, apesar da frequente aposta no desenvolvimento de novos videojogos controlados por um paradigma de BCI, poucos têm em consideração as regras de um bom desenho de jogos, resultando muitas vezes num jogo que mesmo sendo funcional, é aborrecido. Com as perspetivas da aplicação de BCI e Computação Afetiva aos videojogos em mente, esta dissertação tem como objetivo o desenvolvimento de um jogo multiplayer controlado por BCI, que ao seguir as regras de bom desenho de jogos, é capaz de desencadear uma sensação de divertimento nos seus jogadores. Para além disso, o jogo também deve ser capaz de evocar um conjunto diversificado de estados emocionais nos seus jogadores, de forma a poder estudar-se as correlações entre o EEG e o estado emocional de cada indivíduo no espectro da frequência. Desta forma, poder-se-á comparar as correlações obtidas num cenário realístico de jogo com o estado-da-arte, frequentemente realizado em situações controladas, e assim contribuir para o avanço da adaptação emocional em videojogos BCI. Para concretizar estes objetivos, o videojogo Kessel Run foi desenvolvido. Kessel Run é um jogo 3D de uma corrida espacial para dois jogadores, em que ambos devem cooperar um com o outro de forma a direcionar uma nave espacial para longe de asteróides e assim conseguir finalizar uma corrida de 2 minutos com o mínimo de danos possível. Neste jogo, as regras básicas de desenho de jogos (Teoria de Flow e o Paradoxo de Controlo) foram aplicadas de forma a criar uma sensação de divertimento e de controlo no jogador. A sensação de controlo por parte do jogador é particularmente importante na criação de um jogo BCI, uma vez que a sua falta poderá levar a perda de imersão no jogo e, consequentemente, à diminuição do divertimento. Assim, de forma a garantir o bom controlo do jogo o paradigma SSVEP (do inglês Steady-State Visually Evoked Potential) foi escolhido como modo de interação BCI. De forma a evocarem-se um conjunto diversificado de estados emocionais nos jogadores, várias estratégias de elicitação foram aplicadas no jogo. Em primeiro lugar, este dispõe de dois níveis de dificuldade (um fácil e um difícil). O primeiro nível desafia as capacidades dos jogadores sem contudo ser demasiado difícil, pelo que se espera que evoque emoções mais positivas. Já o segundo nível aumenta bastante a dificuldade do jogo, tornando-se muito difícil batê-lo. Para além da dificuldade acrescida, o nível difícil do jogo foi programado de forma a que o controlo BCI falhe com frequência sem o conhecimento do jogador. Espera-se por isso que o segundo nível evoque níveis de frustração maiores, e estados emocionais mais negativos e excitados. O jogo Kessel Run foi colocado em prática ao desenvolver-se um protocolo experimental onde 12 participantes jogaram os dois níveis de dificuldade do jogo. A cada participante foi pedido a classificação do jogo em termos de experiência do utilizador, e de cada nível relativamente às emoções sentidas no decorrer do jogo, na forma de questionários. Foram também adquiridos os sinais de EEG de cada participante. De forma geral, o desempenho do paradigma BCI foi menor do o que esperado, conseguindo-se apenas um máximo de 79% classificações correctas. Este resultado deve-se essencialmente a dois factores: o grau deficiente de escuridão da sala laboratorial, responsável pela perda de desempenho na ordem dos 6%, e a deteção individual das frequências escolhidas para estímulo SSVEP (12 e 15 Hz). Neste último, os participantes tiveram maior facilidade em reconhecer o estímulo de 12 Hz, com um desempenho individual médio de 63%, face ao estímulo de 15 Hz com apenas 38%, o que comprometeu a performance geral do reconhecimento SSVEP. No entanto, apesar do desempenho fraco do paradigma, os participantes reportaram uma experiência bastante divertida (média de flow = 2:6 numa escala 0-5) e desafiante (média de challenge = 2:3 numa escala 0-5), com apenas um ligeiro aborrecimento (média de tension=annoyance = 1:1 numa escala 0-5), podendo-se concluir o sucesso do emprego das regras de bom desenho de jogos. As estratégias de elicitação de emoções foram apenas parcialmente bem sucedidas; não foram observadas diferenças significativas entre os níveis de dificuldade do jogo Kessel Run em termos de valência e excitação emocionais. No entanto conseguiu-se uma boa distribuição das avaliações emocionais dos participantes pelos quatro quadrantes das dimensões de valência e excitação, possibilitando o estudo de correlações entre o EEG dos participantes e as suas avaliações para cada nível de jogo em termos de oscilações no espectro da frequência e assimetrias na banda alfa. Encontraram-se correlações significativas na dimensão da valência que parecem contradizer a teoria da assimetria da banda alfa. Em particular, obteve-se uma correlação positiva significativa indicando uma relação de diminuição da activação hemisférica esquerda e consequente aumento da banda alfa. Esta contradição foi também confirmada pela obtenção de uma assimetria esquerda bastante significativa na banda alfa para o córtex frontal. Observou-se ainda uma diminuição da potência central da banda beta e um aumento occipital e temporal direito para a mesma banda relacionado com a dimensão da valência. Para a excitação encontrou-se uma correlação negativa significativa em regiões centrais e frontais na banda alfa, indicando uma activação destas regiões cerebrais aquando de estados mais excitados. Mais ainda, uma correlação significativa indicou uma assimetria direita na banda alfa para um par de eléctrodos fronto-centrais. Espera-se que este estudo possa contribuir para uma futura geração de videojogos com a capacidade de adaptação ao conteúdo emocional do seu jogador.Lately the field of (digital) game research is rapidly growing, with studies dedicated to capture game experience, adopting new technologies or exploring outside traditional input methods. Alongside, research in Brain-Computer Interfaces (BCI) has significantly increased in its applications for healthy users, such as games. BCIs benefit from access to brain activity which can bypass bodily mediation (e.g. controllers) and enable gamers to express themselves more naturally in a given game context. Moreover, BCI can provide significant insight into the user's emotional state. Recent research points to numerous correlates of emotion in brain signals. A complex challenge is to use BCI for access to the player's affective state in a real gaming context, improving and tailoring the user experience. The goal of this dissertation project is to introduce affective research to BCI games by creating a novel multiplayer Steady-State Visually Evoked Potential (SSVEP) BCI game, capable of providing a fun experience to its players and eliciting emotions for a study on EEG correlates of emotion. The multiplayer game Kessel Run was created, resulting in a space exploration game with a exible system that followed good game design rules with emotion elicitation strategies, controlled by the SSVEP paradigm. Twelve participants played Kessel Run using a 32-electrode EEG cap and rated the emotions felt during gameplay in a questionnaire. The SSVEP game performance achieved a maximum of 79% accuracy and an average of 55%. In addition, players reported that playing the game created a fun and immersive experience. A significant correlation with increased alpha power on the left hemisphere and positive valence led to the contradiction of the popular alpha asymmetry theory, which states that processing of positive information causes a decrease in alpha power on the left frontal hemisphere. Furthermore, correlates in the beta frequency range have been found for valence on right temporal and central sites. In the arousal dimension a significant central and frontal alpha power decrease was found, along with significant alpha asymmetry on fronto-central pairs for increased arousal