Five-Class SSVEP Response Detection using Common-Spatial Pattern (CSP)-SVM Approach

Brain-computer interface (BCI) technologies significantly facilitate the interaction between physically impaired people and their surroundings. In electroencephalography (EEG) based BCIs, a variety of physiological responses including P300, motor imagery, movement-related potential, steady-state visual evoked potential (SSVEP) and slow cortical potential have been utilized. Because of the superior signal-to-noise ratio (SNR) together with quicker information transfer rate (ITR), the intentness of SSVEP-based BCIs is progressing significantly. This paper represents the feature extraction and classification frameworks to detect five classes EEG-SSVEP responses. The common-spatial pattern (CSP) has been employed to extract the features from SSVEP responses and these features have been classified through the support vector machine (SVM). The proposed architecture has achieved the highest classification accuracy of 88.3%. The experimental result proves that the proposed architecture could be utilized for the detection of SSVEP responses to develop any BCI applications

Five-Class SSVEP Response Detection using Common Spatial Pattern (CSP)-SVM Approach

Brain-computer interface (BCI) technologies significantly facilitate the interaction between physically impaired people and their surroundings. In electroencephalography (EEG) based BCIs, a variety of physiological responses including P300, motor imagery, movement-related potential, steady-state visual evoked potential (SSVEP) and slow cortical potential have been utilized. Because of the superior signal-to-noise ratio (SNR) together with quicker information transfer rate (ITR), the intentness of SSVEP-based BCIs is progressing significantly. This paper represents the feature extraction and classification frameworks to detect five classes EEG-SSVEP responses. The common-spatial pattern (CSP) has been employed to extract the features from SSVEP responses and these features have been classified through the support vector machine (SVM). The proposed architecture has achieved the highest classification accuracy of 88.3%. The experimental result proves that the proposed architecture could be utilized for the detection of SSVEP responses to develop any BCI applications. Keywords: EEG, BCI, SSVEP, CSP, SVM, Machine Learnin

Improving SSVEP-BCI performance using pre-trial normalization methods

A brain-computer interface (BCI) enables users to communicate through a computer using only their brain signals, by extracting brain signal features containing information representative of the user's intent, and can be used in a wide variety of areas such as entertainment, rehabilitation, or assistive technologies. In this paper, two novel normalization methods are assessed with the aim of improving the quality of the extracted features: Baseline-Corrected canonical correlation analysis (BC-CCA), and Scaled CCA. Both methods are found to be able to improve classification accuracy in conditions using frequencies with a large range, whilst BC-CCA is the superior of the two, improving SSVEP detection accuracy by as much as 9.22%

Cross-Platform Implementation of an SSVEP-Based BCI for the Control of a 6-DOF Robotic Arm

[EN] Robotics has been successfully applied in the design of collaborative robots for assistance to people with motor disabilities. However, man-machine interaction is difficult for those who suffer severe motor disabilities. The aim of this study was to test the feasibility of a low-cost robotic arm control system with an EEG-based brain-computer interface (BCI). The BCI system relays on the Steady State Visually Evoked Potentials (SSVEP) paradigm. A cross-platform application was obtained in C++. This C++ platform, together with the open-source software Openvibe was used to control a Staubli robot arm model TX60. Communication between Openvibe and the robot was carried out through the Virtual Reality Peripheral Network (VRPN) protocol. EEG signals were acquired with the 8-channel Enobio amplifier from Neuroelectrics. For the processing of the EEG signals, Common Spatial Pattern (CSP) filters and a Linear Discriminant Analysis classifier (LDA) were used. Five healthy subjects tried the BCI. This work allowed the communication and integration of a well-known BCI development platform such as Openvibe with the specific control software of a robot arm such as Staubli TX60 using the VRPN protocol. It can be concluded from this study that it is possible to control the robotic arm with an SSVEP-based BCI with a reduced number of dry electrodes to facilitate the use of the system.Funding for open access charge: Universitat Politecnica de Valencia.Quiles Cucarella, E.; Dadone, J.; Chio, N.; García Moreno, E. (2022). Cross-Platform Implementation of an SSVEP-Based BCI for the Control of a 6-DOF Robotic Arm. Sensors. 22(13):1-26. https://doi.org/10.3390/s22135000126221

Novas estratégias de pré-processamento, extração de atributos e classificação em sistemas BCI

Orientador: Romis Ribeiro de Faissol AttuxTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: As interfaces cérebro-computador (BCIs) visam controlar um dispositivo externo, utilizando diretamente os sinais cerebrais do usuário. Tais sistemas requerem uma série de etapas para processar e extrair atributos relevantes dos sinais observados para interpretar correta e eficientemente as intenções do usuário. Embora o campo tenha se desenvolvido continuamente e algumas dificuldades tenham sido superadas, ainda é necessário aumentar a capacidade de uso, melhorando sua capacidade de classificação e aumentando a confiabilidade de sua resposta. O objetivo clássico da pesquisa de BCI é apoiar a comunicação e o controle para usuários com comunicação prejudicada devido a doenças ou lesões. Aplicações típicas das BCI são a operação de cursores de interface, programas de escrita de texto ou dispositivos externos, como cadeiras de rodas, robôs e diferentes tipos de próteses. O usuário envia informações moduladas para a BCI, realizando tarefas mentais que produzem padrões cerebrais distintos. A BCI adquire sinais do cérebro do usuário e os traduz em comunicação adequada. Esta tese tem como objetivo desenvolver uma comunicação BCI não invasiva mais rápida e confiável baseada no estudo de diferentes técnicas que atuam nas etapas de processamento do sinal, considerando dois aspectos principais, a abordagem de aprendizado de máquina e a redução da complexidade na tarefa de aprendizado dos padrões mentais pelo usuário. A pesquisa foi focada em dois paradigmas de BCI, Imagética Motora (IM) e o potencial relacionado ao evento P300. Algoritmos de processamento de sinais para a detecção de ambos os padrões cerebrais foram aplicados e avaliados. O aspecto do pré-processamento foi a primeira perspectiva estudada, considerando como destacar a resposta dos fenômenos cerebrais, em relação ao ruído e a outras fontes de informação que talvez distorçam o sinal de EEG; isso em si é um passo que influenciará diretamente a resposta dos seguintes blocos de processamento e classificação. A Análise de Componente Independente (ICA) foi usada em conjunto com métodos de seleção de atributos e diferentes classificadores para separar as fontes originais relacionadas à dessincronização produzida pelo fenômeno de IM; esta foi uma tentativa de criar um tipo de filtro espacial que permitisse o sinal ser pré-processado, reduzindo a influência do ruído. Além disso, os resultados dos valores de classificação foram analisados considerando a comparação com métodos padrão de pré-processamento, como o filtro CAR. Os resultados mostraram que é possível separar os componentes relacionados à atividade motora. A proposta da ICA, em média, foi 4\% mais alta em porcentagem de precisão de classificação do que os resultados obtidos usando o CAR, ou quando nenhum filtro foi usado. O papel dos métodos que estudam a conectividade de diferentes áreas do cérebro foi avaliado como a segunda contribuição deste trabalho; Isso permitiu considerar aspectos que contemplam a complexidade da resposta cerebral de um usuário. A área da BCI precisa de uma interpretação mais profunda do que acontece no nível do cérebro em vários dos fenômenos estudados. A técnica utilizada para construir grafos de conectividade funcional foi a correntropia, esta medida foi utilizada para quantificar a similaridade; uma comparação foi feita usando também, as medidas de correlação de Spearman e Pearson. A conectividade funcional relaciona diferentes áreas do cérebro analisando sua atividade cerebral, de modo que o estudo do grafo foi avaliado utilizando três medidas de centralidade, onde a importância de um nó na rede é medida. Também, dois tipos de classificadores foram testados, comparando os resultados no nível de precisão de classificação. Em conclusão, a correntropia pode trazer mais informações para o estudo da conectividade do que o uso da correlação simples, o que trouxe melhorias nos resultados da classificação, especialmente quando ela foi utilizada com o classificador ELM. Finalmente, esta tese demonstra que os BCIs podem fornecer comunicação efetiva em uma aplicação onde a predição da resposta de classificação foi modelada, o que permitiu a otimização dos parâmetros do processamento de sinal realizado usando o filtro espacial xDAWN e um classificador FLDA para o problema do speller P300, buscando a melhor resposta para cada usuário. O modelo de predição utilizado foi Bayesiano e confirmou os resultados obtidos com a operação on-line do sistema, permitindo otimizar os parâmetros tanto do filtro quanto do classificador. Desta forma, foi visto que usando filtros com poucos canais de entrada, o modelo otimizado deu melhores resultados de acurácia de classificação do que os valores inicialmente obtidos ao treinar o filtro xDAWN para os mesmos casos. Os resultados obtidos mostraram que melhorias nos métodos do transdutor BCI, no pré-processamento, extração de características e classificação constituíram a base para alcançar uma comunicação BCI mais rápida e confiável. O avanço nos resultados da classificação foi obtido em todos os casos, comparado às técnicas que têm sido amplamente utilizadas e já mostraram eficácia para esse tipo de problema. No entanto, ainda há aspectos a considerar da resposta dos sujeitos para tipos específicos de paradigmas, lembrando que sua resposta pode variar ao longo de diferentes dias e as implicações reais disso na definição e no uso de diferentes métodos de processamento de sinalAbstract: Brain-computer interfaces (BCIs) aim to control an external device by directly employing user's brain signals. Such systems require a series of steps to process and extract relevant features from the observed signals to correctly and efficiently interpret the user's intentions. Although the field has been continuously developing and some difficulties have been overcome, it is still necessary to increase usability by enhancing their classification capacity and increasing the reliability of their response. The classical objective of BCI research is to support communication and control for users with impaired communication due to illness or injury. Typical BCI applications are the operation of interface cursors, spelling programs or external devices, such as wheelchairs, robots and different types of prostheses. The user sends modulated information to the BCI by engaging in mental tasks that produce distinct brain patterns. The BCI acquires signals from the user¿s brain and translates them into suitable communication. This thesis aims to develop faster and more reliable non-invasive BCI communication based on the study of different techniques that serve in the signal processing stages, considering two principal aspects, the machine learning approach, and the reduction of the complexity in the task of learning the mental patterns by the user. Research was focused on two BCI paradigms, Motor Imagery (MI) and the P300 event related potential (ERP). Signal processing algorithms for the detection of both brain patterns were applied and evaluated. The aspect of the pre-processing was the first perspective studied to consider how to highlight the response of brain phenomena, in relation to noise and other sources of information that maybe distorting the EEG signal; this in itself is a step that will directly influence the response of the following blocks of processing and classification. The Independent Component Analysis (ICA) was used in conjunction with feature selection methods and different classifiers to separate the original sources that are related to the desynchronization produced by MI phenomenon; an attempt was made to create a type of spatial filter that pre-processed the signal, reducing the influence of the noise. Furthermore, some of the classifications values were analyzed considering comparison when used other standard pre-processing methods, as the CAR filter. The results showed that it is possible to separate the components related to motor activity. The ICA proposal on average were 4\% higher in percent of classification accuracy than those obtained using CAR, or when no filter was used. The role of methods that study the connectivity of different brain areas were evaluated as the second contribution of this work; this allowed to consider aspects that contemplate the complexity of the brain response of a user. The area of BCI needs a deeper interpretation of what happens at the brain level in several of the studied phenomena. The technique used to build functional connectivity graphs was correntropy, this quantity was used to measure similarity, a comparison was made using also, the Spearman and Pearson correlation. Functional connectivity relates different brain areas activity, so the study of the graph was evaluated using three measures of centrality of graph, where the importance of a node in the network is measured. In addition, two types of classifiers were tested, comparing the results at the level of classification precision. In conclusion, the correntropy can bring more information for the study of connectivity than the use of the simple correlation, which brought improvements in the classification results especially when it was used with the ELM classifier. Finally, this thesis demonstrates that BCIs can provide effective communication in an application where the prediction of the classification response was modeled, which allowed the optimization of the parameters of the signal processing performed using the xDAWN spatial filter and a FLDA classifier for the problem of the P300 speller, seeking the best response for each user. The prediction model used was Bayesian and confirmed the results obtained with the on-line operation of the system, thus allowing to optimize the parameters of both the filter and the classifier. In this way it was seen that using filters with few inputs the optimized model gave better results of acuraccy classification than the values initially obtained when the training ofthe xDAWN filter was made for the same cases. The obtained results showed that improvements in the BCI transducer, pre-processing, feature extraction and classification methods constituted the basis to achieve faster and more reliable BCI communication. The advance in the classification results were obtained in all cases, compared to techniques that have been widely used and had already shown effectiveness for this type of problemsDoutoradoEngenharia de ComputaçãoDoutora em Engenharia Elétrica153311/2014-2CNP

Development of brain-computer interface based on steady-state visually evoked potentials

Orientador: Romis Ribeiro de Faissol AttuxDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: O presente estudo aborda o desenvolvimento e a sistematização de uma interface cérebro-computador, baseada em potenciais evocados visualmente em regime estacionário, para funcionar acoplada à execução de tarefas. Esse sistema de comunicação, com o uso de sinais provenientes de eletroencefalografia, foi criado para vir a integrar uma versão preliminar de um controlador compartilhado destinado à navegação de uma cadeira de rodas. Em princípio, quando um indivíduo foca o olhar em estímulos visuais periódicos, certos potenciais evocados podem ser detectados entre a atividade natural do cérebro, especialmente na região occipital. Se identificados de forma suficientemente precisa, então, esses potenciais poderiam ser associados aos comandos de acionamento da referida cadeira. Para atingir esse propósito, a interface foi estruturada em cinco módulos: o de estimulação, responsável por gerar e exibir os estímulos visuais repetitivos; o de aquisição, dedicado à captura e ao armazenamento dos dados eletroencefalográficos; o de processamento, que realiza a remoção de artefatos, a extração de características e a formatação das mesmas; o de treinamento, que executa a seleção de atributos e que calcula as projeções de um classificador linear para identificar as manifestações cerebrais relacionados aos estímulos; e, por fim, o de comunicação e controle, que (com o uso do mencionado classificador) detecta os potenciais evocados e, a partir disso, gera e envia um sinal de controle para a aplicação. Além desses módulos, entre estes também foi proposto um protocolo de operação, dividido em etapa de treinamento e etapa de identificação em tempo de execução. Ao longo do desenvolvimento da interface cérebro-computador, o funcionamento dos módulos foi validado com sinais adquiridos de dez voluntários saudáveis e uma versão funcional desse sistema foi testada com três deles, como forma de verificar a factibilidade de integração da interface com o controlador da cadeira de rodasAbstract: This study addresses the development and systematization of a brain-computer interface, based on steady-state visually evoked potentials, to operate in the context of the enforcement of certain tasks. This communication system, which uses electroencephalographic records, has been created to become part of a preliminary version of a shared controller destined to run an assistive wheelchair. At first, when a person focuses his/her gaze on repetitive visual stimuli, certain evoked potentials can be detected among the natural brain activity, particularly on the occipital region. If they are identified with sufficient precision, then these potentials could be associated with the drive commands of the aforementioned wheelchair. To achieve this purpose, the interface has been structured into five modules: stimulation, responsible for generating and displaying the stimuli; acquisition, dedicated to capturing and storing the electroencephalographic data; processing, which accomplishes artifact removal, the extraction of characteristics and the formatting thereof; training, which performs the feature selection and estimates the projections of a linear classifier in order to identify the brain activities related to the stimuli; and, lastly, communication and control, which (using the previous classifier) detects the evoked potentials and, from there, generates and sends a control signal to the application. In addition to these modules, between them, an operating protocol has also been proposed, divided into training and online identification stages. Along with the brain-computer interface development, the operation of the modules has been validated with acquired signals of ten health volunteers and a functional version of this system has been tested with three of them, in order to verify the feasibility of integrating the interface with the wheelchair controllerMestradoEngenharia de ComputaçãoMestre em Engenharia ElétricaCAPE

Emotion Recognition with Asymmetry Features of EEG Signals

Currently the study of affective computing (AC) includes a focus on researching emotion regulation and recognition. Recent studies in this field have utilized deep learning architectures to enhance emotion recognition from EEG signals. An alternative approach to deep learning is to use feature engineering to extract relevant features to train supervised machine learning models. Current theories in the neuroscience field can guide this feature engineering process. Neuroscientists have suggested various models to clarify how emotions are processed. One of these models suggests that positive emotions are processed in the left hemisphere, while negative emotions are processed in the right hemisphere. This emotional processing model has inspired previous studies to propose asymmetrical features to predict emotions. However, none of these studies have statistically evaluated whether the inclusion of asymmetrical features could yield benefits such as increased accuracy or reduced training time. To address that direction, this research presents both statistical evaluations for emotion regulation and a comparable model for emotion recognition. The outcomes show that brain hemispheres and frequency bands participate differently in processing emotions and observed the presence of the two asymmetry emotion processing models but in different frequency ranges. Also, the results from this study imply that by using asymmetry EEG, emotion recognition approaches can use fewer features without significantly compromising performance.Master of Science in Applied Computer Scienc

Comparative analysis of strategies for feature extraction and classification in SSVEP BCIs.

Brain–computer interface (BCI) systems based on electroencephalography have been increasingly usedin different contexts, engendering applications from entertainment to rehabilitation in a non-invasiveframework. In this study, we perform a comparative analysis of different signal processing techniquesfor each BCI system stage concerning steady state visually evoked potentials (SSVEP), which includes: (1)feature extraction performed by different spectral methods (bank of filters, Welch’s method and the mag-nitude of the short-time Fourier transform); (2) feature selection by means of an incremental wrapper,a filter using Pearson’s method and a cluster measure based on the Davies–Bouldin index, in additionto a scenario with no selection strategy; (3) classification schemes using linear discriminant analysis(LDA), support vector machines (SVM) and extreme learning machines (ELM). The combination of suchmethodologies leads to a representative and helpful comparative overview of robustness and efficiency ofclassical strategies, in addition to the characterization of a relatively new classification approach (definedby ELM) applied to the BCI-SSVEP systems

Development of a SSVEP-BCI system for decision-making assistance

Orientadores: Gilmar Barreto, Linnyer Beatrys Ruiz AylonTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Nos últimos anos, Interfaces Cérebro-Computador (BCI) passaram a ter um maior foco em problemas fora do escopo clínico. Sistema BCI podem ser utilizados para controlar equipamentos elétricos e eletrônicos, controle de jogos digitais, etc. A capacidade de poder "controlar" em um sistema BCI, pode ser adaptada a uma ação que auxilia um indivíduo em tomada de decisões, por exemplo, decidir se paramos ou continuamos a conduzir um automóvel ao visualizar os estados de um semáforo de trânsito. O BCI baseado no paradigma de Potenciais Evocados Visualmente em Regime Estacionário (SSVEP), pode ser utilizado para diferenciar alvos com diferentes frequências de cintilação por meio de estímulos visuais. Esta tese de doutorado teve como objetivo avaliar o estímulo SSVEP de altas e baixas frequências admitas pelo paradigma, para a construção de um sistema SSVEP-BCI para auxiliar na tomada de decisões. Para cumprir com este objetivo, foram realizados (1) experimentos com uma base de dados pública com estímulos SSVEP armazenados, para avaliar os códigos desenvolvidos, (2) construção de uma base de dados gerada por meio de experimentos realizados com um protótipo de semáforo de trânsito, para avaliar o funcionamento do protótipo e do equipamento de eletroencefalografia (EEG) e, por fim, (3) experimentos realizados com quatro participantes para avaliar os estímulos SSVEP em baixas frequências de cintilação, tradicionalmente utilizadas do paradigma e altas frequências de cintilação configuradas em um limiar não visível aos nossos olhos, permitindo que o protótipo se comporte de forma mais próxima a situações reais e ainda forneça uma menor fadiga visual. Os resultados obtidos forneceram a exatidão dos programas desenvolvidos para avaliar os estímulos SSVEP e também o funcionamento do protótipo e do equipamento de EEG. Além disso, os experimentos realizados com os quatro participantes apresentaram em média uma acurácia de 89,37%±8,26% para baixas frequências e 80,62%±7,18% para altas frequências, no qual concluímos que o sistema SSVEP-BCI pode ser utilizado para auxiliar em situações de tomada de decisão em ambas as faixas de frequênciaAbstract: In recent years, Brain-Computer Interfaces (BCI) have an increased focus on problems outside the clinical scope. BCI system can be used to control electrical and electronic equipment, control of digital games, etc. The ability to "control" in a BCI system can be adapted to an action that assists an individual in decision-making, for example, deciding whether to stop or continue driving a car when viewing the states of a traffic light. The BCI paradigm based on Stead-State Visually Evoked Potentials (SSVEP) can be used to differentiate targets with different frequencies of scintillation through visual stimuli. This PhD thesis aimed to evaluate the SSVEP stimulus of high and low frequencies admitted by the paradigm, for the construction of a SSVEP-BCI system to assist in decision-making. In order to comply with this objective, we performed (1) experiments with a public database with stored SSVEP stimuli to evaluate developed codes, (2) we constructed a database generated through experiments carried out with a traffic light prototype, to evaluate the functioning of the prototype and electroencephalography (EEG) equipment, and finally (3) experiments was performed with four participants to evaluate the SSVEP stimuli at low scintillation frequencies, traditionally used in the paradigm and high scintillation frequencies configured in a threshold not visible to our eyes, allowing the prototype to behave more closely to real-world situations and still provide less visual fatigue. The results obtained provided the correct execution of written programs to evaluate the SSVEP stimuli and also the functioning of the prototype and the EEG equipment. In addition, the results from the experiments carried out with the four participants presented on average an accuracy of 89.37%±8.26% for low frequencies and 80.62%±7.18% for high frequencies, in which we concluded that the SSVEP-BCI system can be used to assist in decision-making situations in both frequency bandsDoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétric

Comparative Analysis Of Strategies For Feature Extraction And Classification In Ssvep Bcis

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)Brain-computer interface (BCI) systems based on electroencephalography have been increasingly used in different contexts, engendering applications from entertainment to rehabilitation in a non-invasive framework. In this study, we perform a comparative analysis of different signal processing techniques for each BCI system stage concerning steady state visually evoked potentials (SSVEP), which includes: (1) feature extraction performed by different spectral methods (bank of filters, Welch's method and the magnitude of the short-time Fourier transform); (2) feature selection by means of an incremental wrapper, a filter using Pearson's method and a cluster measure based on the Davies-Bouldin index, in addition to a scenario with no selection strategy; (3) classification schemes using linear discriminant analysis (LDA), support vector machines (SVM) and extreme learning machines (ELM). The combination of such methodologies leads to a representative and helpful comparative overview of robustness and efficiency of classical strategies, in addition to the characterization of a relatively new classification approach (defined by ELM) applied to the BCI-SSVEP systems. (C) 2015 Elsevier Ltd. All rights reserved.213442FINEPFundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)UFABCUFOPFundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES