Deep learning for EEG-based Motor Imagery classification: Accuracy-cost trade-off

Electroencephalography (EEG) datasets are often small and high dimensional, owing to cumbersome recording processes. In these conditions, powerful machine learning techniques are essential to deal with the large amount of information and overcome the curse of dimensionality. Artificial Neural Networks (ANNs) have achieved promising performance in EEG-based Brain-Computer Interface (BCI) applications, but they involve computationally intensive training algorithms and hyperparameter optimization methods. Thus, an awareness of the quality-cost trade-off, although usually overlooked, is highly beneficial. In this paper, we apply a hyperparameter optimization procedure based on Genetic Algorithms to Convolutional Neural Networks (CNNs), Feed-Forward Neural Networks (FFNNs), and Recurrent Neural Networks (RNNs), all of them purposely shallow. We compare their relative quality and energy-time cost, but we also analyze the variability in the structural complexity of networks of the same type with similar accuracies. The experimental results show that the optimization procedure improves accuracy in all models, and that CNN models with only one hidden convolutional layer can equal or slightly outperform a 6-layer Deep Belief Network. FFNN and RNN were not able to reach the same quality, although the cost was significantly lower. The results also highlight the fact that size within the same type of network is not necessarily correlated with accuracy, as smaller models can and do match, or even surpass, bigger ones in performance. In this regard, overfitting is likely a contributing factor since deep learning approaches struggle with limited training examples.Spanish Ministerio de Ciencia, Innovacion y Universidades PGC2018-098813-B-C31 PGC2018-098813-B-C32 PSI201565848-

Deep learning for EEG-based Motor Imagery classification: Accuracy-cost trade-off

Electroencephalography (EEG) datasets are often small and high dimensional, owing to cumbersome recording processes. In these conditions, powerful machine learning techniques are essential to deal with the large amount of information and overcome the curse of dimensionality. Artificial Neural Networks (ANNs) have achieved promising performance in EEG-based Brain-Computer Interface (BCI) applications, but they involve computationally intensive training algorithms and hyperparameter optimization methods. Thus, an awareness of the quality-cost trade-off, although usually overlooked, is highly beneficial. In this paper, we apply a hyperparameter optimization procedure based on Genetic Algorithms to Convolutional Neural Networks (CNNs), Feed-Forward Neural Networks (FFNNs), and Recurrent Neural Networks (RNNs), all of them purposely shallow. We compare their relative quality and energy-time cost, but we also analyze the variability in the structural complexity of networks of the same type with similar accuracies. The experimental results show that the optimization procedure improves accuracy in all models, and that CNN models with only one hidden convolutional layer can equal or slightly outperform a 6-layer Deep Belief Network. FFNN and RNN were not able to reach the same quality, although the cost was significantly lower. The results also highlight the fact that size within the same type of network is not necessarily correlated with accuracy, as smaller models can and do match, or even surpass, bigger ones in performance. In this regard, overfitting is likely a contributing factor since deep learning approaches struggle with limited training examples

A distributed and energy‑efficient KNN for EEG classification with dynamic money‑saving policy in heterogeneous clusters

Universidad de Granada/CBUASpanish Ministry of Science, Innovation, and Universities under Grants PGC2018-098813-B-C31,PID2022-137461NB-C32ERDF fund. Funding for open access charge: University of Granada/ CBU

Методы классификации ЭЭГ-паттернов воображаемых движений

Рассматриваются наиболее перспективные методы классификации электроэнцефалографических сигналов при разработке неинвазивных интерфейсов мозг–компьютер и теоретических подходов для успешной классификации электроэнцефалографических паттернов. Приводится обзор работ, использующих для классификации риманову геометрию, методы глубокого обучения и различные варианты предобработки и кластеризации электроэнцефалографических сигналов, например общего пространственного фильтра. Среди прочих подходов предобработка электроэнцефалографических сигналов с применением общего пространственного фильтра часто используется как в офлайн, так и в онлайн режимах. Согласно исследованиям последних лет сочетание общего пространственного фильтра, линейного дискриминантного анализа, метода опорных векторов и нейронной сети с обратным распространением ошибки позволило достигнуть 91% точности при двухклассовой классификации с обратной связью в виде управления экзоскелетом. Исследований по использованию римановой геометрии в условиях онлайн очень мало, и на данный момент наилучшая точность при двухклассовой классификации составляет 69,3%. При этом в офлайн тестировании средний процент классификации в рассмотренных статьях для подходов с применением общего пространственного фильтра – 77,5±5,8%, сетей глубокого обучения – 81,7±4,7%, римановой геометрии – 90,2±6,6%. За счет нелинейных преобразований методы, основанные на римановой геометрии, а также на применении глубоких нейронных сетей сложной архитектуры, обеспечивают большую точность и способность к извлечению полезной информации из сигнала по сравнению с линейным преобразованием общего пространственного фильтра. Однако в условиях реального времени важна не только точность, но и минимальная временная задержка. Здесь преимущество может быть за подходами с использованием преобразования общего пространственного фильтра и римановой геометрии с временной задержкой менее 500 мс

Методы классификации ЭЭГ-паттернов воображаемых движений

The review focuses on the most promising methods for classifying EEG signals for non-invasive BCIs and theoretical approaches for the successful classification of EEG patterns. The paper provides an overview of articles using Riemannian geometry, deep learning methods and various options for preprocessing and "clustering" EEG signals, for example, common-spatial pattern (CSP). Among other approaches, pre-processing of EEG signals using CSP is often used, both offline and online. The combination of CSP, linear discriminant analysis, support vector machine and neural network (BPNN) made it possible to achieve 91% accuracy for binary classification with exoskeleton control as a feedback. There is very little work on the use of Riemannian geometry online and the best accuracy achieved so far for a binary classification problem is 69.3% in the work. At the same time, in offline testing, the average percentage of correct classification in the considered articles for approaches with CSP – 77.5 ± 5.8%, deep learning networks – 81.7 ± 4.7%, Riemannian geometry – 90.2 ± 6.6%. Due to nonlinear transformations, Riemannian geometry-based approaches and complex deep neural networks provide higher accuracy and better extract of useful information from raw EEG recordings rather than linear CSP transformation. However, in real-time setup, not only accuracy is important, but also a minimum time delay. Therefore, approaches using the CSP transformation and Riemannian geometry with a time delay of less than 500 ms may be in the future advantage.Рассматриваются наиболее перспективные методы классификации электроэнцефалографических сигналов при разработке неинвазивных интерфейсов мозг–компьютер и теоретических подходов для успешной классификации электроэнцефалографических паттернов. Приводится обзор работ, использующих для классификации риманову геометрию, методы глубокого обучения и различные варианты предобработки и кластеризации электроэнцефалографических сигналов, например общего пространственного фильтра. Среди прочих подходов предобработка электроэнцефалографических сигналов с применением общего пространственного фильтра часто используется как в офлайн, так и в онлайн режимах. Согласно исследованиям последних лет сочетание общего пространственного фильтра, линейного дискриминантного анализа, метода опорных векторов и нейронной сети с обратным распространением ошибки позволило достигнуть 91% точности при двухклассовой классификации с обратной связью в виде управления экзоскелетом. Исследований по использованию римановой геометрии в условиях онлайн очень мало, и на данный момент наилучшая точность при двухклассовой классификации составляет 69,3%. При этом в офлайн тестировании средний процент классификации в рассмотренных статьях для подходов с применением общего пространственного фильтра – 77,5±5,8%, сетей глубокого обучения – 81,7±4,7%, римановой геометрии – 90,2±6,6%. За счет нелинейных преобразований методы, основанные на римановой геометрии, а также на применении глубоких нейронных сетей сложной архитектуры, обеспечивают большую точность и способность к извлечению полезной информации из сигнала по сравнению с линейным преобразованием общего пространственного фильтра. Однако в условиях реального времени важна не только точность, но и минимальная временная задержка. Здесь преимущество может быть за подходами с использованием преобразования общего пространственного фильтра и римановой геометрии с временной задержкой менее 500 мс

EEG-based brain-computer interfaces using motor-imagery: techniques and challenges.

Electroencephalography (EEG)-based brain-computer interfaces (BCIs), particularly those using motor-imagery (MI) data, have the potential to become groundbreaking technologies in both clinical and entertainment settings. MI data is generated when a subject imagines the movement of a limb. This paper reviews state-of-the-art signal processing techniques for MI EEG-based BCIs, with a particular focus on the feature extraction, feature selection and classification techniques used. It also summarizes the main applications of EEG-based BCIs, particularly those based on MI data, and finally presents a detailed discussion of the most prevalent challenges impeding the development and commercialization of EEG-based BCIs