137 research outputs found
A Hybrid Brain-Computer Interface Using Motor Imagery and SSVEP Based on Convolutional Neural Network
The key to electroencephalography (EEG)-based brain-computer interface (BCI)
lies in neural decoding, and its accuracy can be improved by using hybrid BCI
paradigms, that is, fusing multiple paradigms. However, hybrid BCIs usually
require separate processing processes for EEG signals in each paradigm, which
greatly reduces the efficiency of EEG feature extraction and the
generalizability of the model. Here, we propose a two-stream convolutional
neural network (TSCNN) based hybrid brain-computer interface. It combines
steady-state visual evoked potential (SSVEP) and motor imagery (MI) paradigms.
TSCNN automatically learns to extract EEG features in the two paradigms in the
training process, and improves the decoding accuracy by 25.4% compared with the
MI mode, and 2.6% compared with SSVEP mode in the test data. Moreover, the
versatility of TSCNN is verified as it provides considerable performance in
both single-mode (70.2% for MI, 93.0% for SSVEP) and hybrid-mode scenarios
(95.6% for MI-SSVEP hybrid). Our work will facilitate the real-world
applications of EEG-based BCI systems
A Transformer-based deep neural network model for SSVEP classification
Steady-state visual evoked potential (SSVEP) is one of the most commonly used
control signal in the brain-computer interface (BCI) systems. However, the
conventional spatial filtering methods for SSVEP classification highly depend
on the subject-specific calibration data. The need for the methods that can
alleviate the demand for the calibration data become urgent. In recent years,
developing the methods that can work in inter-subject classification scenario
has become a promising new direction. As the popular deep learning model
nowadays, Transformer has excellent performance and has been used in EEG signal
classification tasks. Therefore, in this study, we propose a deep learning
model for SSVEP classification based on Transformer structure in inter-subject
classification scenario, termed as SSVEPformer, which is the first application
of the transformer to the classification of SSVEP. Inspired by previous
studies, the model adopts the frequency spectrum of SSVEP data as input, and
explores the spectral and spatial domain information for classification.
Furthermore, to fully utilize the harmonic information, an extended SSVEPformer
based on the filter bank technology (FB-SSVEPformer) is proposed to further
improve the classification performance. Experiments were conducted using two
open datasets (Dataset 1: 10 subjects, 12-class task; Dataset 2: 35 subjects,
40-class task) in the inter-subject classification scenario. The experimental
results show that the proposed models could achieve better results in terms of
classification accuracy and information transfer rate, compared with other
baseline methods. The proposed model validates the feasibility of deep learning
models based on Transformer structure for SSVEP classification task, and could
serve as a potential model to alleviate the calibration procedure in the
practical application of SSVEP-based BCI systems
Oscillatory Source Tensor Discriminant Analysis (OSTDA): A regularized tensor pipeline for SSVEP-based BCI systems
Periodic signals called Steady-State Visual Evoked Potentials (SSVEP) are elicited in the brain by flickering stimuli. They are usually detected by means of regression techniques that need relatively long trial lengths to provide feedback and/or sufficient number of calibration trials to be reliably estimated in the context of brain-computer interface (BCI). Thus, for BCI systems designed to operate with SSVEP signals, reliability is achieved at the expense of speed or extra recording time. Furthermore, regardless of the trial length, calibration free regression-based methods have been shown to suffer from significant performance drops when cognitive perturbations are present affecting the attention to the flickering stimuli. In this study we present a novel technique called Oscillatory Source Tensor Discriminant Analysis (OSTDA) that extracts oscillatory sources and classifies them using the newly developed tensor-based discriminant analysis with shrinkage. The proposed approach is robust for small sample size settings where only a few calibration trials are available. Besides, it works well with both low- and high-number-of-channel settings, using trials as short as one second. OSTDA performs similarly or significantly better than other three benchmarked state-of-the-art techniques under different experimental settings, including those with cognitive disturbances (i.e. four datasets with control, listening, speaking and thinking conditions). Overall, in this paper we show that OSTDA is the only pipeline among all the studied ones that can achieve optimal results in all analyzed conditions
Machine Learning in VEP-based BCI
Antud töös esitatakse visuaalse stiimuliga esilekutsutud potentsiaalidel põhineva ajuarvuti liidese (AAL) jaoks klassifitseerimisreegel, mis põhineb tunnuste ja lävendväärtuste omavahelisel võrdlusel. Klassifitseerimise jaoks optimaalsete lävendväärtuste leidmine formaliseeritakse maksimeerimisülesandena, kus maksimeeritakse AALi informatsiooniedastamise kiirus, mille arvutamiseks tuletatakse eraldi valem, et vältida standardse valemi poolt vajalikke eeldusi. Esitatud reegel näitab AALi klassifitseerimisülesandes häid tulemusi, saavutades informatsiooni edastamise kiiruseks kuni 60 bitti minutis. Samuti võimaldab pakutud reegel vältida vale-ennustusi, mis on oluline AALi kasutamiseks igapäevaelus. AALid omavad suurt potentsiaali medistsiini valdkonnas, kuna võimaldavad raske puudega või halvatud isikutel seadmeid kontrollida.In this thesis, a classification method for SSVEP-based BCI is proposed. The classification method is based on simple comparisons of extracted feature values and thresholds and it involves a way of optimising the thresholds. Optimising the thresholds is formalised as a maximisation task of the information transfer rate of BCI, but instead of using the standard formula for calculating ITR, more general formula is derived. This allows the thresholds to be automatically optimised and avoids calculating incorrect ITR estimate.The proposed method shows good performance in classifying targets of a BCI and achieves ITR as high as 60 bit/min. The proposed method also provides a way to reduce false classifications, which is important in real-world applications. BCIs have high potential to be used in the field of medicine as they provides a way for severely disabled people to control external devices
Towards Real-World BCI: CCSPNet, A Compact Subject-Independent Motor Imagery Framework
A conventional subject-dependent (SD) brain-computer interface (BCI) requires
a complete data-gathering, training, and calibration phase for each user before
it can be used. In recent years, a number of subject-independent (SI) BCIs have
been developed. However, there are many problems preventing them from being
used in real-world BCI applications. A weaker performance compared to the
subject-dependent (SD) approach, and a relatively large model requiring high
computational power are the most important ones. Therefore, a potential
real-world BCI would greatly benefit from a compact low-power
subject-independent BCI framework, ready to be used immediately after the user
puts it on. To move towards this goal, we propose a novel subject-independent
BCI framework named CCSPNet (Convolutional Common Spatial Pattern Network)
trained on the motor imagery (MI) paradigm of a large-scale
electroencephalography (EEG) signals database consisting of 21600 trials for 54
subjects performing two-class hand-movement MI tasks. The proposed framework
applies a wavelet kernel convolutional neural network (WKCNN) and a temporal
convolutional neural network (TCNN) in order to represent and extract the
diverse spectral features of EEG signals. The outputs of the convolutional
layers go through a common spatial pattern (CSP) algorithm for spatial feature
extraction. The number of CSP features is reduced by a dense neural network,
and the final class label is determined by a linear discriminative analysis
(LDA) classifier. The CCSPNet framework evaluation results show that it is
possible to have a low-power compact BCI that achieves both SD and SI
performance comparable to complex and computationally expensive.Comment: 15 pages, 6 figures, 6 tables, 1 algorith
Objectivation of Visual Perception
Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt.
Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben.
In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert.
Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren.
Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft.
Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten.
Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte
An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning
Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt.
Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben.
In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert.
Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren.
Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft.
Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten.
Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte
- …