Metody pro klasifikaci signálu a jejich využití na návrh rozhraní mozek-počítač

Cílem dizertační práce bylo ověřit vhodnost neuronových sítí pro klasifikaci reakcí mozku na stimuly v rozhraní mozek-počítač (BCI). Navrhl jsem několik algoritmů založených na neuronových sítích, které byly následně srovnány s nejlepšími současně využívanými algoritmy v této oblasti. Testovány byly modifikace Kohonenových map (SOM) a Adaptive Resonance Theory (ART) umožňující učení s učitelem a také modely z kategorie deep learning (zřetězené autoenkodéry). V první části práce jsou popsány v současnosti používané metody na zpracování signálu a klasifikaci v BCI systémech. BCI založené na evokované komponentě P300 jsou probrány detailněji. Druhá část práce nejprve pojednává o algoritmech založených na neuronových sítích, které by bylo možné využít ke klasifikaci v oblasti BCI. Následně jsou získána data ověřující navržené postupy. Pro extrakci příznaků byla použita metoda Windowed means založená na rozdělení signálu do předem určených oken. Modifikace SOM, ART a deep learning byly použity pro klasifikaci komponenty P300. Všechny tyto modely nebyly dosud v oblasti BCI založených na komponentě P300 použity a nabízí alternativy ke klasickým algoritmům (Linear Discriminant Analysis, Support Vector Machines). Kromě toho je popsáno on-line BCI, které umožnilo otestovat navržené algoritmy v reálném čase. Práce je uzavřena výsledky, jejich diskuzí a stručným přehledem současných a plánovaných projektů. Autoenkodéry dosáhly stejných nebo lepších výsledků než ostatní algoritmy.NeobhájenoThe aim of the thesis was to evaluate neural networks for classification of brain reactions to stimuli in P300-based brain-computer interfaces. Several neural network classification algorithms were proposed and compared with traditionally used classifiers in this field. The algorithms tested included supervised modifications of self-organizing maps (SOMs), Adaptive Resonance Theory (ART), and models from deep learning category (stacked autoencoders). In the first part of the thesis, state-of-the-art signal processing and classification techniques for P300 brain-computer interfaces (BCIs) are introduced. P300 event-related potential BCIs are described in more detail. In the second part of the thesis, algorithms based on neural networks are proposed. Subsequently, the experiments designed to obtain the data used to evaluate proposed algorithms are described. State-of-the art Windowed means paradigm method was used for feature extraction. Different modifications of SOMs, ART networks and stacked autoencoders were used for classification. These models have so far never been explored in P300 BCIs and represent a promising alternative to traditional linear classifiers (Linear Discriminant Analysis, Support Vector Machines). Moreover, an on-line BCI was implemented to provide a real-time opportunity to test the proposed algorithms. Finally, achieved results, ongoing work and possibilities for future work are discussed. Stacked autoencoders were able to match or outperform state-of-the-art classification techniques

Vyhodnocení konvolučních neuronových sítí s využitím rozsáhlého datasetu P300 vln

Hluboké neuronové sítě (DNN) se zkoumají v různých aplikacích strojového učení. Klasifikace evokovaných potenciálů (ERP) je velmi složitý úkol, potenciálně vhodný pro DNN, protože poměr signál-šum je nízký a související prostorové a časové příznaky vykazují výraznou variabilitu. Konvoluční neuronové sítě (CNN) byly srovnány s nejlepšími tradičními modely, tj. s lineární diskriminační analýzou (LDA) a Support Vector Machines (SVM) pro single-trial klasifikaci s využitím rozsáhlého veřejně dostupného P300 datasetu dětí školního věku (138 chlapců a 112 dívek). Úspěšnost klasifikace u všech testovaných klasifikačních modelů se pohybovala mezi 62 % a 64 %. Při nasazení natrénovaných klasifikačních modelů na zprůměrované ERP odpovědi se přesnost zvýšila na 76 – 79 % bez významných rozdílů mezi klasifikačními modely. CNN nevedla k lepším výsledkům než ostatní algoritmy. Diskuze srovnává výsledky s dostupnou literaturou, řeší omezení a budoucí směřování výzkumu.Deep neural networks (DNN) have been studied in various machine learning areas. For example, event-related potential (ERP) signal classification is a highly complex task potentially suitable for DNN as signal-to-noise ratio is low, and underlying spatial and temporal patterns display a large intra- and intersubject variability. Convolutional neural networks (CNN) have been compared with baseline traditional models, i.e. linear discriminant analysis (LDA) and support vector machines (SVM) for single trial classification using a large multi-subject publicly available P300 dataset of school-age children (138 males and 112 females). For single trial classification, classification accuracy stayed between 62% and 64% for all tested classification models. When applying the trained classification models to averaged trials, accuracy increased to 76–79% without significant differences among classification models. CNN did not prove superior to baseline for the tested dataset. Comparison with related literature, limitations and future directions are discussed

Methods for signal classification and their application to the design of brain-computer interfaces: technical report no. DCSE/TR-2013-4

This thesis summarizes state-of-the-art signal processing and classi cation techniques for P300 brain-computer interfaces (BCIs). BCIs allow paralyzed subjects to commu- nicate with the outside world without using their muscles. P300 BCIs are based on intermixing frequent and rare stimuli which elicit di erent responses of the brain. The main challenge we have to deal with is very low signal-to-noise ratio. Furthermore, the EEG response related to stimuli shows great subject-to-subject variability. The related state-of-the-art techniques di er both in feature extraction and classi cation. Currently, there is no approach to be state-of-the-art, instead, many approaches have been success- fully applied to di erent data-sets. Unfortunately, BCI researchers also have to cope with weaknesses of the state-of-the-art P300 BCIs. They have low bit rates and typically require new training for each individual user. In this theses, a novel approach for the de- sign of P300 BCIs is proposed. The approach is based on unsupervised neural networks

Predikce navigačních rozhodnutí v reálném světě: Rozhraní mozek-počítač založené na vizuálních evokovaných potenciálech P300

Navzdory široké dostupnosti přenosných EEG systémů se současné aplikace rozhraní mozek-počítač (BCI) do značné míry omezují na laboratorní a klinické prostředí. V této studii bylo paradigma vizuální P300 použito k vyvolání mozkových odpovědí odrážejících navigační rozhodování v reálném světě. Účastníci (n = 8) byli během experimentu vybaveni tabletem a mobilním systémem EEG, a následně vyzvání k navigaci po univerzitních chodbách. Po dosažení křižovatky byly účastníkům prezentovány šipky vlevo a vpravo blikající na tabletu (a další nesměrové podněty typu distraktor). Spolu s navigačními rozhodnutími účastníka byly zaznamenány neurální reakce vyvolané prezentací těchto stimulů (evokované potenciály). Účastníci absolvovali dvě samostatná sezení, abychom získali data pro trénování i testování off-line BCI systému zaměřeného na předpovídání jejich navigačních rozhodnutí na základě extrakce příznaků evokovaných potenciálů. Spolehlivost single-trial klasifikace dosáhla 59,6 % (až 72,3 % při klasifikaci průměrů šesti epoch). Výsledky klasifikace byly porovnány se statistickou analýzou evokovaných potenciálů. Diskuze výsledků rozebírá důsledky pro návrh BCI systémů v reálném světě a navrhuje několik doporučení k jejich zlepšení.Despite the widespread availability of portable neuroimaging systems, current applications of brain-computer interfaces (BCI) have largely remained confined to laboratory and clinical settings. In the present study, a visual P300 paradigm was used to elicit neural responses reflective of decision making within the frame of real-world navigation. Participants (n = 8) were equipped with a tablet and a mobile EEG system while navigating through university corridors. Upon reaching an intersection, participants were presented with left and right arrows flashing on the tablet (and additional non-directional stimuli in the distractor condition). Neural responses elicited by the presentation of such stimuli (Event-Related Potentials) were recorded along with the participant's navigational decisions. The participants completed two separate sessions to collect data for both the training and testing of an offline BCI system aimed at predicting their navigational decisions based on the extraction of event-related potentials features. Single-trial classification accuracy reached 59.6 % (up to 72.3 % when classifying group averages of six trials). Individual classification results were contrasted with single-trial analysis. Results are discussed in terms of their implications for the design of real-world BCI applications, and several recommendations to improve experimental protocols are proposed

Stacked Autoencoders for the P300 Component Detection

Novel neural network training methods (commonly referred to as deep learning) have emerged in recent years. Using a combination of unsupervised pre-training and subsequent fine-tuning, deep neural networks have become one of the most reliable classification methods. Since deep neural networks are especially powerful for high-dimensional and non-linear feature vectors, electroencephalography (EEG) and event-related potentials (ERPs) are one of the promising applications. Furthermore, to the authors' best knowledge, there are very few papers that study deep neural networks for EEG/ERP data. The aim of the experiments subsequently presented was to verify if deep learning-based models can also perform well for single trial P300 classification with possible application to P300-based brain-computer interfaces. The P300 data used were recorded in the EEG/ERP laboratory at the Department of Computer Science and Engineering, University of West Bohemia, and are publicly available. Stacked autoencoders (SAEs) were implemented and compared with some of the currently most reliable state-of-the-art methods, such as LDA and multi-layer perceptron (MLP). The parameters of stacked autoencoders were optimized empirically. The layers were inserted one by one and at the end, the last layer was replaced by a supervised softmax classifier. Subsequently, fine-tuning using backpropagation was performed. The architecture of the neural network was 209-130-100-50-20-2. The classifiers were trained on a dataset merged from four subjects and subsequently tested on different 11 subjects without further training. The trained SAE achieved 69.2% accuracy that was higher (p < 0.01) than the accuracy of MLP (64.9%) and LDA (65.9%). The recall of 58.8% was slightly higher when compared with MLP (56.2%) and LDA (58.4%). Therefore, SAEs could be preferable to other state-of-the-art classifiers for high-dimensional event-related potential feature vectors

Datový formát pro ukládání ANT+ senzorových dat

Současné infrastruktury pro experimentální data, výsledky a výpočetní nástroje umožňují přechod od lokálně udržovaných řešení ke vzdáleným infrastrukturám založeným na cloudu. Přináší vyšší dostupnost, udržitelnost a výkon. Specifika různých výzkumných oblastí však vyžadují vývoj individuálních řešení pro jednotlivé oblasti výzkumu. Například elektroencefalografie a evokované potenciály (EEG / ERP) používají specifická zařízení, datové formáty a pracovní postupy strojového učení. Jako řešení je zde prezentován cloudový systém pro doménu EEG / ERP obsahující distribuované datové úložiště, knihovnu metod pro zpracování signálů a klientské GUI. Knihovna metod pro zpracování signálů slouží k trénování klasifikátorů a klasifikaci dat v cloudovém systému řízeném GUI. Prezentovaný systém byl testován pomocí workflow strojového učení založeném na datech uložených v systému. V pracovním postupu byly trénovány různé klasifikátory a jejich parametry uloženy do systému. Nakonec byly testovací data klasifikovány pomocí dříve trénovaných klasifikátorů.Current infrastructures for experimental data, results and computational tools make a shift from locally maintained solutions to remote cloud-based infrastructures. It brings a higher availability, sustainability and performance. However, specifics of different research areas require development of customized solutions for individual research domains. For example, electroencephalography and event-related potentials (EEG/ERP) use specific devices, data formats and machine learning workflows. As a solution, a cloud-based system for the EEG/ERP domain containing a distributed data storage, a signal processing method library and a client GUI is presented. The signal processing method library is used for training of classifiers and classifying the data in the cloud-based system controlled by the GUI. The presented system was tested using a machine learning workflow based on the data stored in the system. In the workflow, various classifiers were trained and their parameters stored into the system. Finally, testing data were classified using previously trained classifiers

Workflow Designer – Webová aplikace na vizuální návrh pracovních postupů zpracování EEG signálu

This paper describes the Workflow Designer — a prototype web-based application allowing drag-and-drop creating, editing, and running workflows from a predefined library of methods. Adding a new method requires a minimal effort from users. Moreover, any workflow can be exported or imported in JSON format to ensure reusability and local execution of exported JSON configurations. The Workflow Designer can be applied to any general computation if the custom method library is available. The application has been successfully tested using electroencephalographic signal processing workflows.Článek popisuje Workflow Designer - prototypovou webovou aplikaci, která umožňuje snadné vytváření, úpravy a spouštění pracovních postupů z předdefinované knihovny metod. Přidání nové metody vyžaduje od uživatelů minimální úsilí. Kromě toho lze libovolný pracovní postup exportovat nebo importovat ve formátu JSON, aby se zajistilo opětovné použití a lokální vykonání exportovaných konfigurací JSON. Workflow designer lze použít na jakýkoli obecný výpočet, pokud je k dispozici knihovna vlastních metod. Aplikace byla úspěšně otestována pomocí workflow na zpracování elektroencefalografických signálů

Využití grafové teoretické analýzy EEG na automatickou diagnostiku alkoholismu

U alkoholismu (AUD) bývá pozorována abnormální funkční konektivita mozku (FC). Tato práce popisuje analýzu FC s využitím grafové teoretické analýzy založené na EEG a strojového učení (ML). Mozková FC byla kvantifikována s využitím synchronization likelihood (SL). Neorientované grafy byly vytvořeny pro každou dvojici EEG kanálů s využitím hodnot SL. Dále byly vypočteny příznaky založené na grafech, jako je minimální kostra, vzdálenosti mezi uzly a maximální tok mezi uzly. Příznaky byly použity jako vstupní data pro klasifikaci účastníků studie. Klasifikace byla ověřena daty získanými od 30 pacientů s AUD a 30 zdravých účastníků.Abnormal functional connectivity (FC) has been commonly observed during alcohol use disorder (AUD). In this work, FC analysis has been performed by incorporating EEG-based graph-theoretic analysis and a machine learning (ML) framework. Brain FC was quantified with synchronization likelihood (SL). Undirected graphs for each channel pair were constructed involving the SL measures. Furthermore, the graph-based features such as minimum spanning tree, distances between nodes, and maximum flow between the graph nodes were computed. The matrix was used as input data to the ML framework to classify the study participants. The ML framework was validated with data acquired from 30 AUD patients and an age-matched group of 30 healthy controls