Extracting optimal tempo-spatial features using local discriminant bases and common spatial patterns for brain computer interfacing

Brain computer interfaces (BCI) provide a new approach to human computer communication, where the control is realised via performing mental tasks such as motor imagery (MI). In this study, we investigate a novel method to automatically segment electroencephalographic (EEG) data within a trial and extract features accordingly in order to improve the performance of MI data classification techniques. A new local discriminant bases (LDB) algorithm using common spatial patterns (CSP) projection as transform function is proposed for automatic trial segmentation. CSP is also used for feature extraction following trial segmentation. This new technique also allows to obtain a more accurate picture of the most relevant temporal–spatial points in the EEG during the MI. The results are compared with other standard temporal segmentation techniques such as sliding window and LDB based on the local cosine transform (LCT)

Developing robust movement decoders for local field potentials

textBrain Computer Interfaces (BCI) are devices that translate acquired neural signals to command and control signals. Applications of BCI include neural rehabilitation and neural prosthesis (thought controlled wheelchair, thought controlled speller etc.) to aid patients with disabilities and to augment human computer interaction. A successful practical BCI requires a faithful acquisition modality to record high quality neural signals; a signal processing system to construct appropriate features from these signals; and an algorithm to translate these features to appropriate outputs. Intracortical recordings like local field potentials provide reliable high SNR signals over long periods and suit BCI applications well. However, the non-stationarity of neural signals poses a challenge in robust decoding of subject behavior. Most BCI research focuses either on developing daily re-calibrated decoders that require exhaustive training sessions; or on providing cross-validation results. Such results ignore the variation of signal characteristics over different sessions and provide an optimistic estimate of BCI performance. Specifically, traditional BCI algorithms fail to perform at the same level on chronological data recordings. Neural signals are susceptible to variations in signal characteristics due to changes in subject behavior and learning, and variability in electrode characteristics due to tissue interactions. While training day-specific BCI overcomes signal variability, BCI re-training causes user frustration and exhaustion. This dissertation presents contributions to solve these challenges in BCI research. Specifically, we developed decoders trained on a single recording session and applied them on subsequently recorded sessions. This strategy evaluates BCI in a practical scenario with a potential to alleviate BCI user frustration without compromising performance. The initial part of the dissertation investigates extracting features that remain robust to changes in neural signal over several days of recordings. It presents a qualitative feature extraction technique based on ranking the instantaneous power of multichannel data. These qualitative features remain robust to outliers and changes in the baseline of neural recordings, while extracting discriminative information. These features form the foundation in developing robust decoders. Next, this dissertation presents a novel algorithm based on the hypothesis that multiple neural spatial patterns describe the variation in behavior. The presented algorithm outperforms the traditional methods in decoding over chronological recordings. Adapting such a decoder over multiple recording sessions (over 6 weeks) provided > 90% accuracy in decoding eight movement directions. In comparison, performance of traditional algorithms like Common Spatial Patterns deteriorates to 16% over the same time. Over time, adaptation reinforces some spatial patterns while diminishing others. Characterizing these spatial patterns reduces model complexity without user input, while retaining the same accuracy levels. Lastly, this dissertation provides an algorithm that overcomes the variation in recording quality. Chronic electrode implantation causes changes in signal-to-noise ratio (SNR) of neural signals. Thus, some signals and their corresponding features available during training become unavailable during testing and vice-versa. The proposed algorithm uses prior knowledge on spatial pattern evolution to estimate unknown neural features. This algorithm overcomes SNR variations and provides up to 93% decoding of eight movement directions over 6 weeks. Since model training requires only one session, this strategy reduces user frustration. In a practical closed-loop BCI, the user learns to produce stable spatial patterns, which improves performance of the proposed algorithms.Electrical and Computer Engineerin

An Approach of One-vs-Rest Filter Bank Common Spatial Pattern and Spiking Neural Networks for Multiple Motor Imagery Decoding

Motor imagery (MI) is a typical BCI paradigm and has been widely applied into many aspects (e.g. brain-driven wheelchair and motor function rehabilitation training). Although significant achievements have been achieved, multiple motor imagery decoding is still unsatisfactory. To deal with this challenging issue, firstly, a segment of electroencephalogram was extracted and preprocessed. Secondly, we applied a filter bank common spatial pattern (FBCSP) with one-vs-rest (OVR) strategy to extract the spatio-temporal-frequency features of multiple MI. Thirdly, the F-score was employed to optimise and select these features. Finally, the optimized features were fed to the spiking neural networks (SNN) for classification. Evaluation was conducted on two public multiple MI datasets (Dataset IIIa of the BCI competition III and Dataset IIa of the BCI competition IV). Experimental results showed that the average accuracy of the proposed framework reached up to 90.09% (kappa: 0.868) and 81.33% (kappa: 0.751) on the two public datasets, respectively. The achieved performance (accuracy and kappa) was comparable to the best one of the compared methods. This study demonstrated that the proposed method can be used as an alternative approach for multiple MI decoding and it provided a potential solution for online multiple MI detection

Machine learning approaches to video activity recognition: from computer vision to signal processing

244 p.La investigación presentada se centra en técnicas de clasificación para dos tareas diferentes, aunque relacionadas, de tal forma que la segunda puede ser considerada parte de la primera: el reconocimiento de acciones humanas en vídeos y el reconocimiento de lengua de signos.En la primera parte, la hipótesis de partida es que la transformación de las señales de un vídeo mediante el algoritmo de Patrones Espaciales Comunes (CSP por sus siglas en inglés, comúnmente utilizado en sistemas de Electroencefalografía) puede dar lugar a nuevas características que serán útiles para la posterior clasificación de los vídeos mediante clasificadores supervisados. Se han realizado diferentes experimentos en varias bases de datos, incluyendo una creada durante esta investigación desde el punto de vista de un robot humanoide, con la intención de implementar el sistema de reconocimiento desarrollado para mejorar la interacción humano-robot.En la segunda parte, las técnicas desarrolladas anteriormente se han aplicado al reconocimiento de lengua de signos, pero además de ello se propone un método basado en la descomposición de los signos para realizar el reconocimiento de los mismos, añadiendo la posibilidad de una mejor explicabilidad. El objetivo final es desarrollar un tutor de lengua de signos capaz de guiar a los usuarios en el proceso de aprendizaje, dándoles a conocer los errores que cometen y el motivo de dichos errores

Improved Motor Imagery Classification Using Adaptive Spatial Filters Based on Particle Swarm Optimization Algorithm

As a typical self-paced brain-computer interface (BCI) system, the motor imagery (MI) BCI has been widely applied in fields such as robot control, stroke rehabilitation, and assistance for patients with stroke or spinal cord injury. Many studies have focused on the traditional spatial filters obtained through the common spatial pattern (CSP) method. However, the CSP method can only obtain fixed spatial filters for specific input signals. Besides, CSP method only focuses on the variance difference of two types of electroencephalogram (EEG) signals, so the decoding ability of EEG signals is limited. To obtain more effective spatial filters for better extraction of spatial features that can improve classification to MI-EEG, this paper proposes an adaptive spatial filter solving method based on particle swarm optimization algorithm (PSO). A training and testing framework based on filter bank and spatial filters (FBCSP-ASP) is designed for MI EEG signal classification. Comparative experiments are conducted on two public datasets (2a and 2b) from BCI competition IV, which show the outstanding average recognition accuracy of FBCSP-ASP. The proposed method has achieved significant performance improvement on MI-BCI. The classification accuracy of the proposed method has reached 74.61% and 81.19% on datasets 2a and 2b, respectively. Compared with the baseline algorithm (FBCSP), the proposed algorithm improves 11.44% and 7.11% on two datasets respectively. Furthermore, the analysis based on mutual information, t-SNE and Shapley values further proves that ASP features have excellent decoding ability for MI-EEG signals, and explains the improvement of classification performance by the introduction of ASP features.Comment: 25 pages, 8 figure

Classification Methods For Motor Imagery Based Brain Computer Interfaces

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 2016Beyin bilgisayar ara yüzü (BBA), son yıllarda oldukça gelişme sağlayan bir araştırma konusudur. Oyun ekipmanlarından yapay organlara kadar çok çeşitli alanlarda kullanım alanlarına sahip BBA teknolojisinin temel amacı, BBA kullanıcısının beyni ve elektronik bir cihaz arasında herhangi bir çevresel sinir yollarına bağlı olmayan aracısız bir haberleşme kanalı kurmaktır. Motor hareket hayali (MHH), kullanıcının, motor bir hareketi hayal etmesi sırasında alınan beyin sinyallerinden o hareketin tahmin edilmesi esasına dayanan bir BBA yöntemidir. Bağımsız bir BBA türü olması ve pratik olması gibi nedenlerden dolayı, motor hayali çeşitli BBA türleri arasında en popüler olanıdır. Motor hareket hayali sinyalleri beyinin motor korteks olarak adlandırılan, istemli hareketlerden sorumlu bölgesinden elde edilir. Bu sinyallerin alınması için fonksiyonel manyetik rezonans görüntüleme (fMRI), pozitron emisyon tomografi (PET), Elektrokortikogram (EKoG) ya da Elektroansefalografi (EEG) gibi işaret alma metotları kullanılabilir. Bu sinyal türleri içerisinde pratik, ucuz, hızlı ve girişimsiz bir yöntem olduğundan, genellikle EEG tercih edilir. Popüler olmasına rağmen, motor hareket hayali işaretlerinin sınıflandırılması oldukça zordur. Bunun temel nedeni ise, düşük uzamsal çözünürlüktür. Düşük uzamsal çözünürlük nedeniyle motor hareket hayali ile ilişkili sinyaller beynin farklı bölgelerinde bulunan başka sinyal kaynakları ile karışır ve bu, elde edilen EEG sinyalinden motor hareket hayali sinyallerinin ortaya çıkarılmasını güçleştirir. Ayrıca motor hareket hayali sinyal karakteristiklerinin kişiden kişiye hatta aynı kişi için zamanla değişebilir olması, sınıf sayısının sınırlı olması, EEG işaretinin durağan olmaması ve deneklerin motor hareketlerin hayal edilmesi konusunda tecrübesiz olması da bu tarz işaretlerin sınıflandırılmasını güçleştiren unsurlardandır. Tezin giriş kısmında BBA hakkında temel bilgiler ve önemli BBA metotlarından bahsedilmiştir. Bu BBA metotları şu şekilde sıralanabilir: i) Durağan görsel uyarılmış potansiyel (Steady state visual evoked potentials) tabanlı BBA, ii) P300 tabanlı BBA, iii) Yavaş kortikal potansiyeller (Slow cortical potentials) tabanlı BBA, iv) Kortex-neron aktivasyon potansiyeli (Cortical-neuronal activation potentials) tabanlı BBA, v) Motor hareket hayali (Motor imagery) tabanlı BBA. Tez çalışması konusu motor hareket hayali olduğu için, MH hakkında detaylı bilgiler verilmiştir. MH sinyallerinin fizyolojik temelleri, sinyal karakteristikleri, MH sinyallerinin işlenmesi sırasında karşılaşılan zorluklar gibi konulara değinilmiştir. Ardından, motor hareket hayali işaretlerinin sınıflandırılmasına yönelik ayrıntılı bir literatür araştırması sunulmuştur. Motor hareket hayali sırasında, motor korteks bölgesinde olay ilişki senkronizasyon (event related synchronisation, ERS) ve olay ilişkili desenkronizasyon (event related desynchronisation, ERD) olarak adlandırılan güç değişimleri meydana gelir. ERD, belirli bir frekans bandında ölçülen işaretteki güç düşümüne, ERS ise belirli bir frekansta ölçülen işaretteki güç artışına karşılık gelir. Motor hareket hayali sırasında en belirleyici işaret, 8-16 Hz arasındaki µ bandındaki güç düşümüdür. Ayrıca 20-30 Hz arasında da ERS işaretleri motor hareket hayali ile birlikte görülmektedir. Çalışmada motor hareket hayali olarak adlandırılan, kişinin kaslarını hareket ettirmesi ya da ettirmeye niyetlenmesi sırasında beynin motor korteks bölgesinde ortaya çıkan güç değişimlerini analiz eden beyin bilgisayar ara yüzü konusunda mevcut sınıflandırma metotları araştırılmış ve tez çalışmasında yeni metotlar geliştirilmiştir. Bu çalışmada, motor hareket hayali işaretlerinin sınıflandırılması için yeni metotlar geliştirilmiştir. Bu amaçla literatürdeki mevcut metotlar ile beraber, tez kapsamında geliştirilen metotlar sunulmuş ve tüm bu metotların sınıflandırma performansları incelenmiştir. Metotlar kısmında, MH sınıflandırmasına yönelik literatürdeki belli başlı yöntemler anlatılmıştır. Öncelikle, MH sınıflandırmasına yönelik genel bir çerçeve çizilmiş, ardından, her bir işlem adımı detaylı bir biçimde, literatürdeki mevcut yayınlardan bahsedilerek anlatılmıştır. MH sınıflandırmada çok önemli bir uzamsal sınıflandırma metodu olan "Ortak uzamsal örüntüler" (Common Spatial Patterns, CSP) metodu anlatılmış ve CSP metoduna yapılan iyileştirmelerden bahsedilmiştir. Metotlar kısımda, Tezin katkılarından ilki olan "Görev ilişkili & uzamsal düzenlemeli ortak uzamsal örüntüler" (Task Related & Spatially Regulaized Common Spatial Patterns, TR&SR-CSP) isimli çalışma anlatılmıştır. Bu çalışmada düzenlenmiş bir CSP metodu önerilmiştir. Metot motor hareket hayali sinyallerinin beyindeki oluşum noktalarını kullanan bir düzenlenmiş (regularized) CSP metodudur. Bu metotta, uzamsal filtrelerin eğitimi sırasında özel olarak hazırlanmış bir ceza matrisi oluşturma algoritması tanıtılmıştır. Bu ceza matrisi, verilen görevlere ilişkin motor korteksteki konumları göz önünde bulundurarak uzamsal filtrelerin korteks üzerinde bu bölgelere odaklanmasını sağlamıştır. Çalışma sonuçları incelendiğinde, fizyolojik verilerle uyumlu sonuçların elde edildiği gözlemlenir. Çalışma 2014 senesinde biyo-informatik ve biyomedikal mühendisliği uluslar arası konferansı" (IWBBIO) konferansında sunulmuştur. Metotlar kısmında ikinci olarak CSP'nin eksikliklerine değinilerek "Uzamsal filtre ağı" (Spatial Filter Network, SFN) metodu sunulmuştur. Bu metot, bir uzamsal filtre ve bir sınıflandırıcının birlikte optimizasyonunu sağlayan çok katmanlı bir yapıdır. Önerilen yöntem, CSP metodunun iki problemini adresler ve bunlara çözüm arar. Bu problemler, i) CSP metodunun yalnızca sınıflar arası saçılımları iyileştirmesi, buna rağmen, sınıf içi saçılımlar ile ilgilenmemesi, ii)CSP metodunun sınıflandırma performansı ile değil, verilen optimizasyon fonksiyonunu iyileştirmeye çalışmasıdır. SFN ise eğitim kümesindeki her elemanı tek tek ağa sunarak, hem uzamsal filtreyi, hem de sınıflandırıcıyı eğitir. SFN ağının eğitimi için yapay sinir ağlarında kullanılan geriye yayılım yöntemi kullanılmıştır. Bunun için ağa sunulan her eğitim kümesi elemanı için ağın oluşturduğu çıkış incelenmiş ve hem uzamsal filtre ağırlıkları, hem de sınıflandırıcı ağrırlıkları güncellenmiştir. Optimizasyon yöntemi olarak yapay sinir ağlarının eğitiminde kullanılan Levenberg-Marquardt (LM) ve back propogation (BP) metotlarından yararlanılmıştır. Tez içersinde SFN metodunun çalıştırılmasına ve eğitimine yönelik matematiksel denklemler sunulmuştur. SFN metoduna ilişkin yayın, PLoS One isimli dergide yayınlanmıştır. Metotlar kısmında son olarak uzamsal – spektral filtreleme metotlarına değinilmiştir. Bu metotlar hem uzamsal hem de spektral düzlemde optimizasyonlar yapmaktadırlar. CSP basitliği ile beraber güçlü bir metot olmasına karşın, bazı eksiklikleri vardır. Motor hareket hayali tabanlı beyin bilgisayar ara yüzlerinde CSP'nin başarısı büyük oranda ERD (olay tabanlı desenkronizasyon) ve ERS (olay tabanlı senkronizasyon) olarak adlandırılan fizyolojik fenomenlere bağlıdır. Halbuki pratikte ERD'nin bulunduğu frekans bandı kişiden kişiye farklılık gösterir. Bu, pratik bir BCI tasarlarken karşılaşılan en büyük problemlerden biridir. Yakın zamana kadar CSP kullanılırken frekans bandı ya geniş bant kullanılarak tanımsız bırakılmaktaydı ya da manüel ayarlanmaktaydı. Genel olarak, CSP'yi EEG işaretini filtrelemeden ya da uygun olmayan bir frekans bandında filtreleyerek uygulamak düşük bir sınıflandırma başarımı verecektir. Bu durumda yapılacak bir iş, zaman harcayıcı bir araştırmalar ve bazı manüel ayarlamalar ile her bir denek için en iyi frekans bandını bulmak olacaktır. Bu şekilde sınıflandırmanın başarımı artırdığı gösterilmiş olsa da, zaman harcayıcı ve zahmetli bir iştir. Bu nedenle son zamanlarda uzamsal filtrelerin frekans filtreleri ile eş zamanlı optimizasyonuna ilişkin yöntemlerin araştırılması oldukça önem kazanmıştır. Bu nedenlerden dolayı, CSP gibi sadece uzamsal düzlemde çalışan metotlar yerine filtrelerin spektral karakteristiklerinin de otomatik olarak iyileştirilmesi amaçlanıştır. Literatürdeki mevcut spatio-spectral metotlar anlatılmış ve tezin son çıktısı olan "Filtre bankası temelli ortak uzamsal örüntüler" (Filter bank common spatio spectral patterns, FBCSSP) isimli, hem spektral hem de uzamsal düzlemde filtre iyileştirilmesi yapan bir metot geliştirilmiştir. Sunulan metot, çeşitli frekanslarda filtreleme yapan bir filtre bankası ve arka arkaya dizilmiş iki adet CSP katmanından oluşur. İlk CSP katmanı, her bir filtre bankası çıkışını uzamsal olarak filtreler böylece, EEG işareti dar bantlarda uzamsal filtrelenmiş olur. İkinci CSP katmanı ise ilk katmandan gelen uzamsal filtrelenmiş işaretleri alarak en önemli işaretleri ortaya çıkartmaya çalışır. Bu nedenle ikinci katman bir nevi frekans seçimi yapmaktadır. İki CSP katmanı ise spatio-spektral bir filtre yapısı oluşturmuş olur. Sonuçlar incelendiğinde, yüksek sınıflandırma başarımlarına ulaşılabildiği görülmektedir. Sunulan çalışma "Biyo-medikal ve biyo informatik alanlarında bilgi teknolojileri" (ITBAM 2016) isimli konferansta sunulmak üzere kabul almıştır. Çalışma "Bilgisayar bilimlerinde konferans notları" (LNCS) isimli dergide yayınlanacaktır. Sonuçlar kısmında, kullanılan veri kaynaklarından bahsedilmiş, veri kümelerinin özelliklerinden bahsedilmiştir. Daha sonra, sonuçların elde edilmesine yönelik bir çerçeve sunulmuş ve yapılacak değerlendirmeler anlatılmıştır. Ayrıca sonuçlar elde edilirken kullanılan metotlara ilişkin bütün parametre ayarlamaları detaylıca sunulmuştur. Sonuçlar kısmında hem sayısal hem de görsel sonuçlar karşılaştırmalı olarak verilmiştir. Sonuçlar incelendiğinde, önerilen metotların başarılı sonuçlar elde ettiği görülmüştür. Literatürdeki diğer metotlara ilişkin sonuçlar ile değerlendirildiğinde, önerilmiş metotlardan elde edilen sınıflandırma performansları ümit vericidir. Önerilen metotların çalışılan veri kümelerinde performansı yukarı çektiği görülmektedir. Sayısal performans değerlendirmesinin yanında ayrıca, önerilen metotların motor hareket hayali fizyolojisi ile uygunluğu elde edilen uzamsal ve spektral filtrelerin analiz edilmesi ile gözlemlenmiştir. Bütün bu sonuçlar önerilen metotların etkili ve başarılı olduğunu göstermektedir.Brain computer interfacing (BCI) is an emerging topic which is applied to several areas from gaming equipment to health assistive devices. BCI technology aims establishing a direct communication pathway between the user's brain and any electronic device. Motor imagery is a BCI methodology in which the user's imagining of moving a limb is detected without any actual physical movement. Among different BCI techniques, motor imagery is the most popular BCI methodology because of its practicality and being an independent BCI method. Generally, electroencephalogram (EEG) is used for acquiring motor imagery signals since it is a practical, cheap, fast and non-invasive technique for analyzing brain signals. However, classification of motor imagery signals is a challenging topic. Poor spatial resolution of EEG signal makes it difficult to clearly extract motor imagery signals directly. Poor spatial resolution causes motor imagery signals to be mixed up with the signals from the signal sources in the brain which are much stronger. In this study, novel methods for classification of motor imagery signals were developed. For this purpose, existing methods and proposed methods were presented and their classification performances were analyzed. In this thesis, firstly, BCI concept and main BCI methodologies were presented. Motor imagery paradigm and physiological sources and main properties of motor imagery signals were described. Then, an extensive literature review about classification of motor imagery signals was exhibited. Next, the state of art method in the motor imagery classification called common spatial patterns (CSP) method was analyzed and then, regularized CSP methods which addresses some drawbacks of CSP were described. Next, the first contribution of this thesis, task related & spatially regularized CSP method was presented as a regularized CSP algorithm. After that, the second contribution of this thesis, a spatial filtering and classification structure named spatial filter network (SFN) method was presented. After presenting the spatial filtering algorithms, spectral and spatial filtering methodologies were presented. In this manner, a spatio-spectral filtering method called filter bank common spatio-spectral patterns (FBCSSP) method was proposed. Before running the proposed methods, datasets used in the study were introduced. Then, selected configurations of the methods were described. Obtained results of the proposed methods of this study are promising. Their performance evaluations were reported along with important methods from the literature. Developed methods increased the classification performance of the given datasets. Also the physiological suitability of the proposed methods was demonstrated by analyzing obtained spatial and spectral filters. Results showed the effectiveness of the proposed methods.DoktoraPh

Subject-independent EEG classification based on a hybrid neural network

A brain-computer interface (BCI) based on the electroencephalograph (EEG) signal is a novel technology that provides a direct pathway between human brain and outside world. For a traditional subject-dependent BCI system, a calibration procedure is required to collect sufficient data to build a subject-specific adaptation model, which can be a huge challenge for stroke patients. In contrast, subject-independent BCI which can shorten or even eliminate the pre-calibration is more time-saving and meets the requirements of new users for quick access to the BCI. In this paper, we design a novel fusion neural network EEG classification framework that uses a specially designed generative adversarial network (GAN), called a filter bank GAN (FBGAN), to acquire high-quality EEG data for augmentation and a proposed discriminative feature network for motor imagery (MI) task recognition. Specifically, multiple sub-bands of MI EEG are first filtered using a filter bank approach, then sparse common spatial pattern (CSP) features are extracted from multiple bands of filtered EEG data, which constrains the GAN to maintain more spatial features of the EEG signal, and finally we design a convolutional recurrent network classification method with discriminative features (CRNN-DF) to recognize MI tasks based on the idea of feature enhancement. The hybrid neural network proposed in this study achieves an average classification accuracy of 72.74 ± 10.44% (mean ± std) in four-class tasks of BCI IV-2a, which is 4.77% higher than the state-of-the-art subject-independent classification method. A promising approach is provided to facilitate the practical application of BCI