GKP Signal Processing Using Deep CNN and SVM for Tongue-Machine Interface

The tongue is one of the few organs with high mobility in the case of severe spinal cord injuries. However, most tongue-machine interfaces (TMIs) require the patient to wear obtrusive and unhygienic devices in and around the mouth. This paper aims to develop a TMI based on the glossokinetic potentials (GKPs), i.e. the electrical signals generated by the tongue when it touches the buccal walls. Ten patients were recruited for this research. The GKP patterns were classified by convolutional neural network (CNN) and support vector machine (SVM). It was observed that the CNN outperformed the SVM in individual and average scores for both raw and preprocessed datasets, reaching an accuracy of 97 similar to 99%. The CNN-based GKP processing method makes it easy to build a natural, appealing and robust TMI for the paralyzed. Being the first attempt to process GKPs with the CNN, our research offers an alternative to the traditional brain-computer interfaces (BCIs), which suffers from the instability and low signal-to-noise ratio (SNR) of electroencephalography (EEG)

Makine öğrenmesi algoritmaları kullanılarak glossokinetik potansiyel tabanlı dil - makine arayüzü tasarımı

06.03.2018 tarihli ve 30352 sayılı Resmi Gazetede yayımlanan “Yükseköğretim Kanunu İle Bazı Kanun Ve Kanun Hükmünde Kararnamelerde Değişiklik Yapılması Hakkında Kanun” ile 18.06.2018 tarihli “Lisansüstü Tezlerin Elektronik Ortamda Toplanması, Düzenlenmesi ve Erişime Açılmasına İlişkin Yönerge” gereğince tam metin erişime açılmıştır.Yardımcı teknolojiler, ağır engelli bireylerin diğer aygıtlara veya bireylere niyetlerini iletmelerini sağlayabilir. Bu teknolojiler, bireylerin sürekli yardım alma ihtiyacını kolaylaştırarak, aile üyelerinin yükünü ve sağlık maliyetlerini azaltacaktır. Omurilik yaralanmalarında veya amiyotrofik lateral sklerozda, engelli insanlar dış dünyayla sınırlı derecede iletişim kurabilirler. Bu tez çalışmasında, makine öğrenmesi algoritmalarını uygulayarak 1-boyutlu hareketler içeren yardımcı teknolojileri kontrol etmek için glossokinetik potansiyel (GKP) tabanlı dil-makine arayüzü geliştirilmiştir. GKP sinyalleri, dil hareket bilgilerini içeren elektrik sinyalleridir. Tez çalışmasında GKP sinyalleri, deneysel düzenler içinde dil ucunun yanak duvarlarıyla teması sırasında kafa derisine yerleştirilen elektrotlarla ölçülmüştür. İnsan vücudunun en esnek organlarından biri olan dil, yardımcı teknolojiler alanında çalışan araştırmacılar tarafından ileri motor kontrol görevlerine aday olarak kabul edilmiştir. Dil, omurilik yaralanmaları ve çoğu sinir-kas bozukluklarında bile genellikle ağır hasarlardan kaçabilir ve beyine hipoglosal kraniel sinir yoluyla bağlanır. Bu nedenle, yüksek düzeyde omurilik yaralanması olan felçli kişiler bile, dil kontrol yeteneklerini korurlar. Bununla beraber dil, çok fazla çaba gerektirmeden ağız boşluğu içinde hızlı ve doğru bir şekilde hareket edebilir. Dahası, bu yetenekli organ, ağız boşluğu içinde olmasından dolayı engelli bireyler için mahremiyet sağlayabilir. Dil-makine arayüzlerini kullanan araştırma çalışmalarının çoğu, ağız boşluğu içinde ve baş çevresinde rahatsızlık veren, hijyenik olmayan ekipmanlara sahiptir. Ancak, bu tez çalışması, engelli insanlara yardımcı cihazları doğal, rahatsızlık vermeyen, hızlı ve güvenilir bir şekilde kontrol etmeye hizmet edebilir. Çalışmada, geleneksel makine öğrenmesi algoritmaları ve konvolüsyonel yapay sinir ağı kullanarak sırasıyla %99 ve %100'e ulaşan sınıflandırma doğrulukları elde edilmiş ve yöntemlerin karşılaştırmalı analizi yapılmıştır. Zaman alanı ve frekans alanı özellik çıkarma metotlarının yanı sıra ayrık dalgacık dönüşümü, temel bileşen analizi ve bağımsız bileşen analizi sinyal işleme teknikleri de kullanılmıştır. Ayrıca, glossokinetik potansiyel tabanlı dil-makine arayüzü, elektroensefalografi (EEG) sinyallerinden kaynaklanan önemli yetersizlikleri içeren geleneksel EEG tabanlı beyin-bilgisayar arayüzleri için alternatif veya yardımcı kontrol ve iletişim kanalı olabileceği beklenmektedir.Assistive technologies (ATs) can enable severely disabled individuals to communicate their intentions to other devices or individuals. These technologies will ease the burden on family members and health costs by facilitating the need for continuous help for individuals. In spinal cord injuries (SCIs) or amyotrophic lateral sclerosis (ALS), diasabled people can communicate with the external world to a limited degree. In this thesis study, we have developed glossokinetic potential (GKP) based tongue-machine interface (TMI) to control assistive technologies for 1-D movements via implementing machine learning algorithms. GKP signals are electrical signals that consist of information on tongue movements. In the thesis study, GKP signals were measured by electrodes placed on the scalp during contact of the tongue tip and buccal walls in the experimental setups. Tongue, one of the most flexible organs of the human body, has been accepted as a candidate for advanced motor control tasks by researchers in the field of assistive technologies. The tongue is connected to the brain via the hypoglossal cranial nerve and can generally escape severe damages in SCIs and most neuromuscular disorders. Hence, high-level SCIs still maintain intact tongue control capabilities. Then the tongue is able move quickly and accurately without so much effort. Moreover, this gifted organ may provide privacy for paralytics because in the oral cavity. Most of the research using TMIs have obtrusive, unhygienic pieces of equipment in the oral cavity and around the headset. However, this dissertation may serve disabled people to control assistive technologies in natural, unobtrusive, speedy and reliable manner. In the study, traditional machine learning algorithms and convolutional neural network were used and classification accuracies of %99 and %100 were achieved respectively. And then comparative analysis of the algorithms was performed. In addition to time domain and frequency domain feature extraction methods, discrete wavelet transform, principal component analysis and independent component analysis signal processing techniques were also used. Moreover, it is expected that GKP-based TMI could be alternative or partner control and communication channel for traditional electroencephalography (EEG)-based brain-computer interfaces (BCIs) which involve significant inadequacies arisen from the EEG signals

Language-related glossokinetic potentials on scalp

1