Cross-Subject Domain Adaptation for Multi-Frame EEG Images

Working memory (WM) is a basic part of human cognition, which plays an important role in the study of human cognitive load. Among various brain imaging techniques, electroencephalography has shown its advantage on easy access and reliability. However, one of the critical challenges is that individual difference may cause the ineffective results, especially when the established model meets an unfamiliar subject. In this work, we propose a cross-subject deep adaptation model with spatial attention (CS-DASA) to generalize the workload classifications across subjects. First, we transform time-series EEG data into multi-frame EEG images incorporating more spatio-temporal information. First, the subject-shared module in CS-DASA receives multi-frame EEG image data from both source and target subjects and learns the common feature representations. Then, in subject-specific module, the maximum mean discrepancy is implemented to measure the domain distribution divergence in a reproducing kernel Hilbert space, which can add an effective penalty loss for domain adaptation. Additionally, the subject-to-subject spatial attention mechanism is employed to focus on the most discriminative spatial feature in EEG image data. Experiments conducted on a public WM EEG dataset containing 13 subjects show that the proposed model is capable of achieve better performance than existing state-of-the art methods

A hierarchical architecture for recognising intentionality in mental tasks on a brain-computer interface

A brain-computer interface (BCI), based on motor imagery EEG, uses information extracted from the electroencephalography signals generated by a person who intends to perform any action. One of the most important issues of current research is how to detect automatically whether the user intends to send some message to a certain device. This study presents a proposal, based on a hierarchical structured system, for recognising intentional and non-intentional mental tasks on a BCI system by applying machine learning techniques to the EEG signals. First-level clustering is performed to distinguish between intentional control (IC) and non-intentional control (NC) state patterns. Then, the patterns recognised as IC are passed on to a second stage where supervised learning techniques are used to classify them. In BCI applications, it is critical to correctly classify NC states with a low false positive rate (FPR) to avoid undesirable effects. According to the literature, we selected a maximum FPR of 10%. Under these conditions, our proposal achieved an average test accuracy of 66.6%, with an 8.2% FPR, for the BCI competition IIIa dataset. The main contribution of this paper is the hierarchical approach, based on machine learning paradigms, which performs intentional and non-intentional discrimination and, depending on the case, classifies the intended command selected by the user.This work was partially supported by the ERDF/Spanish Ministry of Science, Innovation and Universities - National Research Agency/PhysComp project, TIN2017-85409-P and by the Department of Education, Universities and Research of the Basque Government (ADIAN research group, grant IT980-16)

Identification of Anisomerous Motor Imagery EEG Signals Based on Complex Algorithms

Motor imagery (MI) electroencephalograph (EEG) signals are widely applied in brain-computer interface (BCI). However, classified MI states are limited, and their classification accuracy rates are low because of the characteristics of nonlinearity and nonstationarity. This study proposes a novel MI pattern recognition system that is based on complex algorithms for classifying MI EEG signals. In electrooculogram (EOG) artifact preprocessing, band-pass filtering is performed to obtain the frequency band of MI-related signals, and then, canonical correlation analysis (CCA) combined with wavelet threshold denoising (WTD) is used for EOG artifact preprocessing. We propose a regularized common spatial pattern (R-CSP) algorithm for EEG feature extraction by incorporating the principle of generic learning. A new classifier combining the K-nearest neighbor (KNN) and support vector machine (SVM) approaches is used to classify four anisomerous states, namely, imaginary movements with the left hand, right foot, and right shoulder and the resting state. The highest classification accuracy rate is 92.5%, and the average classification accuracy rate is 87%. The proposed complex algorithm identification method can significantly improve the identification rate of the minority samples and the overall classification performance

Deep learning in mining biological data

Recent technological advancements in data acquisition tools allowed life scientists to acquire multimodal data from different biological application domains. Categorised in three broad types (i.e., images, signals, and sequences), these data are huge in amount and complex in nature. Mining such enormous amount of data for pattern recognition is a big challenge and requires sophisticated data intensive machine learning techniques. Artificial neural network based learning systems are well known for their pattern recognition capabilities and lately their deep architectures - known as deep learning (DL) - have been successfully applied to solve many complex pattern recognition problems. To investigate how DL - especially its different architectures - has contributed and utilised in the mining of biological data pertaining to those three types, a meta analysis has been performed and the resulting resources have been critically analysed. Focusing on the use of DL to analyse patterns in data from diverse biological domains, this work investigates different DL architectures' applications to these data. This is followed by an exploration of available open access data sources pertaining to the three data types along with popular open source DL tools applicable to these data. Also, comparative investigations of these tools from qualitative, quantitative, and benchmarking perspectives are provided. Finally, some open research challenges in using DL to mine biological data are outlined and a number of possible future perspectives are put forward

Improving classification of error related potentials using novel feature extraction and classification algorithms for an assistive robotic device

We evaluated the proposed feature extraction algorithm and the classifier, and we showed that the performance surpassed the state of the art algorithms in error detection. Advances in technology are required to improve the quality of life of a person with a severe disability who has lost their independence of movement in their daily life. Brain-computer interface (BCI) is a possible technology to re-establish a sense of independence for the person with a severe disability through direct communication between the brain and an electronic device. To enhance the symbiotic interface between the person and BCI its accuracy and robustness should be improved across all age groups. This thesis aims to address the above-mentioned issue by developing a novel feature extraction algorithm and a novel classification algorithm for the detection of erroneous actions made by either human or BCI. The research approach evaluated the state of the art error detection classifier using data from two different age groups, young and elderly. The performance showed a statistical difference between the aforementioned age groups; therefore, there needs to be an improvement in error detection and classification. The results showed that my proposed relative peak feature (RPF) and adaptive decision surface (ADS) classifier outperformed the state of the art algorithms in detecting errors using EEG for both elderly and young groups. In addition, the novel classification algorithm has been applied to motor imagery to improve the detection of when a person imagines moving a limb. Finally, this thesis takes a brief look at object recognition for a shared control task of identifying utensils in cooperation with a prosthetic robotic hand

Classification Methods For Motor Imagery Based Brain Computer Interfaces

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 2016Beyin bilgisayar ara yüzü (BBA), son yıllarda oldukça gelişme sağlayan bir araştırma konusudur. Oyun ekipmanlarından yapay organlara kadar çok çeşitli alanlarda kullanım alanlarına sahip BBA teknolojisinin temel amacı, BBA kullanıcısının beyni ve elektronik bir cihaz arasında herhangi bir çevresel sinir yollarına bağlı olmayan aracısız bir haberleşme kanalı kurmaktır. Motor hareket hayali (MHH), kullanıcının, motor bir hareketi hayal etmesi sırasında alınan beyin sinyallerinden o hareketin tahmin edilmesi esasına dayanan bir BBA yöntemidir. Bağımsız bir BBA türü olması ve pratik olması gibi nedenlerden dolayı, motor hayali çeşitli BBA türleri arasında en popüler olanıdır. Motor hareket hayali sinyalleri beyinin motor korteks olarak adlandırılan, istemli hareketlerden sorumlu bölgesinden elde edilir. Bu sinyallerin alınması için fonksiyonel manyetik rezonans görüntüleme (fMRI), pozitron emisyon tomografi (PET), Elektrokortikogram (EKoG) ya da Elektroansefalografi (EEG) gibi işaret alma metotları kullanılabilir. Bu sinyal türleri içerisinde pratik, ucuz, hızlı ve girişimsiz bir yöntem olduğundan, genellikle EEG tercih edilir. Popüler olmasına rağmen, motor hareket hayali işaretlerinin sınıflandırılması oldukça zordur. Bunun temel nedeni ise, düşük uzamsal çözünürlüktür. Düşük uzamsal çözünürlük nedeniyle motor hareket hayali ile ilişkili sinyaller beynin farklı bölgelerinde bulunan başka sinyal kaynakları ile karışır ve bu, elde edilen EEG sinyalinden motor hareket hayali sinyallerinin ortaya çıkarılmasını güçleştirir. Ayrıca motor hareket hayali sinyal karakteristiklerinin kişiden kişiye hatta aynı kişi için zamanla değişebilir olması, sınıf sayısının sınırlı olması, EEG işaretinin durağan olmaması ve deneklerin motor hareketlerin hayal edilmesi konusunda tecrübesiz olması da bu tarz işaretlerin sınıflandırılmasını güçleştiren unsurlardandır. Tezin giriş kısmında BBA hakkında temel bilgiler ve önemli BBA metotlarından bahsedilmiştir. Bu BBA metotları şu şekilde sıralanabilir: i) Durağan görsel uyarılmış potansiyel (Steady state visual evoked potentials) tabanlı BBA, ii) P300 tabanlı BBA, iii) Yavaş kortikal potansiyeller (Slow cortical potentials) tabanlı BBA, iv) Kortex-neron aktivasyon potansiyeli (Cortical-neuronal activation potentials) tabanlı BBA, v) Motor hareket hayali (Motor imagery) tabanlı BBA. Tez çalışması konusu motor hareket hayali olduğu için, MH hakkında detaylı bilgiler verilmiştir. MH sinyallerinin fizyolojik temelleri, sinyal karakteristikleri, MH sinyallerinin işlenmesi sırasında karşılaşılan zorluklar gibi konulara değinilmiştir. Ardından, motor hareket hayali işaretlerinin sınıflandırılmasına yönelik ayrıntılı bir literatür araştırması sunulmuştur. Motor hareket hayali sırasında, motor korteks bölgesinde olay ilişki senkronizasyon (event related synchronisation, ERS) ve olay ilişkili desenkronizasyon (event related desynchronisation, ERD) olarak adlandırılan güç değişimleri meydana gelir. ERD, belirli bir frekans bandında ölçülen işaretteki güç düşümüne, ERS ise belirli bir frekansta ölçülen işaretteki güç artışına karşılık gelir. Motor hareket hayali sırasında en belirleyici işaret, 8-16 Hz arasındaki µ bandındaki güç düşümüdür. Ayrıca 20-30 Hz arasında da ERS işaretleri motor hareket hayali ile birlikte görülmektedir. Çalışmada motor hareket hayali olarak adlandırılan, kişinin kaslarını hareket ettirmesi ya da ettirmeye niyetlenmesi sırasında beynin motor korteks bölgesinde ortaya çıkan güç değişimlerini analiz eden beyin bilgisayar ara yüzü konusunda mevcut sınıflandırma metotları araştırılmış ve tez çalışmasında yeni metotlar geliştirilmiştir. Bu çalışmada, motor hareket hayali işaretlerinin sınıflandırılması için yeni metotlar geliştirilmiştir. Bu amaçla literatürdeki mevcut metotlar ile beraber, tez kapsamında geliştirilen metotlar sunulmuş ve tüm bu metotların sınıflandırma performansları incelenmiştir. Metotlar kısmında, MH sınıflandırmasına yönelik literatürdeki belli başlı yöntemler anlatılmıştır. Öncelikle, MH sınıflandırmasına yönelik genel bir çerçeve çizilmiş, ardından, her bir işlem adımı detaylı bir biçimde, literatürdeki mevcut yayınlardan bahsedilerek anlatılmıştır. MH sınıflandırmada çok önemli bir uzamsal sınıflandırma metodu olan "Ortak uzamsal örüntüler" (Common Spatial Patterns, CSP) metodu anlatılmış ve CSP metoduna yapılan iyileştirmelerden bahsedilmiştir. Metotlar kısımda, Tezin katkılarından ilki olan "Görev ilişkili & uzamsal düzenlemeli ortak uzamsal örüntüler" (Task Related & Spatially Regulaized Common Spatial Patterns, TR&SR-CSP) isimli çalışma anlatılmıştır. Bu çalışmada düzenlenmiş bir CSP metodu önerilmiştir. Metot motor hareket hayali sinyallerinin beyindeki oluşum noktalarını kullanan bir düzenlenmiş (regularized) CSP metodudur. Bu metotta, uzamsal filtrelerin eğitimi sırasında özel olarak hazırlanmış bir ceza matrisi oluşturma algoritması tanıtılmıştır. Bu ceza matrisi, verilen görevlere ilişkin motor korteksteki konumları göz önünde bulundurarak uzamsal filtrelerin korteks üzerinde bu bölgelere odaklanmasını sağlamıştır. Çalışma sonuçları incelendiğinde, fizyolojik verilerle uyumlu sonuçların elde edildiği gözlemlenir. Çalışma 2014 senesinde biyo-informatik ve biyomedikal mühendisliği uluslar arası konferansı" (IWBBIO) konferansında sunulmuştur. Metotlar kısmında ikinci olarak CSP'nin eksikliklerine değinilerek "Uzamsal filtre ağı" (Spatial Filter Network, SFN) metodu sunulmuştur. Bu metot, bir uzamsal filtre ve bir sınıflandırıcının birlikte optimizasyonunu sağlayan çok katmanlı bir yapıdır. Önerilen yöntem, CSP metodunun iki problemini adresler ve bunlara çözüm arar. Bu problemler, i) CSP metodunun yalnızca sınıflar arası saçılımları iyileştirmesi, buna rağmen, sınıf içi saçılımlar ile ilgilenmemesi, ii)CSP metodunun sınıflandırma performansı ile değil, verilen optimizasyon fonksiyonunu iyileştirmeye çalışmasıdır. SFN ise eğitim kümesindeki her elemanı tek tek ağa sunarak, hem uzamsal filtreyi, hem de sınıflandırıcıyı eğitir. SFN ağının eğitimi için yapay sinir ağlarında kullanılan geriye yayılım yöntemi kullanılmıştır. Bunun için ağa sunulan her eğitim kümesi elemanı için ağın oluşturduğu çıkış incelenmiş ve hem uzamsal filtre ağırlıkları, hem de sınıflandırıcı ağrırlıkları güncellenmiştir. Optimizasyon yöntemi olarak yapay sinir ağlarının eğitiminde kullanılan Levenberg-Marquardt (LM) ve back propogation (BP) metotlarından yararlanılmıştır. Tez içersinde SFN metodunun çalıştırılmasına ve eğitimine yönelik matematiksel denklemler sunulmuştur. SFN metoduna ilişkin yayın, PLoS One isimli dergide yayınlanmıştır. Metotlar kısmında son olarak uzamsal – spektral filtreleme metotlarına değinilmiştir. Bu metotlar hem uzamsal hem de spektral düzlemde optimizasyonlar yapmaktadırlar. CSP basitliği ile beraber güçlü bir metot olmasına karşın, bazı eksiklikleri vardır. Motor hareket hayali tabanlı beyin bilgisayar ara yüzlerinde CSP'nin başarısı büyük oranda ERD (olay tabanlı desenkronizasyon) ve ERS (olay tabanlı senkronizasyon) olarak adlandırılan fizyolojik fenomenlere bağlıdır. Halbuki pratikte ERD'nin bulunduğu frekans bandı kişiden kişiye farklılık gösterir. Bu, pratik bir BCI tasarlarken karşılaşılan en büyük problemlerden biridir. Yakın zamana kadar CSP kullanılırken frekans bandı ya geniş bant kullanılarak tanımsız bırakılmaktaydı ya da manüel ayarlanmaktaydı. Genel olarak, CSP'yi EEG işaretini filtrelemeden ya da uygun olmayan bir frekans bandında filtreleyerek uygulamak düşük bir sınıflandırma başarımı verecektir. Bu durumda yapılacak bir iş, zaman harcayıcı bir araştırmalar ve bazı manüel ayarlamalar ile her bir denek için en iyi frekans bandını bulmak olacaktır. Bu şekilde sınıflandırmanın başarımı artırdığı gösterilmiş olsa da, zaman harcayıcı ve zahmetli bir iştir. Bu nedenle son zamanlarda uzamsal filtrelerin frekans filtreleri ile eş zamanlı optimizasyonuna ilişkin yöntemlerin araştırılması oldukça önem kazanmıştır. Bu nedenlerden dolayı, CSP gibi sadece uzamsal düzlemde çalışan metotlar yerine filtrelerin spektral karakteristiklerinin de otomatik olarak iyileştirilmesi amaçlanıştır. Literatürdeki mevcut spatio-spectral metotlar anlatılmış ve tezin son çıktısı olan "Filtre bankası temelli ortak uzamsal örüntüler" (Filter bank common spatio spectral patterns, FBCSSP) isimli, hem spektral hem de uzamsal düzlemde filtre iyileştirilmesi yapan bir metot geliştirilmiştir. Sunulan metot, çeşitli frekanslarda filtreleme yapan bir filtre bankası ve arka arkaya dizilmiş iki adet CSP katmanından oluşur. İlk CSP katmanı, her bir filtre bankası çıkışını uzamsal olarak filtreler böylece, EEG işareti dar bantlarda uzamsal filtrelenmiş olur. İkinci CSP katmanı ise ilk katmandan gelen uzamsal filtrelenmiş işaretleri alarak en önemli işaretleri ortaya çıkartmaya çalışır. Bu nedenle ikinci katman bir nevi frekans seçimi yapmaktadır. İki CSP katmanı ise spatio-spektral bir filtre yapısı oluşturmuş olur. Sonuçlar incelendiğinde, yüksek sınıflandırma başarımlarına ulaşılabildiği görülmektedir. Sunulan çalışma "Biyo-medikal ve biyo informatik alanlarında bilgi teknolojileri" (ITBAM 2016) isimli konferansta sunulmak üzere kabul almıştır. Çalışma "Bilgisayar bilimlerinde konferans notları" (LNCS) isimli dergide yayınlanacaktır. Sonuçlar kısmında, kullanılan veri kaynaklarından bahsedilmiş, veri kümelerinin özelliklerinden bahsedilmiştir. Daha sonra, sonuçların elde edilmesine yönelik bir çerçeve sunulmuş ve yapılacak değerlendirmeler anlatılmıştır. Ayrıca sonuçlar elde edilirken kullanılan metotlara ilişkin bütün parametre ayarlamaları detaylıca sunulmuştur. Sonuçlar kısmında hem sayısal hem de görsel sonuçlar karşılaştırmalı olarak verilmiştir. Sonuçlar incelendiğinde, önerilen metotların başarılı sonuçlar elde ettiği görülmüştür. Literatürdeki diğer metotlara ilişkin sonuçlar ile değerlendirildiğinde, önerilmiş metotlardan elde edilen sınıflandırma performansları ümit vericidir. Önerilen metotların çalışılan veri kümelerinde performansı yukarı çektiği görülmektedir. Sayısal performans değerlendirmesinin yanında ayrıca, önerilen metotların motor hareket hayali fizyolojisi ile uygunluğu elde edilen uzamsal ve spektral filtrelerin analiz edilmesi ile gözlemlenmiştir. Bütün bu sonuçlar önerilen metotların etkili ve başarılı olduğunu göstermektedir.Brain computer interfacing (BCI) is an emerging topic which is applied to several areas from gaming equipment to health assistive devices. BCI technology aims establishing a direct communication pathway between the user's brain and any electronic device. Motor imagery is a BCI methodology in which the user's imagining of moving a limb is detected without any actual physical movement. Among different BCI techniques, motor imagery is the most popular BCI methodology because of its practicality and being an independent BCI method. Generally, electroencephalogram (EEG) is used for acquiring motor imagery signals since it is a practical, cheap, fast and non-invasive technique for analyzing brain signals. However, classification of motor imagery signals is a challenging topic. Poor spatial resolution of EEG signal makes it difficult to clearly extract motor imagery signals directly. Poor spatial resolution causes motor imagery signals to be mixed up with the signals from the signal sources in the brain which are much stronger. In this study, novel methods for classification of motor imagery signals were developed. For this purpose, existing methods and proposed methods were presented and their classification performances were analyzed. In this thesis, firstly, BCI concept and main BCI methodologies were presented. Motor imagery paradigm and physiological sources and main properties of motor imagery signals were described. Then, an extensive literature review about classification of motor imagery signals was exhibited. Next, the state of art method in the motor imagery classification called common spatial patterns (CSP) method was analyzed and then, regularized CSP methods which addresses some drawbacks of CSP were described. Next, the first contribution of this thesis, task related & spatially regularized CSP method was presented as a regularized CSP algorithm. After that, the second contribution of this thesis, a spatial filtering and classification structure named spatial filter network (SFN) method was presented. After presenting the spatial filtering algorithms, spectral and spatial filtering methodologies were presented. In this manner, a spatio-spectral filtering method called filter bank common spatio-spectral patterns (FBCSSP) method was proposed. Before running the proposed methods, datasets used in the study were introduced. Then, selected configurations of the methods were described. Obtained results of the proposed methods of this study are promising. Their performance evaluations were reported along with important methods from the literature. Developed methods increased the classification performance of the given datasets. Also the physiological suitability of the proposed methods was demonstrated by analyzing obtained spatial and spectral filters. Results showed the effectiveness of the proposed methods.DoktoraPh

A Decade of Neural Networks: Practical Applications and Prospects

The Jet Propulsion Laboratory Neural Network Workshop, sponsored by NASA and DOD, brings together sponsoring agencies, active researchers, and the user community to formulate a vision for the next decade of neural network research and application prospects. While the speed and computing power of microprocessors continue to grow at an ever-increasing pace, the demand to intelligently and adaptively deal with the complex, fuzzy, and often ill-defined world around us remains to a large extent unaddressed. Powerful, highly parallel computing paradigms such as neural networks promise to have a major impact in addressing these needs. Papers in the workshop proceedings highlight benefits of neural networks in real-world applications compared to conventional computing techniques. Topics include fault diagnosis, pattern recognition, and multiparameter optimization

Intelligent data mining using artificial neural networks and genetic algorithms : techniques and applications

Data Mining (DM) refers to the analysis of observational datasets to find relationships and to summarize the data in ways that are both understandable and useful. Many DM techniques exist. Compared with other DM techniques, Intelligent Systems (ISs) based approaches, which include Artificial Neural Networks (ANNs), fuzzy set theory, approximate reasoning, and derivative-free optimization methods such as Genetic Algorithms (GAs), are tolerant of imprecision, uncertainty, partial truth, and approximation. They provide flexible information processing capability for handling real-life situations. This thesis is concerned with the ideas behind design, implementation, testing and application of a novel ISs based DM technique. The unique contribution of this thesis is in the implementation of a hybrid IS DM technique (Genetic Neural Mathematical Method, GNMM) for solving novel practical problems, the detailed description of this technique, and the illustrations of several applications solved by this novel technique. GNMM consists of three steps: (1) GA-based input variable selection, (2) Multi- Layer Perceptron (MLP) modelling, and (3) mathematical programming based rule extraction. In the first step, GAs are used to evolve an optimal set of MLP inputs. An adaptive method based on the average fitness of successive generations is used to adjust the mutation rate, and hence the exploration/exploitation balance. In addition, GNMM uses the elite group and appearance percentage to minimize the randomness associated with GAs. In the second step, MLP modelling serves as the core DM engine in performing classification/prediction tasks. An Independent Component Analysis (ICA) based weight initialization algorithm is used to determine optimal weights before the commencement of training algorithms. The Levenberg-Marquardt (LM) algorithm is used to achieve a second-order speedup compared to conventional Back-Propagation (BP) training. In the third step, mathematical programming based rule extraction is not only used to identify the premises of multivariate polynomial rules, but also to explore features from the extracted rules based on data samples associated with each rule. Therefore, the methodology can provide regression rules and features not only in the polyhedrons with data instances, but also in the polyhedrons without data instances. A total of six datasets from environmental and medical disciplines were used as case study applications. These datasets involve the prediction of longitudinal dispersion coefficient, classification of electrocorticography (ECoG)/Electroencephalogram (EEG) data, eye bacteria Multisensor Data Fusion (MDF), and diabetes classification (denoted by Data I through to Data VI). GNMM was applied to all these six datasets to explore its effectiveness, but the emphasis is different for different datasets. For example, the emphasis of Data I and II was to give a detailed illustration of how GNMM works; Data III and IV aimed to show how to deal with difficult classification problems; the aim of Data V was to illustrate the averaging effect of GNMM; and finally Data VI was concerned with the GA parameter selection and benchmarking GNMM with other IS DM techniques such as Adaptive Neuro-Fuzzy Inference System (ANFIS), Evolving Fuzzy Neural Network (EFuNN), Fuzzy ARTMAP, and Cartesian Genetic Programming (CGP). In addition, datasets obtained from published works (i.e. Data II & III) or public domains (i.e. Data VI) where previous results were present in the literature were also used to benchmark GNMM’s effectiveness. As a closely integrated system GNMM has the merit that it needs little human interaction. With some predefined parameters, such as GA’s crossover probability and the shape of ANNs’ activation functions, GNMM is able to process raw data until some human-interpretable rules being extracted. This is an important feature in terms of practice as quite often users of a DM system have little or no need to fully understand the internal components of such a system. Through case study applications, it has been shown that the GA-based variable selection stage is capable of: filtering out irrelevant and noisy variables, improving the accuracy of the model; making the ANN structure less complex and easier to understand; and reducing the computational complexity and memory requirements. Furthermore, rule extraction ensures that the MLP training results are easily understandable and transferrable