Face recognition using statistical adapted local binary patterns.

Biometrics is the study of methods of recognizing humans based on their behavioral and physical characteristics or traits. Face recognition is one of the biometric modalities that received a great amount of attention from many researchers during the past few decades because of its potential applications in a variety of security domains. Face recognition however is not only concerned with recognizing human faces, but also with recognizing faces of non-biological entities or avatars. Fortunately, the need for secure and affordable virtual worlds is attracting the attention of many researchers who seek to find fast, automatic and reliable ways to identify virtual worlds’ avatars. In this work, I propose new techniques for recognizing avatar faces, which also can be applied to recognize human faces. Proposed methods are based mainly on a well-known and efficient local texture descriptor, Local Binary Pattern (LBP). I am applying different versions of LBP such as: Hierarchical Multi-scale Local Binary Patterns and Adaptive Local Binary Pattern with Directional Statistical Features in the wavelet space and discuss the effect of this application on the performance of each LBP version. In addition, I use a new version of LBP called Local Difference Pattern (LDP) with other well-known descriptors and classifiers to differentiate between human and avatar face images. The original LBP achieves high recognition rate if the tested images are pure but its performance gets worse if these images are corrupted by noise. To deal with this problem I propose a new definition to the original LBP in which the LBP descriptor will not threshold all the neighborhood pixel based on the central pixel value. A weight for each pixel in the neighborhood will be computed, a new value for each pixel will be calculated and then using simple statistical operations will be used to compute the new threshold, which will change automatically, based on the pixel’s values. This threshold can be applied with the original LBP or any other version of LBP and can be extended to work with Local Ternary Pattern (LTP) or any version of LTP to produce different versions of LTP for recognizing noisy avatar and human faces images

Redes sociais online : extração de conhecimento e análise espaço-temporal de eventos de difusão de informação

Orientador: Fernando José Von ZubenDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Com o surgimento e a popularização de Redes Sociais Online e de Serviços de Redes Sociais, pesquisadores da área de computação têm encontrado um campo fértil para o desenvolvimento de trabalhos com grande volume de dados, modelos envolvendo múltiplos agentes e dinâmicas espaço-temporais. Entretanto, mesmo com significativo elenco de pesquisas já publicadas no assunto, ainda existem aspectos das redes sociais cuja explicação é incipiente. Visando o aprofundamento do conhecimento da área, este trabalho investiga fenômenos de compartilhamento coletivo na rede, que caracterizam eventos de difusão de informação. A partir da observação de dados reais oriundos do serviço online Twitter, tais eventos são modelados, caracterizados e analisados. Com o uso de técnicas de aprendizado de máquina, são encontrados padrões nos processos espaço-temporais da rede, tornando possível a construção de classificadores de mensagens baseados em comportamento e a caracterização de comportamentos individuais, a partir de conexões sociaisAbstract: With the advent and popularization of Online Social Networks and Social Networking Services, computer science researchers have found fertile field for the development of studies using large volumes of data, multiple agents models and spatio-temporal dynamics. However, even with a significant amount of published research on the subject, there are still aspects of social networks whose explanation is incipient. In order to deepen the knowledge of the area, this work investigates phenomena of collective sharing on the network, characterizing information diffusion events. From the observation of real data obtained from the online service Twitter, we collect, model and characterize such events. Finally, using machine learning and computational data analysis, patterns are found on the network's spatio-temporal processes, making it possible to classify a message's topic from users behaviour and the characterization of individual behaviour, from social connectionsMestradoEngenharia de ComputaçãoMestre em Engenharia Elétric

Brainwave-Based Human Emotion Estimation using Deep Neural Network Models for Biofeedback

This thesis was submitted for the award of Doctor of Philosophy and was awarded by Brunel University LondonEmotion is a state that comprehensively represents human feeling, thought and behavior, thus takes an important role in interpersonal human communication. Emotion estimation aims to automatically discriminate different emotional states by using physiological and nonphysiological signals acquired from human to achieve effective communication and interaction between human and machines. Brainwaves-Based Emotion Estimation is one of the most common used and efficient methods for emotion estimation research. The technology reveals a great role for human emotional disorder treatment, brain computer interface for disabilities, entertainment and many other research areas. In this thesis, various methods, schemes and frameworks are presented for Electroencephalogram (EEG) based human emotion estimation. Firstly, a hybrid dimension featurere duction scheme is presented using a total of 14 different features extracted from EEG recordings. The scheme combines these distinct features in the feature space using both supervised and unsupervised feature selection processes. Maximum Relevance Minimum Redundancy (mRMR) is applied to re-order the combined features into max-relevance with the emotion labels and min-redundancy of each feature. The generated features are further reduced with Principal Component Analysis (PCA) for extracting the principal components. Experimental results show that the proposed work outperforms the state-of-art methods using the same settings at the publicly available Database for Emotional Analysis using Physiological Signals (DEAP) data set. Secondly, a disentangled adaptive noise learning β-Variational autoencoder (VAE) combinewithlongshorttermmemory(LSTM)modelwasproposedfortheemotionrecognition based on EEG recordings. The experiment is also based on the EEG emotion public DEAPdataset. At first, the EEG time-series data are transformed into the Video-like EEG image data through the Azimuthal Equidistant Projection (AEP) to original EEG-sensor 3-D coordinates to perform 2-D projected locations of electrodes. Then Clough-Tocher scheme is applied for interpolating the scattered power measurements over the scalp and for estimating the values in-between the electrodes over a 32x32 mesh. After that, the βVAE LSTM algorithm is used to estimate the accuracy of the quadratic (arousal-valence) classification. The comparison between the β VAE-LSTM model and other classic methods is conducted at the same experimental setting that shows that the proposed model is effective. Finally, a novel real-time emotion detection system based on the EEG signals from a portable headband was presented, integrated into the interactive film ‘RIOT’. At first, the requirement of the interactive film was collected and the protocol for data collection using a portable EEG sensor (Emotiv Epoc) was designed. Then, a portable EEG emotion database (PEED) is built from 10 participants with the emotion labels using both self-reporting and video annotation tools. After that, various feature extraction, feature selection, validation scheme and classification methods are explored to build a practical system for the real-time detection. In the end, the emotion detection system is trained and integrated into the interactive film for real-time implementation and fully evaluated. The experimental results demonstrate the system with satisfied emotion detection accuracy and real-time performance

CONTENT-BASED IMAGE RETRIEVAL USING ENHANCED HYBRID METHODS WITH COLOR AND TEXTURE FEATURES

Content-based image retrieval (CBIR) automatically retrieves similar images to the query image by using the visual contents (features) of the image like color, texture and shape. Effective CBIR is based on efficient feature extraction for indexing and on effective query image matching with the indexed images for retrieval. However the main issue in CBIR is that how to extract the features efficiently because the efficient features describe well the image and they are used efficiently in matching of the images to get robust retrieval. This issue is the main inspiration for this thesis to develop a hybrid CBIR with high performance in the spatial and frequency domains. We propose various approaches, in which different techniques are fused to extract the statistical color and texture features efficiently in both domains. In spatial domain, the statistical color histogram features are computed using the pixel distribution of the Laplacian filtered sharpened images based on the different quantization schemes. However color histogram does not provide the spatial information. The solution is by using the histogram refinement method in which the statistical features of the regions in histogram bins of the filtered image are extracted but it leads to high computational cost, which is reduced by dividing the image into the sub-blocks of different sizes, to extract the color and texture features. To improve further the performance, color and texture features are combined using sub-blocks due to the less computational cos

Proposta de uso de estado emocional do indivíduo na automação de ambiente inteligente

A questão de pesquisa que este estudo pretende abordar visa melhorar a qualidade de vida dos usuários, especialmente os portadores de necessidades especiais, adaptando o ambiente ao seu conforto emocional. Nesse contexto, o objetivo da presente pesquisa é a elaboração de um ambiente inteligente controlado passivamente através do estado emocional do usuário, utilizando interface cérebro computador. De forma geral, espera-se com este estudo ser capaz de adaptar um sistema inteligente de acordo com a emoção objetivo, visando o aumentando do rendimento do indivíduo numa dada tarefa, auxiliando em tratamentos terapêuticos ou aumentando o seu conforto. Para validação do trabalho foi utilizada a interface cérebrocomputador da empresa Emotiv com o sistema de automação predial-residencial da empresa Home Systems, utilizando algoritmo genético para buscar a configuração adequada do ambiente tendo o nível de atenção como emoção objetivo. Os resultados preliminares dos nove testes realizados com seis indivíduos comprovam que é viável o controle de ambientes baseado no estado emocional dos usuários. Este trabalho situa-se na interdisciplinaridade de áreas como engenharia elétrica, computação, psicologia comportamental e tecnologias assistivas.The research question that this study aims to approach is to improve the quality of life of individuals with or without special needs, by adapting the environment to their emotional comfort. In this context, the goal of this research is to develop an intelligent system passively controlled trough brain-computer interface. In general, it is expected with this study to be able to adapt a smart environment according to the emotional target, aiming to increase the yield of a given individual task, assisting in therapeutics or increasing the individual’s comfort. In order to validate the experiment, Emotiv’s brain computer interface was used with Home Systems’ home automation system, using genetic algorithm to find the appropriate configuration of the environment and attention level as the emotional target. Preliminary results of the nine tests conducted on six subjects indicate that it is feasible to control a smart environment based on the emotional state of the user. This is an interdisciplinary work in areas such as electrical engineering, computer science, behavioral psychology and assistive technologies

QUIS-CAMPI: Biometric Recognition in Surveillance Scenarios

The concerns about individuals security have justified the increasing number of surveillance cameras deployed both in private and public spaces. However, contrary to popular belief, these devices are in most cases used solely for recording, instead of feeding intelligent analysis processes capable of extracting information about the observed individuals. Thus, even though video surveillance has already proved to be essential for solving multiple crimes, obtaining relevant details about the subjects that took part in a crime depends on the manual inspection of recordings. As such, the current goal of the research community is the development of automated surveillance systems capable of monitoring and identifying subjects in surveillance scenarios. Accordingly, the main goal of this thesis is to improve the performance of biometric recognition algorithms in data acquired from surveillance scenarios. In particular, we aim at designing a visual surveillance system capable of acquiring biometric data at a distance (e.g., face, iris or gait) without requiring human intervention in the process, as well as devising biometric recognition methods robust to the degradation factors resulting from the unconstrained acquisition process. Regarding the first goal, the analysis of the data acquired by typical surveillance systems shows that large acquisition distances significantly decrease the resolution of biometric samples, and thus their discriminability is not sufficient for recognition purposes. In the literature, diverse works point out Pan Tilt Zoom (PTZ) cameras as the most practical way for acquiring high-resolution imagery at a distance, particularly when using a master-slave configuration. In the master-slave configuration, the video acquired by a typical surveillance camera is analyzed for obtaining regions of interest (e.g., car, person) and these regions are subsequently imaged at high-resolution by the PTZ camera. Several methods have already shown that this configuration can be used for acquiring biometric data at a distance. Nevertheless, these methods failed at providing effective solutions to the typical challenges of this strategy, restraining its use in surveillance scenarios. Accordingly, this thesis proposes two methods to support the development of a biometric data acquisition system based on the cooperation of a PTZ camera with a typical surveillance camera. The first proposal is a camera calibration method capable of accurately mapping the coordinates of the master camera to the pan/tilt angles of the PTZ camera. The second proposal is a camera scheduling method for determining - in real-time - the sequence of acquisitions that maximizes the number of different targets obtained, while minimizing the cumulative transition time. In order to achieve the first goal of this thesis, both methods were combined with state-of-the-art approaches of the human monitoring field to develop a fully automated surveillance capable of acquiring biometric data at a distance and without human cooperation, designated as QUIS-CAMPI system. The QUIS-CAMPI system is the basis for pursuing the second goal of this thesis. The analysis of the performance of the state-of-the-art biometric recognition approaches shows that these approaches attain almost ideal recognition rates in unconstrained data. However, this performance is incongruous with the recognition rates observed in surveillance scenarios. Taking into account the drawbacks of current biometric datasets, this thesis introduces a novel dataset comprising biometric samples (face images and gait videos) acquired by the QUIS-CAMPI system at a distance ranging from 5 to 40 meters and without human intervention in the acquisition process. This set allows to objectively assess the performance of state-of-the-art biometric recognition methods in data that truly encompass the covariates of surveillance scenarios. As such, this set was exploited for promoting the first international challenge on biometric recognition in the wild. This thesis describes the evaluation protocols adopted, along with the results obtained by the nine methods specially designed for this competition. In addition, the data acquired by the QUIS-CAMPI system were crucial for accomplishing the second goal of this thesis, i.e., the development of methods robust to the covariates of surveillance scenarios. The first proposal regards a method for detecting corrupted features in biometric signatures inferred by a redundancy analysis algorithm. The second proposal is a caricature-based face recognition approach capable of enhancing the recognition performance by automatically generating a caricature from a 2D photo. The experimental evaluation of these methods shows that both approaches contribute to improve the recognition performance in unconstrained data.A crescente preocupação com a segurança dos indivíduos tem justificado o crescimento do número de câmaras de vídeo-vigilância instaladas tanto em espaços privados como públicos. Contudo, ao contrário do que normalmente se pensa, estes dispositivos são, na maior parte dos casos, usados apenas para gravação, não estando ligados a nenhum tipo de software inteligente capaz de inferir em tempo real informações sobre os indivíduos observados. Assim, apesar de a vídeo-vigilância ter provado ser essencial na resolução de diversos crimes, o seu uso está ainda confinado à disponibilização de vídeos que têm que ser manualmente inspecionados para extrair informações relevantes dos sujeitos envolvidos no crime. Como tal, atualmente, o principal desafio da comunidade científica é o desenvolvimento de sistemas automatizados capazes de monitorizar e identificar indivíduos em ambientes de vídeo-vigilância. Esta tese tem como principal objetivo estender a aplicabilidade dos sistemas de reconhecimento biométrico aos ambientes de vídeo-vigilância. De forma mais especifica, pretende-se 1) conceber um sistema de vídeo-vigilância que consiga adquirir dados biométricos a longas distâncias (e.g., imagens da cara, íris, ou vídeos do tipo de passo) sem requerer a cooperação dos indivíduos no processo; e 2) desenvolver métodos de reconhecimento biométrico robustos aos fatores de degradação inerentes aos dados adquiridos por este tipo de sistemas. No que diz respeito ao primeiro objetivo, a análise aos dados adquiridos pelos sistemas típicos de vídeo-vigilância mostra que, devido à distância de captura, os traços biométricos amostrados não são suficientemente discriminativos para garantir taxas de reconhecimento aceitáveis. Na literatura, vários trabalhos advogam o uso de câmaras Pan Tilt Zoom (PTZ) para adquirir imagens de alta resolução à distância, principalmente o uso destes dispositivos no modo masterslave. Na configuração master-slave um módulo de análise inteligente seleciona zonas de interesse (e.g. carros, pessoas) a partir do vídeo adquirido por uma câmara de vídeo-vigilância e a câmara PTZ é orientada para adquirir em alta resolução as regiões de interesse. Diversos métodos já mostraram que esta configuração pode ser usada para adquirir dados biométricos à distância, ainda assim estes não foram capazes de solucionar alguns problemas relacionados com esta estratégia, impedindo assim o seu uso em ambientes de vídeo-vigilância. Deste modo, esta tese propõe dois métodos para permitir a aquisição de dados biométricos em ambientes de vídeo-vigilância usando uma câmara PTZ assistida por uma câmara típica de vídeo-vigilância. O primeiro é um método de calibração capaz de mapear de forma exata as coordenadas da câmara master para o ângulo da câmara PTZ (slave) sem o auxílio de outros dispositivos óticos. O segundo método determina a ordem pela qual um conjunto de sujeitos vai ser observado pela câmara PTZ. O método proposto consegue determinar em tempo-real a sequência de observações que maximiza o número de diferentes sujeitos observados e simultaneamente minimiza o tempo total de transição entre sujeitos. De modo a atingir o primeiro objetivo desta tese, os dois métodos propostos foram combinados com os avanços alcançados na área da monitorização de humanos para assim desenvolver o primeiro sistema de vídeo-vigilância completamente automatizado e capaz de adquirir dados biométricos a longas distâncias sem requerer a cooperação dos indivíduos no processo, designado por sistema QUIS-CAMPI. O sistema QUIS-CAMPI representa o ponto de partida para iniciar a investigação relacionada com o segundo objetivo desta tese. A análise do desempenho dos métodos de reconhecimento biométrico do estado-da-arte mostra que estes conseguem obter taxas de reconhecimento quase perfeitas em dados adquiridos sem restrições (e.g., taxas de reconhecimento maiores do que 99% no conjunto de dados LFW). Contudo, este desempenho não é corroborado pelos resultados observados em ambientes de vídeo-vigilância, o que sugere que os conjuntos de dados atuais não contêm verdadeiramente os fatores de degradação típicos dos ambientes de vídeo-vigilância. Tendo em conta as vulnerabilidades dos conjuntos de dados biométricos atuais, esta tese introduz um novo conjunto de dados biométricos (imagens da face e vídeos do tipo de passo) adquiridos pelo sistema QUIS-CAMPI a uma distância máxima de 40m e sem a cooperação dos sujeitos no processo de aquisição. Este conjunto permite avaliar de forma objetiva o desempenho dos métodos do estado-da-arte no reconhecimento de indivíduos em imagens/vídeos capturados num ambiente real de vídeo-vigilância. Como tal, este conjunto foi utilizado para promover a primeira competição de reconhecimento biométrico em ambientes não controlados. Esta tese descreve os protocolos de avaliação usados, assim como os resultados obtidos por 9 métodos especialmente desenhados para esta competição. Para além disso, os dados adquiridos pelo sistema QUIS-CAMPI foram essenciais para o desenvolvimento de dois métodos para aumentar a robustez aos fatores de degradação observados em ambientes de vídeo-vigilância. O primeiro é um método para detetar características corruptas em assinaturas biométricas através da análise da redundância entre subconjuntos de características. O segundo é um método de reconhecimento facial baseado em caricaturas automaticamente geradas a partir de uma única foto do sujeito. As experiências realizadas mostram que ambos os métodos conseguem reduzir as taxas de erro em dados adquiridos de forma não controlada

CONTENT-BASED IMAGE RETRIEVAL USING ENHANCED HYBRID METHODS WITH COLOR AND TEXTURE FEATURES

Content-based image retrieval (CBIR) automatically retrieves similar images to the query image by using the visual contents (features) of the image like color, texture and shape. Effective CBIR is based on efficient feature extraction for indexing and on effective query image matching with the indexed images for retrieval. However the main issue in CBIR is that how to extract the features efficiently because the efficient features describe well the image and they are used efficiently in matching of the images to get robust retrieval. This issue is the main inspiration for this thesis to develop a hybrid CBIR with high performance in the spatial and frequency domains. We propose various approaches, in which different techniques are fused to extract the statistical color and texture features efficiently in both domains. In spatial domain, the statistical color histogram features are computed using the pixel distribution of the Laplacian filtered sharpened images based on the different quantization schemes. However color histogram does not provide the spatial information. The solution is by using the histogram refinement method in which the statistical features of the regions in histogram bins of the filtered image are extracted but it leads to high computational cost, which is reduced by dividing the image into the sub-blocks of different sizes, to extract the color and texture features. To improve further the performance, color and texture features are combined using sub-blocks due to the less computational cos

Cyber-Physical Threat Intelligence for Critical Infrastructures Security

Modern critical infrastructures comprise of many interconnected cyber and physical assets, and as such are large scale cyber-physical systems. Hence, the conventional approach of securing these infrastructures by addressing cyber security and physical security separately is no longer effective. Rather more integrated approaches that address the security of cyber and physical assets at the same time are required. This book presents integrated (i.e. cyber and physical) security approaches and technologies for the critical infrastructures that underpin our societies. Specifically, it introduces advanced techniques for threat detection, risk assessment and security information sharing, based on leading edge technologies like machine learning, security knowledge modelling, IoT security and distributed ledger infrastructures. Likewise, it presets how established security technologies like Security Information and Event Management (SIEM), pen-testing, vulnerability assessment and security data analytics can be used in the context of integrated Critical Infrastructure Protection. The novel methods and techniques of the book are exemplified in case studies involving critical infrastructures in four industrial sectors, namely finance, healthcare, energy and communications. The peculiarities of critical infrastructure protection in each one of these sectors is discussed and addressed based on sector-specific solutions. The advent of the fourth industrial revolution (Industry 4.0) is expected to increase the cyber-physical nature of critical infrastructures as well as their interconnection in the scope of sectorial and cross-sector value chains. Therefore, the demand for solutions that foster the interplay between cyber and physical security, and enable Cyber-Physical Threat Intelligence is likely to explode. In this book, we have shed light on the structure of such integrated security systems, as well as on the technologies that will underpin their operation. We hope that Security and Critical Infrastructure Protection stakeholders will find the book useful when planning their future security strategies

Classification Methods For Motor Imagery Based Brain Computer Interfaces

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 2016Beyin bilgisayar ara yüzü (BBA), son yıllarda oldukça gelişme sağlayan bir araştırma konusudur. Oyun ekipmanlarından yapay organlara kadar çok çeşitli alanlarda kullanım alanlarına sahip BBA teknolojisinin temel amacı, BBA kullanıcısının beyni ve elektronik bir cihaz arasında herhangi bir çevresel sinir yollarına bağlı olmayan aracısız bir haberleşme kanalı kurmaktır. Motor hareket hayali (MHH), kullanıcının, motor bir hareketi hayal etmesi sırasında alınan beyin sinyallerinden o hareketin tahmin edilmesi esasına dayanan bir BBA yöntemidir. Bağımsız bir BBA türü olması ve pratik olması gibi nedenlerden dolayı, motor hayali çeşitli BBA türleri arasında en popüler olanıdır. Motor hareket hayali sinyalleri beyinin motor korteks olarak adlandırılan, istemli hareketlerden sorumlu bölgesinden elde edilir. Bu sinyallerin alınması için fonksiyonel manyetik rezonans görüntüleme (fMRI), pozitron emisyon tomografi (PET), Elektrokortikogram (EKoG) ya da Elektroansefalografi (EEG) gibi işaret alma metotları kullanılabilir. Bu sinyal türleri içerisinde pratik, ucuz, hızlı ve girişimsiz bir yöntem olduğundan, genellikle EEG tercih edilir. Popüler olmasına rağmen, motor hareket hayali işaretlerinin sınıflandırılması oldukça zordur. Bunun temel nedeni ise, düşük uzamsal çözünürlüktür. Düşük uzamsal çözünürlük nedeniyle motor hareket hayali ile ilişkili sinyaller beynin farklı bölgelerinde bulunan başka sinyal kaynakları ile karışır ve bu, elde edilen EEG sinyalinden motor hareket hayali sinyallerinin ortaya çıkarılmasını güçleştirir. Ayrıca motor hareket hayali sinyal karakteristiklerinin kişiden kişiye hatta aynı kişi için zamanla değişebilir olması, sınıf sayısının sınırlı olması, EEG işaretinin durağan olmaması ve deneklerin motor hareketlerin hayal edilmesi konusunda tecrübesiz olması da bu tarz işaretlerin sınıflandırılmasını güçleştiren unsurlardandır. Tezin giriş kısmında BBA hakkında temel bilgiler ve önemli BBA metotlarından bahsedilmiştir. Bu BBA metotları şu şekilde sıralanabilir: i) Durağan görsel uyarılmış potansiyel (Steady state visual evoked potentials) tabanlı BBA, ii) P300 tabanlı BBA, iii) Yavaş kortikal potansiyeller (Slow cortical potentials) tabanlı BBA, iv) Kortex-neron aktivasyon potansiyeli (Cortical-neuronal activation potentials) tabanlı BBA, v) Motor hareket hayali (Motor imagery) tabanlı BBA. Tez çalışması konusu motor hareket hayali olduğu için, MH hakkında detaylı bilgiler verilmiştir. MH sinyallerinin fizyolojik temelleri, sinyal karakteristikleri, MH sinyallerinin işlenmesi sırasında karşılaşılan zorluklar gibi konulara değinilmiştir. Ardından, motor hareket hayali işaretlerinin sınıflandırılmasına yönelik ayrıntılı bir literatür araştırması sunulmuştur. Motor hareket hayali sırasında, motor korteks bölgesinde olay ilişki senkronizasyon (event related synchronisation, ERS) ve olay ilişkili desenkronizasyon (event related desynchronisation, ERD) olarak adlandırılan güç değişimleri meydana gelir. ERD, belirli bir frekans bandında ölçülen işaretteki güç düşümüne, ERS ise belirli bir frekansta ölçülen işaretteki güç artışına karşılık gelir. Motor hareket hayali sırasında en belirleyici işaret, 8-16 Hz arasındaki µ bandındaki güç düşümüdür. Ayrıca 20-30 Hz arasında da ERS işaretleri motor hareket hayali ile birlikte görülmektedir. Çalışmada motor hareket hayali olarak adlandırılan, kişinin kaslarını hareket ettirmesi ya da ettirmeye niyetlenmesi sırasında beynin motor korteks bölgesinde ortaya çıkan güç değişimlerini analiz eden beyin bilgisayar ara yüzü konusunda mevcut sınıflandırma metotları araştırılmış ve tez çalışmasında yeni metotlar geliştirilmiştir. Bu çalışmada, motor hareket hayali işaretlerinin sınıflandırılması için yeni metotlar geliştirilmiştir. Bu amaçla literatürdeki mevcut metotlar ile beraber, tez kapsamında geliştirilen metotlar sunulmuş ve tüm bu metotların sınıflandırma performansları incelenmiştir. Metotlar kısmında, MH sınıflandırmasına yönelik literatürdeki belli başlı yöntemler anlatılmıştır. Öncelikle, MH sınıflandırmasına yönelik genel bir çerçeve çizilmiş, ardından, her bir işlem adımı detaylı bir biçimde, literatürdeki mevcut yayınlardan bahsedilerek anlatılmıştır. MH sınıflandırmada çok önemli bir uzamsal sınıflandırma metodu olan "Ortak uzamsal örüntüler" (Common Spatial Patterns, CSP) metodu anlatılmış ve CSP metoduna yapılan iyileştirmelerden bahsedilmiştir. Metotlar kısımda, Tezin katkılarından ilki olan "Görev ilişkili & uzamsal düzenlemeli ortak uzamsal örüntüler" (Task Related & Spatially Regulaized Common Spatial Patterns, TR&SR-CSP) isimli çalışma anlatılmıştır. Bu çalışmada düzenlenmiş bir CSP metodu önerilmiştir. Metot motor hareket hayali sinyallerinin beyindeki oluşum noktalarını kullanan bir düzenlenmiş (regularized) CSP metodudur. Bu metotta, uzamsal filtrelerin eğitimi sırasında özel olarak hazırlanmış bir ceza matrisi oluşturma algoritması tanıtılmıştır. Bu ceza matrisi, verilen görevlere ilişkin motor korteksteki konumları göz önünde bulundurarak uzamsal filtrelerin korteks üzerinde bu bölgelere odaklanmasını sağlamıştır. Çalışma sonuçları incelendiğinde, fizyolojik verilerle uyumlu sonuçların elde edildiği gözlemlenir. Çalışma 2014 senesinde biyo-informatik ve biyomedikal mühendisliği uluslar arası konferansı" (IWBBIO) konferansında sunulmuştur. Metotlar kısmında ikinci olarak CSP'nin eksikliklerine değinilerek "Uzamsal filtre ağı" (Spatial Filter Network, SFN) metodu sunulmuştur. Bu metot, bir uzamsal filtre ve bir sınıflandırıcının birlikte optimizasyonunu sağlayan çok katmanlı bir yapıdır. Önerilen yöntem, CSP metodunun iki problemini adresler ve bunlara çözüm arar. Bu problemler, i) CSP metodunun yalnızca sınıflar arası saçılımları iyileştirmesi, buna rağmen, sınıf içi saçılımlar ile ilgilenmemesi, ii)CSP metodunun sınıflandırma performansı ile değil, verilen optimizasyon fonksiyonunu iyileştirmeye çalışmasıdır. SFN ise eğitim kümesindeki her elemanı tek tek ağa sunarak, hem uzamsal filtreyi, hem de sınıflandırıcıyı eğitir. SFN ağının eğitimi için yapay sinir ağlarında kullanılan geriye yayılım yöntemi kullanılmıştır. Bunun için ağa sunulan her eğitim kümesi elemanı için ağın oluşturduğu çıkış incelenmiş ve hem uzamsal filtre ağırlıkları, hem de sınıflandırıcı ağrırlıkları güncellenmiştir. Optimizasyon yöntemi olarak yapay sinir ağlarının eğitiminde kullanılan Levenberg-Marquardt (LM) ve back propogation (BP) metotlarından yararlanılmıştır. Tez içersinde SFN metodunun çalıştırılmasına ve eğitimine yönelik matematiksel denklemler sunulmuştur. SFN metoduna ilişkin yayın, PLoS One isimli dergide yayınlanmıştır. Metotlar kısmında son olarak uzamsal – spektral filtreleme metotlarına değinilmiştir. Bu metotlar hem uzamsal hem de spektral düzlemde optimizasyonlar yapmaktadırlar. CSP basitliği ile beraber güçlü bir metot olmasına karşın, bazı eksiklikleri vardır. Motor hareket hayali tabanlı beyin bilgisayar ara yüzlerinde CSP'nin başarısı büyük oranda ERD (olay tabanlı desenkronizasyon) ve ERS (olay tabanlı senkronizasyon) olarak adlandırılan fizyolojik fenomenlere bağlıdır. Halbuki pratikte ERD'nin bulunduğu frekans bandı kişiden kişiye farklılık gösterir. Bu, pratik bir BCI tasarlarken karşılaşılan en büyük problemlerden biridir. Yakın zamana kadar CSP kullanılırken frekans bandı ya geniş bant kullanılarak tanımsız bırakılmaktaydı ya da manüel ayarlanmaktaydı. Genel olarak, CSP'yi EEG işaretini filtrelemeden ya da uygun olmayan bir frekans bandında filtreleyerek uygulamak düşük bir sınıflandırma başarımı verecektir. Bu durumda yapılacak bir iş, zaman harcayıcı bir araştırmalar ve bazı manüel ayarlamalar ile her bir denek için en iyi frekans bandını bulmak olacaktır. Bu şekilde sınıflandırmanın başarımı artırdığı gösterilmiş olsa da, zaman harcayıcı ve zahmetli bir iştir. Bu nedenle son zamanlarda uzamsal filtrelerin frekans filtreleri ile eş zamanlı optimizasyonuna ilişkin yöntemlerin araştırılması oldukça önem kazanmıştır. Bu nedenlerden dolayı, CSP gibi sadece uzamsal düzlemde çalışan metotlar yerine filtrelerin spektral karakteristiklerinin de otomatik olarak iyileştirilmesi amaçlanıştır. Literatürdeki mevcut spatio-spectral metotlar anlatılmış ve tezin son çıktısı olan "Filtre bankası temelli ortak uzamsal örüntüler" (Filter bank common spatio spectral patterns, FBCSSP) isimli, hem spektral hem de uzamsal düzlemde filtre iyileştirilmesi yapan bir metot geliştirilmiştir. Sunulan metot, çeşitli frekanslarda filtreleme yapan bir filtre bankası ve arka arkaya dizilmiş iki adet CSP katmanından oluşur. İlk CSP katmanı, her bir filtre bankası çıkışını uzamsal olarak filtreler böylece, EEG işareti dar bantlarda uzamsal filtrelenmiş olur. İkinci CSP katmanı ise ilk katmandan gelen uzamsal filtrelenmiş işaretleri alarak en önemli işaretleri ortaya çıkartmaya çalışır. Bu nedenle ikinci katman bir nevi frekans seçimi yapmaktadır. İki CSP katmanı ise spatio-spektral bir filtre yapısı oluşturmuş olur. Sonuçlar incelendiğinde, yüksek sınıflandırma başarımlarına ulaşılabildiği görülmektedir. Sunulan çalışma "Biyo-medikal ve biyo informatik alanlarında bilgi teknolojileri" (ITBAM 2016) isimli konferansta sunulmak üzere kabul almıştır. Çalışma "Bilgisayar bilimlerinde konferans notları" (LNCS) isimli dergide yayınlanacaktır. Sonuçlar kısmında, kullanılan veri kaynaklarından bahsedilmiş, veri kümelerinin özelliklerinden bahsedilmiştir. Daha sonra, sonuçların elde edilmesine yönelik bir çerçeve sunulmuş ve yapılacak değerlendirmeler anlatılmıştır. Ayrıca sonuçlar elde edilirken kullanılan metotlara ilişkin bütün parametre ayarlamaları detaylıca sunulmuştur. Sonuçlar kısmında hem sayısal hem de görsel sonuçlar karşılaştırmalı olarak verilmiştir. Sonuçlar incelendiğinde, önerilen metotların başarılı sonuçlar elde ettiği görülmüştür. Literatürdeki diğer metotlara ilişkin sonuçlar ile değerlendirildiğinde, önerilmiş metotlardan elde edilen sınıflandırma performansları ümit vericidir. Önerilen metotların çalışılan veri kümelerinde performansı yukarı çektiği görülmektedir. Sayısal performans değerlendirmesinin yanında ayrıca, önerilen metotların motor hareket hayali fizyolojisi ile uygunluğu elde edilen uzamsal ve spektral filtrelerin analiz edilmesi ile gözlemlenmiştir. Bütün bu sonuçlar önerilen metotların etkili ve başarılı olduğunu göstermektedir.Brain computer interfacing (BCI) is an emerging topic which is applied to several areas from gaming equipment to health assistive devices. BCI technology aims establishing a direct communication pathway between the user's brain and any electronic device. Motor imagery is a BCI methodology in which the user's imagining of moving a limb is detected without any actual physical movement. Among different BCI techniques, motor imagery is the most popular BCI methodology because of its practicality and being an independent BCI method. Generally, electroencephalogram (EEG) is used for acquiring motor imagery signals since it is a practical, cheap, fast and non-invasive technique for analyzing brain signals. However, classification of motor imagery signals is a challenging topic. Poor spatial resolution of EEG signal makes it difficult to clearly extract motor imagery signals directly. Poor spatial resolution causes motor imagery signals to be mixed up with the signals from the signal sources in the brain which are much stronger. In this study, novel methods for classification of motor imagery signals were developed. For this purpose, existing methods and proposed methods were presented and their classification performances were analyzed. In this thesis, firstly, BCI concept and main BCI methodologies were presented. Motor imagery paradigm and physiological sources and main properties of motor imagery signals were described. Then, an extensive literature review about classification of motor imagery signals was exhibited. Next, the state of art method in the motor imagery classification called common spatial patterns (CSP) method was analyzed and then, regularized CSP methods which addresses some drawbacks of CSP were described. Next, the first contribution of this thesis, task related & spatially regularized CSP method was presented as a regularized CSP algorithm. After that, the second contribution of this thesis, a spatial filtering and classification structure named spatial filter network (SFN) method was presented. After presenting the spatial filtering algorithms, spectral and spatial filtering methodologies were presented. In this manner, a spatio-spectral filtering method called filter bank common spatio-spectral patterns (FBCSSP) method was proposed. Before running the proposed methods, datasets used in the study were introduced. Then, selected configurations of the methods were described. Obtained results of the proposed methods of this study are promising. Their performance evaluations were reported along with important methods from the literature. Developed methods increased the classification performance of the given datasets. Also the physiological suitability of the proposed methods was demonstrated by analyzing obtained spatial and spectral filters. Results showed the effectiveness of the proposed methods.DoktoraPh