Yerel Voksel Ağları Ile Beyin Verisi Üzerinden Bilişsel Süreçlerin Modellenmesi Ve Otomatik Olarak Tanınması

TÜBİTAK EEEAG Proje01.10.2015Yapay zeka konusunda çalışan araştırmacılar, insan zekasınından esinlenerek, insan zekasına benzeyen yapay sistemleri geliştirmeye çalışmaktadır. Temel amaç insan gibi düşünen, insan gibi öğrenen ve problem çözebilen makinalar yapabilmektir. Bu sistemlerle ilgili yazılım ve donanımları geliştirebilmek üzere birçok matematiksel yöntem ve algoritmalar geliştirilmiştir. Bu yöntemler sayesinde nesneleri algılama, tanıma, sınıflama ve öğrenme gibi önemli bilişsel süreçlerin matematiksel modelleri oluşturulmuştur. Bu projede, yapay zeka algoritmaları için geliştirilen yöntemleri kullanarak, bilişsel süreçleri (örneğin bellek, öğrenme, duygulanım) modelledik. Diğer bir deyişle, bugüne kadar insan zekasını taklit ederek geliştirdiğimiz yapay zeka yöntemlerini tersinir bir mühendislikle geri çevirerek doğal zekayı modellemek üzere kullandık. Modellerimizi bilişsel süreçler sırasında kaydededilen fonksiyonel Manyetik Resonans Görüntüleri (fMRG) kullanarak oluşturduk. Bunun için, bir dizi bilişsel deney tasarladık ve bu deneyleri denekler üzerinde uygularken fMRG sinyallerini kaydettik. Böylece, elde ettiğimiz etiketli öğrenme verilerini geliştirdiğimiz makine öğrenme algoritmalarını eğitmek için kullandık. Projenin en önemli çıktılarından birisi de oluşturulan modellerin ve elde edilen fMRG verilerinin, web tabanlı bir ortamda tüm araştırmacıların hizmetine açılmasıdır. Böylece oluşturulduğumuz metodoloji ve programları nörobilimciler veri analizinde kullanabilecekler ve kendi fMRG verilerini de modelleyebileceklerdir. Proje kapsamında geliştirdiğimiz matematiksel beyin modeline Yerel Voksel Ağları (YVA) adını verdik. İnsan-bilgisayar etkileşimi teknolojileri için bilimsel bir altyapı oluşturma potansiyeline sahip olan bu model, iki farklı veri seti üzerinde gerçekleştirilen deneylerde, literatürde yoğun olarak kullanılan diğer Çoklu Voksel Örüntü Analizi (ÇVÖA) yöntemlerine göre daha başarılı sonuçlar ortaya koyduğu anlaşılmıştır. Yerel Voksel Ağları yöntemi, fMRG sinyalllerinin en küçük birimi olan voksellerden elde edilen zaman serileri arasındaki ilişkiyi doğrusal denklemlerle modellemektedir. İnsan beyninde, birbirine yakın nöronların benzer aktiviteler gösterdiği bilinmektedir. Bu yerel benzerlik, birbirine yakın vokseller arasındaki ilişkinin doğrusal olduğunu göstermektedir. Bazen de birbirinden uzak vokseller de beyindeki direk yollar aracılığı ile benzer aktivasyonlara sahip olabilmektedir. Bu tür vokseller yerel olarak değil de fonksiyonel olarak birbirine komşu kabul edilebilir. Geliştirmiş olduğumuz bu yeni komşuluk sistemine fonksiyonel komşuluk adını verdik. Ve vokseller arasındaki doğrusal ilişkiyi, “Fonksiyonel Komşuluk” adını verdiğimiz bu ölçütü kullanarak modelledik. YVA modelinin, FMRG sinyallerinden gelen ham özniteliklere göre, bilişsel süreçleri etiketleme konusunda daha başarılı olduğunu deneysel olarak gösterdik. Proje kapsamında öncelikle fMRG verisi toplamak üzere bir dizi deney tasarladık ve bu deneyleri Bilkent Üniversitesi UMRAM merkezinde gerçekleştirdik. Bunun için insan beyninin bilgileri nasıl depolandığını ve nesneleri nasıl tanıdığını anlamak üzere 3 değişik deney yaptık. Bu deneylerde değişik nesnelerin tanındığı etiketli fMRG verileri elde ettik. Daha sonra verileri işleyerek gürültülerden arındırmaya çalıştık ve modelimiz için uygun hale getirdik. Kullandığımız görüntü iyileştirme teknikleri ile, YVA yönteminde elde edilen etiketleme performansını arttırdık. YVA yöntemi sonucunda elde edilen beyin ağını kullanılarak birçok öznitelik oluşturulabilir. Biz bu çalışmada YVA’ dan elde ettiğimiz kenar ağırlıklarını öznitelik olarak kullanarak Yapay Sinir Ağları, Destek Vektör Makinaları ve k-En Yakın komşuluk gibi çeşitli sınıflandırıcıları eğittik. Bunların içinde en başarılı olanları seçerek performansları ölçtük. Yöntemin başarılı sonuçlar vermesi neticesinde, doğrusal ilişki özniteliklerinin çıkarılma adımının hızlandırılması için GPU programlama tekniklerinden faydalandık. Son olarak da ortaya çıkarılan özniteliklerin beyin modeli üzerinde bilim insanlarına sunulması için, proje kapsamında bir kullanıcı ara yüzü geliştirdik. Böylece, oluşturduğumuz beyin ağlarını bilim insanlarının kullanımına sunmayı hedefledik.Researchers are higly inspired from the human brain to develop intelligent algorithms. The main goal of these algorithms is to build a machine which is capable of learning and solving problems as human do. Numerous mathematical models and algorithms have been developed to enhance the software and hardwares of these intelligent systems. Recently, well-established mathematical models have been created for object detection, recognition and classification tasks. In this project, we modeled the cognitive states, e.g. memory, learning, emotion, using methods developed for intelligence systems. In other words, we employed the models in artificial intelligence, which are developed by imitating the human intelligence, to model the human brain itself. The proposed models are based on the functional magnetic resonance imaging data (fMRG) recorded during different cognitive processes. In order to gather these data, we have also designed cognitive experiments and applied them on participants. Therefore, we have used the labeled dataset to train machine learning algorithms suggested in the project. The most important outcome of the project is that all the models and programs are shared with other researchers through the web. Thereby, developed methodologies and programs can be used by other neuroscientists to analyze and model their own data. Our proposed model, called “Local Mesh Model”, has a potential to be a basis for human-computer interaction systems. After the experiments done on two different dataset, it is observed that Local Mesh Model gives better results than heavy-duty MVPA methods used in the literature. “Local Mesh Model” method assumes a linear interactions between the local voxels, which are the smallest unit of fMRG signals. It is known that, locally close voxels have similar time series for the same types of stimuli. The local similarity indicates a linear relation between nearby voxels. It is also known that, some voxels in the brain have similar activation patterns with distant voxels due to the direct links between some groups of neurons. These voxels can be accepted as functional neighbours. We define a new neighborhood system, called functional neighborhood and define functional meshes to model the linear interactions among the voxels in the same functional neighborhood. Experimental results obtained for “Local Mesh Model” established in functional neighborhood is more successful than raw fMRI intensity values to label cognitive states. In the project, we first design a set of cognitive experiments. Then we record the fMRI data in Bilkent University UMRAM research center. Three different experiments are applied to understand how the information is stored and object is recognized in the brain. Labeled fMRG data are obtained while participants discriminating different objects. After the raw data is recorded, image processing techniques are applied to denoise the data and make them proper for our models. Results show us that these techniques help us to improve our labelling performance. Using the brain network obtained by estimating the “Local Mesh Model”, we can define many different features. In this project, we used arc weight of these network as a feature to train Neural Network, Support Vector Machines and k-NN classifiers. We used the most successful classifiers to measure performances of our models. We also improve the speed of model creation using GPU programming techniques. As a final contribution, we developed a user interface to serve our models and features to other researchers. We aim to share created brain network with other researchers