SÜRÜ ZEKASI YÖNTEMLERİYLE AŞIRI ÖĞRENME MAKİNESİ’NİN ÖĞRENME PARAMETRELERİ OPTİMİZASYONU

Abstract

SÜRÜ ZEKASI YÖNTEMLERİYLE AŞIRI ÖĞRENME MAKİNESİ’NİN ÖĞRENME PARAMETRELERİ OPTİMİZASYONUÖzetSinir ağları algoritmalarından olan Aşırı Öğrenme Makinesi (AÖM)’de giriş ağırlığı ve gizli eşik değeri parametrelerinin rastgele seçilmekte ve çıktı katman ağırlıkları analitik olarak hesaplanmaktadır. Bundan dolayı ağın öğrenme işlemi hızlı bir şekilde gerçekleşmektedir. Ayrıca AÖM’nin gradyan temelli algoritmalara göre gizli katmanda ihtiyaç duyduğu nöron sayısı daha fazla olmaktadır. Bu nedenle giriş ağırlıkları ve gizli nöron eşik değerlerinin optimum değerlerinin bulunması AÖM'nin performansına etki etmektedir. Bu çalışmada bu optimum değerlerin belirlenmesinde sürü zekası algoritmalarından Parçacık Sürü Optimizasyonu (PSO) ve Rekabetçi Sürü İyileştirici (RSİ) kullanılmıştır. Optimum giriş ağırlıkları ve gizli eşik değerlerinin belirlenerek çıkış ağırlıkları Moore-Penrose genelleştirilmiş tersiyle analitik olarak hesaplanmıştır. AÖM, RSİ-AÖM ve PSO-AÖM modellerinin çok sınıflı tiroit veri setine uyarlanarak öğrenme parametrelerinin optimizasyonu ile en iyi doğruluk oranları sırasıyla %94.74, %94.86, %95.42 olarak elde edilmiştir. Optimizasyon metotlarının AÖM modellerinin sınıflandırma performansını artırdığı görülmüştür.Anahtar Kelimeler: Aşırı Öğrenme Makinesi (AÖM), Metasezgisel, Parçacık Sürü Optimizasyonu (PSO), Rekabetçi Sürü İyileştirici (RSİ)OPTIMIZATION OF LEARNING PARAMETERS OF EXTREME LEARNING MACHINE WITH SWARM INTELLIGENCE METHODSAbstractIn the Extreme Learning Machine (ELM), which is one of the neural networks algorithms, the input weight and hidden bias value parameters are randomly selected and the output layer weights are calculated analytically. Therefore, the learning process of the network takes place quickly. In addition, the number of neurons needed by the hidden layer is higher than the gradient-based algorithms. Finding optimum values of entry weights and hidden neuron bias values affects the performance of the ELM. In this study, Particle Swarm Optimization (PSO) and Competitive Swarm Optimizer (CSO) were used to determine these optimum values. By determining the optimum input weights and hidden bias values, the output weights were analytically calculated by Moore-Penrose generalized inverse. By adapting the multi-class thyroid data set of ELM, CSO-ELM and PSO-ELM models, the best accuracy rates were obtained as 94.74%, 94.86%, 95.42% respectively. It has been seen that optimization methods increase the classification performance of the ELM models.Keywords: Extreme Learning Machine (ELM), Metaheuristic, Particle Swarm Optimization (PSO), Competitive Swarm Optimizer (CSO