Multi-Objective Simulated Annealing for Hyper-Parameter Optimization in Convolutional Neural Networks

In this study, we model a CNN hyper-parameter optimization problem as a bi-criteria optimization problem, where the first objective being the classification accuracy and the second objective being the computational complexity which is measured in terms of the number of floating point operations. For this bi-criteria optimization problem, we develop a Multi-Objective Simulated Annealing (MOSA) algorithm for obtaining high-quality solutions in terms of both objectives. CIFAR-10 is selected as the benchmark dataset, and the MOSA trade-off fronts obtained for this dataset are compared to the fronts generated by a single-objective Simulated Annealing (SA) algorithm with respect to several front evaluation metrics such as generational distance, spacing and spread. The comparison results suggest that the MOSA algorithm is able to search the objective space more effectively than the SA method. For each of these methods, some front solutions are selected for longer training in order to see their actual performance on the original test set. Again, the results state that the MOSA performs better than the SA under multi-objective setting. The performance of the MOSA configurations are also compared to other search generated and human designed state-of-the-art architectures. It is shown that the network configurations generated by the MOSA are not dominated by those architectures, and the proposed method can be of great use when the computational complexity is as important as the test accuracy

Hyper-Parameter Selection in Convolutional Neural Networks Using Microcanonical Optimization Algorithm

The success of Convolutional Neural Networks is highly dependent on the selected architecture and the hyper-parameters. The need for the automatic design of the networks is especially important for complex architectures where the parameter space is so large that trying all possible combinations is computationally infeasible. In this study, Microcanonical Optimization algorithm which is a variant of Simulated Annealing method is used for hyper-parameter optimization and architecture selection for Convolutional Neural Networks. To the best of our knowledge, our study provides a rst attempt at applying Microcanonical Optimization for this task. The networks generated by the proposed method is compared to the networks generated by Simulated Annealing method in terms of both accuracy and size using six widely-used image recognition datasets. Moreover, a performance comparison using Tree Parzen Estimator which is a Bayesion optimization-based approach is also presented. It is shown that the proposed method is able to achieve competitive classi cation results with the state-of-the-art architectures. When the size of the networks is also taken into account, one can see that the networks generated by Microcanonical Optimization method contain far less parameters than the state-of-the-art architectures. Therefore, the proposed method can be preferred for automatically tuning the networks especially in situations where fast training is as important as the accuracy

Mikrokanonikal Optimizasyon Algoritması ile Konvolüsyonel Sinir Ağlarında Hiper Parametrelerin Optimize Edilmesi

Bilgisayarlı görü çalışmaları, günümüzde en çok ilgi duyulan ve üzerinde çalışma yapılan yapay zeka alanlarından biridir. Bilgisayarların insanlar gibi görüntüleri algılamasını, sınıflandırabilmesini ve yorumlayabilmesini sağlamak amacıyla geliştirilen özel derin öğrenme mimarileri bulunmaktadır. Bunlardan en çok kullanılan ve bu çalışmada da bahsedilecek olan mimari konvolüsyonel sinir ağları mimarisidir. Konvolüsyonel sinir ağları, bilgisayarlı görü çalışmalarında popüler olarak kullanılan ve başarılı sonuçlar elde edilebilen özelleşmiş bir derin öğrenme yöntemidir. Derin öğrenme yöntemleri karşılaşılan problemlerin zorluğu nedeniyle yüksek hesaplama maliyetlerine neden olabilmektedir. Hesaplama maliyetinin düşürülmesi güçlü donanımların kullanılmasına, oluşturulan konvolüsyonel sinir ağı topolojilerindeki toplam parametre sayısının azaltılmasına ve konvolüsyonel sinir ağlarındaki hiper-parametreler için seçilen değerlere bağlıdır. Bu yüzden konvolüsyonel sinir ağlarında hiper-parametre optimizasyonu çalışmaları, ağın başarısını arttırmaya çalışırken, hesaplama maliyetini de düşük tutmaya çalışmaktadırlar. Bu tez çalışmasında ilk olarak daha önce konvolüsyonel sinir ağlarının optimize edilmesi için gerçekleştirilen optimizasyon çalışmaları incelendi. İncelenen çalışmalarda, konvolüsyonel sinir ağlarında hiper-parametrelerin optimizasyonu için sıklıkla üst-sezgisel algoritmaların ve istatistik tabanlı model bazlı algoritmaların kullanıldığı gözlemlendi. Özellikle Genetik Algoritma, Parçacık Sürü Optimizasyonu, Diferansiyel Evrim, Rastgele Arama ve Bayes Optimizasyonu gibi yöntemlerin, incelenen çalışmalarda sıklıkla kullanıldığı gözlemlendi. Bu çalışmalar başarı açısından incelendiklerinde genetik algoritma ve parçacık sürü optimizasyonu yöntemlerinin genel olarak hiper-parametre optimizasyonu gerçekleştirmeyen çalışmalara göre başarılı ve rekabetçi sonuçlar verdiği görüldü. Yapılan tez çalışmasında kullanılacak veri setleri, seçilecek optimizasyon yöntemi, hiper-parametreler ve değer aralıklarının belirlenmesi için incelenen çalışmalarda kullanılan veri setleri, hiper-parametreler ve bu hiper-parametreler için seçilen değer aralıkları göz önünde bulunduruldu. Yapılan çalışmalarda, farklı çalışmaları karşılaştırmak için elimizde parametre sayısı ve hesaplama zamanı bilgileri bulunmadığından sadece doğruluk oranı bilgisi performans karşılaştırması için kullanıldı. Daha önce yapılan bu çalışmalardan farklı olarak bu tez çalışmasında “Mikrokanonikal Optimizasyon” olarak adlandırılan bir yöntem kullanıldı. Seçilen optimizasyon yöntemi kullanılarak farklı boyutlarda konvolüsyonel sinir ağları oluşturuldu ve oluşturulan konvolüsyonel sinir ağlarının hiper-parametreleri optimize edilmeye çalışıldı. Seçilen optimizasyon algoritmasının çalışması sırasında üretilen konvolüsyonel sinir ağları, bilgisayarlı görü çalışmalarında sıklıkla kullanılan MNIST, FashionMNIST, EMNIST (Balanced, Digits, Letters) ve xii CIFAR10 veri setleri üzerinde test edildi. Elde edilen sonuçlar, hiç hiper-parametre optimizasyonu gerçekleştirmeyen ve state-of-the-art olarak adlandırılan çalışmalar ile doğruluk oranı ve parametre sayısı gibi değerler üzerinden karşılaştırıldı. Ek olarak, önerilen sezgisel yöntemin performansı, Bayesçi model tabanlı bir optimizasyon yöntemi olan Tree Parzen Estimator yöntemiyle karşılaştırılmıştır. Elde edilen sonuçlara bakıldığında, Konvolüsyonel sinir ağları için belirlenmesi gereken birçok hiper-parametre olmasına rağmen seyreltme oranı, filtre sayısı, öğrenme oranı ve yığın boyutu gibi hiper-parametrelerin oluşturulan modellerin başarısında önemli bir katkısı olduğu çıkarımına ulaşıldı.Computer vision is probably the most widely studied sub-area of artifical intelligence which has been drawing considerable interest of many researchers for years. There are special deep learning architectures developed to enable computers to perceive, classify and interpret images as humans. Convolutional neural networks are the most popular deep learning methods that can be used successfully in computer vision studies. Deep learning methods may result in high computational costs due to the difficulty of the problems encountered. This computational cost can only be reduce by careful selection of hyperparameters of the convolutional neural networks and the computational time can also be reduce by the use of powerful equipment. Therefore, in the studies that try to optimize hyperparameters in convolutional neural networks, the researchers try to increase the success rate of the network while at the same time try to keep the computational cost as low as possible. In this thesis, firstly a detailed literature review on the studies that perform hyperparameter optimization has been given. It has been observed that heuristic algorithms and statistics model based algorithms are among the most widely used methods for hyper-parameter optimization in convolutional neural networks. In particular, Genetic Algorithms, Particle Swarm Optimization, Differential Evolution, Random Search and Bayes Optimization methods are the most frequently used approaches. When we compare these methods in terms of their success rates, we see that the studies in which genetic algorithms and particle swarm optimization methods are used were able to achieve greater results than the studies that did not perform hyper-parameter optimization in general. In order to determine the optimization method to be used in the study along with the hyper-parameters and their value ranges, we benefited the studies in the literature. Moreover, the datasets used in this study are selected among the most widely used datasets in the literature. Most of the studies in the literature do not provide sufficient information about the number of parameters of the network and the computational time, therefore we took in the account accuracy as the performance measure. In this study, Microcanonical Optimization which is previously known in different areas was but not used in this concepts has been applied fort he hyperparameter optimization of convolutional neural networks. By this method, different network architectures has been created and the hyper-parameters of the network is optimized. The convolutional neural networks generated during the optimization process are trained on the MNIST, FashionMNIST, EMNIST (Balanced, Digits, Letters) and CIFAR10 datasets, which are the most frequently used datasets in computer vision studies. The accuracy results are compared to the state-of-the-art architectures in which no hyper-parameter optimization has been performed. In addition, the performance of proposed heuristic method has been compared to Tree Parzen Estimator method which is a Bayesian model based optimization method. The results suggest that among the many hyperparameters dropout rate, feature map count, learning rate and batch size are among the most important parameters that directly affect the success of the networks

Novel Surrogate Measures Based on a Similarity Network for Neural Architecture Search

We propose two novel surrogate measures to predict the validation accuracy of the classification produced by a given neural architecture, thus eliminating the need to train it, in order to speed up neural architecture search (NAS). The surrogate measures are based on a solution similarity network, where distance between solutions is measured using the binary encoding of some graph sub-components of the neural architectures. These surrogate measures are implemented within local search and differential evolution algorithms and tested on NAS-Bench-101 and NAS-Bench-301 datasets. The results show that the performance of the similarity-network-based predictors, as measured by correlation between predicted and true accuracy values, are comparable to the state-of-the-art predictors in the literature, however they are significantly faster in achieving these high correlation values for NAS-Bench-101. Furthermore, in some cases, the use of these predictors significantly improves the search performance of the equivalent algorithm (differential evolution or local search) that does not use the predictor

A Survey of Hyper-parameter Optimization Methods in Convolutional Neural Networks

Konvolüsyonel Sinir Ağları (KSA), katmanlarının en az bir tanesinde matris çarpımı yerine konvolüsyon işleminin kullanıldığı çok katmanlı yapay sinir ağlarının bir türüdür. Özellikle bilgisayarlı görü çalışmalarında çok başarılı sonuçlar elde edilse de KSA hala birçok zorluk içermektedir. Daha başarılı sonuçlar elde etmek için geliştirilen mimarilerin giderek daha derinleşmesi ve kullanılan görüntülerin giderek daha yüksek kalitede olmasıyla daha fazla hesaplama maliyetleri ortaya çıkmaktadır. Hem bu hesaplama maliyetlerinin düşürülmesi, hem de başarılı sonuçlar elde edilebilmesi, güçlü donanımların kullanılmasına ve kurulan ağın hiper-parametrelerin optimize edilmesine bağlıdır. Bu çalışmada, Genetik Algoritma, Parçacık Sürü Optimizasyonu, Diferansiyel Evrim ve Bayes Optimizasyonu gibi yöntemler ile KSA optimizasyonu gerçekleştirilen çalışmalar incelendi. Bu çalışmalarda optimize edilen hiper-parametreler, tanımlanan değer aralıkları ve elde edilen sonuçlar incelendi. Buna göre, KSA’ nın performansında en etkili hiper-parametrelerin filtre sayısı, filtre boyutu, katman sayısı, seyreltme oranı, öğrenme oranı ve yığın boyutu olduğu görülmüştür. Aynı veri kümelerinin kullanıldığı çalışmalar, elde edilen doğruluk değerleri açısından karşılaştırıldığında çoğu veri kümesi için en iyi doğruluk oranlarının popülasyon tabanlı yöntemlerden Genetik Algoritma ve Parçacık Sürü Optimizasyonu kullanılan çalışmalarda elde edildiği görülmüştür. Bu üst-sezgiseller ile elde edilen modellerin performanslarının “state of the art” modellerle yarışabilir durumda hatta bazen daha iyi oldukları görülmüştür. Yine üst-sezgisel kullanılan bazı çalışmalarda üretilen modellerin aşırı büyümesi engellenmiş; basit ve kolay eğitilebilir modeller üretilmiştir. Hesaplama maliyeti açısından çok avantajlı bu basit modeller ile literatürdeki karmaşık modellere çok yakın sonuçlar elde edilebilmiştir.Convolutional neural networks (CNN) are special types of multi-layer artificial neural networks in which convolution method is used instead of matrix multiplication in at least one of its layers. Although satisfactory results have been achieved by CNN especially in computer vision studies, they still have some difficulties. As the proposed network architectures become deeper with the aim of much better accuracy and the resolution of the input images increases, this results in a need for more computational power. Reducing the computational cost while at the same time still having high accuracy rates depend on the use of powerful equipments and the selection of hyper-parameter values in CNN. In this study, we examined methods like Genetic Algorithms, Particle Swarm Optimization, Differential Evolution and Bayes Optimization that has been used extensively to optimize CNN hyper-parameters, and also listed the hyper-parameters selected to be optimized in those studies, ranges of those parameter values and the results obtained by each of those studies. These studies reveal that the number of layers, number and size of the kernels at each layer, learning rate and the batch size parameters are among the hyper-parameters that affect the performance of the CNNs the most. When the studies that use the same datasets are compared in terms of accuracy, Genetic Algorithms and Particle Swarm Optimization which are both population-based methods achieve the best results for the majority of the datasets. It is also shown that the performance of the models found in these studies are competitive or sometimes better than those of the “state of the art” models. In addition, the CNNs produced in these studies are prevented from being overgrown by imposing limits on the hiper-parameter values. Thus simpler and easier to train models have been obtained. These computationally advantageous simpler models were able to achieve competitive results compared to complicated models

Evrimsel Algoritmalar ve Uygulamaları

Bu çalışmada, iki boyutlu yerleştirme probleminin gazetelerin seri ilanlar bölümüne uygulanması anlatılmaktadır. Gazetelerin seri ilan sayfaları birden fazla ilan içermektedir. Bu ilanların sayfa içerisine en az fire ile yerleştirilmesi ve yerleştirilen ilanlardan maksimum kar elde etmek temel amaçtır. Probleme yönelik çözümler üretmek için bu çalışmada 3 farklı algoritma kullanılmıştır. Genetik algoritma (Genetic Algorithm) , Parçacık Sürü Optimizasyonu (Particle Swarm Optimization) ve Benzetilmiş Tavlama (Simulated Annealing) gibi üç farklı yaklaşım problemin çözümünde kullanılmış ve sonuçlar çalışma içerisinde tablo halinde verilmiştir. Sonuçlara bakıldığında bu üç farklı yaklaşımın birbirine benzer sonuçlar verdiği ve bu problem için iyi birer alternatif oldukları görülmektedir

Yapay Sinir Ağları, Kelime Vektörleri ve Derin Öğrenme Uygulamaları

Bu çalışmada, yapay sinir ağları, kelime vektörleri ve derin öğrenme uygulamaları hakkında yapılan çalışmalardan bahsedilmiştir. Bu çalışmalarda kullanılan kütüphaneler, metodolojiler ve veri setleri açıklanmıştır. Yapay sinir ağları kullanılarak yapılan veri sınıflandırma örnekleri, yazar tanıma sistemi, kelime vektörleri kullanılarak verilen metin içerisinde geçen kelimelerin birbirleri ile olan ilişkilerinin görselleştirilmesi ve türkçe metinlerin anlam analizinin gerçekleştirilmesi çalışmaları anlatılmıştır. Yapılan farklı çalışmaların sonuçları, parametre analizi ve kaynak kodları makale içerisinde ve ekler kısmına konumlandırılmış bir şekilde paylaşılmıştır

Removal of Gaussian Distributed Noise in Images with Deep Neural Network Models

Mikroskobik görüntülemede çevresel faktörler dolayısıyla elde edilen görüntülerde olu¸san gürültülerin giderilmesi, tıbbi görüntüleme alanında önemli bir ara¸stırma konusu haline gelmi¸stir. Herhangi bir dijital mikroskopi yöntemiyle (Konfokal, Floresan vb.) yapılan tıbbi görüntüleme a¸samasında, a¸sırı veya dü¸sük aydınlatma, yüksek veya dü¸sük sıcaklık veya elektronik devre ekipmanlarından kaynaklanan faktörler nedeniyle elde edilen görüntüye istenmeyen gürültüler eklenir. Bahsedilen bu çevresel faktörlerden dolayı olu¸san en temel gürültü modeli Gauss normal dagılım yada bu da ˘ gılıma yakın karakteristikte ˘ bir fonksiyondur. Sayısal görüntü i¸slemede Gauss gürültüsünün giderilmesi için uzamsal (ing: spatial) filtrelerin (örn: mean, median, gaussian smooting) uygulandıgı yaygın olarak bilinmektedir. ˘ Ancak, görüntülerdeki gürültüyü düzeltmek için uzamsal filtreler kullanıldıgında elde edilen görüntülerde istenmeyen sonuçlar olu- ˘ ¸sabilmektedir. Özellikle uzamsal filtreler uygulanan görüntülerde yüksek frekanslar bastırıldıgı için nihai görüntüde detaylar kay- ˘ bolmakta ve bulanıkla¸smı¸s bir görüntü elde edilmektedir. Yapılan çalı¸smada, bu sebepler nedeniyle görüntülerdeki gürültülerin giderilmesi ve PSNR degerlerinin artırılması için dört farklı ˘ evri¸simsel sinir agı modeli kullanılmı¸stır. Sonuç olarak, önerilen ˘ geli¸stirilmi¸s U-Net modelinin farklı gürültü seviyeleri için PSNR degerlerini ¸su ¸sekilde iyile¸stirildi ˘ gi görülmü¸stür: +6.23, +7.88 ve ˘ +10.52 dBThe removal of noise caused by environmental factors in microscopic imaging studies has become an important research topic in the field of medical imaging. In the medical imaging stage made with any digital microscopy method (Confocal, Fluorescence, etc.), undesirable noises are added to the image obtained due to factors stemming from excessive or low illumination, high or low temperature, or electronic circuit equipment. The most basic noise model formed due to these environmental factors mentioned is the Gaussian normal distribution or a characteristic function close to this distribution. It is widely known that spatial filters (mean, median, Gaussian smoothing) are applied to eliminate Gaussian noise in digital image processing. However, undesirable results may occur in the images obtained when spatial filters are used to remove the noise in the images. In particular, because high frequencies are suppressed in images where spatial filters are applied, details are lost in the final image, and a blurred image is obtained. For this reason, four different convolutional neural network-based models are used for noise removal and to improve the PSNR values in this study. As a result, the modified U-Net improved the PSNR values for different noise levels as follows: +6.23, +7.88 and +10.52 d

BaDENAS: Bayesian Based Neural Architecture Search for Retinal Vessel Segmentation

Retinal damar segmentasyonu, retinal görüntülerin analizi için önemli bir görevdir ve göz hastalıklarının teşhisinde ve tedavisinde kullanılan etkili bir araçtır. Damar segmentasyonunu otomatik hale getiren U-Net gibi derin ögrenme yöntemleri ˘ bu alanda güzel sonuçlar verse de optimize edilmesi gereken birçok hiper-parametreye sahiptir. Bu hiper-parametrelerin optimizasyonu için sinir mimarisi arama işlemi yaygın olarak kullanılmaktadır. Önerilen çalışmada, BANANAS ve Diferansiyel Gelişim yöntemlerinin avantajları birleştirilerek U-¸seklindeki ağlar için yeni bir sinir mimarisi arama yöntemi önerilmiştir: BaDENAS. Çeşitli sinir mimarisi arama çalışmaları ile yapılan karşılaştırmalar sonucunda BaDENAS’ın yakınsama, segmentasyon performansı ve model karmaşıklığı açısından sonuçları iyileştirdiği görülmektedir. Aynı zamanda, önerilen yöntemin en az karmaşıklığa sahip modeli ürettiği ve diğer sinir mimarisi ˘ arama yöntemlerinden 152 kata kadar daha az parametreye sahip model ile yüksek rekabetçi sonuçlar elde edebildiği görülmektedir.Retinal vessel segmentation is an important task for analyzing retinal images and is an effective tool used in diagnosing and treating eye diseases. Although deep learning methods like U-Net that automate vessel segmentation have shown promising results in this field, they have many hyper-parameters that need to be optimized. Neural architecture search (NAS) is commonly used to optimize these hyper-parameters. This study proposes a new neural architecture search method for U-shaped networks by combining the advantages of BANANAS and the Differential Evolution (DE) algorithm: BaDENAS. Comparisons made with various neural architecture search studies show that BaDENAS improves convergence, segmentation performance, and model complexity results. Additionally, the proposed method produces the least complex model and achieves highly competitive results, with a model having up to 152 times fewer parameters than other neural architecture search methods

Evolutionary Architecture Optimization for Retinal Vessel Segmentation

Retinal vessel segmentation (RVS) is crucial in medical image analysis as it helps identify and monitor retinal diseases. Deep learning approaches have shown promising results for RVS, but designing optimal neural network architecture is challenging and time-consuming. Neural architecture search (NAS) is a recent technique that automates the design of neural network architectures within a predefined search space. This study proposes a new NAS method for U-shaped networks, MedUNAS, that discovers deep neural networks with high segmentation performance and lower inference time for RVS problem. We perform opposition-based differential evolution (ODE) and genetic algorithm (GA) to search for the best network structure and compare discrete and continuous encoding strategies on the proposed search space. To the best of our knowledge, this is the first NAS study that performs ODE for RVS problems. The results show that the MedUNAS ODE and GA yield the best and second-best results regarding segmentation performance with less than 50% of the parameters of U-shaped state-of-the-art methods on most of the compared datasets. In addition, the proposed methods outperform the baseline U-Net on four datasets with networks with up to 15 times fewer parameters. Furthermore, ablation studies are performed to evaluate the generalizability of the generated networks to medical image segmentation problems that differ from the trained domain, revealing that such networks can be effectively adapted to new tasks with fine-tuning. The MedUNAS can be a valuable tool for automated and efficient RVS in clinical practice