Bio-inspired computation: where we stand and what's next

In recent years, the research community has witnessed an explosion of literature dealing with the adaptation of behavioral patterns and social phenomena observed in nature towards efficiently solving complex computational tasks. This trend has been especially dramatic in what relates to optimization problems, mainly due to the unprecedented complexity of problem instances, arising from a diverse spectrum of domains such as transportation, logistics, energy, climate, social networks, health and industry 4.0, among many others. Notwithstanding this upsurge of activity, research in this vibrant topic should be steered towards certain areas that, despite their eventual value and impact on the field of bio-inspired computation, still remain insufficiently explored to date. The main purpose of this paper is to outline the state of the art and to identify open challenges concerning the most relevant areas within bio-inspired optimization. An analysis and discussion are also carried out over the general trajectory followed in recent years by the community working in this field, thereby highlighting the need for reaching a consensus and joining forces towards achieving valuable insights into the understanding of this family of optimization techniques

Bio-inspired computation: where we stand and what's next

In recent years, the research community has witnessed an explosion of literature dealing with the adaptation of behavioral patterns and social phenomena observed in nature towards efficiently solving complex computational tasks. This trend has been especially dramatic in what relates to optimization problems, mainly due to the unprecedented complexity of problem instances, arising from a diverse spectrum of domains such as transportation, logistics, energy, climate, social networks, health and industry 4.0, among many others. Notwithstanding this upsurge of activity, research in this vibrant topic should be steered towards certain areas that, despite their eventual value and impact on the field of bio-inspired computation, still remain insufficiently explored to date. The main purpose of this paper is to outline the state of the art and to identify open challenges concerning the most relevant areas within bio-inspired optimization. An analysis and discussion are also carried out over the general trajectory followed in recent years by the community working in this field, thereby highlighting the need for reaching a consensus and joining forces towards achieving valuable insights into the understanding of this family of optimization techniques

Metaheuristic design of feedforward neural networks: a review of two decades of research

Over the past two decades, the feedforward neural network (FNN) optimization has been a key interest among the researchers and practitioners of multiple disciplines. The FNN optimization is often viewed from the various perspectives: the optimization of weights, network architecture, activation nodes, learning parameters, learning environment, etc. Researchers adopted such different viewpoints mainly to improve the FNN's generalization ability. The gradient-descent algorithm such as backpropagation has been widely applied to optimize the FNNs. Its success is evident from the FNN's application to numerous real-world problems. However, due to the limitations of the gradient-based optimization methods, the metaheuristic algorithms including the evolutionary algorithms, swarm intelligence, etc., are still being widely explored by the researchers aiming to obtain generalized FNN for a given problem. This article attempts to summarize a broad spectrum of FNN optimization methodologies including conventional and metaheuristic approaches. This article also tries to connect various research directions emerged out of the FNN optimization practices, such as evolving neural network (NN), cooperative coevolution NN, complex-valued NN, deep learning, extreme learning machine, quantum NN, etc. Additionally, it provides interesting research challenges for future research to cope-up with the present information processing era

Learning Models for Discrete Optimization

We consider a class of optimization approaches that incorporate machine learning models into the algorithm structure. Our focus is on the algorithms that can learn the patterns in the search space in order to boost computational performance. The idea is to design optimization techniques that allow for computationally efficient tuning a priori. The final objective of this work is to provide efficient solvers that can be tuned for optimal performance in serial and parallel environments.This dissertation provides a novel machine learning model based on logistic regression and describes an implementation for scheduling problems. We incorporate the proposed learning model into a well-known optimization algorithm, tabu search, and demonstrate the potential of the underlying ideas. The dissertation also establishes a new framework for comparing optimization algorithms. This framework provides a comparison of algorithms that is statistically meaningful and intuitive. Using this framework, we demonstrate that the inclusion of the logistic regression model into the tabu search method provides significant boost of its performance. Finally, we study the parallel implementation of the algorithm and evaluate the algorithm performance when more connections between threads exist

Survivable virtual topology design in optical WDM networks using nature-inspired algorithms

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Bilişim Enstitüsü, 2012Thesis (PhD) -- İstanbul Technical University, Institute of Informatics, 2012Günümüzde bilgisayar ağları hayatımızın önemli bir parçası ve ihtiyaç haline gelmiştir. İstediğimiz veriye, istediğimiz anda, daha hızlı, daha güvenli ve kesintisiz olarak erişme isteğimiz aslında ağ altyapısının nasıl tasarlanacağını belirlemektedir. Kullanıcıların istekleri sürekli artarken, teknolojik gelişmelerle birlikte yeni yöntem ve algoritmalarla bu istekleri karşılamanın yolları aranmaktadır. Ağdaki aktarım hızı, aktarım ortamından doğrudan etkilenmektedir; bugün uzak mesafelere en yüksek kapasiteli ve hızlı aktarımın yapılabileceği ortam ise fiberdir. Fiber optik ağlar, fiberin üstün özelliklerini (hız, düşük bit hata oranı, elektromanyetik ortamlardan etkilenmeme, düşük işaret zayıflaması, fiziksel dayanıklılık, ucuzluk, güvenlilik, vs.) en iyi kullanacak şekilde tasarlanan ağlardır. Günümüzde dünyadaki iletişim ağ altyapısı, omurga ağlardan erişim ağlarına kadar, hızla fiber optik ağlara dönüşmektedir. Optik ağların en önemli özelliklerinden biri veri aktarım hızıdır, tek bir fiberden teorik olarak 50 Tb/s veri aktarımı yapılabileceği hesaplanmaktadır. Bugün, lider iletişim firmaları 100 Gb/s ya da 1 Tb/s hızda veri aktarımı yapacak kanalllardan bahsedebiliyorsa, bu, fiziksel altyapı optik bir omurgadan oluştuğu içindir. Dalgaboyu bölmeli çoğullama (WDM) teknolojisi sayesinde bir fiber üzerinde aynı anda kurulabilecek kanal sayısı, günümüz teknolojisiyle yüzler mertebesine çıkabilmektedir. Dalgaboyu bölmeli çoğullama teknolojisi ile, optik aktarım birbiriyle çakışmayan dalgaboyu bantlarına bölünür ve her bir dalgaboyu istenen hızda çalışan, ışıkyolu olarak adlandırılan, bir iletişim kanalını destekler. Böylece, yakın gelecek için öngörülen çok yüksek hızlara çıkmadan bile, bir fiberden herbiri birkaç on Gb/s hızda çalışan yüz dolayında ışıkyolu geçebilmektedir. Bu kadar yüksek hızlarda veri aktarımı, özellikle her bir fiberinde çok sayıda kanalın taşındığı omurga ağlarda bir konuya büyük önem kazandırmaktadır: Hataya bağışıklık. En sık rastlanan hata olan, bir fiberin, herhangi bir nedenle kesilmesi (çoğunlukla inşaat makineleri tarafından, ya da doğal afetlerce), fiber tamir edilene kadar, her saniyede birkaç terabitlik veri kaybı anlamına gelecektir. Örnek olarak 10 km uzunlukta bir fiberin kopma sıklığı 11 yılda birdir. Omurga ağlarda yüzlerce, bazen binlerce, kilometrelik fiberler döşendiği gözönüne alındığında, böyle bir hata durumu için tedbir alınmaması düşünülemez. Optik ağ üzerindeki herhangi bir fibere zarar gelmesi demek bu fiber üzerinden yönlendirilmiş olan tüm ışıkyollarının kopması demektir. Her bir ışıkyolu üzerinden yüksek miktarda (40 Gb/s) veri aktarımı yapıldığından, böyle bir zarar ciddi veri kayıplarına neden olabilir. Temel olarak fiber kopmasına karşı geliştirilen iki yaklaşım vardır. Birinci yaklaşımda fiber üzerinden geçen her bir bağlantının, yani ışıkyolunun, yedek yollarla korunmasıdır. İkinci yaklaşım ise, özellikle birçok internet uygulamasına da uygun ve yeterli olacak şekilde, ışıkyollarının oluşturduğu sanal topolojinin bağlı kalmasının sağlanmasıdır. Bu ikinci yaklaşımda herbir ışıkyoluna ayrı ayrı yedek koruma yollarının atanması yerine, sanal topolojinin korunması dikkate alınarak, üst katmanların (paket katmanları) koruma mekanizmalarının devreye girebilmesi için gereken minimum koşulların sağlanması amaçlanmaktadır. Birinci yaklaşım belirli düzeylerde garantili bir koruma sağlarken yüksek miktarda ağ kaynağının atıl durmasına neden olmakta, dolayısıyla bu kadar üst düzey koruma gerektirmeyen uygulamalar için pahalı bir çözüm sunmaktadır. Son yıllarda özellikle dikkat çeken ikinci yaklaşım ise, daha ekonomik bir yöntemle iletişimin kopmaması garantisini vermekte, ancak daha yavaş bir düzeltme sağlamaktadır. Günümüzde birçok uygulama bağlantı kopmadığı sürece paket katmanının, yeni yol bulma gibi hata düzeltme mekanizmalarının devreye girmesi için gerekli olan, dakikalar mertebesindeki gecikmelere toleranslıdır (web dolaşımı, dosya aktarımı, mesajlaşma, uzaktan erişim gibi). Bu yaklaşım ilkine göre daha az ağ kaynağının atıl kalmasına neden olarak kullanıcıya daha ekonomik hizmet verilmesini sağlayacaktır. Bu çalışmada üzerinde durduğumuz hataya bağışık sanal topoloji tasarımı problemi de bu ikinci yaklaşımı benimsemektedir. Hataya bağışık sanal topoloji tasarımı problemi kendi içinde dört alt probleme ayrılmaktadır: ışıkyollarının belirlenmesi (sanal topolojiyi oluşturma), bu ışıkyollarının herhangi bir fiber kopması durumunda bile sanal topolojinin bağlı kalmasını sağlayacak sekilde fiziksel topoloji üzerinde yönlendirilmesi, dalgaboyu atanması, ve paket trafiğinin yönlendirilmesi. Bu alt problemler ayrı ayrı çözülebilir. Ancak, bunlar bağımsız problemler değildir ve bunları tek tek çözmek elde edilen çözümün kalitesinin çok düşük olmasına neden olabilir. Bununla birlikte, hataya bağışık sanal topoloji tasarımı problemi NP-karmaşıktır. Karmaşıklığı nedeniyle bu problemin, gerçek boyutlu ağlar için, klasik optimizasyon teknikleriyle kabul edilebilir zamanda çözülmesi mümkün değildir. Bu çalışmada, fiziksel topolojinin ve düğümler arası paket trafiği yoğunluğunun bilindiği durumlar için, hataya bağışık sanal topoloji tasarımı problemi bütün halinde ele alınmaktadır. Tezin ilk aşamasında, hataya bağışık sanal topoloji tasarımı probleminin alt problemi olan hataya bağışık sanal topoloji yönlendirmesi problemi ele alınmıştır. Verilen bir sanal topoloji için en az kaynak kullanarak hataya bağışık yönlendirme yapmak için iki farklı doğa-esinli algoritma önerilmektedir: evrimsel algoritmalar ve karınca kolonisi optimizasyonu. Öncelikle önerilen algoritmaların problem için uygun parametre kümesi belirlenmiş, daha sonra, algoritmaların başarımını ölçmek için, deneysel sonuçlar tamsayı doğrusal programlama (ILP) ile elde edilen sonuçlarla karşılaştırılmışır. Sonuçlar göstermektedir ki; önerdiğimiz iki algoritma da, tamsayı doğrusal programlama ile uygun bir çözüm bulunamayan büyük ölçekli ağlar için dahi, problemi çözebilmektedir. Bunun yanında, doğa-esinli algoritmalar çok daha az CPU zamanı ve hafıza kullanmaktadır. Elde edilen çözüm kalitesi ve çözüm için kullanılan CPU zamanının kabul edilebilir düzeyde olması, her iki doğa-esinli algoritmanın da gerçek boyutlu ağlar için kullanılabileceğini doğrulamaktadır. İkinci aşamada, hataya bağışık sanal topoloji tasarımı problemini bir bütün halinde çözmek için dört farklı üst-sezgisel yöntem önerilmektedir. Önerilen üst-sezgisel yöntemler alt seviyedeki sezgiselleri seçme asamasında dört farklı yöntem kullanmaktadır: evrimsel algoritmalar, benzetimli tavlama, karınca kolonisi optimizasyonu ve uyarlamalı yinelenen yapıcı arama. Deneysel sonuçlar tüm üst-sezgisel yöntemlerin hataya bağışık sanal topoloji tasarımı problemini çözmede başarılı olduğunu göstermektedir. Ancak, karınca kolonisi optimizasyonu tabanlı üst-sezgisel diğerlerine göre daha üstün sonuçlar vermektedir. Işıkyolları üzerindeki trafik akışını dengelemek için, karınca kolonisi optimizasyonu tabanlı üst-sezgisele akış deviasyonu yöntemi de eklenmiştir. Literatürde hataya bağışık sanal topoloji tasarımı problemini ele alan tüm çalışmalar çift fiber kopması durumunu gözardı etmektedir. Bu çalışmada, önerdiğimiz üst-sezgisel yöntemin başarımını hem tek hem de çift fiber kopması durumları için değerlendirdik. Önerdiğimiz yöntem çoklu fiber kopması durumları için çok kolay şekilde adapte edilebilmektedir. Tek yapılması gereken hataya bağışıklık kontrolünü yapan yordamın değiştirilmesidir. Deneysel sonuçlar göstermiştir ki, önerdiğimiz karınca kolonisi optimizasyonu tabanlı üst-sezgisel hataya bağışık sanal topoloji tasarımı problemini hem tek hem de çift fiber kopması durumları için kabul edilebilir bir sürede çözebilmektedir. Üst-sezgisel yöntemlerin hataya bağışık sanal topoloji tasarımı çözmedeki başarımını değerlendirebilmek amacıyla, karınca kolonisi optimizasyonu tabanlı üst-sezgiselle elde edilen sonuçlar, literatürde bu problem için önerilmiş başka bir yöntemle karşılaştırılmıştır. Sonuçlar üst-sezgisel yöntemlerin, çok daha az CPU zamanı kullanarak, problem için daha kaliteli çözümler verdiğini göstermektedir.Today, computer networking has become an integral part of our daily life. The steady increase in user demands of high speed and high bandwidth networks causes researchers to seek out new methods and algorithms to meet these demands. The transmission speed in the network is directly affected by the transmission medium. The most effective medium to transmit data is the fiber. Optical networks are designed for the best usage of the superior properties of the fiber, e.g. high speed, high bandwidth, low bit error rate, low attenuation, physical strength, cheapness, etc. The world's communication network infrastructure, from backbone networks to access networks, is consistently turning into optical networks. One of the most important properties of the optical networks is the data transmission rate (up to 50 Tb/s on a single fiber). Today, with the help of the wavelength division multiplexing (WDM) technology, hundreds of channels can be built on a single fiber. WDM is a technology in which the optical transmission is split into a number of non-overlapping wavelength bands, with each wavelength supporting a single communication channel operating at the desired rate. Since multiple WDM channels, also called lightpaths, can coexist on a single fiber, the huge fiber bandwidth can be utilized. Any damage to a physical link (fiber) on the network causes all the lightpaths routed through this link to be broken. Since huge data transmission (40 Gb/s) over each of these lightpaths is possible, such a damage results in a serious amount of data loss. Two different approaches can be used in order to avoid this situation: 1. Survivability on the physical layer, 2. Survivability on the virtual layer. The first approach is the problem of designing a backup link/path for each link/path of the optical layer. The second approach is the problem of designing the optical layer such that the optical layer remains connected in the event of a single or multiple link failure. While the first approach provides faster protection for time-critical applications (such as, IP phone, telemedicine) by reserving more resources, the second approach, i.e. the survivable virtual topology design, which has attracted a lot of attention in recent years, aims to protect connections using less resources. The problem that will be studied in this project is to develop methods for survivable virtual topology design, that enables effective usage of the resources. Survivable virtual topology design consists of four subproblems: determining a set of lightpaths (forming the virtual topology), routing these lightpaths on the physical topology (routing and wavelength assignment (RWA) problem), so that any single fiber cut does not disconnect the virtual topology (survivable virtual topology mapping), assigning wavelengths, and routing the packet traffic. Each of these subproblems can be solved separately. However, they are not independent problems and solving them one by one may degrade the quality of the final result considerably. Furthermore, the survivable virtual topology design is known to be NP-complete. Because of its complexity, it is not possible to solve the problem optimally in an acceptable amount of time using classical optimization techniques, for real-life sized networks. In this thesis, we solve the survivable virtual topology design problem as a whole, where the physical topology and the packet traffic intensities between nodes are given. In the first phase, we propose two different nature inspired heuristics to find a survivable mapping of a given virtual topology with minimum resource usage. Evolutionary algorithms and ant colony optimization algorithms are applied to the problem. To assess the performance of the proposed algorithms, we compare the experimental results with those obtained through integer linear programming. The results show that both of our algorithms can solve the problem even for large-scale network topologies for which a feasible solution cannot be found using integer linear programming. Moreover, the CPU time and the memory used by the nature inspired heuristics is much lower. In the second phase, we propose four different hyper-heuristic approaches to solve the survivable virtual topology design problem as a whole. Each hyper-heuristic approach is based on a different category of nature inspired heuristics: evolutionary algorithms, ant colony optimization, simulated annealing, and adaptive iterated constructive search. Experimental results show that, all proposed hyper-heuristic approaches are successful in designing survivable virtual topologies. Furthermore, the ant colony optimization based hyper-heuristic outperforms the others. To balance the traffic flow over lightpaths, we adapt a flow-deviation method to the ant colony optimization based hyper-heuristic approach. We explore the performance of our hyper-heuristic approach for both single and double-link failures. The proposed approach can be applied to the multiple-link failure problem instances by only changing the survivability control routine. The experimental results show that our approach can solve the problem for both single-link and double-link failures in a reasonable amount of time. To evaluate the quality of the HH approach solutions, we compare these results with the results obtained using tabu search approach. The results show that HH approach outperforms tabu search approach both in solution quality and CPU time.DoktoraPh

Training Feedforward Neural Networks with Bayesian Hyper-Heuristics

Dissertation (MSc (Computer Science))--University of Pretoria, 2023.Many different heuristics have been developed and used to train feedforward neural networks (FFNNs). However, selection of the best heuristic to train FFNNs is a time consuming and non-trivial exercise. Careful, systematic selection is required to ensure that the best heuristic is used to train FFNNs. In the past, selection was done by trial and error. A modern approach is to automate the heuristic selection process. Often it is found that a single approach is not sufficient. Research has proposed the use of hybridisation of heuristics. One such approach is referred to as hyper-heuristics (HHs). HHs focus on dynamically finding the best heuristic or combinations of heuristics in heuristic-space by making use of heuristic performance information. One such implementation of a HH is a population-based approach that guides the search process by dynamically selecting heuristics from a heuristic-pool to be applied to different entities that represent candidate solutions to the problem-space, and work together to find good solutions. This dissertation introduces a novel population-based Bayesian hyper-heuristic (BHH). An empirical study is done by using the BHH to train FFNNs. An in-depth behaviour analysis is done and the performance of the BHH is compared to that of ten popular low-level heuristics each with different search behaviours. The chosen heuristic pool consists of classic gradient-based heuristics as well as meta-heuristics. The empirical process is executed on fourteen datasets consisting of classification and regression problems with varying characteristics. Results are analysed for statistical significance and the BHH is shown to be able to train FFNNs well and provide an automated method for finding the best heuristic to train the FFNNs at various stages of the training process.Computer ScienceMSc (Computer Science)Unrestricte

Intelligent Systems

This book is dedicated to intelligent systems of broad-spectrum application, such as personal and social biosafety or use of intelligent sensory micro-nanosystems such as "e-nose", "e-tongue" and "e-eye". In addition to that, effective acquiring information, knowledge management and improved knowledge transfer in any media, as well as modeling its information content using meta-and hyper heuristics and semantic reasoning all benefit from the systems covered in this book. Intelligent systems can also be applied in education and generating the intelligent distributed eLearning architecture, as well as in a large number of technical fields, such as industrial design, manufacturing and utilization, e.g., in precision agriculture, cartography, electric power distribution systems, intelligent building management systems, drilling operations etc. Furthermore, decision making using fuzzy logic models, computational recognition of comprehension uncertainty and the joint synthesis of goals and means of intelligent behavior biosystems, as well as diagnostic and human support in the healthcare environment have also been made easier

Automated design of local search algorithms for vehicle routing problems with time windows

Designing effective search algorithms for solving combinatorial optimisation problems presents a challenge for researchers due to the time-consuming experiments and experience required in decision-making. Automated algorithm design removes the heavy reliance on human experts and allows the exploration of new algorithm designs. This thesis systematically investigates machine learning for the automated design of new and generic local search algorithms, taking the vehicle routing problem with time windows as the testbed. The research starts by building AutoGCOP, a new general framework for the automated design of local search algorithms to optimise the composition of basic algorithmic components. Within the consistent AutoGCOP framework, the basic algorithmic components show satisfying performance for solving the VRPTW. Based on AutoGCOP, the thesis investigates the use of machine learning for automated algorithm composition by modelling the algorithm design task as different machine learning tasks, thus investigating different perspectives of learning in automated algorithm design. Based on AutoGCOP, the thesis first investigates online learning in automated algorithm design. Two learning models based on reinforcement learning and Markov chain are investigated to learn and enhance the compositions of algorithmic components towards automated algorithm design. The Markov chain model presents a superior performance in learning the compositions of algorithmic components during the search, demonstrating its effectiveness in designing new algorithms automatically. The thesis then investigates offline learning to learn the hidden knowledge of effective algorithmic compositions within AutoGCOP for automated algorithm design. The forecast of algorithmic components in the automated composition is defined as a sequence classification task. This new machine learning task is then solved by a Long Short-term Memory (LSTM) neural network which outperforms various conventional classifiers. Further analysis reveals that a Transformer network surpasses LSTM at learning from longer algorithmic compositions. The systematical analysis of algorithmic compositions reveals some key features for improving the prediction. To discover valuable knowledge in algorithm designs, the thesis applies sequential rule mining to effective algorithmic compositions collected based on AutoGCOP. Sequential rules of composing basic components are extracted and further analysed, presenting a superior performance of automatically composed local search algorithms for solving VRPTW. The extracted sequential rules also suggest the importance of considering the impact of algorithmic components on optimisation performance during automated composition, which provides new insights into algorithm design. The thesis gains valuable insights from various learning perspectives, enhancing the understanding towards automated algorithm design. Some directions for future work are present