Improving a State-of-the-Art Heuristic for the Minimum Latency Problem with Data Mining

Recently, hybrid metaheuristics have become a trend in operations research. A successful example combines the Greedy Randomized Adaptive Search Procedures (GRASP) and data mining techniques, where frequent patterns found in high-quality solutions can lead to an efficient exploration of the search space, along with a significant reduction of computational time. In this work, a GRASP-based state-of-the-art heuristic for the Minimum Latency Problem (MLP) is improved by means of data mining techniques for two MLP variants. Computational experiments showed that the approaches with data mining were able to match or improve the solution quality for a large number of instances, together with a substantial reduction of running time. In addition, 88 new cost values of solutions are introduced into the literature. To support our results, tests of statistical significance, impact of using mined patterns, equal time comparisons and time-to-target plots are provided.Comment: This document is a dissertation fil

Water Flow-Like Algorithm with Simulated Annealing for Travelling Salesman Problems

Water Flow-like Algorithm (WFA) has been proved its ability obtaining a fast and quality solution for solving Travelling Salesman Problem (TSP). The WFA uses the insertion move with 2-neighbourhood search to get better flow splitting and moving decision. However, the algorithms can be improved by making a good balance between its solution search exploitation and exploration. Such improvement can be achieved by hybridizing good search algorithm with WFA.  This paper presents a hybrid of WFA with various three neighbourhood search in Simulated Annealing (SA) for TSP problem. The performance of the proposed method is evaluated using 18 large TSP benchmark datasets. The experimental result shows that the hybrid method has improved the solution quality compare with the basic WFA and state of art algorithm for TSP

Meta-heuristics development framework: Design and applications

Master'sMASTER OF SCIENC

Algorithms for Variants of Routing Problems

In this thesis, we propose mathematical optimization models and algorithms for variants of routing problems. The first contribution consists of models and algorithms for the Traveling Salesman Problem with Time-dependent Service times (TSP-TS). We propose a new Mixed Integer Programming model and develop a multi-operator genetic algorithm and two Branch-and-Cut methods, based on the proposed model. The algorithms are tested on benchmark symmetric and asymmetric instances from the literature, and compared with an existing approach, showing the effectiveness of the proposed algorithms. The second work concerns the Pollution Traveling Salesman Problem (PTSP). We present a Mixed Integer Programming model for the PTSP and two mataheuristic algorithms: an Iterated Local Search algorithm and a Multi-operator Genetic algorithm. We performed extensive computational experiments on benchmark instances. The last contribution considers a rich version of the Waste Collection Problem (WCP) with multiple depots and stochastic demands using Horizontal Cooperation strategies. We developed a hybrid algorithm combining metaheuristics with simulation. We tested the proposed algorithm on a set of large-sized WCP instances in non-cooperative scenarios and cooperative scenarios

Ant approaches for the QAP

Diese Diplomarbeit beschäftigt sich mit dem wissenschaftlichen Forschungsgebiet der Ameisenoptimierung und deren Algorithmen und wendet diese auf das Quadratische Zuordnungsproblem an. Das Hauptziel des Quadratischen Zuordnungsproblems besteht darin eine geeignete Zuordnung von einer gewissen Anzahl an Funktionen zu der gleichen Anzahl an möglichen Plätzen zu finden, um die Gesamtkosten zu minimieren. Dieser theoretische Ansatz kann auf direktem Weg auf Probleme der Wirklichkeit übertragen werden. Eines der besten Beispiele hierfür ist die Herausforderung, welcher ein Unternehmen sich stellen muss wenn es eine neue Produktionsstätte eröffnet. Die Produktionskosten können solang auf einem minimalen Level gehalten werden wie die verwendeten Maschinen intelligent auf ihren Standorten angeordnet werden, sodass die Gesamtsumme der Produkte zwischen Materialflüsse und Distanzen einen ökonomisch angemessenen Wert ergibt. Im theoretischen Teil dieser Arbeit werden einige der wichtigsten Ameisenalgorithmen wie MMAS und HAS-QAP diskutiert und es wird gezeigt wie die zusätzliche Implementierung von effektiven Local Search Methoden die Lösungsqualität verbessern kann. Der praktische Teil dieser Arbeit versucht einen grundlegenden MMAS Algorithmus um zusätzliche Local Search Methoden, welche auf den Ideen von Iterated Ants und Adaptive Large Neighborhood Search basieren, zu erweitern und so zu verbessern. Hierfür wurden fünf verschiedene Algorithmen in C++ implementiert: MMAS Basis, MMAS Random Removal, MMAS Product Removal Highest, MMAS Product Removal Lowest and MMAS 3 Iterated. Zuletzt werden die generierten Ergebnisse diskutiert und die Lösungsqualitäten der einzelnen Algorithmen untereinander verglichen.This diploma thesis deals with the scientific research area of Ant Colony Optimization algorithms and applies them to the Quadratic Assignment Problem. The central aim of the Quadratic Assignment Problems is to find an optimal allocation of a certain number of facilities to the equal number of possible locations in order to minimize the overall costs. This theoretical formulation can be passed on real life problems in a straightforward way. One of the best examples is the challenge each company has to deal with when opening a new production site. The production cost can be kept to a minimum as long as the used machines are cleverly arranged to their locations so that the overall sum of the products between material flows and distances comes to an economical appropriate value. In the theoretical part of this thesis some of the most important ant algorithms like MMAS and HAS-QAP are discussed and it is shown how the additional implementation of an effective local search method can improve the solution quality. The practical part of this thesis tries to enhance a basic MMAS algorithm by implementing additional local search methods based on the ideas of Iterated Ants and Adaptive Large Neighborhood Search. Therefore five different algorithms have been implemented in C++: MMAS Basis, MMAS Random Removal, MMAS Product Removal Highest, MMAS Product Removal Lowest and MMAS 3 Iterated. At the end the generated results are discussed and the solution qualities of the individual algorithms are compared among themselves

Iterative restricted space search : a solving approach based on hybridization

Face à la complexité qui caractérise les problèmes d'optimisation de grande taille l'exploration complète de l'espace des solutions devient rapidement un objectif inaccessible. En effet, à mesure que la taille des problèmes augmente, des méthodes de solution de plus en plus sophistiquées sont exigées afin d'assurer un certain niveau d 'efficacité. Ceci a amené une grande partie de la communauté scientifique vers le développement d'outils spécifiques pour la résolution de problèmes de grande taille tels que les méthodes hybrides. Cependant, malgré les efforts consentis dans le développement d'approches hybrides, la majorité des travaux se sont concentrés sur l'adaptation de deux ou plusieurs méthodes spécifiques, en compensant les points faibles des unes par les points forts des autres ou bien en les adaptant afin de collaborer ensemble. Au meilleur de notre connaissance, aucun travail à date n'à été effectué pour développer un cadre conceptuel pour la résolution efficace de problèmes d'optimisation de grande taille, qui soit à la fois flexible, basé sur l'échange d'information et indépendant des méthodes qui le composent. L'objectif de cette thèse est d'explorer cette avenue de recherche en proposant un cadre conceptuel pour les méthodes hybrides, intitulé la recherche itérative de l'espace restreint, ±Iterative Restricted Space Search (IRSS)>>, dont, la principale idée est la définition et l'exploration successives de régions restreintes de l'espace de solutions. Ces régions, qui contiennent de bonnes solutions et qui sont assez petites pour être complètement explorées, sont appelées espaces restreints "Restricted Spaces (RS)". Ainsi, l'IRSS est une approche de solution générique, basée sur l'interaction de deux phases algorithmiques ayant des objectifs complémentaires. La première phase consiste à identifier une région restreinte intéressante et la deuxième phase consiste à l'explorer. Le schéma hybride de l'approche de solution permet d'alterner entre les deux phases pour un nombre fixe d'itérations ou jusqu'à l'atteinte d'une certaine limite de temps. Les concepts clés associées au développement de ce cadre conceptuel et leur validation seront introduits et validés graduellement dans cette thèse. Ils sont présentés de manière à permettre au lecteur de comprendre les problèmes que nous avons rencontrés en cours de développement et comment les solutions ont été conçues et implémentées. À cette fin, la thèse a été divisée en quatre parties. La première est consacrée à la synthèse de l'état de l'art dans le domaine de recherche sur les méthodes hybrides. Elle présente les principales approches hybrides développées et leurs applications. Une brève description des approches utilisant le concept de restriction d'espace est aussi présentée dans cette partie. La deuxième partie présente les concepts clés de ce cadre conceptuel. Il s'agit du processus d'identification des régions restreintes et des deux phases de recherche. Ces concepts sont mis en oeuvre dans un schéma hybride heuristique et méthode exacte. L'approche a été appliquée à un problème d'ordonnancement avec deux niveaux de décision, relié au contexte des pâtes et papier: "Pulp Production Scheduling Problem". La troisième partie a permit d'approfondir les concepts développés et ajuster les limitations identifiées dans la deuxième partie, en proposant une recherche itérative appliquée pour l'exploration de RS de grande taille et une structure en arbre binaire pour l'exploration de plusieurs RS. Cette structure a l'avantage d'éviter l'exploration d 'un espace déjà exploré précédemment tout en assurant une diversification naturelle à la méthode. Cette extension de la méthode a été testée sur un problème de localisation et d'allocation en utilisant un schéma d'hybridation heuristique-exact de manière itérative. La quatrième partie généralise les concepts préalablement développés et conçoit un cadre général qui est flexible, indépendant des méthodes utilisées et basé sur un échange d'informations entre les phases. Ce cadre a l'avantage d'être général et pourrait être appliqué à une large gamme de problèmes

Reactive approach for automating exploration and exploitation in ant colony optimization

Ant colony optimization (ACO) algorithms can be used to solve nondeterministic polynomial hard problems. Exploration and exploitation are the main mechanisms in controlling search within the ACO. Reactive search is an alternative technique to maintain the dynamism of the mechanics. However, ACO-based reactive search technique has three (3) problems. First, the memory model to record previous search regions did not completely transfer the neighborhood structures to the next iteration which leads to arbitrary restart and premature local search. Secondly, the exploration indicator is not robust due to the difference of magnitudes in distance matrices for the current population. Thirdly, the parameter control techniques that utilize exploration indicators in their feedback process do not consider the problem of indicator robustness. A reactive ant colony optimization (RACO) algorithm has been proposed to overcome the limitations of the reactive search. RACO consists of three main components. The first component is a reactive max-min ant system algorithm for recording the neighborhood structures. The second component is a statistical machine learning mechanism named ACOustic to produce a robust exploration indicator. The third component is the ACO-based adaptive parameter selection algorithm to solve the parameterization problem which relies on quality, exploration and unified criteria in assigning rewards to promising parameters. The performance of RACO is evaluated on traveling salesman and quadratic assignment problems and compared with eight metaheuristics techniques in terms of success rate, Wilcoxon signed-rank, Chi-square and relative percentage deviation. Experimental results showed that the performance of RACO is superior than the eight (8) metaheuristics techniques which confirmed that RACO can be used as a new direction for solving optimization problems. RACO can be used in providing a dynamic exploration and exploitation mechanism, setting a parameter value which allows an efficient search, describing the amount of exploration an ACO algorithm performs and detecting stagnation situations

From Parameter Tuning to Dynamic Heuristic Selection

The importance of balance between exploration and exploitation plays a crucial role while solving combinatorial optimization problems. This balance is reached by two general techniques: by using an appropriate problem solver and by setting its proper parameters. Both problems were widely studied in the past and the research process continues up until now. The latest studies in the field of automated machine learning propose merging both problems, solving them at design time, and later strengthening the results at runtime. To the best of our knowledge, the generalized approach for solving the parameter setting problem in heuristic solvers has not yet been proposed. Therefore, the concept of merging heuristic selection and parameter control have not been introduced. In this thesis, we propose an approach for generic parameter control in meta-heuristics by means of reinforcement learning (RL). Making a step further, we suggest a technique for merging the heuristic selection and parameter control problems and solving them at runtime using RL-based hyper-heuristic. The evaluation of the proposed parameter control technique on a symmetric traveling salesman problem (TSP) revealed its applicability by reaching the performance of tuned in online and used in isolation underlying meta-heuristic. Our approach provides the results on par with the best underlying heuristics with tuned parameters.:1 Introduction 1 1.1 Motivation 1 1.2 Research objective 2 1.3 Solution overview 2 2 Background and RelatedWork Analysis 3 2.1 Optimization Problems and their Solvers 3 2.2 Heuristic Solvers for Optimization Problems 9 2.3 Setting Algorithm Parameters 19 2.4 Combined Algorithm Selection and Hyper-Parameter Tuning Problem 27 2.5 Conclusion on Background and Related Work Analysis 28 3 Online Selection Hyper-Heuristic with Generic Parameter Control 31 3.1 Combined Parameter Control and Algorithm Selection Problem 31 3.2 Search Space Structure 32 3.3 Parameter Prediction Process 34 3.4 Low-Level Heuristics 35 3.5 Conclusion of Concept 36 4 Implementation Details 37 4.2 Search Space 40 4.3 Prediction Process 43 4.4 Low Level Heuristics 48 4.5 Conclusion 52 5 Evaluation 55 5.1 Optimization Problem 55 5.2 Environment Setup 56 5.3 Meta-heuristics Tuning 56 5.4 Concept Evaluation 60 5.5 Analysis of HH-PC Settings 74 5.6 Conclusion 79 6 Conclusion 81 7 FutureWork 83 7.1 Prediction Process 83 7.2 Search Space 84 7.3 Evaluations and Benchmarks 84 Bibliography 87 A Evaluation Results 99 A.1 Results in Figures 99 A.2 Results in numbers 10

The enhanced best performance algorithm for global optimization with applications.

Doctor of Philosophy in Computer Science. University of KwaZulu-Natal, Durban, 2016.Abstract available in PDF file