Hyper-heuristics İn Dynamic Environments

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 2014Son zamanlarda önerilen metotlar daha çok statik eniyileme problemleri için geliştirilmişlerdir. Fakat gerçek hayatta karşılaşılan eniyileme problemlerinin pek çoğu dinamik bir yapı göstermektedir. Dinamik bir ortamda, eniyileme yönteminin üzerinde çalışmaya başladığı ortamda zaman içinde değişimler olabilir. Ancak bu problemlerin çözümünde genelde bu dinamiklik göz ardı edilerek klasik eniyileme yaklaşımları uygulanmaktadır. Halbuki bu dinamikliği de göz önüne alarak çalışan bir eniyileme yaklaşımı, ortamdaki değişimleri hızlı bir şekilde izleyebilmeli ve bunlara uyum sağlayabilmek için adaptif olmalıdır. Eniyileme algoritması açısından bakıldığında problem ortamı, problemin tanımlı değerleri, eniyilemede kullanılan amaç fonksiyonları ve kısıtlardan oluşur. Ortamdaki dinamiklik, problem ortamını oluşturan bu parçalardan herhangi birisinde veya birkaçında meydana gelen tekil ya da eş zamanlı değişimlerden kaynaklanabilir. Farklı problemlerde bu değişimler de farklı özellikler göstermektedir. Bu özellikler  genelde  değişimlerin şiddetine, sıklığına, periyodik olup olmamasına göre sınıflandırılırlar. Ortamdaki dinamizmin özelliklerine göre farklı durumlarda farklı yaklaşımlar başarılı olmaktadır. Bu ise eniyileme yaklaşımını seçerken ortamdaki değişimlerin özelliklerinin bilinmesi anlamına gelir. Halbuki gerçek hayatta bu her zaman mümkün olmayabilir. Ayrıca ortamın gösterdiği değişimin özellikleri de zaman içinde değişebilir. Bu durumda başta seçilen yaklaşım, eniyilemenin ilerleyen aşamalarında başarılı olmayabilir.  Üst-sezgiseller problem uzayında problem ile etkileşim halinde olan ve aday çözümü güncelleyen alt seviyedeki sezgiseller aracılığı ile arama yapar. Alt seviyede kullanılan, probleme özel sezgiseller ise problemin çözüm uzayında arama yaparlar. Bu nedenle alt seviyedeki sezgiseller, üst-sezgiseller ile problemin çözüm uzayı arasında bir ara katman olarak düşünülebilir. Böylece problem uzayında aramayı alt sezgiseller yapmış olur. Bu özellik sayesinde bir üst-sezgisel, uygun alt sezgisellerin kullanılmasıyla, değiştirilmeden çeşitli problemlere uygulanabilir. Sezgisel seçen üst-sezgiseller konusunda yapılan araştırmaların temel hedefi, eniyilemenin genelleştirme seviyesini yükselterek pek çok farklı problem domeninde ve farklı özellikler gösteren ortamlarda uygulanabilir bir yaklaşım geliştirmektir. Bu nedenle üst-sezgiseller, doğaları gereği adaptif yapıdadırlar. Bu özellikleri sayesinde dinamik ortamlardaki değişimlere, herhangi bir dış müdahale gerektirmeden hızla uyum gösterip, etkin çözümler üretebilirler. Bu tezde öncelikle literatürde var olan üst-sezgisellerin dinamik ortamlar için uygunluğu üzerinde çalışılmıştır. Elde edilen bilgiler ışığında dinamik ortamlarda başarılı çözümler üretecek yeni üst-sezgisel yaklaşım geliştirilmiş ve başarımı ölçülmüştür. Tezin ilk aşamasında, otuz beş tek çözüm üreten sezgisel seçen üst-sezgisellerin başarımını, farklı değişim dinamikleri sergileyen sürekli dinamik eniyileme problemleri için değerlendirdik. Deneylerde üzerinde çalışmak için yapay oluşturulmuş test problemi (Moving Peaks Benchmark) kullanılmıştır. Ayrık eniyileme problemleri için sezgisel seçen üst-sezgisellerin birçok başarılı uygulamaları olmasına rağmen, bilgimiz dahilinde, bu çalışma reel değerli (sürekli) eniyileme problemleri için sezgisel seçen üst-sezgisellerin ilk uygulamalarından biridir. Bunun yanı sıra bu çalışma, bu teknikleri kullanarak dinamik eniyileme problemlerini ele alan çok az çalışma arasında yer almaktadır. Deneysel sonuçlar göstermiştir ki; uygun bileşenli öğrenme tabanlı üst-sezgiseller ortamdaki farklı tipteki değişimlere hızlı bir şekilde tepki gösterebilmekte ve onları takip edebilmektedir. Bu çalışma üst-sezgisellerin dinamik eniyileme problemlerini çözmek için uygun olduğunu göstermektedir.  İkinci aşamada, karınca kolonisi algoritmasından esinlenerek yeni öğrenme tabanlı üst-sezgisel yaklaşım, karınca tabanlı seçim, geliştirilmiştir. Önerilen üst-sezgisel düşük seviyeli bütün sezgisel çiftleri arasındaki feromon yoğunluklarının bir matrisini tutar. Her adımda bir sezgisel, önceden çağırılan sezgisel ile düşük seviyeli sezgisel kümesinden her bir eleman arasındaki feromon değerlerine göre seçilir. Bu çalışmada iyileştiren ve eşit hareket kabul yöntemi kullanılmıştır. Önerdiğimiz üst-sezgisel yönteminin başarımı yapay oluşturulmuş test problemi (Moving Peaks Benchmark) kullanılarak değerlendirilmiştir. Test sonuçlarına göre, önerilen yaklaşım daha önceden dinamik ortamlar için en iyi olarak belirlenen sezgisel seçme yöntemleri ile benzer sonuçlar vermiştir. Önerilen yaklaşım ortam değiştiğinde herhangi bir özel eyleme gerek duymamaktadır. Fakat hareket kabul yönteminin doğası gereği, her bir değişimden sonra üretilen ilk çözüm adayı niteliğine bakılmaksızın kabul edilmektedir. Bundan dolayı hareket kabul yöntemi ortamdaki değişikliği algılamak zorundadır. Bu çalışmada ortamdaki değişimleri algılamak için basit bir yöntem kullanılmıştır. Bu yöntemde şu anki çözümün başarım değeri her adımda tekrardan hesaplanmaktadır. Eğer şu anki çözümün başarım değerinde bir değişiklik varsa ortam değişmiş demektir. Sezgisel seçme yöntemi olarak seçin fonksiyonu, destekli öğrenme ve karınca tabanlı seçim kullanılmıştır. Test sonuçlarına göre yeniden değerlendirme yöntemi bütün yaklaşımların başarımını azaltmıştır.  Bu çalışmada ayrıca önerilen yaklaşımın kapsamlı bir analizi yapılmıştır. Bu amaçla önerilen yaklaşımın adaptasyon yeteneği ve algoritmaların parametrelerinin başarıma etkisi incelenmiştir. Deneysel sonuçlara göre, önerilen yaklaşım hızlı bir şekilde değişimlere uyum sağlayabilmektedir. Önerilen yaklaşım parametre atamalarından çok fazla etkilenmemekte ve geniş aralıklı parametre değerleri için benzer sonuçlar vermektedir.     Tezin son aşamasında, önerilen yaklaşımın başarımı üç farklı uygulamada değerlendirilmiştir. Öncelikle, sezgisel seçen üst-sezgiseller çok popülasyonlu hibrid bir çerçeve içinde kullanılmışlardır. Bu çerçeve çevrimiçi ve çevrimdışı öğrenme mekanizmalarına dayanan üst-sezgiseller ile dağılım tahmini algoritmasının hibridleştirilmesine olanak sağlamaktadır. İyi çözümler üretmek için olasılık vektörlerinin listesi ilk aşamada çevrimdışı olarak öğrenilir. İkinci aşamada iki ayrı popülasyon ve her popülasyonun kendi olasılık vektörleri vardır. Bir alt popülasyon dağılım tahmini algoritması kullanarak örneklendirilirken, diğer alt popülasyon çevrimiçi olarak uygun olasılık vektörünü çevrimiçi aşamada öğrenilen olasılık vektörleri listesinden örneklemek için üst-sezgiselleri kullanır. Önerilen hidrid yöntemin başarımı farklı sezgisel seçme yöntemleri kullanılarak denenmiştir ve Rastgele Permütasyon metodunun daha başarılı olduğu gözlemlenmiştir. Ayrıca bu hibrid yapı literatürde iyi bilinen benzer yaklaşımlarla  karşılaştırılmış ve bunlara göre daha iyi sonuç verdiği gözlemlenmiştir. Önerilen yöntem dinamik ortamlar için önerilmiştir. Bununla birlikte, yöntemin statik ortamlardaki başarımını gözlemlemek için, ikinci uygulama olarak, önerilen metot HyFlex arayüzü üzerinde uygulanmıştır. HyFlex'in Java uygulaması CHeSC2011 yarışmasında kullanılmıştır. Bu uygulama altı statik problem domeni sağlamaktadır. Önerilen yaklaşımın başarımı yarışmadaki katılımcılarla karşılaştırılmıştır. Son uygulama olarak önerilen yaklaşımın başarısı gerçek dünya problemi kullanılarak değerlendirilmiştir. Yapay oluşturulmuş test problemleri problem örneklerini yaratmak için kullanılan önemli araştırma araçları olup verilen domende bu örneklerin özelliklerini kontrol etmemizi sağlar. Bu problem örnekleri farklı algoritmaların başarımını karşılaştırmak için çoğunlukla kullanılmaktadırlar. Öte yandan, gerçek dünya problemleri yapay olarak oluşturulan örneklerden farklı olabilir. Yapay örnekleri kullanarak yapılan algoritmaların test edilmesi verilen algoritmanın gerçek dünya problemi üzerindeki asıl performansını  yansıtmayabilir. Dolayısıyla, bu çalışmada, Dinamik Gezgin Satıcı Problemi olarak bilinen gerçek dünya problemi ele alınmış ve  önerilen yaklaşımın başarımı değerlendirilmiştir. Dinamik Gezgin Satıcı Problemi örneklerini oluşturmak için literatürde çokça kullanılan Gezgin Satıcı Problemi' nin örneklerine trafik faktörü eklenmiştir. Genel olarak, test edilen problemler üzerinde önerilen metodun iyi sonuç verdiği gözlemlenmiştir. En son yapılan testler üst-sezgisellerin genel bir yapı olduğunu vurgulamıştır. Üst-sezgiseller hiçbir değişikliğe ya da parametre ayarlarına gerek duymadan bu çalışmada kullanılan tüm eniyileme problemlerine uygulanmıştır.Current state-of-the-art methodologies are mostly developed for stationary optimization problems. However, many real world problems are dynamic in nature. To handle the complexity of dealing with the changes in the environment, an optimization algorithm needs to be adaptive and hence capable of following the change dynamics. From the point of view of an optimization algorithm, the problem environment consists of the instance, the objectives and the constraints. The dynamism may arise due to a change in any of the components of the problem environment. Existing search methodologies have been modified suitably with respect to the change properties, in order to tackle dynamic environment problems. Population based approaches, such as evolutionary algorithms are frequently used for solving dynamic environment problem.  Hyper-heuristics are high-level methodologies that perform search over the space of heuristics rather than solutions for solving computationally difficult problems. They operate at a higher level, communicating with the problem domain through a domain barrier. Any type of problem specific information is filtered through the domain barrier. Due to this feature, a hyper-heuristic can be directly employed in various problem domains without requiring any change, of course, through the use of appropriate domain specific low-level heuristics.  Selection hyper-heuristics are highly adaptive search methodologies that aim to raise the level of generality by providing solutions to a diverse set of problems having different characteristics. In this thesis, we investigate single point search based selection hyper-heuristics in dynamic environments. We first work on the applicability of selection hyper-heuristics proposed in literature for dynamic environments. Then, we propose a novel learning hyper-heuristic for dynamic environments and investigate the performance of the proposed hyper-heuristic and its variants.  In the first phase, the performances of thirty-five single point search based selection hyper-heuristics are investigated on continuous dynamic environments exhibiting various change dynamics, produced by the Moving Peaks Benchmark generator. Even though there are many successful applications of selection hyper-heuristics to discrete optimization problems, to the best of our knowledge, this study is one of the initial applications of selection hyper-heuristics to real-valued optimization as well as being among the very few which address dynamic optimization issues using these techniques. The empirical results indicate that learning selection hyper-heuristics which incorporate compatible components can react to different types of changes in the environment and are capable of tracking them. This study shows the suitability of selection hyper-heuristics as solvers in dynamic environments.  In the second phase, we propose a new learning hyper-heuristic, called the {\em Ant-based Selection} ({\em AbS}), for dynamic environments which is inspired from the ant colony optimization algorithm components. The proposed hyper-heuristic maintains a matrix of pheromone intensities (utility values) between all pairs of low-level heuristics. A heuristic is selected based on the utility values between the previously invoked heuristic and each heuristic from the set of low-level heuristics. For this study, we employ the generic Improving and Equal acceptance scheme. We explore the performance of the proposed hyper-heuristic and its variants using Moving Peaks Benchmark (MPB) generator. The empirical results indicate that the proposed heuristic selection scheme provides slightly better performance than the heuristic selection scheme that was previously reported to be the best in dynamic environments.   The proposed approach does not require any special actions whenever a change occurs in the environment. However, the first candidate solution generated after each change is accepted regardless of its quality. Therefore, the move acceptance needs to detect the change. In this study, we use a simple detection mechanism in which the current solution is re-evaluated at each step. If there is a change in the fitness of the current solution, a change is considered to be detected. We consider {\em Ant-based selection}, Choice Function and Reinforcement Learning as the heuristic selection methods. The results show that the re-evaluation process slightly deteriorates the performance of approaches for especially high frequency changes, however, the approach is suitable for cases where changes cannot be made known to the optimization algorithm. We then investigate the effect of the parameters of the proposed algorithm on overall performance. The results show that the settings of the parameters are not very sensitive  and similar results are obtained for a wide range of parameter values. In the third phase, we explore the performance of the proposed hyper-heuristic through three different applications. As the first application, the selection hyper-heuristics are used in a hybrid multi-population framework. We use a hybridization of the Estimation of Distribution Algorithm (EDA) with hyper-heuristics in the form of a two-phase framework. We investigate the influence of different heuristic selection methods. The empirical results show that a heuristic selection method that relies on a fixed permutation of the underlying low-level heuristics is more successful than the learning approaches across different dynamic environments produced by a well-known benchmark generator. The proposed approach also outperforms some of the top approaches in literature for dynamic environment problems. Ant-based selection is proposed for dynamic environments. However, to see its performance in a stationary environment, Ant-based Selection is applied to six stationary optimization problems provided in HyFlex as the  second application. The results are compared with the results of participants in CHeSC2011 competition. Finally, we present the performance of Ant-based Selection on a real-world optimization problem referred to as the Dynamic Traveling Salesman Problem. The overall results show that the proposed approach delivers good performance on the tested optimization problems. These last set of experiments also emphasize the general nature of hyper-heuristics. For all optimization problems in this study, all hyper-heuristics are applied without requiring any modifications or parameter tuning.DoktoraPh

A comparison of crossover control mechanisms within single-point selection hyper-heuristics using HyFlex

Hyper-heuristics are search methodologies which operate at a higher level of abstraction than traditional search and optimisation techniques. Rather than operating on a search space of solutions directly, a hyper-heuristic searches a space of low-level heuristics or heuristic components. An iterative selection hyper-heuristic operates on a single solution, selecting and applying a low-level heuristic at each step before deciding whether to accept the resulting solution. Crossover low-level heuristics are often included in modern selection hyper-heuristic frameworks, however as they require multiple solutions to operate, a strategy is required to manage potential solutions to use as input. In this paper we investigate the use of crossover control schemes within two existing selection hyper-heuristics and observe the difference in performance when the method for managing potential solutions for crossover is modified. Firstly, we use the crossover control scheme of AdapHH, the winner of an international competition in heuristic search, in a Modified Choice Function - All Moves selection hyper-heuristic. Secondly, we replace the crossover control scheme within AdapHH with another method taken from the literature. We observe that the performance of selection hyper-heuristics using crossover low level heuristics is not independent of the choice of strategy for managing input solutions to these operators

Hybrid optimizer for expeditious modeling of virtual urban environments

Tese de mestrado. Engenharia Informática. Faculdade de Engenharia. Universidade do Porto. 200

Genetic algorithms with guided and local search strategies for university course timetabling

This article is posted here with permission from the IEEE - Copyright @ 2011 IEEEThe university course timetabling problem (UCTP) is a combinatorial optimization problem, in which a set of events has to be scheduled into time slots and located into suitable rooms. The design of course timetables for academic institutions is a very difficult task because it is an NP-hard problem. This paper investigates genetic algorithms (GAs) with a guided search strategy and local search (LS) techniques for the UCTP. The guided search strategy is used to create offspring into the population based on a data structure that stores information extracted from good individuals of previous generations. The LS techniques use their exploitive search ability to improve the search efficiency of the proposed GAs and the quality of individuals. The proposed GAs are tested on two sets of benchmark problems in comparison with a set of state-of-the-art methods from the literature. The experimental results show that the proposed GAs are able to produce promising results for the UCTP.This work was supported by the Engineering and Physical Sciences Research Council of U.K. under Grant EP/E060722/1

HEDCOS: High Efficiency Dynamic Combinatorial Optimization System using Ant Colony Optimization algorithm

This thesis was submitted for the award of Doctor of Philosophy and was awarded by Brunel University LondonDynamic combinatorial optimization is gaining popularity among industrial practitioners due to the ever-increasing scale of their optimization problems and efforts to solve them to remain competitive. Larger optimization problems are not only more computationally intense to optimize but also have more uncertainty within problem inputs. If some aspects of the problem are subject to dynamic change, it becomes a Dynamic Optimization Problem (DOP). In this thesis, a High Efficiency Dynamic Combinatorial Optimization System is built to solve challenging DOPs with high-quality solutions. The system is created using Ant Colony Optimization (ACO) baseline algorithm with three novel developments. First, introduced an extension method for ACO algorithm called Dynamic Impact. Dynamic Impact is designed to improve convergence and solution quality by solving challenging optimization problems with a non-linear relationship between resource consumption and fitness. This proposed method is tested against the real-world Microchip Manufacturing Plant Production Floor Optimization (MMPPFO) problem and the theoretical benchmark Multidimensional Knapsack Problem (MKP). Second, a non-stochastic dataset generation method was introduced to solve the dynamic optimization research replicability problem. This method uses a static benchmark dataset as a starting point and source of entropy to generate a sequence of dynamic states. Then using this method, 1405 Dynamic Multidimensional Knapsack Problem (DMKP) benchmark datasets were generated and published using famous static MKP benchmark instances as the initial state. Third, introduced a nature-inspired discrete dynamic optimization strategy for ACO by modelling real-world ants’ symbiotic relationship with aphids. ACO with Aphids strategy is designed to solve discrete domain DOPs with event-triggered discrete dynamism. The strategy improved inter-state convergence by allowing better solution recovery after dynamic environment changes. Aphids mediate the information from previous dynamic optimization states to maximize initial results performance and minimize the impact on convergence speed. This strategy is tested for DMKP and against identical ACO implementations using Full-Restart and Pheromone-Sharing strategies, with all other variables isolated. Overall, Dynamic Impact and ACO with Aphids developments are compounding. Using Dynamic Impact on single objective optimization of MMPPFO, the fitness value was improved by 33.2% over the ACO algorithm without Dynamic Impact. MKP benchmark instances of low complexity have been solved to a 100% success rate even when a high degree of solution sparseness is observed, and large complexity instances have shown the average gap improved by 4.26 times. ACO with Aphids has also demonstrated superior performance over the Pheromone-Sharing strategy in every test on average gap reduced by 29.2% for a total compounded dynamic optimization performance improvement of 6.02 times. Also, ACO with Aphids has outperformed the Full-Restart strategy for large datasets groups, and the overall average gap is reduced by 52.5% for a total compounded dynamic optimization performance improvement of 8.99 times

Exact and non-exact procedures for solving the response time variability problem (RTVP)

Premi extraordinari doctorat curs 2009-2010, àmbit d’Enginyeria IndustrialCuando se ha de compartir un recurso entre demandas (de productos, clientes, tareas, etc.) competitivas que requieren una atención regular, es importante programar el derecho al acceso del recurso de alguna forma justa de manera que cada producto, cliente o tarea reciba un acceso al recurso proporcional a su demanda relativa al total de las demandas competitivas. Este tipo de problemas de secuenciación pueden ser generalizados bajo el siguiente esquema. Dados n símbolos, cada uno con demanda di (i = 1,...,n), se ha de generar una secuencia justa o regular donde cada símbolo aparezca di veces. No existe una definición universal de justicia, ya que puede haber varias métricas razonables para medirla según el problema específico considerado. En el Problema de Variabilidad en el Tiempo de Respuesta, o Response Time Variability Problem (RTVP) en inglés, la injusticia o irregularidad de una secuencia es medida como la suma, para todos los símbolos, de sus variabilidades en las distancias en que las copias de cada símbolo son secuenciados. Así, el objetivo del RTVP es encontrar la secuencia que minimice la variabilidad total. En otras palabras, el objetivo del RTVP es minimizar la variabilidad de los instantes en que los productos, clientes o trabajos reciben el recurso necesario. Este problema aparece en una amplia variedad de situaciones de la vida real; entre otras, secuenciación en líneas de modelo-mixto bajo just-in-time (JIT), en asignación de recursos en sistemas computacionales multi-hilo como sistemas operativos, servidores de red y aplicaciones mutimedia, en el mantenimiento periódico de maquinaria, en la recolección de basura, en la programación de comerciales en televisión y en el diseño de rutas para agentes comerciales con múltiples visitas a un mismo cliente. En algunos de estos problemas la regularidad no es una propiedad deseable por sí misma, si no que ayuda a minimizar costes. De hecho, cuando los costes son proporcionales al cuadrado de las distancias, el problema de minimizar costes y el RTVP son equivalentes. El RTVP es muy difícil de resolver (se ha demostrado que es NP-hard). El tamaño de las instancias del RTVP que pueden ser resueltas óptimamente con el mejor método exacto existente en la literatura tiene un límite práctico de 40 unidades. Por otro lado, los métodos no exactos propuestos en la literatura para resolver instancias mayores consisten en heurísticos simples que obtienen soluciones rápidamente, pero cuya calidad puede ser mejorada. Por tanto, los métodos de resolución existentes en la literatura son insuficientes. El principal objetivo de esta tesis es mejorar la resolución del RTVP. Este objetivo se divide en los dos siguientes subobjetivos : 1) aumentar el tamaño de las instancias del RTVP que puedan ser resueltas de forma óptima en un tiempo de computación práctico, y 2) obtener de forma eficiente soluciones lo más cercanas a las óptimas para instancias mayores. Además, la tesis tiene los dos siguientes objetivos secundarios: a) investigar el uso de metaheurísticos bajo el esquema de los hiper-heurísticos, y b) diseñar un procedimiento sistemático y automático para fijar los valores adecuados a los parámetros de los algoritmos. Se han desarrollado diversos métodos para alcanzar los objetivos anteriormente descritos. Para la resolución del RTVP se ha diseñado un método exacto basado en la técnica branch and bound y el tamaño de las instancias que pueden resolverse en un tiempo práctico se ha incrementado a 55 unidades. Para instancias mayores, se han diseñado métodos heurísticos, metaheurísticos e hiper-heurísticos, los cuales pueden obtener soluciones óptimas o casi óptimas rápidamente. Además, se ha propuesto un procedimiento sistemático y automático para tunear parámetros que aprovecha las ventajas de dos procedimientos existentes (el algoritmo Nelder & Mead y CALIBRA).When a resource must be shared between competing demands (of products, clients, jobs, etc.) that require regular attention, it is important to schedule the access right to the resource in some fair manner so that each product, client or job receives a share of the resource that is proportional to its demand relative to the total of the competing demands. These types of sequencing problems can be generalized under the following scheme. Given n symbols, each one with demand di (i = 1,...,n), a fair or regular sequence must be built in which each symbol appears di times. There is not a universal definition of fairness, as several reasonable metrics to measure it can be defined according to the specific considered problem. In the Response Time Variability Problem (RTVP), the unfairness or the irregularity of a sequence is measured by the sum, for all symbols, of their variabilities in the positions at which the copies of each symbol are sequenced. Thus, the objective of the RTVP is to find the sequence that minimises the total variability. In other words, the RTVP objective is to minimise the variability in the instants at which products, clients or jobs receive the necessary resource. This problem appears in a broad range of real-world areas. Applications include sequencing of mixed-model assembly lines under just-in-time (JIT), resource allocation in computer multi-threaded systems such as operating systems, network servers and media-based applications, periodic machine maintenance, waste collection, scheduling commercial videotapes for television and designing of salespeople's routes with multiple visits, among others. In some of these problems the regularity is not a property desirable by itself, but it helps to minimise costs. In fact, when the costs are proportional to the square of the distances, the problem of minimising costs and the RTVP are equivalent. The RTVP is very hard to be solved (it has been demonstrated that it is NP-hard). The size of the RTVP instances that can be solved optimally with the best exact method existing in the literature has a practical limit of 40 units. On the other hand, the non-exact methods proposed in the literature to solve larger instances are simple heuristics that obtains solutions quickly, but the quality of the obtained solutions can be improved. Thus, the solution methods existing in the literature are not enough to solve the RTVP. The main objective of this thesis is to improve the resolution of the RTVP. This objective is split in the two following sub-objectives: 1) to increase the size of the RTVP instances that can be solved optimally in a practical computing time; and 2) to obtain efficiently near-optimal solutions for larger instances. Moreover, the thesis has the following two secondary objectives: a) to research the use of metaheuristics under the scheme of hyper-heuristics, and b) to design a systematic, hands-off procedure to set the suitable values of the algorithm parameters. To achieve the aforementioned objectives, several procedures have been developed. To solve the RTVP an exact procedure based on the branch and bound technique has been designed and the size of the instances that can be solved in a practical time has been increased to 55 units. For larger instances, heuristic, heuristic, metaheuristic and hyper-heuristic procedures have been designed, which can obtain optimal or near-optimal solutions quickly. Moreover, a systematic, hands-off fine-tuning method that takes advantage of the two existing ones (Nelder & Mead algorithm and CALIBRA) has been proposed.Award-winningPostprint (published version

A modified choice function hyper-heuristic controlling unary and binary operators

Hyper-heuristics are a class of high-level search methodologies which operate on a search space of low-level heuristics or components, rather than on solutions directly. Traditional iterative selection hyper-heuristics rely on two key components, a heuristic selection method and a move acceptance criterion. Choice Function heuristic selection scores heuristics based on a combination of three measures, selecting the heuristic with the highest score. Modified Choice Function heuristic selection is a variant of the Choice Function which emphasises intensification over diversification within the heuristic search process. Previous work has shown that improved results are possible in some problem domains when using Modified Choice Function heuristic selection over the classic Choice Function, however in most of these cases crossover low-level heuristics (operators) are omitted. In this paper, we introduce crossover low-level heuristics into a Modified Choice Function selection hyper-heuristic and present results over six problem domains. It is observed that although on average there is an increase in performance when using crossover low-level heuristics, the benefit of using crossover can vary on a per-domain or per-instance basis