Scalarizing Functions in Bayesian Multiobjective Optimization

Scalarizing functions have been widely used to convert a multiobjective optimization problem into a single objective optimization problem. However, their use in solving (computationally) expensive multi- and many-objective optimization problems in Bayesian multiobjective optimization is scarce. Scalarizing functions can play a crucial role on the quality and number of evaluations required when doing the optimization. In this article, we study and review 15 different scalarizing functions in the framework of Bayesian multiobjective optimization and build Gaussian process models (as surrogates, metamodels or emulators) on them. We use expected improvement as infill criterion (or acquisition function) to update the models. In particular, we compare different scalarizing functions and analyze their performance on several benchmark problems with different number of objectives to be optimized. The review and experiments on different functions provide useful insights when using and selecting a scalarizing function when using a Bayesian multiobjective optimization method

Development of a hybrid algorithm for bi-level bi-objective optimization, and application to hydrogen supply chain deployment and design

The present master thesis is based on the recently presented doctoral thesis of Dr. Victor Hugo Cantu Medrano, addressing multiobjective optimization problems in Process Engineering with several alternative resolution methods using Evolutionary Computation. In his thesis, a new algorithm to find the optimal design of the Hydrogen Supply Chain while minimizing economic costs and environmental impact is presented. For its resolution, the algorithm divides the problem into two subproblems or levels. The first level deals with the design of the HSC structure (sizing and location of the facilities). A second level that solves the subproblem corresponding to the operation of the supply chain (production and transportation). The technique used for its resolution is a hybridization of the MOEA SMS-EMOA, for the first level, with a linear programming solver that uses a scalarization function to address the two objectives considered in the second level. In this line, this master thesis consists of developing an extension of this same algorithm with the objective of taking advantage of all the information generated in the second level to increase its efficiency. To achieve this, the second level is executed several times for each execution of the first level, using each time a different vector of weights in the scalarization function. But this new logic implies the readaptation of the whole algorithm. First, the Hydrogen Supply Chain problem is presented and the technique for solving the original algorithm is discussed. Subsequently, the necessary modifications to the MOEA are presented in order to be able to apply the new approach to the algorithm. With the new algorithm implemented, a study is carried out for the definition of the weight vectors and different scalarization functions are studied to try to increase its efficiency. Finally, the results obtained with the new algorithm and those of the original algorithm are compared to determine whether the new version is capable of solving the same problems using fewer computational resourcesCette thèse de master est basée sur la thèse de doctorat récemment soutenue par Dr Víctor Hugo Cantú Medrano, dans laquelle il expérimente plusieurs méthodes de résolution alternatives à l'aide méthodes évolutionnaires pour résoudre les problèmes d'optimisation multiobjectifs dans le domaine du génie des procédés. Dans sa thèse, le Dr Cantú présente un nouvel algorithme permettant de trouver la conception optimale de la chaîne d'approvisionnement en hydrogène tout en minimisant les coûts économiques et l'impact environnemental. Pour sa résolution, l'algorithme divise le problème en deux sous-problèmes ou niveaux. Le premier niveau traite de la conception de la structure de la chaîne logistique hydrogène (dimensionnement et emplacement des installations). Un second niveau résout le sous-problème correspondant à l'exploitation de la chaîne logistique (production et transport). La technique utilisée pour sa résolution est une hybridation du MOEA SMS-EMOA, pour le premier niveau, avec un solveur de programmation linéaire qui utilise une fonction de scalarisation pour traiter les deux objectifs considérés dans le second niveau. Dans cette lignée, ce mémoire de master consiste à développer une extension de ce même algorithme avec l'objectif de tirer profit de toute l'information générée dans le deuxième niveau pour augmenter son efficacité. Pour ce faire, le second niveau est exécuté plusieurs fois pour chaque exécution du premier niveau, en utilisant à chaque fois un vecteur de poids différent dans la fonction de scalarisation. Mais cette nouvelle logique implique la réadaptation de l'ensemble de l'algorithme. Tout d'abord, le problème de la chaîne logistique hydrogène est présenté et la technique de résolution de l'algorithme original est discutée. Ensuite, les modifications nécessaires au MEOA sont présentées afin de pouvoir appliquer la nouvelle approche à l'algorithme. Avec le nouvel algorithme implémenté, une étude est réalisée pour la définition des vecteurs de poids et différentes fonctions de scalarisation sont étudiées pour essayer d'augmenter son efficacité. Enfin, les résultats obtenus avec le nouvel algorithme et ceux de l'algorithme original sont comparés pour déterminer si la nouvelle version est capable de résoudre les mêmes problèmes en utilisant moins de ressources informatiquesEste Trabajo Final de Master parte de la tesis doctoral recientemente presentada del doctor Víctor Hugo Cantú Medrano, donde se abordan problemas de optimización multiobjetivo en Ingeniería de Procesos experimentando con varios métodos de resolución alternativos haciendo uso de la Computación Evolutiva. En su tesis, el doctor Cantú presenta un nuevo algoritmo para encontrar el diseño óptimo de la Hydrogen Supply Chain minimizando los costes económicos y el impacto ambiental. Para su resolución, el algoritmo divide el problema en dos subproblemas o niveles. Un primer nivel que aborda el diseño de la estructura de la HSC (dimensionamiento y ubicación de las instalaciones). Un segundo nivel que resuelve el subproblema correspondiente a la operación de la cadena de suministro (producción y transporte). La técnica empleada para su resolución es una hibridación del MOEA SMS-EMOA, para el primer nivel, con un solver de programación lineal que utiliza una función de escalarización para tratar los dos objetivos considerados en el segundo nivel. En esta línea, este trabajo consiste en desarrollar una extensión de este mismo algoritmo con el objetivo de aprovechar toda la información que se genera en el segundo nivel para aumentar su eficiencia. Para lograrlo se ejecuta varias veces el segundo nivel por cada ejecución del primer nivel, utilizando cada vez un vector de pesos diferente en la función de escalarización. Pero esta nueva lógica implica la readaptación de todo el algoritmo. En primer lugar, se presenta el problema de la Hydrogen Supply Chain y se discute la técnica de resolución del algoritmo original. Posteriormente se presentan las modificaciones necesarias en el MOEA para poder aplicar el nuevo enfoque al algoritmo. Ya con el nuevo algoritmo implementado se realiza un estudio para la definición de los vectores de peso y se estudian diferentes funciones de escalarización para tratar de aumentar su eficiencia. Por último, se comparan los resultados obtenidos con el nuevo algoritmo y los del original para determinar si la nueva versión es capaz de resolver los mismos problemas utilizando un menor número de recursos computacionalesAquest Treball Final de Màster té el seu origen en la tesis doctoral recentment presentada del doctor Víctor Hugo Cantú Medrano, en la qual s’aboren problemes d’optimització multiobjectiu en enginyeria de processos, experimentant amb diversos mètodes de resolució alternatius fent ús de la Computació Evolutiva. En la seva tesis, el doctor Cantú presenta un nou algorisme per a trobar el disseny òptim de la Hydrogen Supply Chain minimitzant els costos econòmics i l’impacte ambiental. Per a la seva resolució, l’algoritme divideix el problema en dos subproblemes o nivells. Un primer nivell aborda el disseny de l’estructura.de la HSC (dimensionament i ubicació de les instal·lacions). Un segon nivell resol el subproblema corresponent a l’operació de la cadena de subministrament (producció i transport). La tècnica empleada per a la seva resolució és una hibridació del MOEA SMS-EMOA, per al primer nivell amb un solver de programació lineal que utilitza una funció d’escalarització per a tractar els dos objectius considerats en el segon nivell. En aquesta línia, aquest treball consisteix a desenvolupar una extensió d’aquest mateix algorisme amb l’objectiu d’aprofitar tota la informació que es genera en el segon nivell per a augmentar la seva eficiència. Per a aconseguir-ho s’executa diverses vegades el segon nivell per cada execució del primer nivell, utilitzant cada vegada un vector de pesos diferent en la funció d’escalarització. Però aquesta nova lògica implica la readaptació de tot l’algorisme. En primer lloc, es presenta el problema de la Hydrogen Supply Chain i es discuteix la tècnica de resolució de l’algorisme original. Posteriorment es presenten les modificacions necessàries en el MOEA per a poder aplicar el nou enfocament a l’algorisme. Ja amb el nou algorisme implementat es realitza un estudi per a la definició dels vectors de pes i s’estudien diferents funcions d’escalarització per a tractar d’augmentar la seva eficiència. Ja amb el nou algorisme implementat es realitza un estudi per a la definició dels vectors de pes i s’estudien diferents funcions d’escalarització per a tractar d’augmentar la seva eficiència. Finalment, es comparen els resultats obtinguts amb el nou algorisme i els de l’original per tal de determinar si es possible obtenir els mateixos resultats fent us d’un menor número de recursos computacionalsObjectius de Desenvolupament Sostenible::7 - Energia Assequible i No Contaminant::7.3 - Per a 2030, duplicar la taxa mundial de millora de l’eficiència energètic

Force-based Cooperative Search Directions in Evolutionary Multi-objective Optimization

International audienceIn order to approximate the set of Pareto optimal solutions, several evolutionary multi-objective optimization (EMO) algorithms transfer the multi-objective problem into several independent single-objective ones by means of scalarizing functions. The choice of the scalarizing functions' underlying search directions, however, is typically problem-dependent and therefore difficult if no information about the problem characteristics are known before the search process. The goal of this paper is to present new ideas of how these search directions can be computed \emph{adaptively} during the search process in a \emph{cooperative} manner. Based on the idea of Newton's law of universal gravitation, solutions attract and repel each other \emph{in the objective space}. Several force-based EMO algorithms are proposed and compared experimentally on general bi-objective $\rho$MNK landscapes with different objective correlations. It turns out that the new approach is easy to implement, fast, and competitive with respect to a $(\mu+\lambda)$-SMS-EMOA variant, in particular if the objectives show strong positive or negative correlations

06501 Abstracts Collection -- Practical Approaches to Multi-Objective Optimization

From 10.12.06 to 15.12.06, the Dagstuhl Seminar 06501 ``Practical Approaches to Multi-Objective Optimization\u27\u27 was held in the International Conference and Research Center (IBFI), Schloss Dagstuhl. During the seminar, several participants presented their current research, and ongoing work and open problems were discussed. Abstracts of the presentations given during the seminar as well as abstracts of seminar results and ideas are put together in this paper. The first section describes the seminar topics and goals in general. Links to extended abstracts or full papers are provided, if available

Multiobjective evolutionary algorithm based on vector angle neighborhood

Selection is a major driving force behind evolution and is a key feature of multiobjective evolutionary algorithms. Selection aims at promoting the survival and reproduction of individuals that are most fitted to a given environment. In the presence of multiple objectives, major challenges faced by this operator come from the need to address both the population convergence and diversity, which are conflicting to a certain extent. This paper proposes a new selection scheme for evolutionary multiobjective optimization. Its distinctive feature is a similarity measure for estimating the population diversity, which is based on the angle between the objective vectors. The smaller the angle, the more similar individuals. The concept of similarity is exploited during the mating by defining the neighborhood and the replacement by determining the most crowded region where the worst individual is identified. The latter is performed on the basis of a convergence measure that plays a major role in guiding the population towards the Pareto optimal front. The proposed algorithm is intended to exploit strengths of decomposition-based approaches in promoting diversity among the population while reducing the user's burden of specifying weight vectors before the search. The proposed approach is validated by computational experiments with state-of-the-art algorithms on problems with different characteristics. The obtained results indicate a highly competitive performance of the proposed approach. Significant advantages are revealed when dealing with problems posing substantial difficulties in keeping diversity, including many-objective problems. The relevance of the suggested similarity and convergence measures are shown. The validity of the approach is also demonstrated on engineering problems.This work was supported by the Portuguese Fundacao para a Ciencia e Tecnologia under grant PEst-C/CTM/LA0025/2013 (Projecto Estrategico - LA 25 - 2013-2014 - Strategic Project - LA 25 - 2013-2014).info:eu-repo/semantics/publishedVersio

A survey on handling computationally expensive multiobjective optimization problems with evolutionary algorithms

This is the author accepted manuscript. The final version is available from Springer Verlag via the DOI in this record.Evolutionary algorithms are widely used for solving multiobjective optimization problems but are often criticized because of a large number of function evaluations needed. Approximations, especially function approximations, also referred to as surrogates or metamodels are commonly used in the literature to reduce the computation time. This paper presents a survey of 45 different recent algorithms proposed in the literature between 2008 and 2016 to handle computationally expensive multiobjective optimization problems. Several algorithms are discussed based on what kind of an approximation such as problem, function or fitness approximation they use. Most emphasis is given to function approximation-based algorithms. We also compare these algorithms based on different criteria such as metamodeling technique and evolutionary algorithm used, type and dimensions of the problem solved, handling constraints, training time and the type of evolution control. Furthermore, we identify and discuss some promising elements and major issues among algorithms in the literature related to using an approximation and numerical settings used. In addition, we discuss selecting an algorithm to solve a given computationally expensive multiobjective optimization problem based on the dimensions in both objective and decision spaces and the computation budget available.The research of Tinkle Chugh was funded by the COMAS Doctoral Program (at the University of Jyväskylä) and FiDiPro Project DeCoMo (funded by Tekes, the Finnish Funding Agency for Innovation), and the research of Dr. Karthik Sindhya was funded by SIMPRO project funded by Tekes as well as DeCoMo

A Convergence indicator for Multi-Objective Optimisation Algorithms

The algorithms of multi-objective optimisation had a relative growth in the last years. Thereby, it's requires some way of comparing the results of these. In this sense, performance measures play a key role. In general, it's considered some properties of these algorithms such as capacity, convergence, diversity or convergence-diversity. There are some known measures such as generational distance (GD), inverted generational distance (IGD), hypervolume (HV), Spread($\Delta$), Averaged Hausdorff distance ($\Delta_p$), R2-indicator, among others. In this paper, we focuses on proposing a new indicator to measure convergence based on the traditional formula for Shannon entropy. The main features about this measure are: 1) It does not require tho know the true Pareto set and 2) Medium computational cost when compared with Hypervolume.Comment: Submitted to TEM

New Insights to Approximate the Pareto Optimal Front in Evolutionary Multiobjective Optimization. An Application to Students’ Satisfaction

Los resultados de la segunda parte demuestran el buen comportamiento de la combinación de técnicas econométricas y multiobjetivo, especialmente cuando utilizamos algoritmos evolutivos, para la resolución de problemas socio-económicos con la finalidad de encontrar la compensación (trade-offs) entre los objetivos estudiados y así poder sugerir mejoras, en este caso, en economía de la educación.La tesis presentada se basa en el desarrollo de nuevos algoritmos evolutivos para resolver problemas de optimización multiobjetivo, especialmente problemas con más de tres funciones objetivos, y en la modelización y resolución de un problema de economía de la educación. Dicha tesis está realizada en la modalidad de compendio de artículos y se compone de tres de los mismos. Los dos primeros relacionados con el desarrollo de un nuevo algoritmo evolutivo. En ellos, partiendo del algoritmo Global Weighting Achievement Scalarizing Fucntion Genetic Algorithm (GWASF-GA) (Saborido, Ruiz, and Luque, 2017), se plantea y desarrolla un nuevo algoritmo centrado en la adaptación de los vectores de pesos durante el proceso de ejecución, que ofrece muy buenos resultados en comparación con algoritmos muy conocidos y muy contrastados dentro del campo de los algoritmos evolutivos. El tercer artículo se centra en la modelización y resolución de un problema multiobjetivo obtenido a partir del análisis econométrico de datos referidos al rendimiento académico y satisfacción de los estudiantes andaluces con diferentes aspectos del proceso enseñanza-aprendizaje en los colegios de secundaria. Con los resultados obtenidos y teniendo en cuenta los algoritmos considerados, aunque los frentes óptimos de Pareto aproximados por A-GWASF-GA no sean los mejores en todos los casos (especialmente para los problemas con tres funciones objetivo), podemos asegurar que el nuevo algoritmo algoritmo evolutivo aquí propuesto (A-GWASF-GA) muestra resultados muy prometedores en problemas con más de tres funciones objetivo. De esta forma, A-GWASF-GA se autodefine como un algoritmo para trabajar con problemas manyobjective (con más de tres objetivos)