04461 Abstracts Collection -- Practical Approaches to Multi-Objective Optimization

From 07.11.04 to 12.11.04, the Dagstuhl Seminar 04461 ``Practical Approaches to Multi-Objective Optimization\u27\u27 was held in the International Conference and Research Center (IBFI), Schloss Dagstuhl. During the seminar, several participants presented their current research, and ongoing work and open problems were discussed. Abstracts of the presentations given during the seminar as well as abstracts of seminar results and ideas are put together in this paper. The first section describes the seminar topics and goals in general. Links to extended abstracts or full papers are provided, if available

Robust and Multi-objective Portfolio Selection

In this thesis, robust and multi-objective portfolio selection problem will be studied. New models and computational algorithms will be developed to solve the proposed models. In particularly, we have studied multi-objective portfolio selection with inexact information on investment return and covariance matrix. The problems have been transformed into easily solvable problems through theoretical analysis. Numerical experiments are presented to validate the methods

An adaptive multi-population differential artificial bee colony algorithm for many-objective service composition in cloud manufacturing

Several conflicting criteria must be optimized simultaneously during the service composition and optimal selection (SCOS) in cloud manufacturing, among which tradeoff optimization regarding the quality of the composite services is a key issue in successful implementation of manufacturing tasks. This study improves the artificial bee colony (ABC) algorithm by introducing a synergetic mechanism for food source perturbation, a new diversity maintenance strategy, and a novel computing resources allocation scheme to handle complicated many-objective SCOS problems. Specifically, differential evolution (DE) operators with distinct search behaviors are integrated into the ABC updating equation to enhance the level of information exchange between the foraging bees, and the control parameters for reproduction operators are adapted independently. Meanwhile, a scalarization based approach with active diversity promotion is used to enhance the selection pressure. In this proposal, multiple size adjustable subpopulations evolve with distinct reproduction operators according to the utility of the generating offspring so that more computational resources will be allocated to the better performing reproduction operators. Experiments for addressing benchmark test instances and SCOS problems indicate that the proposed algorithm has a competitive performance and scalability behavior compared with contesting algorithms

Evolutionary multiobjective optimization : review, algorithms, and applications

Programa Doutoral em Engenharia Industrial e SistemasMany mathematical problems arising from diverse elds of human activity can be formulated as optimization problems. The majority of real-world optimization problems involve several and con icting objectives. Such problems are called multiobjective optimization problems (MOPs). The presence of multiple con icting objectives that have to be simultaneously optimized gives rise to a set of trade-o solutions, known as the Pareto optimal set. Since this set of solutions is crucial for e ective decision-making, which generally aims to improve the human condition, the availability of e cient optimization methods becomes indispensable. Recently, evolutionary algorithms (EAs) have become popular and successful in approximating the Pareto set. The population-based nature is the main feature that makes them especially attractive for dealing with MOPs. Due to the presence of two search spaces, operators able to e ciently perform the search in both the decision and objective spaces are required. Despite the wide variety of existing methods, a lot of open research issues in the design of multiobjective evolutionary algorithms (MOEAs) remains. This thesis investigates the use of evolutionary algorithms for solving multiobjective optimization problems. Innovative algorithms are developed studying new techniques for performing the search either in the decision or the objective space. Concerning the search in the decision space, the focus is on the combinations of traditional and evolutionary optimization methods. An issue related to the search in the objective space is studied in the context of many-objective optimization. Application of evolutionary algorithms is addressed solving two di erent real-world problems, which are modeled using multiobjective approaches. The problems arise from the mathematical modelling of the dengue disease transmission and a wastewater treatment plant design. The obtained results clearly show that multiobjective modelling is an e ective approach. The success in solving these challenging optimization problems highlights the practical relevance and robustness of the developed algorithms.Muitos problemas matemáticos que surgem nas diversas áreas da atividade humana podem ser formulados como problemas de otimização. A maioria dos problemas do mundo real envolve vários objetivos conflituosos. Tais problemas chamam-se problemas de otimização multiobjetivo. A presença de vários objetivos conflituosos, que têm de ser otimizados em simultâneo, dá origem a um conjunto de soluções de compromisso, conhecido como conjunto de soluções ótimas de Pareto. Uma vez que este conjunto de soluções é fundamental para uma tomada de decisão eficaz, cujo objetivo em geral é melhorar a condição humana, o desenvolvimento de métodos de otimização eficientes torna-se indispensável. Recentemente, os algoritmos evolucionários tornaram-se populares e bem-sucedidos na aproximação do conjunto de Pareto. A natureza populacional é a principal característica que os torna especialmente atraentes para lidar com problemas de otimização multiobjetivo. Devido à presença de dois espaços de procura, operadores capazes de realizar a procura de forma eficiente, tanto no espaço de decisão como no espaço dos objetivos, são necessários. Apesar da grande variedade de métodos existentes, várias questões de investigação permanecem em aberto na área do desenvolvimento de algoritmos evolucionários multiobjetivo. Esta tese investiga o uso de algoritmos evolucionários para a resolução de problemas de otimização multiobjetivo. São desenvolvidos algoritmos inovadores que estudam novas técnicas de procura, quer no espaço de decisão, quer no espaço dos objetivos. No que diz respeito à procura no espaço de decisão, o foco está na combinação de métodos de otimização tradicionais com algoritmos evolucionários. A questão relacionada com a procura no espaço dos objetivos é desenvolvida no contexto da otimização com muitos objetivos. A aplicação dos algoritmos evolucionários é abordada resolvendo dois problemas reais, que são modelados utilizando abordagens multiobjectivo. Os problemas resultam da modelação matemática da transmissão da doença do dengue e do desenho ótimo de estações de tratamento de águas residuais. O sucesso na resolução destes problemas de otimização constitui um desafio e destaca a relevância prática e robustez dos algoritmos desenvolvidos

Approches de résolution exacte et approchée en optimisation combinatoire multi-objectif, application au problème de l'arbre couvrant de poids minimal

This thesis deals with several aspects related to solving multi-objective problems, without restriction to the bi-objective case. We consider exact solving, which generates the nondominated set, and approximate solving, which computes an approximation of the nondominated set with a priori guarantee on the quality.We first consider the determination of an explicit representation of the search region. The search region, defined with respect to a set of known feasible points, excludes from the objective space the part which is dominated by these points. Future efforts to find all nondominated points should therefore be concentrated on the search region.Then we review branch and bound and ranking algorithms and we propose a new hybrid approach for the determination of the nondominated set. We show how the proposed method can be adapted to generate an approximation of the nondominated set. This approach is instantiated on the minimum spanning tree problem. We review several properties of this problem which enable us to specialize some procedures of the proposed approach and integrate specific preprocessing rules. This approach is finally supported through experimental results.On s'attache dans cette thèse à plusieurs aspects liés à la résolution de problèmes multi-objectifs, sans se limiter au cas biobjectif. Nous considérons la résolution exacte, dans le sens de la détermination de l'ensemble des points non dominés, ainsi que la résolution approchée dans laquelle on cherche une approximation de cet ensemble dont la qualité est garantie a priori.Nous nous intéressons d'abord au problème de la détermination d'une représentation explicite de la région de recherche. La région de recherche, étant donné un ensemble de points réalisables connus, exclut la partie de l'espace des objectifs que dominent ces points et constitue donc la partie de l'espace des objectifs où les efforts futurs doivent être concentrés dans la perspective de déterminer tous les points non dominés.Puis nous considérons le recours aux algorithmes de séparation et évaluation ainsi qu'aux algorithmes de ranking afin de proposer une nouvelle méthode hybride de détermination de l'ensemble des points non dominés. Nous montrons que celle-ci peut également servir à obtenir une approximation de l'ensemble des points non dominés. Cette méthode est implantée pour le problème de l'arbre couvrant de poids minimal. Les quelques propriétés de ce problème que nous passons en revue nous permettent de spécialiser certaines procédures et d'intégrer des prétraitements spécifiques. L'intérêt de cette approche est alors soutenu à l'aide de résultats expérimentaux

Scalable multi-objective optimization

This thesis is concerned with the three open in multi-objective optimization: (i) the development of strategies for dealing with problems with many objective functions; (ii) the comprehension and solution of the model-building issues of current MOEDAs, and; (iii) the formulation of stopping criteria for multi-objective optimizers. We argue about what elements of MOEDAs should be modified in order to achieve a substantial improvement on their performance and scalability. However, in order to supply a solid ground for that discussion, some other elements are to be discussed as well. In particular, this thesis: sketches the supporting theoretical corpus and the fundamentals of MOEA and MOEDA algorithms; analyzes the scalability issue of MOEAs from both theoretical and experimental points of view; discusses the possible directions of improvement for MOEAs’ scalability, presenting the current trends of research; gives reasons of why EDAs can be used as a foundation for achieving a sizable improvement with regard to the scalability issue; examines the model-building issue in depth, hypothesizing on how it affects MOEDAs performance; proposes a novel model-building algorithm, the model-building growing neural gas (MBGNG), which fulfill the requirements for a new approach derived from the previous debate, and; introduces a novel MOEDA, the multi-objective neural EDA, that is constructed using MB-GNG as foundation. The formulation of an strategy for stopping multi-objective optimizers became obvious and necessary as this thesis was developed. The lack of an adequate stopping criterion made the rendered any experimentation that had to do with many objectives a rather cumbersome task. That is why it was compulsory to deal with this issue in order to proceed with further studies. In this regard, the thesis: provides an updated and exhaustive state-of-the-art of this matter; examines the properties and characteristics that a given stopping criterion should exhibit; puts forward a new stopping criterion, denominated MGBM, after the authors last names, that has a small computational footprint, and; experimentally validates MGBM in a set of experiments. Theoretical discussions and algorithm proposals are experimentally contrasted with current state-of-the-art approaches when required. --------------------------------------------------------------------------------------------------------------------------------------------------------------------------Muchas actividades humanas están relacionadas con la elaboración de artefactos cuyas características, organización y/o costes de producción, etc., se deben ajustar en la manera más eficiente posible. Este hecho ha creado la necesidad de tener herramientas matemáticas y computacionales capaces de tratar estos problemas, lo cual ha impulsado el desarrollo de distintas áreas de investigación interrelacionadas, como, por ejemplo, la optimización, programación matemática, investigación de operaciones, etc. El concepto de optimización se puede formular en términos matemáticos como el proceso de buscar una o más soluciones factibles que se correspondan con los valores extremos de una o varias funciones. La mayor parte de los problemas de optimización reales implican la optimización de más de una función a la vez. Esta clase de problemas se conoce como problemas de optimización multi-objetivo (POM). Existe una clase de POM que es particularmente atractivo debido a su complejidad inherente: los denominados problemas de muchos objetivos. Estos son problemas con un número relativamente elevado de funciones objetivo. Numerosos experimentos han mostrado que los métodos “tradicionales” no logran un desempeño adecuado debido a la relación intensamente exponencial entre la dimensión del conjunto objetivo y la cantidad de recursos requeridos para resolver el problema correctamente. Estos problemas tienen una naturaleza poco intuitiva y, en particular, sus soluciones son difíciles de visualizar por un tomador de decisiones humano. Sin embargo, son bastante comunes en la práctica (Stewart et al., 2008). La optimización multi-objetivo ha recibido una importante atención por parte de la comunidad dedicada a los algoritmos evolutivos (Coello Coello et al., 2007). Sin embargo, se ha hecho patente la necesidad de buscar alternativas para poder tratar con los problemas de muchos objetivos. Los algoritmos de estimación de distribución (EDAs, por sus siglas en inglés) (Lozano et al., 2006) son buenos candidatos para esa tarea. Estos algoritmos se han presentado como una revolución en el campo de la computación evolutiva. Ellos sustituyen la aplicación de operadores inspirados en la selección natural por la síntesis de un modelo estadístico. Este modelo es muestreado para generar nuevos elementos y así proseguir con la búsqueda de soluciones. Sin embargo, los EDAs multi-objetivo (MOEDAs) no han logrado cumplir las expectativas creadas a priori. El leit motif de esta tesis se puede resumir en que la causa principal del bajo rendimiento MOEDAs se debe a los algoritmos de aprendizaje automático que se aplican en la construcción de modelos estadísticos. Los trabajos existentes hasta el momento han tomado una aproximación de “caja negra” al problema de la construcción de modelos. Por esa razón, se aplican métodos de aprendizaje automático ya existentes sin modificación alguna, sin percatarse que el problema de la construcción de modelos para EDAs tiene unos requisitos propios que en varios casos son contradictorios con el contexto original de aplicación de los mencionados algoritmos. En particular, hay propiedades compartidas por la mayoría de los enfoques de aprendizaje automático que podrían evitar la obtención de una mejora sustancial en el resultado de los MOEDAs. Ellas son: el tratamiento incorrecto de los valores atípicos (outliers) en el conjunto de datos; tendencia a la pérdida de la diversidad de la población, y; exceso de esfuerzo computacional dedicado a la búsqueda de un modelo óptimo. Estos problemas, aunque ya están presentes en los EDAs de un solo objetivo, se hacen patentes al escalar a problemas de varios objetivos y, en particular, a muchos objetivos. Además, con el aumento de la cantidad de objetivos con frecuencia esta situación se ve agravada por las consecuencias de la “maldición de la dimensionalidad”. La cuestión de los valores atípicos en los datos es un buen ejemplo de como la comunidad no ha notado esta diferencia. En el contexto tradicional del aprendizaje automático los valores extremos son considerados como datos ruidosos o irrelevantes y, por tanto, deben ser evitados. Sin embargo, los valores atípicos en los datos de la construcción de modelos representan las regiones recién descubiertas o soluciones candidatas del conjunto de decisión y por lo tanto deben ser explorados. En este caso, los casos aislados debe ser al menos igualmente representados por el modelo con respecto a los que están formando grupos. Sobre la base de estos razonamientos se estructuran los principales resultados obtenidos en el desarrollo de la tesis. A continuación se enumeran brevemente los mismos mencionando las referencias principales de los mismos. Comprensión del problema de la construcción de modelos en MOEDAs (Martí et al., 2010a, 2008b, 2009c). Se analiza que los EDAs han asumido incorrectamente que la construcción de modelos es un problema tradicional de aprendizaje automático. En el trabajo se muestra experimentalmente la hipótesis. Growing Neural Gas: una alternativa viable para construcción de modelos (Martí et al., 2008c). Se propone el Model-Building Growing Neural Gas network (MB-GNG), una modificación de las redes neuronales tipo Growing Neural Gas. MB-GNG tiene las propiedades requeridas para tratar correctamente la construcción de modelos. MONEDA: mejorando el desempeño de los MOEDAs (Martí et al., 2008a, 2009b, 2010c). El Multi-objective Optimization Neural EDA (MONEDA) fue ideado con el fin de hacer frente a los problemas arriba descritos de los MOEDAs y, por lo tanto, mejorar la escalabilidad de los MOEDAs. MONEDA utiliza MB-GNG para la construcción de modelos. Gracias a su algoritmo específico de construcción de modelos, la preservación de las élites de individuos de la población y su mecanismo de sustitución de individuos MONEDA es escalable capaz de resolver POMs continuos de muchos objetivos con un mejor desepeño que algoritmos similares a un coste computacional menor. Esta propuesta fue nominada a mejor trabajo en GECCO’2008. MONEDA en problemas de alta complejidad (Martí et al., 2009d). En este caso se lleva a cabo una amplia experimentación para comprender como las características de MONEDA provocan una mejora en el desempeño del algoritmo, y si sus resultados mejoran los obtenidos de otros enfoques. Se tratan problemas de alta complejidad. Estos experimentos demostraron que MONEDA produce resultados sustancialmente mejores que los algoritmos similares a una menor coste computacional. Nuevos paradigmas de aprendizaje: MARTEDA (Martí et al., 2010d). Si bien MB-GNG y MONEDA mostraron que la vía del tratamiento correcto de la construcción de modelos era una de las formas de obtener mejores resultados, ellos no evadían por completo el punto esencial: el paradigma de aprendizaje empleado. Al combinar un paradigma de aprendizaje automático alternativo, en particular, la Teoría de Resonancia Adaptativa, se trata a este asunto desde su raíz. En este respecto se han obtenido algunos resultados preliminares alentadores. Criterios de parada y convergencia (Martí et al., 2007, 2009a, 2010e). Con la realización de los experimentos anteriores nos percatamos de la falta de de un criterio de parada adecuado y que esta es un área inexplorada en el ámbito de la investigación en algoritmos evolutivos multi-objectivo. Abordamos esta cuestión proponiendo una serie de criterios de parada que se han demostrado efectivos en problemas sintéticos y del mundo real