A Pareto-Based Sensitivity Analysis and Multiobjective Calibration Approach for Integrating Streamflow and Evaporation Data

Evaporation is gaining increasing attention as a calibration and evaluation variable in hydrologic studies that seek to improve the physical realism of hydrologic models and go beyond the long-established streamflow-only calibration. However, this trend is not yet reflected in sensitivity analyses aimed at determining the relevant parameters to calibrate, where streamflow has traditionally played a leading role. On the basis of a Pareto optimization approach, we propose a framework to integrate the temporal dynamics of streamflow and evaporation into the sensitivity analysis and calibration stages of the hydrologic modeling exercise, here referred to as “Pareto-based sensitivity analysis” and “multiobjective calibration.” The framework is successfully applied to a case study using the Variable Infiltration Capacity (VIC) model in three catchments located in Spain as representative of the different hydroclimatic conditions within the Iberian Peninsula. Several VIC vegetation parameters were identified as important to the performance estimates for evaporation during sensitivity analysis, and therefore were suitable candidates to improve the model representation of evaporative fluxes. Sensitivities for the streamflow performance, in turn, were mostly driven by the soil and routing parameters, with little contribution from the vegetation parameters. The multiobjective calibration experiments were carried out for the most parsimonious parameterization after a comparative analysis of the performance gains and losses for streamflow and evaporation, and yielded optimal adjustments for both hydrologic variables simultaneously. Results from this study will help to develop a better understanding of the trade-offs resulting from the joint integration of streamflow and evaporation data into modeling frameworks.ALHAMBRA cluster (http://alhambra. ugr.es) of the University of GranadaProject P20_00035, funded by the FEDER/ Junta de Andalucía-Consejería de Transformación Económica, Industria, Conocimiento y Universidades, the project CGL2017-89836-RThe Spanish Ministry of Economy and CompetitivenessEuropean Community Funds (FEDER)The project PID2021- 126401OB-I00MCIN/ AEI/10.13039/501100011033/FEDER Una manera de hacer Europa and the project LifeWatch-2019-10-UGR-01 funded by FEDER/Ministerio de Ciencia e InnovaciónThe Ministry of Education, Culture and Sport of Spain through an FPU Grant (reference FPU17/02098)Aid for Research Stays in the Hydrology and Quantitative Water Management Group of Wageningen University (reference EST19/00169)Universidad de Granada/CBU

A new IPSO-SA approach for cardinality constrained portfolio optimization

The problem of portfolio optimization has always been a key concern for investors. This paper addresses a realistic portfolio optimization problem with floor, ceiling, and cardinality constraints. This problem is a mixed integer quadratic programming where traditional optimization methods fail to find the optimal solution, efficiently. The present paper develops a new hybrid approach based on an improved particle swarm optimization (PSO) and a modified simulated annealing (SA) methods to find the cardinality constrained efficient frontier. The proposed algorithm benefits simple and easy characteristics of PSO with an adaptation of inertia weights and constriction factor. In addition, incorporating an SA procedure into IPSO helps escaping from local optima and improves the precision of convergence. Computational results on benchmark problems with up to 225 assets signify that our proposed algorithm exceeds not only the standard PSO but also the other heuristic algorithms previously presented to solve the cardinality constrained portfolio problem

Using Optimality Theory and Reference Points to Improve the Diversity and Convergence of a Fuzzy-Adaptive Multi-Objective Particle Swarm Optimizer

Particle Swarm Optimization (PSO) has received increasing attention from the evolutionary optimization research community in the last twenty years. PSO is a metaheuristic approach based on collective intelligence obtained by emulating the swarming behavior of bees. A number of multi-objective variants of the original PSO algorithm that extend its applicability to optimization problems with conflicting objectives have also been developed; these multi-objective PSO (MOPSO) algorithms demonstrate comparable performance to other state-of-the-art metaheuristics. The existence of multiple optimal solutions (Pareto-optimal set) in optimization problems with conflicting objectives is not the only challenge posed to an optimizer, as the latter needs to be able to identify and preserve a well-distributed set of solutions during the search of the decision variable space. Recent attempts by evolutionary optimization researchers to incorporate mathematical convergence conditions into genetic algorithm optimizers have led to the derivation of a point-wise proximity measure, which is based on the solution of the achievement scalarizing function (ASF) optimization problem with a complementary slackness condition that quantifies the violation of the Karush-Kuhn-Tucker necessary conditions of optimality. In this work, the aforementioned KKT proximity measure is incorporated into the original Adaptive Coevolutionary Multi-Objective Swarm Optimizer (ACMOPSO) in order to monitor the convergence of the sub-swarms towards the Pareto-optimal front and provide feedback to Mamdani-type fuzzy logic controllers (FLCs) that are utilized for online adaptation of the algorithmic parameters. The proposed Fuzzy-Adaptive Multi-Objective Optimization Algorithm with the KKT proximity measure (FAMOPSOkkt) utilizes a set of reference points to cluster the computed nondominated solutions. These clusters interact with their corresponding sub-swarms to provide the swarm leaders and are also utilized to manage the external archive of nondominated solutions. The performance of the proposed algorithm is evaluated on benchmark problems chosen from the multi-objective optimization literature and compared to the performance of state-of-the-art multi-objective optimization algorithms with similar features

Systolic genetic search, a parallel metaheuristic for GPUs

La utilización de unidades de procesamiento gráfico (GPUs) para la resolución de problemas de propósito general ha experimentado un crecimiento vertiginoso en los últimos años, sustentado en su amplia disponibilidad, su bajo costo económico y en contar con una arquitectura inherentemente paralela, así como en la aparición de lenguajes de programación de propósito general que han facilitado el desarrollo de aplicaciones en estas plataformas. En este contexto, el diseño de nuevos algoritmos paralelos que puedan beneficiarse del uso de GPUs es una línea de investigación prometedora e interesante. Las metaheurísticas son algoritmos estocásticos capaces de encontrar soluciones muy precisas (muchas veces óptimas) a problemas de optimización en un tiempo razonable. Sin embargo, como muchos problemas de optimización involucran tareas que exigen grandes recursos computacionales y/o el tamaño de las instancias que se están abordando actualmente se están volviendo muy grandes, incluso las metaheurísticas pueden ser computacionalmente muy costosas. En este escenario, el paralelismo surge como una alternativa exitosa con el fin de acelerar la búsqueda de este tipo de algoritmos. Además de permitir reducir el tiempo de ejecución de los algoritmos, las metaheurísticas paralelas a menudo son capaces de mejorar la calidad de los resultados obtenidos por los algoritmos secuenciales tradicionales.Si bien el uso de GPUs ha representado un dominio inspirador también para la investigación en metaheurísticas paralelas, la mayoría de los trabajos previos tenían como objetivo portar una familia existente de algoritmos a este nuevo tipo de hardware. Como consecuencia, muchas publicaciones están dirigidas a mostrar el ahorro en tiempo de ejecución que se puede lograr al ejecutar los diferentes tipos paralelos de metaheurísticas existentes en GPU. En otras palabras, a pesar de que existe un volumen considerable de trabajo sobre este tópico, se han propuesto pocas ideas novedosas que busquen diseñar nuevos algoritmos y/o modelos de paralelismo que exploten explícitamente el alto grado de paralelismo disponible en las arquitecturas de las GPUs. Esta tesis aborda el diseño de una propuesta innovadora de algoritmo de optimización paralelo denominada Búsqueda Genética Sistólica (SGS), que combina ideas de los campos de metaheurísticas y computación sistólica. SGS, así como la computación sistólica, se inspiran en el mismo fenómeno biológico: la contracción sistólica del corazón que hace posible la circulación de la sangre. En SGS, las soluciones circulan de forma síncrona a través de una grilla (rejilla) de celdas. Cuando dos soluciones se encuentran en una celda se aplican operadores evolutivos adaptados para generar nuevas soluciones que continúan moviéndose a través de la grilla (rejilla). La implementación de esta nueva propuesta saca partido especialmente de las características específicas de las GPUs. Un extenso análisis experimental que considera varios problemas de benchmark clásicos y dos problemas del mundo real del área de Ingeniería de Software, muestra que el nuevo algoritmo propuesto es muy efectivo, encontrando soluciones óptimas o casi óptimas en tiempos de ejecución cortos. Además, los resultados numéricos obtenidos por SGS son competitivos con los resultados del estado del arte para los dos problemas del mundo real en cuestión. Por otro lado, la implementación paralela en GPU de SGS ha logrado un alto rendimiento, obteniendo grandes reducciones de tiempo de ejecución con respecto a la implementación secuencial y mostrando que escala adecuadamente cuando se consideran instancias de tamaño creciente. También se ha realizado un análisis teórico de las capacidades de búsqueda de SGS para comprender cómo algunos aspectos del diseño del algoritmo afectan a sus resultados numéricos. Este análisis arroja luz sobre algunos aspectos del funcionamiento de SGS que pueden utilizarse para mejorar el diseño del algoritmo en futuras variantes

Advances in Artificial Intelligence: Models, Optimization, and Machine Learning

The present book contains all the articles accepted and published in the Special Issue “Advances in Artificial Intelligence: Models, Optimization, and Machine Learning” of the MDPI Mathematics journal, which covers a wide range of topics connected to the theory and applications of artificial intelligence and its subfields. These topics include, among others, deep learning and classic machine learning algorithms, neural modelling, architectures and learning algorithms, biologically inspired optimization algorithms, algorithms for autonomous driving, probabilistic models and Bayesian reasoning, intelligent agents and multiagent systems. We hope that the scientific results presented in this book will serve as valuable sources of documentation and inspiration for anyone willing to pursue research in artificial intelligence, machine learning and their widespread applications

Adaptive multiple crossover genetic algorithm to solve workforce scheduling and routing problem

The Workforce Scheduling and Routing Problem refers to the assignment of personnel to visits, across various geographical locations. Solving this problem demands tackling numerous scheduling and routing constraints while aiming to minimise the operational cost. One of the main obstacles in designing a genetic algorithm for this problem is selecting the best set of operators that enable better performance in a Genetic Algorithm (GA). This paper presents an adaptive multiple crossover genetic algorithm to tackle the combined setting of scheduling and routing problems. A mix of problem-specific and traditional crossovers are evaluated by using an online learning process to measure the operator's effectiveness. Best performing operators are given high application rates and low rates are given to the worse performing ones. Application rates are dynamically adjusted according to the learning outcomes in a non-stationary environment. Experimental results show that the combined performances of all the operators works better than using one operator in isolation. This study makes a contribution to advance our understanding of how to make effective use of crossover operators on this highly-constrained optimisation problem

Scalable multi-objective optimization

This thesis is concerned with the three open in multi-objective optimization: (i) the development of strategies for dealing with problems with many objective functions; (ii) the comprehension and solution of the model-building issues of current MOEDAs, and; (iii) the formulation of stopping criteria for multi-objective optimizers. We argue about what elements of MOEDAs should be modified in order to achieve a substantial improvement on their performance and scalability. However, in order to supply a solid ground for that discussion, some other elements are to be discussed as well. In particular, this thesis: sketches the supporting theoretical corpus and the fundamentals of MOEA and MOEDA algorithms; analyzes the scalability issue of MOEAs from both theoretical and experimental points of view; discusses the possible directions of improvement for MOEAs’ scalability, presenting the current trends of research; gives reasons of why EDAs can be used as a foundation for achieving a sizable improvement with regard to the scalability issue; examines the model-building issue in depth, hypothesizing on how it affects MOEDAs performance; proposes a novel model-building algorithm, the model-building growing neural gas (MBGNG), which fulfill the requirements for a new approach derived from the previous debate, and; introduces a novel MOEDA, the multi-objective neural EDA, that is constructed using MB-GNG as foundation. The formulation of an strategy for stopping multi-objective optimizers became obvious and necessary as this thesis was developed. The lack of an adequate stopping criterion made the rendered any experimentation that had to do with many objectives a rather cumbersome task. That is why it was compulsory to deal with this issue in order to proceed with further studies. In this regard, the thesis: provides an updated and exhaustive state-of-the-art of this matter; examines the properties and characteristics that a given stopping criterion should exhibit; puts forward a new stopping criterion, denominated MGBM, after the authors last names, that has a small computational footprint, and; experimentally validates MGBM in a set of experiments. Theoretical discussions and algorithm proposals are experimentally contrasted with current state-of-the-art approaches when required. --------------------------------------------------------------------------------------------------------------------------------------------------------------------------Muchas actividades humanas están relacionadas con la elaboración de artefactos cuyas características, organización y/o costes de producción, etc., se deben ajustar en la manera más eficiente posible. Este hecho ha creado la necesidad de tener herramientas matemáticas y computacionales capaces de tratar estos problemas, lo cual ha impulsado el desarrollo de distintas áreas de investigación interrelacionadas, como, por ejemplo, la optimización, programación matemática, investigación de operaciones, etc. El concepto de optimización se puede formular en términos matemáticos como el proceso de buscar una o más soluciones factibles que se correspondan con los valores extremos de una o varias funciones. La mayor parte de los problemas de optimización reales implican la optimización de más de una función a la vez. Esta clase de problemas se conoce como problemas de optimización multi-objetivo (POM). Existe una clase de POM que es particularmente atractivo debido a su complejidad inherente: los denominados problemas de muchos objetivos. Estos son problemas con un número relativamente elevado de funciones objetivo. Numerosos experimentos han mostrado que los métodos “tradicionales” no logran un desempeño adecuado debido a la relación intensamente exponencial entre la dimensión del conjunto objetivo y la cantidad de recursos requeridos para resolver el problema correctamente. Estos problemas tienen una naturaleza poco intuitiva y, en particular, sus soluciones son difíciles de visualizar por un tomador de decisiones humano. Sin embargo, son bastante comunes en la práctica (Stewart et al., 2008). La optimización multi-objetivo ha recibido una importante atención por parte de la comunidad dedicada a los algoritmos evolutivos (Coello Coello et al., 2007). Sin embargo, se ha hecho patente la necesidad de buscar alternativas para poder tratar con los problemas de muchos objetivos. Los algoritmos de estimación de distribución (EDAs, por sus siglas en inglés) (Lozano et al., 2006) son buenos candidatos para esa tarea. Estos algoritmos se han presentado como una revolución en el campo de la computación evolutiva. Ellos sustituyen la aplicación de operadores inspirados en la selección natural por la síntesis de un modelo estadístico. Este modelo es muestreado para generar nuevos elementos y así proseguir con la búsqueda de soluciones. Sin embargo, los EDAs multi-objetivo (MOEDAs) no han logrado cumplir las expectativas creadas a priori. El leit motif de esta tesis se puede resumir en que la causa principal del bajo rendimiento MOEDAs se debe a los algoritmos de aprendizaje automático que se aplican en la construcción de modelos estadísticos. Los trabajos existentes hasta el momento han tomado una aproximación de “caja negra” al problema de la construcción de modelos. Por esa razón, se aplican métodos de aprendizaje automático ya existentes sin modificación alguna, sin percatarse que el problema de la construcción de modelos para EDAs tiene unos requisitos propios que en varios casos son contradictorios con el contexto original de aplicación de los mencionados algoritmos. En particular, hay propiedades compartidas por la mayoría de los enfoques de aprendizaje automático que podrían evitar la obtención de una mejora sustancial en el resultado de los MOEDAs. Ellas son: el tratamiento incorrecto de los valores atípicos (outliers) en el conjunto de datos; tendencia a la pérdida de la diversidad de la población, y; exceso de esfuerzo computacional dedicado a la búsqueda de un modelo óptimo. Estos problemas, aunque ya están presentes en los EDAs de un solo objetivo, se hacen patentes al escalar a problemas de varios objetivos y, en particular, a muchos objetivos. Además, con el aumento de la cantidad de objetivos con frecuencia esta situación se ve agravada por las consecuencias de la “maldición de la dimensionalidad”. La cuestión de los valores atípicos en los datos es un buen ejemplo de como la comunidad no ha notado esta diferencia. En el contexto tradicional del aprendizaje automático los valores extremos son considerados como datos ruidosos o irrelevantes y, por tanto, deben ser evitados. Sin embargo, los valores atípicos en los datos de la construcción de modelos representan las regiones recién descubiertas o soluciones candidatas del conjunto de decisión y por lo tanto deben ser explorados. En este caso, los casos aislados debe ser al menos igualmente representados por el modelo con respecto a los que están formando grupos. Sobre la base de estos razonamientos se estructuran los principales resultados obtenidos en el desarrollo de la tesis. A continuación se enumeran brevemente los mismos mencionando las referencias principales de los mismos. Comprensión del problema de la construcción de modelos en MOEDAs (Martí et al., 2010a, 2008b, 2009c). Se analiza que los EDAs han asumido incorrectamente que la construcción de modelos es un problema tradicional de aprendizaje automático. En el trabajo se muestra experimentalmente la hipótesis. Growing Neural Gas: una alternativa viable para construcción de modelos (Martí et al., 2008c). Se propone el Model-Building Growing Neural Gas network (MB-GNG), una modificación de las redes neuronales tipo Growing Neural Gas. MB-GNG tiene las propiedades requeridas para tratar correctamente la construcción de modelos. MONEDA: mejorando el desempeño de los MOEDAs (Martí et al., 2008a, 2009b, 2010c). El Multi-objective Optimization Neural EDA (MONEDA) fue ideado con el fin de hacer frente a los problemas arriba descritos de los MOEDAs y, por lo tanto, mejorar la escalabilidad de los MOEDAs. MONEDA utiliza MB-GNG para la construcción de modelos. Gracias a su algoritmo específico de construcción de modelos, la preservación de las élites de individuos de la población y su mecanismo de sustitución de individuos MONEDA es escalable capaz de resolver POMs continuos de muchos objetivos con un mejor desepeño que algoritmos similares a un coste computacional menor. Esta propuesta fue nominada a mejor trabajo en GECCO’2008. MONEDA en problemas de alta complejidad (Martí et al., 2009d). En este caso se lleva a cabo una amplia experimentación para comprender como las características de MONEDA provocan una mejora en el desempeño del algoritmo, y si sus resultados mejoran los obtenidos de otros enfoques. Se tratan problemas de alta complejidad. Estos experimentos demostraron que MONEDA produce resultados sustancialmente mejores que los algoritmos similares a una menor coste computacional. Nuevos paradigmas de aprendizaje: MARTEDA (Martí et al., 2010d). Si bien MB-GNG y MONEDA mostraron que la vía del tratamiento correcto de la construcción de modelos era una de las formas de obtener mejores resultados, ellos no evadían por completo el punto esencial: el paradigma de aprendizaje empleado. Al combinar un paradigma de aprendizaje automático alternativo, en particular, la Teoría de Resonancia Adaptativa, se trata a este asunto desde su raíz. En este respecto se han obtenido algunos resultados preliminares alentadores. Criterios de parada y convergencia (Martí et al., 2007, 2009a, 2010e). Con la realización de los experimentos anteriores nos percatamos de la falta de de un criterio de parada adecuado y que esta es un área inexplorada en el ámbito de la investigación en algoritmos evolutivos multi-objectivo. Abordamos esta cuestión proponiendo una serie de criterios de parada que se han demostrado efectivos en problemas sintéticos y del mundo real