Globally convergent evolution strategies for constrained optimization

International audienceIn this paper we propose, analyze, and test algorithms for constrained optimization when no use of derivatives of the objective function is made. The proposed methodology is built upon the globally convergent evolution strategies previously introduced by the authors for unconstrained optimization. Two approaches are encompassed to handle the constraints. In a first approach, feasibility is first enforced by a barrier function and the objective function is then evaluated directly at the feasible generated points. A second approach projects first all the generated points onto the feasible domain before evaluating the objective function.The resulting algorithms enjoy favorable global convergence properties (convergence to stationarity from arbitrary starting points), regardless of the linearity of the constraints.The algorithmic implementation (i) includes a step where previously evaluated points are used to accelerate the search (by minimizing quadratic models) and (ii) addresses the particular cases of bounds on the variables and linear constraints. Our solver is compared to others, and the numerical results confirm its competitiveness in terms of efficiency and robustness

An improved grey wolf with whale algorithm for optimization functions

The Grey Wolf Optimization (GWO) is a nature-inspired, meta-heuristic search optimization algorithm. It follows the social hierarchical structure of a wolf pack and their ability to hunt in packs. Since its inception in 2014, GWO is able to successfully solve several optimization problems and has shown better convergence than the Particle Swarm Optimization (PSO), Gravitational Search Algorithm (GSA), Differential Evolution (DE), and Evolutionary Programming (EP). Despite providing successful solutions to optimization problems, GWO has an inherent problem of poor exploration capability. The position-update equation in GWO mostly relies on the information provided by the previous solutions to generate new candidate solutions which result in poor exploration activity. Therefore, to overcome the problem of poor exploration in the GWO the exploration part of the Whale optimization algorithm (WOA) is integrated in it. The resultant Grey Wolf Whale Optimization Algorithm (GWWOA) offers better exploration ability and is able to solve the optimization problems to find the most optimal solution in search space. The performance of the proposed algorithm is tested and evaluated on five benchmarked unimodal and five multimodal functions. The simulation results show that the proposed GWWOA is able to find a fine balance between exploration and exploitation capabilities during convergence to global minima as compared to the standard GWO and WOA algorithms

Upper trust bound feasibility criterion for mixed constrained Bayesian optimization with application to aircraft design

Bayesian optimization methods have been successfully applied to black box optimization problems that are expensive to evaluate. In this paper, we adapt the so-called super efficient global optimization algorithm to solve more accurately mixed constrained problems. The proposed approach handles constraints by means of upper trust bound, the latter encourages exploration of the feasible domain by combining the mean prediction and the associated uncertainty function given by the Gaussian processes. On top of that, a refinement procedure, based on a learning rate criterion, is introduced to enhance the exploitation and exploration trade-off. We show the good potential of the approach on a set of numerical experiments. Finally, we present an application to conceptual aircraft configuration upon which we show the superiority of the proposed approach compared to a set of the state-of-the-art black box optimization solvers

Simulation-inversion des diagraphies

L’évaluation des formations géologiques consiste en l’analyse et la synthèse de données de différentes sources, de différentes échelles (microscopique à kilométrique) et acquises à des dates très variables. Le processus conventionnel de caractérisation des formations relève alors de l’interprétation physique spécialisée de chacune de ces sources de données et leur mise en cohérence par des processus de synthèse essentiellement d’ordre statistique (corrélation, apprentissage, up-scaling…). Il s’avère cependant qu’une source de données présente un caractère central : les diagraphies. Ces mesures physiques de différentes natures (nucléaires, acoustiques, électromagnétiques…) sont réalisées le long de la paroi d’un puits à l’aide de différentes sondes. Elles sont sensibles aux propriétés in situ des roches, et ce, sur une gamme d’échelle centimétrique à métrique intermédiaire aux carottes et données de test de production. De par leur profondeur d’investigation, les données diagraphiques sont particulièrement sensibles au phénomène d’invasion de boue se produisant lors du forage dans l’abord puits. Traditionnellement, l’invasion est modélisée de façon frustre au moment de l’interprétation diagraphiques par un simple effet piston. Ce modèle simple permet d’honorer le bilan de volume mais ne prend aucunement en compte la physique réelle d’invasion et prive, de fait, les diagraphies de toute portée dynamique. Des essais de modélisation de l’historique d’invasion couplés aux données diagraphiques ont déjà été élaborés par différents laboratoires et une abondante littérature sur le sujet est disponible. Les limitations majeures de ces approches résident dans le caractère sous déterminé des problèmes inverses issus de ces modèles physiques et dans le fait que la donnée diagraphique est réalisée en général sur un intervalle de temps inadaptée au regard du développement de l’invasion. Nous proposons une approche différente qui s’attèle non pas à décrire la physique de l’écoulement mais celle de l’équilibre radial des fluides dans le domaine envahi lorsque les diagraphies sont acquises. Nous montrons qu’en introduisant quelques contraintes pétrophysiques supplémentaires, il est possible d’inverser efficacement la distribution des propriétés dynamiques pour chaque faciès géologique. L’inversion prend en compte le phénomène d’invasion radial dans la zone à eau ainsi que l’équilibre capillaire vertical caractérisant le profil de saturation dans le réservoir pour chaque facies. A chaque profondeur du puits, sont ainsi obtenues perméabilités, pressions capillaires et facteurs de cimentation avec leurs incertitudes ainsi que les lois pétrophysiques propres à chaque faciès. Cette méthode a été appliquée à deux puits réels. En guise de validation, les résultats d’inversion ont été comparés aux mesures laboratoire faites sur carotte. De plus, les perméabilités inversées ont été comparées aux transitoires de pression de mini-tests. La cohérence des résultats montre que, d’une part, les hypothèses de base du modèle sont validées et que, d’autre part, l’approche fournit une estimation fiable de grandeurs dynamiques à toute échelle pour chaque faciès réservoir, et ce, dès l’acquisition des données diagraphiques. L’approche d’inversion proposée a permis de lever une limitation majeure des précédentes tentatives de prédiction des propriétés dynamiques par les diagraphies en reconsidérant la problématique non pas sous l’angle d’une modélisation phénoménologique exacte mais en l’abordant de manière globale à l’échelle d’une chaîne d’étude complète. Cette approche permet de fait une mise en cohérence très précoce des données, d’identifier les faciès d’intérêt et de qualifier les besoins véritables en données. Cet outil s’avère très puissant pour qualifier et caractériser les hétérogénéités pétrophysiques des formations et aider ainsi à résoudre le problème de mise à l’échelle des grandeurs dynamique

Globally convergent evolution strategies with application to Earth imaging problem in geophysics

Au cours des dernières années, s’est développé un intérêt tout particulier pour l’optimisation sans dérivée. Ce domaine de recherche se divise en deux catégories: une déterministe et l’autre stochastique. Bien qu’il s’agisse du même domaine, peu de liens ont déjà été établis entre ces deux branches. Cette thèse a pour objectif de combler cette lacune, en montrant comment les techniques issues de l’optimisation déterministe peuvent améliorer la performance des stratégies évolutionnaires, qui font partie des meilleures méthodes en optimisation stochastique. Sous certaines hypothèses, les modifications réalisées assurent une forme de convergence globale, c’est-à-dire une convergence vers un point stationnaire de premier ordre indépendamment du point de départ choisi. On propose ensuite d’adapter notre algorithme afin qu’il puisse traiter des problèmes avec des contraintes générales. On montrera également comment améliorer les performances numériques des stratégies évolutionnaires en incorporant un pas de recherche au début de chaque itération, dans laquelle on construira alors un modèle quadratique utilisant les points où la fonction coût a déjà été évaluée. Grâce aux récents progrès techniques dans le domaine du calcul parallèle, et à la nature parallélisable des stratégies évolutionnaires, on propose d’appliquer notre algorithme pour résoudre un problème inverse d’imagerie sismique. Les résultats obtenus ont permis d’améliorer la résolution de ce problème. ABSTRACT : In recent years, there has been significant and growing interest in Derivative-Free Optimization (DFO). This field can be divided into two categories: deterministic and stochastic. Despite addressing the same problem domain, only few interactions between the two DFO categories were established in the existing literature. In this thesis, we attempt to bridge this gap by showing how ideas from deterministic DFO can improve the efficiency and the rigorousness of one of the most successful class of stochastic algorithms, known as Evolution Strategies (ES’s). We propose to equip a class of ES’s with known techniques from deterministic DFO. The modified ES’s achieve rigorously a form of global convergence under reasonable assumptions. By global convergence, we mean convergence to first-order stationary points independently of the starting point. The modified ES’s are extended to handle general constrained optimization problems. Furthermore, we show how to significantly improve the numerical performance of ES’s by incorporating a search step at the beginning of each iteration. In this step, we build a quadratic model using the points where the objective function has been previously evaluated. Motivated by the recent growth of high performance computing resources and the parallel nature of ES’s, an application of our modified ES’s to Earth imaging Geophysics problem is proposed. The obtained results provide a great improvement for the problem resolution