Benchmarking sep-CMA-ES on the BBOB-2009 Noisy Testbed

International audienceA partly time and space linear CMA-ES is benchmarked on the BBOB-2009 noisy function testbed. This algorithm with a multistart strategy with increasing population size solves 10 functions out of 30 in 20-D

KL-based Control of the Learning Schedule for Surrogate Black-Box Optimization

This paper investigates the control of an ML component within the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) devoted to black-box optimization. The known CMA-ES weakness is its sample complexity, the number of evaluations of the objective function needed to approximate the global optimum. This weakness is commonly addressed through surrogate optimization, learning an estimate of the objective function a.k.a. surrogate model, and replacing most evaluations of the true objective function with the (inexpensive) evaluation of the surrogate model. This paper presents a principled control of the learning schedule (when to relearn the surrogate model), based on the Kullback-Leibler divergence of the current search distribution and the training distribution of the former surrogate model. The experimental validation of the proposed approach shows significant performance gains on a comprehensive set of ill-conditioned benchmark problems, compared to the best state of the art including the quasi-Newton high-precision BFGS method

Study of the Fractal decomposition based metaheuristic on low-dimensional Black-Box optimization problems

This paper analyzes the performance of the Fractal Decomposition Algorithm (FDA) metaheuristic applied to low-dimensional continuous optimization problems. This algorithm was originally developed specifically to deal efficiently with high-dimensional continuous optimization problems by building a fractal-based search tree with a branching factor linearly proportional to the number of dimensions. Here, we aim to answer the question of whether FDA could be equally effective for low-dimensional problems. For this purpose, we evaluate the performance of FDA on the Black Box Optimization Benchmark (BBOB) for dimensions 2, 3, 5, 10, 20, and 40. The experimental results show that overall the FDA in its current form does not perform well enough. Among different function groups, FDA shows its best performance on Misc. moderate and Weak structure functions

A Computationally Efficient Limited Memory CMA-ES for Large Scale Optimization

We propose a computationally efficient limited memory Covariance Matrix Adaptation Evolution Strategy for large scale optimization, which we call the LM-CMA-ES. The LM-CMA-ES is a stochastic, derivative-free algorithm for numerical optimization of non-linear, non-convex optimization problems in continuous domain. Inspired by the limited memory BFGS method of Liu and Nocedal (1989), the LM-CMA-ES samples candidate solutions according to a covariance matrix reproduced from $m$ direction vectors selected during the optimization process. The decomposition of the covariance matrix into Cholesky factors allows to reduce the time and memory complexity of the sampling to $O(mn)$, where $n$ is the number of decision variables. When $n$ is large (e.g., $n$ > 1000), even relatively small values of $m$ (e.g., $m=20,30$) are sufficient to efficiently solve fully non-separable problems and to reduce the overall run-time.Comment: Genetic and Evolutionary Computation Conference (GECCO'2014) (2014

Discovering Attention-Based Genetic Algorithms via Meta-Black-Box Optimization

Genetic algorithms constitute a family of black-box optimization algorithms, which take inspiration from the principles of biological evolution. While they provide a general-purpose tool for optimization, their particular instantiations can be heuristic and motivated by loose biological intuition. In this work we explore a fundamentally different approach: Given a sufficiently flexible parametrization of the genetic operators, we discover entirely new genetic algorithms in a data-driven fashion. More specifically, we parametrize selection and mutation rate adaptation as cross- and self-attention modules and use Meta-Black-Box-Optimization to evolve their parameters on a set of diverse optimization tasks. The resulting Learned Genetic Algorithm outperforms state-of-the-art adaptive baseline genetic algorithms and generalizes far beyond its meta-training settings. The learned algorithm can be applied to previously unseen optimization problems, search dimensions & evaluation budgets. We conduct extensive analysis of the discovered operators and provide ablation experiments, which highlight the benefits of flexible module parametrization and the ability to transfer (`plug-in') the learned operators to conventional genetic algorithms.Comment: 14 pages, 31 figure

Thèse d'habilitation à diriger des recherches "Analysis of Comparison-based Stochastic Continuous Black-Box Optimization Algorithms"

This manuscript presents a large part of my research since the end of my PhD. Most of mywork is related to numerical (also referred to as continuous) optimization, at the exception of onecontribution done during my postdoc in Zurich introducing a new stochastic algorithm to simulatechemical or biochemical systems [23].The optimization algorithms at the core of my work are adaptive derivative-free stochastic (orrandomized) optimization methods. The algorithms are tailored to tackle dificult numerical optimizationproblems in a so-called black-box context where the objective function to be optimized isseen as a black-box. For a given input solution, the black-box returns solely the objective functionvalue but no gradient or higher order derivatives are assumed. The optimization algorithm canuse the information returned by the black-box, i.e. the history of function values associated tothe queried search points, but no other knowledge that could be within the black-box (parametersdescribing the class of functions the function belongs to, ...). This black-box context is verynatural in industrial settings where the function to be optimized can be given by an executablefile for which the source code is not provided. It is also natural in situations where the functionis given by a large simulation code from which it is hard to extract any useful information for theoptimization.This context is also called derivative-free optimization (DFO) in the mathematical optimizationcommunity. Well-known DFO methods are the Nelder-Mead algorithm [79, 77], pattern searchmethods [54, 90, 6] or more recently the NEW Unconstraint Optimization Algorithm (NEWUOA)developed by Powell [82, 81].In this context, I have been focusing on DFO methods in the literal sense. However the methodsmy research is centered on have a large stochastic component and originate from the community ofbio-inspired algorithms mainly composed of computer scientists and engineers. The methods wereintroduced at the end of the 70's. A parallel with Darwin's theory of the evolution of species basedon blind variation and natural selection was recognized and served as source of inspiration for thosemethods. Nowadays this field of bio-inspired methods is referred to as evolutionary computation(EC) and a generic term for the methods is evolutionary algorithms. The probably most famousexamples of bio-inspired methods are genetic algorithms (GAs). However today GAs are known tobe not competitive for numerical optimization. Evolution Strategies (ES) introduced in the endof the 70's [83] have emerged as the main sub-branch of EC devoted to continuous optimization.One important feature of ES is that they are comparison-based algorithms. The present mostadvanced ES algorithm, the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) [50]is a variable metric method recognized as the state-of-the-art method for stochastic numericaloptimization. It is used in many applications in industry and academy.Because of historical reasons, the developments and work on Evolution Strategies are mainlycarried out in the EC field where practice and effectiveness is definitely as (or more) importantas having a theorem proven about an algorithm. However ES algorithms are simply adaptivestochastic iterative methods and they need to be studied from a mathematical perspective aswell as any other iterative method in optimization or other domain in order to understand themethods better and convince a broader class of people about their soundness. Questions like theirconvergence and speed of convergence central in optimization need to be addressed.My research is encompassed within this general context: I am particularly interested by themathematical aspects of adaptive stochastic methods like ES (and of course CMA-ES) or moregenerally adaptive stochastic optimization algorithms. Evolution strategies have this attractivefacet that while introduced in the bio-inspired and engineering context, they turn out to bemethods with deep theoretical foundations related to invariance, information geometry, stochasticapproximation and strongly connected to Markov chain Monte Carlo (MCMC) algorithms. Thosefoundations and connections are relatively new and to a small (for some topics) or large (forothers) extent partly related to some of my contributions. They will be explained within themanuscript. I particularly care that the theory I am working on relates to practical algorithms orhas an impact on (new) algorithm designs. I attempt to illustrate this within the manuscript.While optimization is the central theme of my research, I have been tackling various aspect ofoptimization. Although most of my work is devoted to single-objective optimization, I have alsobeen working on multi-objective optimization where the goal is to optimize simultaneously severalconflicting objectives and where instead of a single solution, a set of solutions, the so-called Paretoset composed of the best compromises is searched.In the field of single-objective optimization, I have been tackling diverse contexts like noisyoptimization where for a given point in a search space we do not observe one deterministic valuebut a distribution of possible function values, large-scale optimization where one is interested intackling problems of the order of 104 (medium large-scale) to 106 variables (large-scale) and to asmaller extent constrained optimization.In addition to investigating theoretical questions, I have been also working on designing newalgorithms that calls for theory complemented with numerical simulations. Last I have tackledsome applications mainly in the context of the PhD of Mohamed Jebalia with an application inchromatography and of the PhD of Zyed Bouzarkouna (PhD financed by the French Institute forpetrol) on the placement of oil wells.Furthermore, a non neglect-able part of my research those past years has been devoted tobenchmarking of algorithms. Benchmarking complements theory as it is difficult to assess theoreticallythe performance of algorithms on all typical functions one is interested. The mainmotivation has then been to improve the standards on how benchmarking is done. Those contributionswere done along with the development of the Comparing COntinuous Optimizers platform(COCO).My work is articulated around three main complementary axis, namely theory / algorithmdesign and applications. An overview of the contributions presented within this habilitationorganized along those axes is given in Figure 3.1.Ce mémoire décrit l'essentiel de mon travail scientifique depuis la fin de ma thèse. Mes travauxsont centrés sur l'optimisation numérique dite "boîte-noire" à l'exception d'un article effectuédurant mon séjour post-doctoral à l'ETH Zurich qui introduit un nouvel algorithme d'optimisationstochastique pour simuler des systèmes en chimie ou bio-chimie [23].Les algorithmes d'optimisation au coeur de mon travail sont des algorithmes adaptatifs sansdérivées et stochastiques. Ils sont particulièrement adaptés à l'optimisation de problèmes difficiles dans des contextes oèu la fonction n'est accessible qu'à travers une \boîte-noire" retournantl'information d'ordre zero, c'est-à-dire que la seule information disponible et utilisable parl'algorithme sont les couples (points de l'espace de recherche, valeur de fonction objectif associée).Ce contexte est très courant dans l'industrie oèu les problèmes d'optimisation rencontrés font appelà des codes de simulations numériques pour lesquels, souvent, simplement un executable du codeest disponible. L'aspect "sans-dérivées" est aussi très commun car le calcul d'un gradient (quiprésuppose la fonction sous-jacente dérivable) sur des codes de simulations numériques, par exempleen utilisant une méthode d'adjoint ou de differentiation automatique peut ^etre couteux entemps de développement. Il est par ailleurs usuel que la formulation d'un problème d'optimisationchange au fur et à mesure de sa résolution, adapter le code de calcul de gradient peut alors s'avérertrès lourd et peut motiver l'utilisation d'une méthode d'optimisation boîte-noire.Ce contexte d'optimisation boîte-noire s'appelle également optimisation sans dérivées dans lacommunauté \mathematical programming" et l'acronyme anglais associé est DFO pour \derivativefree optimization". Les méthodes qualifiées de DFO sont généralement deterministes. Lesméthodes DFO les plus connues à l'heure actuelle sont l'algorithme du simplexe ou de Nelder-Mead [79, 77], les algorithmes de "pattern search" [54, 90, 6] et l'algorithme NEWUOA (NEWUnconstraint Optimization Algorithm) développé par Powell [82, 81]. Ce dernier algorithme est àl'heure actuelle considéré comme l'algorithme DFO déterministe état de l'art.Mon travail porte ainsi sur des méthodes DFO au sens littéral du terme. En revanche, lesméthodes auxquelles je me suis intéressées ont une large composante stochastique et ont étédéveloppées dans la communauté des algorithmes bio-inspirés qui se compose essentiellementd'ingénieurs et d'informaticiens. Les premiers algorithmes ont été introduits dans les années70. Un parallèle entre la théorie de Darwin de l'évolution des espèces et l'optimisation a servià l'origine de source d'inspiration pour leur développement. A l'heure actuelle, ce domaine desméthodes bio-inspirées est également appelé \Evolutionary Computation". Un terme génériquepour les algorithmes est algorithme évolutionnaire (EA). Pour beaucoup de chercheurs (dont je faispartie) dans ce domaine, l'aspect bio-inspiré n'est plus présent et le développement des algorithmesest seulement motivé par des considérations mathématiques et numériques.Parmi les algorithmes évolutionnaires, les algorithmes génétiques (GA) sont probablementencore les plus célèbres en dehors de la communauté EC. En revanche, les GAs ne sont pasdes algorithmes compétitifs pour l'optimisation numérique{ce fait est reconnu depuis plus d'unedizaine d'années. Les strategies d'évolutions (ES), introduites à la fin des annéees 70 [83], se sont imposées comme les algorithmes évolutionnaires pour l'optimisation numérique. A l'heure actuelle,l'algorithme ES le plus abouti est l'algorithme Covariance Matrix Adaptation Evolution Strategy(CMA-ES) [50]. L'algorithme adapte un vecteur Gaussien (paramétré par vecteur moyenne etmatrice de covariance) qui encode la métrique sous-jacente. Cette métrique apprend sur desfonctions convexes quadratiques l'information d'ordre 2, c'est à dire que la matrice de covariancedevient proportionnelle à l'inverse de la matrice Hessienne. Ainsi, CMA-ES peut ^etre vu comme lependant stochastique d'une méthode de quasi-Newton. Une particularité essentielle de CMA-ESet des ES en général est d^u au fait qu'ils n'utilisent que des comparaisons pour les difrérentesmises à jour. Plus précisément, nous avons vu que les ESs sont des algorithmes d'optimisationsans dérivées, ils n'utilisent cependant qu'une information \dégradée" de ce que la boîte-noire leurfournit, à savoir simplement le résultat de la comparaison des solutions candidates, i.e. étant donnédeux solutions x1 et x2, est ce que f(x1) est plus grand ou plus petit que f(x2). En conséquenceils optimisent de la m^eme façcon une fonction f : Rn ! R ou n'importe quelle fonction g o f oùg : f(Rn) ! R est une fonction strictement croissante: ils sont invariants à la composition àgauche par une fonction monotone strictement croissante.L'algorithme CMA-ES est reconnu comme la méthode état de l'art pour l'optimisation stochastiquenumérique. Il est utilisé dans de nombreuses applications dans l'industrie ou dans le mondeacadémique.Pour des raisons historiques, les algorithmes ESs ont été développés dans la communauté ECoù la mise au point d'un algorithme est la plupart du temps découplée du soucis de prouverun théorème de convergence sur la méthode et repose essentiellement sur l'utilisation de modèlesmathématiques approximatifs simplifiés et de simulations numériques sur des fonctions tests. Bienque ce découplage entre mise au point pratique et théorie puisse ^etre vu comme un inconvenient,il présente l'avantage que le développement d'une méthode n'est pas restreinte (ou bridée) parune contrainte technique liée à une preuve mathématique. Cela a permis à un algorithme commeCMA-ES de voir le jour bien avant que l'on comprenne certains de ses fondements théoriques etbien avant que l'on puisse établir une preuve de convergence. En revanche, cela implique aussique les études théoriques de convergence par exemple s'avèrent relativement compliquées.Ma recherche se situe dans ce contexte général: je suis particulièrement intéressée par l'étudemathématique d'algorithmes adaptatifs stochastiques comme les algorithmes ESs (en particulierCMA-ES) et par l'établissement de preuves de convergence. Ces algorithmes ont une particularité attractive: bien qu'introduits dans un contexte où les performances pratiques sont plusimportantes que les preuves théoriques, ils s'avèrent avoir des fondements mathématiques profondsliés en particulier aux notions d'invariance et de géométrie de l'information. Par ailleurs, ilss'inscrivent dans le cadre plus général d'algorithmes d'approximation stochastique et ils sont fortementconnectés aux méthodes Monte-Carlo par chaînes de Markov (MCMC). Ces deux dernierspoints fournissent des outils mathématiques puissants pour établir des preuves de convergence(linéaire). La comprehension de ces fondements et connexions est reliée en partie à mon travailcomme cela sera illustré dans ce mémoire.J'ai abordé plusieurs facettes de l'optimisation numérique. Bien que l'essentiel de mes travauxporte sur l'optimisation mono-objectif, i.e. minimizer f : X Rn ! R, j'ai également travaillé en optimisation multi-objectif, i.e. où l'on s'intéresse à minimiser une fonction vectoriellef : X Rn ! Rk. Dans ce cas là, la notion d'optimum est remplacée par celle d'ensemblede points de Pareto composé des meilleurs compromis possibles. Mes contributions portent surl'étude d'algorithmes à base d'hypervolume qui quantifient la qualité d'un ensemble de solutionsen calculant le volume compris entre les solutions et un point de reference. Les algorithmes utilisantl'hypervolume sont à l'heure actuelle les algorithmes état de l'art. Nous avons pu établirdes caractérisations théoriques de l'ensemble des solutions optimales au sens de l'hypervolume.En optimisation mono-objectif, j'ai travaillé sur l'optimisation bruitée où étant donné un point del'espace de recherche, on observe une distribution de valeurs de fonction objectif, sur l'optimisationà grande échelle où l'on s'intéresse à l'optimisation de problèmes avec de l'ordre de 104 à 106 variableset sur l'optimisation sous contrainte.Mes travaux s'articulent autour de trois grands axes: théorie / nouveaux algorithmes / applications (voir Figure 3.1). Ces trois axes sont complémentaires et couplés: par exemple, la miseau point de nouveaux algorithmes repose sur l'établissement de bornes théoriques de convergenceet est ensuite complémentée par des simulations numériques. Ceci est illustré au Chapitre 6. Parailleurs le développement d'algorithmes pour l'optimisation en grande dimension repose sur laconnexion entre CMA-ES et la géométrie de l'information (voir Chapitre 4). Un autre exemplede complémentarité est le suivant: les applications abordées notamment pour l'optimisation duplacement de puits de pétrole ont motivé l'introduction de nouvelles variantes de CMA-ES (voirChapitre 9).Par ailleurs, une partie non négligeable de mes travaux porte sur le test (benchmarking)d'algorithmes. La motivation principale est d'améliorer les méthodologies pour tester et comparerles algorithmes d'optimisation numériques. Ces travaux ont été accompagnés du développementd'une plateforme, Comparing COntinuous Optimizers (COCO) et ont un impact maintenant surla mise au point de nouveaux algorithmes mais également sur le test d'hypothèses théoriques

Black-Box Data-efficient Policy Search for Robotics

International audienceThe most data-efficient algorithms for reinforcement learning (RL) in robotics are based on uncertain dynam-ical models: after each episode, they first learn a dynamical model of the robot, then they use an optimization algorithm to find a policy that maximizes the expected return given the model and its uncertainties. It is often believed that this optimization can be tractable only if analytical, gradient-based algorithms are used; however, these algorithms require using specific families of reward functions and policies, which greatly limits the flexibility of the overall approach. In this paper, we introduce a novel model-based RL algorithm, called Black-DROPS (Black-box Data-efficient RObot Policy Search) that: (1) does not impose any constraint on the reward function or the policy (they are treated as black-boxes), (2) is as data-efficient as the state-of-the-art algorithm for data-efficient RL in robotics, and (3) is as fast (or faster) than analytical approaches when several cores are available. The key idea is to replace the gradient-based optimization algorithm with a parallel, black-box algorithm that takes into account the model uncertainties. We demonstrate the performance of our new algorithm on two standard control benchmark problems (in simulation) and a low-cost robotic manipulator (with a real robot)

Computational results for an automatically tuned CMA-ES with increasing population size on the CEC'05 benchmark set

Abstract In this article, we apply an automatic algorithm configuration tool to improve the performance of the CMA-ES algorithm with increasing population size (iCMA-ES), the best performing algorithm on the CEC'05 benchmark set for continuous function optimization. In particular, we consider a separation between tuning and test sets and, thus, tune iCMA-ES on a different set of functions than the ones of the CEC'05 benchmark set. Our experimental results show that the tuned iCMA-ES improves significantly over the default version of iCMA-ES. Furthermore, we provide some further analyses on the impact of the modified parameter settings on iCMA-ES performance and a comparison with recent results of algorithms that use CMA-ES as a subordinate local search