Exploitation d’une structure monotone en recherche directe pour l’optimisation de boîtes grises

RÉSUMÉ : Ce projet se situe dans un contexte d’optimisation de boîtes noires industrielles. Celles-ci peuvent contenir des simulations numériques et des effets stochastiques, ce qui rend leur évaluation en un point couteuse en temps et leur comportement peut être bruité. En particulier, nous nous intéressons à des problèmes où, à l’augmentation d’une variable, l’utilisateur est en mesure de prédire l’augmentation ou la diminution de la valeur de la fonction objectif ou de l’une des contraintes qui constituent la boîte noire. C’est le cas pour le problème Kemano fourni par les ingénieurs de l’aluminerie Rio Tinto qui les guide hebdomadairement dans leur prise de décisions sur la gestion de leurs systèmes hydroélectriques. Le sens physique donné aux variables et aux contraintes permet aux ingénieurs de se prononcer sur l’existence d’effets monotones dans leur programme. Nous référerons à ce type de problèmes sous le terme «boîtes grises». Selon les ingénieurs de Rio Tinto, une meilleure calibration du modèle Kemano par un algorithme d’optimisation tel que MADS, un algorithme d’optimisation par recherche directe, permet un gain annuel d’environ 150 000 mégawatts par rapport à une calibration manuelle. D’où l’intérêt de ce projet, dont l’objectif principal est d’aider MADS à trouver une solution réalisable le plus rapidement possible à l’aide de ces informations concernant l’effet de croissance des variables sur les fonctions de la boîte noire. Dans un contexte de boîte noire, il est sous entendu que «plus rapide» est synonyme de «moins d’évaluations de la boîte noire». À cette fin, nous avons bâti une base théorique solide grâce à une étude approfondie de la monotonie sur des cônes de fonctions à plusieurs variables. De cette étude, découlent une matrice de tendance ainsi qu’une direction de tendance qui serviront à guider MADS lors de l’optimisation d’une boîte grise. Nous proposons deux algorithmes (LS et T) pour exploiter concrètement les informations sur la monotonie par MADS par accélérer sa recherche d’un minimum local réalisable. Afin de mettre à l’épreuve ces techniques, elles ont été programmées à des fins expérimentales dans la version 3.7.3 du logiciel NOMAD, une implémentationen C++ de l’algorithme MADS. Trois problèmes tests, dont Kemano, ont servi à évaluer les performances de LS et T. Ces problèmes se sont avérés intéressants dans le cadre de ce projet, car les informations sur la monotonie ont été extraites de façons différentes : analytiquement, par échantillonnage et avec l’intuition de l’utilisateur. Selon la nature du problème, différentes conclusions ont été tirées sur les performances de LS et T.----------ABSTRACT : This project is in the context of industrial blackboxes optimization. These may contain numerical simulations and stochastic effects, making their evaluation time-consuming and their behavior noisy. In particular, we are interested in problems where, when increasing a variable, the user is able to predict the increase or decrease in the value of the objective function or one of the constraints that constitute the blackbox. This is the case for the Kemano problem provided by engineers at the Rio Tinto aluminum smelter who guides them in their weekly decision-making on the management of hydroelectric dams. The physical meaning given to variables and constraints allows engineers to predict the existence of monotonic effects in their program. We will refer to this type of problems under the term "gray boxes". According to Rio Tinto engineers, a better calibration of the Kemano model by an optimization algorithm such as MADS, a direct search optimization algorithm, allows an annual gain of about 150,000 megawatts compared to a manual calibration. Hence the interest of this project, whose main objective is to help MADS find a workable solution faster with the information about the effect of a variable growth on functions of the blackbox. In a blackbox context, it is understood that "faster" is synonymous with "fewer blackbox evaluations". The main objective of this project is to help MADS, a direct search optimization algorithm,to find a feasible solution as quickly as possible with this information. In a blackbox context,it is implied that "faster" is synonymous with "fewer evaluations of the function". With this goal in mind, we have built a solid theoretical foundation through a thorough study of monotony on cones of multivariate functions. From this study, we derived a trend matrix and a trend direction that will guide MADS when optimizing a gray box problem. We propose two algorithms (LS and T) to concretely exploit monotonic information in MADS. In order to test these methods, they were programmed, for experimental purposes, in the version 3.7.3 of the NOMAD software, a C ++ implementation of the MADS algorithm. Three test problems,including Kemano, were used to evaluate the performance of LS and T. These problems have been interesting in the context of this project because the information on monotony has been extracted by different ways: analytically, by sampling, and from the intuition of the user. Depending on the nature of the problem, different conclusions have been drawn about the performance of LS and T

Modèles quadratiques et décomposition parallèle pour l’optimisation sans dérivées

RÉSUMÉ: L’optimisation sans dérivées (DFO) et l’optimisation de boites noires (BBO) sont deux disciplines qui traitent des problèmes dont la formulation analytique est inaccessible partiellement ou totalement et qui résultent souvent de simulations informatiques. Les algorithmes DFO et BBO s’appliquent typiquement à des problèmes de petite dimension. Parmi ces méthodes, l’algorithme de recherche directe par treillis adaptatifs (MADS) est une méthode itérative qui se base sur une discrétisation de l’espace et des directions de recherche pour sélectionner et évaluer des points de l’espace. Cette thèse explore deux extensions de MADS qui permettent d’améliorer les résultats de la méthode ainsi que de s’attaquer à des problèmes de plus grande taille. Dans la première extension, MADS utilise des modèles dans l’étape de recherche menant à la création d’une série de sous-problèmes quadratiques avec contraintes quadratiques. Deux méthodes d’optimisation non linéaire classiques sont décrites : la fonction de pénalité exacte en norme `1 et le Lagrangien augmenté. De plus, une nouvelle méthode nommée le Lagrangien augmenté en norme `1 combine les points forts des deux algorithmes précédents. Cette dernière méthode est bien adaptée pour les problèmes quadratiques avec contraintes quadratiques vu qu’elle se base sur un terme de pénalité en norme `1 qui permet de traiter un problème quadratique par morceaux au lieu d’un problème quartique si le Lagrangien augmenté standard est utilisé. La nouvelle méthode du Lagrangien augmenté en norme `1 est décrite pour les problèmes non linéaires avec des contraintes d’égalités. Une analyse conduite sur l’itération interne de l’algorithme prouve que la convergence vers un point stationnaire se fait avec une vitesse surperlinéaire en deux étapes. De plus, l’analyse de l’itération externe de la méthode établit que l’algorithme converge globalement et que le paramètre de pénalité est borné. Dans la seconde extension, l’algorithme de décomposition parallèle de l’espace de la recherche directe par treillis adaptatifs (PSD-MADS), qui est une méthode parallèle asynchrone pour les problèmes de boites noires de grande taille, utilise une stratégie de sélection aléatoire des variables pour la construction des sous-problèmes. Plusieurs stratégies sont proposées pour sélectionner les variables les plus influentes du problème et explorer l’espace des solutions de manière plus efficace. Ces stratégies se basent sur des outils statistiques pour évaluer l’influence des variables sur les différentes sorties et sur la méthode de classification k-mean pour grouper les variables avec plus ou moins le même niveau d’influence. De plus, une méthode hybride qui combine cette nouvelle stratégie avec l’approche aléatoire de sélection de variables est présentée. Les nouvelles méthodes améliorent les résultats de PSD-MADS et les tests numériques sont conduits sur des problèmes de taille allant jusqu’à 4000 variables.----------ABSTRACT: Derivative-free optimization (DFO) and blackbox optimization (BBO) are two fields studying problems for which the analytical formulation is partially or completely inaccessible, and which often result from computer simulations. Algorithms in DFO and BBO typically target problems with small dimension. One of these methods is the mesh adaptive direct search algorithm (MADS) which is an iterative method relying on a space discretization and search directions to select and assess new candidates. This thesis explores two extensions of the MADS algorithm that allow to improve its results and take on problems with a larger dimension. In the first extension, MADS uses models in the search step which generates a sequence of quadratic subproblems with quadratic constraints. Two classic nonlinear optimization methods are described: the `1-exact penalty function and the augmented Lagrangian. In addition, a new method, called the `1 augmented Lagrangian, combines the strengths of both previous methods. This new approach is well suited for quadratically constrained quadratic problems (QCQP) since the `1 penalty term allows the method to optimize a piecewise quadratic problem instead of a quartic one when using the standard augmented Lagrangien. The new `1 augmented Lagrangian is described for nonlinear problems with equality constraints. The analysis of the inner iteration of the algorithm proves a superlinear convergence to a stationary point. In addition,the analysis of the outer loop of the method establishes global convergence and shows that the penalty parameter is bounded away from zero. In the second extension, the parallel space decomposition of the mesh adaptive direct search algorithm (PSD-MADS), which is an asynchronous parallel method for large-sized blackbox problems, uses a random selection of variables to build subproblems. Several new strategies are introduced to select the most influential variables and explore the solution space more efficiently. These strategies are based on statistical tools to quantify the influence of variables on the different outputs and use the k-mean clustering method to group variables with the same level of influence together. In addition, a hybrid method combines this new strategy with the random variable selection of the original PSD-MADS. These new methods improve the results of PSD-MADS and are tested on problems with up to 4000 variables