Dynamic lifecycle cost modeling for adaptable design optimization of additively remanufactured aeroengine components

Additive manufacturing (AM) is being used increasingly for repair and remanufacturing of aeroengine components. This enables the consideration of a design margin approach to satisfy changing requirements, in which component lifespan can be optimized for different lifecycle scenarios. This paradigm requires lifecycle cost (LCC) modeling; however, the LCC models available in the literature consider mostly the manufacturing of a component, not its repair or remanufacturing. There is thus a need for an LCC model that can consider AM for repair/remanufacturing to quantify corresponding costs and benefits. This paper presents a dynamic LCC model that estimates cumulative costs over the in-service phase and a nested design optimization problem formulation that determines the optimal component lifespan range to minimize overall cost while maximizing performance. The developed methodology is demonstrated by means of an aeroengine turbine rear structure

Quantifying uncertainty with ensembles of surrogates for blackbox optimization

This work is in the context of blackbox optimization where the functions defining the problem are expensive to evaluate and where no derivatives are available. A tried and tested technique is to build surrogates of the objective and the constraints in order to conduct the optimization at a cheaper computational cost. This work proposes different uncertainty measures when using ensembles of surrogates. The resulting combination of an ensemble of surrogates with our measures behaves as a stochastic model and allows the use of efficient Bayesian optimization tools. The method is incorporated in the search step of the mesh adaptive direct search (MADS) algorithm to improve the exploration of the search space. Computational experiments are conducted on seven analytical problems, two multi-disciplinary optimization problems and two simulation problems. The results show that the proposed approach solves expensive simulation-based problems at a greater precision and with a lower computational effort than stochastic models.Comment: 36 pages, 11 figures, submitte

On the implementation of a global optimization method for mixed-variable problems

We describe the optimization algorithm implemented in the open-source derivative-free solver RBFOpt. The algorithm is based on the radial basis function method of Gutmann and the metric stochastic response surface method of Regis and Shoemaker. We propose several modifications aimed at generalizing and improving these two algorithms: (i) the use of an extended space to represent categorical variables in unary encoding; (ii) a refinement phase to locally improve a candidate solution; (iii) interpolation models without the unisolvence condition, to both help deal with categorical variables, and initiate the optimization before a uniquely determined model is possible; (iv) a master-worker framework to allow asynchronous objective function evaluations in parallel. Numerical experiments show the effectiveness of these ideas

Bayesian Optimization in Multi-Information Source and Large-Scale Systems

The advancements in science and technology in recent years have extended the scale of engineering problems. Discovery of new materials with desirable properties, drug discovery for treat-ment of disease, design of complex aerospace systems containing interactive subsystems, conducting experimental design of complex manufacturing processes, designing complex transportation systems all are examples of complex systems. The significant uncertainty and lack of knowledge about the underlying model due to the complexity necessitate the use of data for analyzing these systems. However, a huge time/economical expense involved in data gathering process avoids ac-quiring large amount of data for analyzing these systems. This dissertation is mainly focused on enabling design and decision making in complex uncertain systems. Design problems are pervasive in scientific and industrial endeavors: scientists design experiments to gain insights into physical and social phenomena, engineers design machines to execute tasks more efficiently, pharmaceutical researchers design new drugs to fight disease, and environ-mentalists design sensor networks to monitor ecological systems. All these design problems are fraught with choices, choices that are often complex and high-dimensional, with interactions that make them difficult for individuals to reason about. Bayesian optimization techniques have been successfully employed for experimental design of these complex systems. In many applications across computational science and engineering, engineers, scientists and decision-makers might have access to a system of interest through several models. These models, often referred to as “information sources", may encompass different resolutions, physics, and modeling assumptions, resulting in different “fidelity" or “skill" with respect to the quantities of interest. Examples of that include different finite-element models in design of complex mechanical structures, and various tools for analyzing DNA and protein sequence data in bioinformatics. Huge computation of the expensive models avoids excessive evaluations across design space. On the other hand, less expensive models fail to represent the objective function accurately. Thus, it is highly desirable to determine which experiment from which model should be conducted at each time point. We have developed a multi-information source Bayesian optimization framework capable of simultaneous selection of design input and information source, handling constraints, and making the balance between information gain and computational cost. The application of the proposed framework has been demonstrated on two different critical problems in engineering: 1) optimization of dual-phase steel to maximize its strength-normalized strain hardening rate in materials science; 2) optimization of NACA 0012 airfoil in aerospace. The design problems are often defined over a large input space, demanding large number of experiments for yielding a proper performance. This is not practical in many real-world problems, due to the budget limitation and data expenses. However, the objective function (i.e., experiment’s outcome) in many cases might not change with the same rate in various directions. We have introduced an adaptive dimensionality reduction Bayesian optimization framework that exponentially reduces the exploration region of the existing techniques. The proposed framework is capable of identifying a small subset of linear combinations of the design inputs that matter the most relative to the objective function and taking advantage of the objective function representation in this lower dimension, but with richer information. A significant increase in the rate of optimization process has been demonstrated on an important problem in aerospace regarding aerostructural design of an aircraft wing modeled based on the NASA Common Research Model (CRM)

Affinement de modèles substituts en optimisation de boîtes noires et en optimisation sans dérivées

RÉSUMÉ : Ce mémoire se situe dans un contexte d’optimisation sans dérivées, et plus particulièrement dans un contexte d’optimisation de boîtes noires, où la fonction à minimiser et les fonctions relatives aux contraintes sont de type boîte noire. Celles-ci sont potentiellement bruitées, non différentiables, coûteuses en temps de calcul et leurs dérivées sont inaccessibles, inestimables ou inexistantes. Diverses méthodes permettent de résoudre des problèmes d’optimisation de boîtes noires, dont l’algorithme de recherche par treillis adaptatifs (Mads) qui ne dirige la recherche d’optimums qu’avec les valeurs des fonctions aux points explorés. Cet algorithme itératif sépare sa recherche en deux étapes : une recherche globale qui explore l’espace des solutions et une recherche locale qui sonde autour de la meilleure solution visitée. Afin d’éviter d’évaluer inutilement la boîte noire, la recherche de Mads peut être guidée par des modèles du problème original qu’on nomme substituts. Ces modèles, moins lourds en temps de calcul, sont classés en deux catégories : les modèles statiques et les modèles dynamiques. Un modèle statique est une simplification de la boîte noire qui ne varie pas, tandis qu’un modèle dynamique est une approximation du problème mis à jour tout au long du déploiement de l’algorithme. Toutefois, les travaux précédents employant Mads n’exploitent pas simultanément les deux types de modèles. Ce travail introduit un nouveau modèle substitut, le modèle hybride quadratique (MHQ), qui s’avère être un modèle dynamique quadratique qui corrige l’information du modèle statique. Au lieu d’apporter une correction additive ou multiplicative, le MHQ vient généraliser ces deux types de correction en considérant le modèle statique comme une variable du modèle quadratique. Ce nouveau modèle est accompagné d’une base théorique solide en plus d’une analyse de convergence basée sur le calcul des fonctions non lisses. Mads exploite les valeurs fournies par le MHQ afin d’ordonner les points candidats de la recherche locale du plus prometteur au moins prometteur. Les fonctions de la boîte noire sont par la suite évaluées aux points ordonnés avec une stratégie opportuniste. Cette approche permet généralement de réduire le nombre d’évaluations de la boîte noire afin d’atteindre la convergence. Les tests numériques sont effectués sur trois problèmes analytiques et trois problèmes d’ingénierie sous forme de simulations. Les résultats obtenus montrent que l’apport du MHQ à l’algorithme Mads est de permettre une résolution des problèmes avec une plus grande précision. Le MHQ bénéficie donc du caractère global du modèle statique ainsi que de l’aspect local associé au modèle quadratique. Toutefois, l’approche par le MHQ possède des limitations, puisque son temps d’exécution est corrélé au nombre de contraintes du problème.----------ABSTRACT : The present work is in a context of derivative-free optimization, and more particularly in a context of blackbox optimization, where the function to be minimized and the functions related to the constraints are blackboxes. Those are potentially noisy, non-differentiable and computationally expensive. Furthermore, their derivatives are inaccessible or non-existent and they cannot be approximated. Various methods can be used to solve blackbox optimization problems, such as the Mesh Adaptive Direct Search (Mads) algorithm that directs the search only by using the values of the functions at the explored points. This iterative algorithm separates the search into two steps : a global search that explores the solution space and a local poll that explores near the best visited solution. In order to avoid unnecessary blackbox evaluations, the Mads steps can be guided by models of the original problem called surrogates. These models, which are less time-consuming, are classified in two categories : static models and dynamic models. A static model is a simplification of the blackbox that does not vary, while a dynamic model is an approximation of the problem updated throughout the deployment of the algorithm. However, previous work using Mads do not simultaneously exploit both models. This work introduces a new surrogate, the quadratic hybrid model (MHQ), a quadratic dynamic model that corrects information from the static model. Instead of bringing an additive or multiplicative correction, the MHQ generalizes these two types of correction by considering the static model as a variable of the quadratic model. This new model is accompanied by a solid theoretical basis in addition to a convergence analysis based on non-smooth calculus. Mads uses the values provided by the MHQ to order the candidate points of the local search from the most to the least promising. The blackbox functions are then evaluated at the ordered points with an opportunistic strategy. This approach generally reduces the number of blackbox evaluations to achieve convergence. The numerical tests are performed on three analytical problems and three simulation-based engineering problems. The obtained results show that the contribution of the MHQ to the Mads algorithm is to solve problems with a greater precision. The MHQ thus benefits from the global feature of the static model as well as from the local aspect of the quadratic model. However, the MHQ approach has limitations, since its execution time is correlated with the number of problem constraints

Exploitation d’une structure monotone en recherche directe pour l’optimisation de boîtes grises

RÉSUMÉ : Ce projet se situe dans un contexte d’optimisation de boîtes noires industrielles. Celles-ci peuvent contenir des simulations numériques et des effets stochastiques, ce qui rend leur évaluation en un point couteuse en temps et leur comportement peut être bruité. En particulier, nous nous intéressons à des problèmes où, à l’augmentation d’une variable, l’utilisateur est en mesure de prédire l’augmentation ou la diminution de la valeur de la fonction objectif ou de l’une des contraintes qui constituent la boîte noire. C’est le cas pour le problème Kemano fourni par les ingénieurs de l’aluminerie Rio Tinto qui les guide hebdomadairement dans leur prise de décisions sur la gestion de leurs systèmes hydroélectriques. Le sens physique donné aux variables et aux contraintes permet aux ingénieurs de se prononcer sur l’existence d’effets monotones dans leur programme. Nous référerons à ce type de problèmes sous le terme «boîtes grises». Selon les ingénieurs de Rio Tinto, une meilleure calibration du modèle Kemano par un algorithme d’optimisation tel que MADS, un algorithme d’optimisation par recherche directe, permet un gain annuel d’environ 150 000 mégawatts par rapport à une calibration manuelle. D’où l’intérêt de ce projet, dont l’objectif principal est d’aider MADS à trouver une solution réalisable le plus rapidement possible à l’aide de ces informations concernant l’effet de croissance des variables sur les fonctions de la boîte noire. Dans un contexte de boîte noire, il est sous entendu que «plus rapide» est synonyme de «moins d’évaluations de la boîte noire». À cette fin, nous avons bâti une base théorique solide grâce à une étude approfondie de la monotonie sur des cônes de fonctions à plusieurs variables. De cette étude, découlent une matrice de tendance ainsi qu’une direction de tendance qui serviront à guider MADS lors de l’optimisation d’une boîte grise. Nous proposons deux algorithmes (LS et T) pour exploiter concrètement les informations sur la monotonie par MADS par accélérer sa recherche d’un minimum local réalisable. Afin de mettre à l’épreuve ces techniques, elles ont été programmées à des fins expérimentales dans la version 3.7.3 du logiciel NOMAD, une implémentationen C++ de l’algorithme MADS. Trois problèmes tests, dont Kemano, ont servi à évaluer les performances de LS et T. Ces problèmes se sont avérés intéressants dans le cadre de ce projet, car les informations sur la monotonie ont été extraites de façons différentes : analytiquement, par échantillonnage et avec l’intuition de l’utilisateur. Selon la nature du problème, différentes conclusions ont été tirées sur les performances de LS et T.----------ABSTRACT : This project is in the context of industrial blackboxes optimization. These may contain numerical simulations and stochastic effects, making their evaluation time-consuming and their behavior noisy. In particular, we are interested in problems where, when increasing a variable, the user is able to predict the increase or decrease in the value of the objective function or one of the constraints that constitute the blackbox. This is the case for the Kemano problem provided by engineers at the Rio Tinto aluminum smelter who guides them in their weekly decision-making on the management of hydroelectric dams. The physical meaning given to variables and constraints allows engineers to predict the existence of monotonic effects in their program. We will refer to this type of problems under the term "gray boxes". According to Rio Tinto engineers, a better calibration of the Kemano model by an optimization algorithm such as MADS, a direct search optimization algorithm, allows an annual gain of about 150,000 megawatts compared to a manual calibration. Hence the interest of this project, whose main objective is to help MADS find a workable solution faster with the information about the effect of a variable growth on functions of the blackbox. In a blackbox context, it is understood that "faster" is synonymous with "fewer blackbox evaluations". The main objective of this project is to help MADS, a direct search optimization algorithm,to find a feasible solution as quickly as possible with this information. In a blackbox context,it is implied that "faster" is synonymous with "fewer evaluations of the function". With this goal in mind, we have built a solid theoretical foundation through a thorough study of monotony on cones of multivariate functions. From this study, we derived a trend matrix and a trend direction that will guide MADS when optimizing a gray box problem. We propose two algorithms (LS and T) to concretely exploit monotonic information in MADS. In order to test these methods, they were programmed, for experimental purposes, in the version 3.7.3 of the NOMAD software, a C ++ implementation of the MADS algorithm. Three test problems,including Kemano, were used to evaluate the performance of LS and T. These problems have been interesting in the context of this project because the information on monotony has been extracted by different ways: analytically, by sampling, and from the intuition of the user. Depending on the nature of the problem, different conclusions have been drawn about the performance of LS and T

Opportunisme et traitement des contraintes dans MADS

RÉSUMÉ: Dans le domaine de l’optimisation de boites noires, l’utilisateur n’a pas d’expressions analytiques de la fonction objectif et des contraintes. De fait, il n’a pas accès aux gradients. Le gradient est une information importante en optimisation étant donné qu’il permet de fournir une direction de montée de la fonction. De plus, pour récupérer les différentes valeurs de la fonction objectif et des contraintes, des simulations informatiques ou des tests en laboratoires doivent être effectués. Ceci rajoute de nombreuses difficultés supplémentaires : temps de calculs importants pour récupérer les données, bruitage des données et certaines simulations peuvent échouer. Pour résoudre ce genre de problèmes, des algorithmes ont été développés. Parmi eux, MADS a été proposé par Audet et Dennis en 2006. C’est un algorithme itératif de recherche directe qui évalue des points de proche en proche sur un treillis. Il offrait à la base un traitement rudimentaire des contraintes, en associant une valeur infinie à tous points non -réalisables. Il a depuis été étoffé pour offrir un traitement plus souple à des contraintes de plus en plus hétéroclites. Cette thèse propose trois nouvelles fonctionnalités à l’algorithme MADS. Premièrement, MADS calcule des modèles des contraintes afin d’ordonner les points du plus prometteur au moins prometteur. Cependant, un traitement adéquat des contraintes binaires, qui ne retournent que deux valeurs, manque dans MADS. Pour pallier cette absence, des modèles des contraintes binaires seront proposés en utilisant des outils de régression, issus de la classification supervisée. Deuxièmement, ces mêmes outils permettent de proposer un ordonnancement nouveau des points à évaluer quand aucune fonction substitut n’est accessible dans MADS. Les points qui ont le plus de chance d’être réalisables seront évalués en premier pour favoriser la recherche de solutions réalisables de qualité. Cette stratégie sera comparée à une méthode favorisant les points les plus éloignés des points déjà évalués et à la méthode par défaut dans ce cas dans MADS, qui favorise les points qui sont le plus dans la direction du dernier succès par rapport au centre du treillis. Enfin, il peut être noté que la mise à l’échelle des contraintes choisie par l’utilisateur au moment de définir le problème a un impact sur le fonctionnement de MADS. MADS propose un traitement de mise à l’échelle des variables en entrée de la boite noire, mais rien pour les contraintes en sortie. Cette thèse propose une façon de les mettre à l’échelle, de sorte qu’elles prennent des valeurs de même ordre de grandeur. Cela permettra qu’elles aient globalement la même importance.----------ABSTRACT: In the field of blackbox optimization, the user does not have access to the analytical expressions of the objective function and of the constraints. Thus, there is no access to the gradient. But the gradient is an important piece of information since it gives an increasing direction of the function. Moreover, in order to obtain those values, computer simulations or experiments in laboratory have to be done. This adds further difficulties: heavy computational times to get the data, noisy data and some simulations may fail. To solve this kind of problems, algorithms have been developed. Among them, MADS has been proposed by Audet and Dennis in 2006. It is a direct search iterative algorithm that evaluates points on a mesh. At first, it offered a basic management of the constraints by associating an infinite value to all infeasible elements. Since then, more flexible ways have been proposed to handle various types of constraints. There are for example models for most of the constraints in order to sort points from the most to the least promising. However, in MADS, there is no specific management of binary constraints, which can return only two different values. Thus, models of binary constraints will be offered using tools of regression from supervised classification. Those tools also offer new ordering methods to sort the points that need to be evaluated when no models are available in MADS. The points which are the most likely to be feasible will be evaluated first in order to look most likely for feasible solutions. This strategy will be compared to one evaluating first the elements the furthest from the ones already evaluated and to the default, in that situation, in MADS which sorts the points according to the direction of last success. Finally, it should be pointed out that the scaling of the constraints provided by the user chosen while defining the problem has an impact on MADS’s behaviour. MADS deals with the scaling of the input variables of the blackbox, but nothing is done for the constraints in the output. This thesis offers to handle the scaling of the output so that they take values of about the same range so that they have more or less the same influence