Upper trust bound feasibility criterion for mixed constrained Bayesian optimization with application to aircraft design

Bayesian optimization methods have been successfully applied to black box optimization problems that are expensive to evaluate. In this paper, we adapt the so-called super efficient global optimization algorithm to solve more accurately mixed constrained problems. The proposed approach handles constraints by means of upper trust bound, the latter encourages exploration of the feasible domain by combining the mean prediction and the associated uncertainty function given by the Gaussian processes. On top of that, a refinement procedure, based on a learning rate criterion, is introduced to enhance the exploitation and exploration trade-off. We show the good potential of the approach on a set of numerical experiments. Finally, we present an application to conceptual aircraft configuration upon which we show the superiority of the proposed approach compared to a set of the state-of-the-art black box optimization solvers

An adaptive feasibility approach for constrained bayesian optimization with application in aircraft design

The multidisciplinary optimization of new aircraft configurations involves numerous design variables and constraints. In this context, ONERA (the french aerospace Lab) developed a new constrained bayesian optimizer, named Super Efficient Global Optimization (SEGO) based on Mixture of experts (MOE). The latter employs gaussian processes to set surrogate models for the objective function and the constraints taking into account both exploration (sampling from areas of high uncertainty) as well as exploitation (sampling areas likely to offer improvement over the current best observation). Concerning the constraints, only the prediction of these models is taken into account during the optimization process. Thus, due to the error made by the surrogate model, the estimated feasible domain can be not well approximated and hence leading to poor optimization results in some cases. This issue is amplified once large‐scale constrained optimization problems are regarded. In this work, we propose different criteria for constraint handling based on feasibility probabilities (estimated using gaussian processes). In fact, instead of using only constraints predictors the new criteria allow the optimizer to explore unfeasible areas in terms of the constraints predictors. An adaptive mechanism is also included to manage the minimum feasibility acceptance of possible enrichment points.The obtained optimization strategy based on the use of the feasibility probabilities explores better the feasible domain. Numerical experiments are carried out on a set of known test problems as well as an industrial optimization problem

Adaptive modeling strategy for constrained global optimization with application to aerodynamic wing design

Surrogate models are often used to reduce the cost of design optimization prob- lems that involve computationally costly models, such as computational fluid dynamics simulations. However, the number of evaluations required by sur- rogate models usually scales poorly with the number of design variables, and there is a need for both better constraint formulations and multimodal function handling. To address this issue, we developed a surrogate-based gradient-free optimization algorithm that can handle cases where the function evaluations are expensive, the computational budget is limited, the functions are multimodal, and the optimization problem includes nonlinear equality or inequality con- straints. The proposed algorithm—super efficient global optimization coupled with mixture of experts (SEGOMOE)—can tackle complex constrained design optimization problems through the use of an enrichment strategy based on a mixture of experts coupled with adaptive surrogate models. The performance of this approach was evaluated for analytic constrained and unconstrained prob- lems, as well as for a multimodal aerodynamic shape optimization problem with 17 design variables and an equality constraint. Our results showed that the method is efficient and that the optimum is much less dependent on the starting point than the conventional gradient-based optimization

Optimisation bayésienne sous contraintes et en grande dimension appliquée à la conception avion avant projet.

Nowadays, the preliminary design in aeronautics is based mainly on numerical models bringing together many disciplines aimed at evaluating the performance of the aircraft.These disciplines, such as aerodynamics, structure and propulsion, are interconnected in order to take into account their interactions.This produces a computationally expensive aircraft performance evaluation process.Indeed, an evaluation can take from thirty seconds for low fidelity models to several weeks for higher fidelity models.In addition, because of the multi-disciplinarity of the process and the diversity of the calculation tools, we do not always have access to the properties or the gradient of this performance function.In addition, each discipline uses its own design variables and must respect equality or inequality constraints which are often numerous and multi-modal.We ultimately seek to find the best possible configuration in a given design space.This research can be mathematically translated to a black-box optimization problem under inequality and equality constraints, also known as mixted constraints, depending on a large number of design variables.Moreover, the constraints and the objective function are expensive to evaluate and their regularity is not known.This is why we are interested in derivative-free optimization methods and more specifically the ones based on surrogate models.Bayesian optimization methods, using Gaussian processes, are more particularly studied because they have shown rapid convergence on multimodal problems.Indeed, the use of evolutionary optimization algorithms or other gradient-based methods is not possible because of the computational cost that this implies: too many calls to generate populations of points, or to approach the gradient by finite difference.However, the Bayesian optimization method is conventionally used for optimization problems without constraints and of small dimension.Extensions have been proposed to partially take this lock into account.On the one hand, optimization methods have been introduced to solve optimization problems with mixed constraints.However, none of them is adaptable to the large dimension, to the multi-modal problems and to mixed constraints.On the other hand, non-linear optimization methods have been developed for the large dimension up to a million design variables.In the same way, these methods extend only with difficulty to the constrained problems because of the computing time which they require or their random character.A first part of this work is based on the development of a Bayesian optimization algorithm solving unconstrained optimization problems in large dimensions.It is based on an adaptive learning strategy of a linear subspace carried out in conjunction with the optimization.This linear subspace is then used to perform the optimization.This method has been tested on academic test cases.A second part of this work deals with the development of a Bayesian optimization algorithm to solve multi-modal optimization problems under mixed constraints.It has been extensively compared to algorithms in the literature on a large battery of academic tests.Finally, the second algorithm was compared with two aeronautical test cases.The first test case is a classic medium range aircraft configuration with hybrid electric propulsion developed by ONERA and ISAE-Supaero.The second test case is a classic business aircraft configuration developed at Bombardier Aviation.This test case is based on an optimization at two levels of fidelity.A conceptual fidelity level and a preliminary fidelity level for which the problem is evaluated in thirty seconds and 25~minutes, respectively.This last study was carried out during an international mobility at Bombardier Aviation in Montreal (CA).The results showed the interest of the implemented method.De nos jours, la conception avant-projet en aéronautique repose majoritairement sur des modèles numériques faisant interagir de nombreuses disciplines visant à évaluer les performances de l'avion.Ces disciplines, comme l'aérodynamique, la structure et la propulsion, sont connectées entre elles afin de prendre en compte leurs interactions.Cela produit un processus d'évaluation des performances de l'avion coûteux en temps de calcul.En effet, une évaluation peut prendre de trente secondes pour les modèles de basse fidélité jusqu'à plusieurs semaines pour les modèles de plus haute fidélité.De plus, à cause de la multi-disciplinarité du processus et de la diversité des outils de calcul, nous n'avons généralement pas accès aux propriétés ou au gradient de cette fonction de performance.En outre, chaque discipline utilise ses propres variables de conception et doit respecter des contraintes d'égalité ou d'inégalité qui sont souvent nombreuses et multi-modales.On cherche finalement à trouver la meilleur configuration possible dans un espace de conception donné.Cette recherche peut se traduire mathématiquement par un problème d'optimisation boite-noire sous contraintes d'inégalité et d'égalité, aussi connues comme contraintes mixtes, dépendant d'un grand nombre de variables de conception.De plus, les contraintes et la fonction objective sont coûteuses à évaluer et leur régularité n'est pas connue.C'est pourquoi, on s'intéresse aux méthodes d'optimisations sans dérivées et particulièrement celles reposant sur les modèles de substitution.Les méthodes d'optimisation Bayésienne, utilisant des processus gaussiens, sont notamment étudiées car elles ont montré des convergences rapides sur des problèmes multi-modaux.En effet, l'utilisation d'algorithmes d'optimisation évolutionnaire ou reposant sur le gradient n'est pas envisageable du fait du coût de calcul que cela implique : trop d'appels pour générer des populations de points, ou pour approcher le gradient par différences finies.Cependant la méthode d'optimisation Bayésienne est classiquement utilisée pour des problèmes d'optimisation sans contrainte et de faible dimension.Des extensions ont été proposées pour prendre en compte ce verrou de manière partielle.D'une part, des méthodes d'optimisation ont été introduites pour résoudre des problèmes d'optimisation à contraintes mixtes.Toutefois, aucune d'entre elles n'est adaptable à la grande dimension, aux problèmes multi-modaux et aux contraintes mixtes.D'autre part, des méthodes d'optimisation ont été développées pour la grande dimension pouvant aller jusqu'au million de variables de conception.De même, ces méthodes ne s'étendent que difficilement aux problèmes contraints à cause du temps de calcul qu'ils nécessitent ou de leur caractère aléatoire.Une première partie de ce travail repose sur le développement d'un algorithme d'optimisation Bayésienne résolvant les problèmes d'optimisation sans contrainte en grande dimension.Il repose sur une stratégie d'apprentissage adaptatif d'un sous-espace linéaire réalisée conjointement à l'optimisation.Ce sous-espace linéaire est ensuite utilisé pour réaliser l'optimisation.Cette méthode a été testée sur des cas tests académiques.Une deuxième partie de ce travail traite du développement d'un algorithme d'optimisation Bayésienne pour résoudre les problèmes d'optimisation multi-modaux sous contraintes mixtes.Il a été comparé aux algorithmes de la littérature de manière intensive sur une grande batterie de tests académiques.Finalement, on a confronté le second algorithme à deux cas tests aéronautiques.Le premier cas test est une configuration classique d'avion moyen-courrier à propulsion hybride électrique développé par l'ONERA et l'ISAE-Supaero.Le second cas test est une configuration classique \linebreak d'avion d'affaire développée par Bombardier Aviation.Ce cas test repose sur une optimisation à deux niveaux de fidélité.Un niveau de fidélité conceptuel et un niveau de fidélité préliminaire pour lesquels le problème est respectivement évalué en trente secondes et 25~minutes.Cette dernière étude a été réalisée lors d'une mobilité internationale chez Bombardier Aviation à Montréal (CA).Les résultats ont montré l'intérêt de la méthode mise en place

Large scale multidisciplinary design optimization for aircraft design

De nos jours, la conception avant-projet en aéronautique repose majoritairement sur des modèlesnumériques faisant interagir de nombreuses disciplines visant à évaluer les performancesde l’avion. Ces disciplines, comme l’aérodynamique, la structure et la propulsion, sont connectéesentre elles afin de prendre en compte leurs interactions. Cela produit un processus d’évaluationdes performances de l’avion coûteux en temps de calcul. En effet, une évaluation peut prendre detrente secondes pour les modèles de basse fidélité jusqu’à plusieurs semaines pour les modèlesde plus haute fidélité. De plus, à cause de la multi-disciplinarité du processus et de la diversitédes outils de calcul, nous n’avons généralement pas accès aux propriétés ou au gradient de cettefonction de performance. En outre, chaque discipline utilise ses propres variables de conceptionet doit respecter des contraintes d’égalité ou d’inégalité qui sont souvent nombreuses et multimodales.On cherche finalement à trouver la meilleur configuration possible dans un espace deconception donné.Cette recherche peut se traduire mathématiquement par un problème d’optimisation boite noiresous contraintes d’inégalité et d’égalité, aussi connues comme contraintes mixtes, dépendantd’un grand nombre de variables de conception. De plus, les contraintes et la fonction objectivesont coûteuses à évaluer et leur régularité n’est pas connue. C’est pourquoi, on s’intéresseaux méthodes d’optimisations sans dérivées et particulièrement celles reposant sur les modèlesde substitution. Les méthodes d’optimisation Bayésienne, utilisant des processus gaussiens, sontnotamment étudiées car elles ont montré des convergences rapides sur des problèmes multimodaux.En effet, l’utilisation d’algorithmes d’optimisation évolutionnaire ou reposant sur le gradientn’est pas envisageable du fait du coût de calcul que cela implique : trop d’appels pour générerdes populations de points, ou pour approcher le gradient par différences finies.Cependant la méthode d’optimisation Bayésienne est classiquement utilisée pour des problèmesd’optimisation sans contrainte et de faible dimension. Des extensions ont été proposéespour prendre en compte ce verrou de manière partielle. D’une part, des méthodes d’optimisationont été introduites pour résoudre des problèmes d’optimisation à contraintes mixtes. Toutefois,aucune d’entre elles n’est adaptable à la grande dimension, aux problèmes multi-modaux et auxcontraintes mixtes. D’autre part, des méthodes d’optimisation ont été développées pour la grandedimension pouvant aller jusqu’aumillion de variables de conception. De même, ces méthodes nes’étendent que difficilement aux problèmes contraints à cause du temps de calcul qu’ils nécessitentou de leur caractère aléatoire.Une première partie de ce travail repose sur le développement d’un algorithme d’optimisationBayésienne résolvant les problèmes d’optimisation sans contrainte en grande dimension. Il reposesur une stratégie d’apprentissage adaptatif d’un sous-espace linéaire réalisée conjointementà l’optimisation. Ce sous-espace linéaire est ensuite utilisé pour réaliser l’optimisation. Cette méthode a été testée sur des cas tests académiques.Une deuxième partie de ce travail traite du développement d’un algorithme d’optimisationBayésienne pour résoudre les problèmes d’optimisation multi-modaux sous contraintes mixtes. Ila été comparé aux algorithmes de la littérature de manière intensive sur une grande batterie detests académiques.Finalement, on a confronté le second algorithme à deux cas tests aéronautiques. Le premiercas test est une configuration classique d’avion moyen-courrier à propulsion hybride électriquedéveloppé par l’ONERA et l’ISAE-SUPAERO. Le second cas test est une configuration classiqued’avion d’affaire développée par Bombardier Aviation. Ce cas test repose sur une optimisationà deux niveaux de fidélité.Nowadays, the preliminary design in aeronautics is based mainly on numericalmodels bringingtogether many disciplines aimed at evaluating the performance of the aircraft. These disciplines,such as aerodynamics, structure and propulsion, are interconnected in order to take into accounttheir interactions. This produces a computationally expensive aircraft performance evaluationprocess. Indeed, an evaluation can take from thirty seconds for low fidelity models to severalweeks for higher fidelity models. In addition, because of the multi-disciplinarity of the processand the diversity of the calculation tools, we do not always have access to the properties or thegradient of this performance function. In addition, each discipline uses its own design variablesand must respect equality or inequality constraints which are often numerous and multi-modal.We ultimately seek to find the best possible configuration in a given design space.This research can be mathematically translated to a black-box optimization problem under inequalityand equality constraints, also known as mixted constraints, depending on a large numberof design variables. Moreover, the constraints and the objective function are expensive to evaluateand their regularity is not known. This is why we are interested in derivative-free optimizationmethods and more specifically the ones based on surrogatemodels. Bayesian optimization methods,using Gaussian processes, are more particularly studied because they have shown rapid convergenceon multimodal problems. Indeed, the use of evolutionary optimization algorithms orother gradient-based methods is not possible because of the computational cost that this implies:too many calls to generate populations of points, or to approach the gradient by finite difference.However, the Bayesian optimization method is conventionally used for optimization problemswithout constraints and of small dimension. Extensions have been proposed to partially take thislock into account. On the one hand, optimization methods have been introduced to solve optimizationproblems with mixed constraints. However, none of them is adaptable to the largedimension, to the multi-modal problems and to mixed constraints. On the other hand, non-linearoptimization methods have been developed for the large dimension up to a million design variables.In the same way, these methods extend only with difficulty to the constrained problemsbecause of the computing time which they require or their random character.A first part of this work is based on the development of a Bayesian optimization algorithmsolvingunconstrained optimization problems in large dimensions. It is based on an adaptive learningstrategy of a linear subspace carried out in conjunction with the optimization. This linear subspaceis then used to perform the optimization. This method has been tested on academic testcases.A second part of this work deals with the development of a Bayesian optimization algorithm tosolve multi-modal optimization problems under mixed constraints. It has been extensively comparedto algorithms in the literature on a large battery of academic tests.Finally, the second algorithm was compared with two aeronautical test cases. The first testcase is a classic medium range aircraft configuration with hybrid electric propulsion developedby ONERA and ISAE-Supaero. The second test case is a classic business aircraft configuration developedat Bombardier Aviation. This test case is based on an optimization at two levels of fidelity.A conceptual fidelity level and a preliminary fidelity level for which the problem is evaluated inthirty seconds and 25 minutes, respectively. This last study was carried out during an internationalmobility at Bombardier Aviation in Montreal (CA). The results showed the interest of theimplemented metho

Protection sélective d’un réseau de neurones implémenté sur puce FPGA soumis à un environnement radiatif

International audienceLes applications avioniques sont confrontées à de nombreux défis pour garantir un fonctionnement sûr et fiable. Elles doivent être capables de fonctionner avec des environnements contraints dans lesquels les circuits sont soumis à l’effet des particules ionisantes ou des rayons cosmiques. En outre, ces systèmes requièrent des traitements de plus en plus complexes, ce qui a conduit à l’exploration de solutions telles que l’utilisation de réseaux de neurones embarqués sur FPGA. Afin de répondre à la problématique d’exécution de ces algorithmes vis-à-vis des fautes environnementales, une méthode de protection est proposée. Elle est basée sur la triplication des bascules détectées comme sensibles à l’issue d’une simulation. Les résultats de l’étude indiquent que la phase d’apprentissage impacte la sensibilité des différentes couches du réseau de neurones. Les bits de signe et de poids fort qui stockent le résultat des calculs des neurones artificiels sont particulièrement vulnérables et doivent être protégés. La stratégie de protection sélective présentée dans cet article permet d’augmenter la tolérance aux fautes de ces systèmes en offrant un compromis concernant la consommation de ressources matérielles

Protection sélective d’un réseau de neurones implémenté sur puce FPGA soumis à un environnement radiatif

International audienceLes applications avioniques sont confrontées à de nombreux défis pour garantir un fonctionnement sûr et fiable. Elles doivent être capables de fonctionner avec des environnements contraints dans lesquels les circuits sont soumis à l’effet des particules ionisantes ou des rayons cosmiques. En outre, ces systèmes requièrent des traitements de plus en plus complexes, ce qui a conduit à l’exploration de solutions telles que l’utilisation de réseaux de neurones embarqués sur FPGA. Afin de répondre à la problématique d’exécution de ces algorithmes vis-à-vis des fautes environnementales, une méthode de protection est proposée. Elle est basée sur la triplication des bascules détectées comme sensibles à l’issue d’une simulation. Les résultats de l’étude indiquent que la phase d’apprentissage impacte la sensibilité des différentes couches du réseau de neurones. Les bits de signe et de poids fort qui stockent le résultat des calculs des neurones artificiels sont particulièrement vulnérables et doivent être protégés. La stratégie de protection sélective présentée dans cet article permet d’augmenter la tolérance aux fautes de ces systèmes en offrant un compromis concernant la consommation de ressources matérielles

Hardening a Neural Network on FPGA through Selective Triplication and Training Optimization

International audienceThe proposed approach identifies SEU sensitive flipflops and optimizes the training phase of a neural network. With this information, selective triplication is applied to improve the reliability with limited resource overhead on an FPGA device

Hardening a Neural Network on FPGA through Selective Triplication and Training Optimization

International audienceThe proposed approach identifies SEU sensitive flipflops and optimizes the training phase of a neural network. With this information, selective triplication is applied to improve the reliability with limited resource overhead on an FPGA device