Exploiting problem structure in derivative free optimization

A structured version of derivative-free random pattern search optimization algorithms is introduced which is able to exploit coordinate partially separable structure (typically associated with sparsity) often present in unconstrained and bound-constrained optimization problems. This technique improves performance by orders of magnitude and makes it possible to solve large problems that otherwise are totally intractable by other derivative-free methods. A library of interpolation-based modelling tools is also described, which can be associated to the structured or unstructured versions of the initial pattern search algorithm. The use of the library further enhances performance, especially when associated with structure. The significant gains in performance associated with these two techniques are illustrated using a new freely-available release of the BFO (Brute Force Optimizer) package firstly introduced in [Porcelli,Toint, ACM TOMS, 2017], which incorporates them. An interesting conclusion of the numerical results presented is that providing global structural information on a problem can result in significantly less evaluations of the objective function than attempting to building local Taylor-like models

A Partially Randomized Approach to Trajectory Planning and Optimization for Mobile Robots with Flat Dynamics

Motion planning problems are characterized by huge search spaces and complex obstacle structures with no concise mathematical expression. The fixed-wing airplane application considered in this thesis adds differential constraints and point-wise bounds, i. e. an infinite number of equality and inequality constraints. An optimal trajectory planning approach is presented, based on the randomized Rapidly-exploring Random Trees framework (RRT*). The local planner relies on differential flatness of the equations of motion to obtain tree branch candidates that automatically satisfy the differential constraints. Flat output trajectories, in this case equivalent to the airplane's flight path, are designed using Bézier curves. Segment feasibility in terms of point-wise inequality constraints is tested by an indicator integral, which is evaluated alongside the segment cost functional. Although the RRT* guarantees optimality in the limit of infinite planning time, it is argued by intuition and experimentation that convergence is not approached at a practically useful rate. Therefore, the randomized planner is augmented by a deterministic variational optimization technique. To this end, the optimal planning task is formulated as a semi-infinite optimization problem, using the intermediate result of the RRT(*) as an initial guess. The proposed optimization algorithm follows the feasible flavor of the primal-dual interior point paradigm. Discretization of functional (infinite) constraints is deferred to the linear subproblems, where it is realized implicitly by numeric quadrature. An inherent numerical ill-conditioning of the method is circumvented by a reduction-like approach, which tracks active constraint locations by introducing new problem variables. Obstacle avoidance is achieved by extending the line search procedure and dynamically adding obstacle-awareness constraints to the problem formulation. Experimental evaluation confirms that the hybrid approach is practically feasible and does indeed outperform RRT*'s built-in optimization mechanism, but the computational burden is still significant.Bewegungsplanungsaufgaben sind typischerweise gekennzeichnet durch umfangreiche Suchräume, deren vollständige Exploration nicht praktikabel ist, sowie durch unstrukturierte Hindernisse, für die nur selten eine geschlossene mathematische Beschreibung existiert. Bei der in dieser Arbeit betrachteten Anwendung auf Flächenflugzeuge kommen differentielle Randbedingungen und beschränkte Systemgrößen erschwerend hinzu. Der vorgestellte Ansatz zur optimalen Trajektorienplanung basiert auf dem Rapidly-exploring Random Trees-Algorithmus (RRT*), welcher die Suchraumkomplexität durch Randomisierung beherrschbar macht. Der spezifische Beitrag ist eine Realisierung des lokalen Planers zur Generierung der Äste des Suchbaums. Dieser erfordert ein flaches Bewegungsmodell, sodass differentielle Randbedingungen automatisch erfüllt sind. Die Trajektorien des flachen Ausgangs, welche im betrachteten Beispiel der Flugbahn entsprechen, werden mittels Bézier-Kurven entworfen. Die Einhaltung der Ungleichungsnebenbedingungen wird durch ein Indikator-Integral überprüft, welches sich mit wenig Zusatzaufwand parallel zum Kostenfunktional berechnen lässt. Zwar konvergiert der RRT*-Algorithmus (im probabilistischen Sinne) zu einer optimalen Lösung, jedoch ist die Konvergenzrate aus praktischer Sicht unbrauchbar langsam. Es ist daher naheliegend, den Planer durch ein gradientenbasiertes lokales Optimierungsverfahren mit besseren Konvergenzeigenschaften zu unterstützen. Hierzu wird die aktuelle Zwischenlösung des Planers als Initialschätzung für ein kompatibles semi-infinites Optimierungsproblem verwendet. Der vorgeschlagene Optimierungsalgorithmus erweitert das verbreitete innere-Punkte-Konzept (primal dual interior point method) auf semi-infinite Probleme. Eine explizite Diskretisierung der funktionalen Ungleichungsnebenbedingungen ist nicht erforderlich, denn diese erfolgt implizit durch eine numerische Integralauswertung im Rahmen der linearen Teilprobleme. Da die Methode an Stellen aktiver Nebenbedingungen nicht wohldefiniert ist, kommt zusätzlich eine Variante des Reduktions-Ansatzes zum Einsatz, bei welcher der Vektor der Optimierungsvariablen um die (endliche) Menge der aktiven Indizes erweitert wird. Weiterhin wurde eine Kollisionsvermeidung integriert, die in den Teilschritt der Liniensuche eingreift und die Problemformulierung dynamisch um Randbedingungen zur lokalen Berücksichtigung von Hindernissen erweitert. Experimentelle Untersuchungen bestätigen, dass die Ergebnisse des hybriden Ansatzes aus RRT(*) und numerischem Optimierungsverfahren der klassischen RRT*-basierten Trajektorienoptimierung überlegen sind. Der erforderliche Rechenaufwand ist zwar beträchtlich, aber unter realistischen Bedingungen praktisch beherrschbar

Optimisation sans dérivées sous contraintes

RÉSUMÉ : L'optimisation sans dérivées (Derivative-Free Optimization, DFO) et l'optimisation de boîtes noires (Blackbox Optimization, BBO) est un champ de la recherche opérationnelle en pleine extension, qui correspond à de nouveaux problèmes pour lesquels toutes les fonctions en jeu ou seulement une partie ne sont pas connues analytiquement mais sont le résultat d'expériences ou de simulations numériques, appelées communément boîtes noires. Les contraintes peuvent être de différentes natures. Elles peuvent être connues analytiquement ou bien elles peuvent être, comme la fonction objectif, le résultat de la boîte noire. Elle peuvent même être ignorées de l'utilisateur qui les découvre malgré lui, alors qu'il cherche à évaluer la boîte noire en un point qu'il pensait être réalisable. Elles peuvent être lisses ou non lisses. Cette thèse s'intéresse plus particulièrement aux traitements des contraintes dans le cadre de l'optimisation sans dérivées et de l'optimisation de boîtes noires. Il s'agit donc de proposer de nouvelles techniques pour résoudre des problèmes sous contraintes. Tout d'abord, une méthode générique de traitement des égalités linéaires est proposée. Différents convertisseurs sont utilisés afin de reformuler le problème initial en un problème réduit dans le sous-espace affine défini par les égalités linéaires. Différentes stratégies combinant en plusieurs étapes ces convertisseurs sont proposées. Une implémentation de cette technique dans un algorithme de recherche directe, MADS, utilisant le logiciel NOMAD, est réalisée. À partir de tests numériques, une stratégie est retenue. Elle surpasse sur les problèmes testés un autre logiciel de recherche directe, HOPSPACK, qui proposait déjà un traitement spécifique des contraintes d'égalités linéaires. De plus, notre méthode est adaptable à tous les algorithmes existants. Ensuite, un algorithme hybride, combinant des outils issus de l'optimisation sans dérivées, basée sur les modèles, et ceux de l'optimisation de boîtes noires, basée sur des méthodes de recherche directe, est proposé à travers un algorithme de région de confiance sans dérivées (Derivative-Free Trust-Region, DFTR) qui revisite la barrière progressive déjà proposée dans MADS, et qui permet de traiter certains types de contraintes d'inégalités. L'algorithme obtenu offre des résultats compétitifs avec un représentant de l'optimisation sans dérivées, COBYLA, et un représentant de l'optimisation de boîtes noires, MADS, à partir de tests réalisés sur un panel de problèmes académiques mais aussi sur deux boîtes noires issues de l'optimisation multidisciplinaire. Enfin, un dernier algorithme sans dérivées a été développé, afin de pouvoir résoudre des problèmes avec des contraintes générales d'égalités ou d'inégalités, et qui utilise une méthode classique de Lagrangien augmenté. L'algorithme utilisant le Lagrangien augmenté sert à résoudre le sous-problème de la région de confiance mais aussi à définir les règles de mise à jour de l'algorithme. Des résultats sur des problèmes académiques permettent de conclure quant à la validité de la méthode.----------ABSTRACT : Derivative-Free Optimization (DFO) and Blackbox Optimization (BBO) are growing optimization fields. The goal is to handle new problems involving functions for which analytical expressions are not explicit, but which are the results of simulations or experiments, called blackboxes. Different kind of constraints can be encountered. Their analytical expressions can be given, or they can be the result of the blackbox. They can even be hidden, and not known by the user. They can be smooth or nonsmooth. This thesis focuses more specificaly on the contraints in DFO and BBO, and its goal is to develop new techniques to solve constrained problems. First, a generic method for linear equalities is proposed. Different converters are used to reformulate the initial problem into a reduced one, in the subspace defined by the linear equalities. Different strategies combining these converters in multi-step algorithms are proposed. Theses techniques are implemented in a direct-search algorithm, MADS, by using the solver NOMAD. Computational tests allow to choose the best strategy with the best results. On a benchmark of analytical problems our algorithm outperforms a direct-search algorithm implemented in the solver HOPSPACK, which also handles directly linear equalities. The proposed method is transposable to any other DFO or BBO algorithm. hen, a derivative-free trust-region (DFTR) algorithm combining DFO tools, based on models, and BBO tools, based on direct-search techniques, is proposed through a (DFTR) algorithm. The progressive barrier first designed for MADS is revisited and allows to solve general inequalities in this new DFTR algorithm. The new algorithm offers competitive results with COBYLA, a DFO software and NOMAD, a BBO software. Computational experiments are conducted on a set of analytical problems and two blackboxes from multidisciplinary design optimization. Finally, a third DFO algorithm is proposed, allowing to solve equality and inequality constrained problems, by using an augmented Lagrangian method. This one is used to solve the trust-region subproblem but also to design simple update rules for the DFTR algorithm. Computational results on analytical problems validate our method