Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching

We consider solving equality-constrained nonlinear, nonconvex optimization problems. This class of problems appears widely in a variety of applications in machine learning and engineering, ranging from constrained deep neural networks, to optimal control, to PDE-constrained optimization. We develop an adaptive inexact Newton method for this problem class. In each iteration, we solve the Lagrangian Newton system inexactly via a randomized iterative sketching solver, and select a suitable stepsize by performing line search on an exact augmented Lagrangian merit function. The randomized solvers have advantages over deterministic linear system solvers by significantly reducing per-iteration flops complexity and storage cost, when equipped with suitable sketching matrices. Our method adaptively controls the accuracy of the randomized solver and the penalty parameters of the exact augmented Lagrangian, to ensure that the inexact Newton direction is a descent direction of the exact augmented Lagrangian. This allows us to establish a global almost sure convergence. We also show that a unit stepsize is admissible locally, so that our method exhibits a local linear convergence. Furthermore, we prove that the linear convergence can be strengthened to superlinear convergence if we gradually sharpen the adaptive accuracy condition on the randomized solver. We demonstrate the superior performance of our method on benchmark nonlinear problems in CUTEst test set, constrained logistic regression with data from LIBSVM, and a PDE-constrained problem.Comment: 25 pages, 4 figure

International Conference on Continuous Optimization (ICCOPT) 2019 Conference Book

The Sixth International Conference on Continuous Optimization took place on the campus of the Technical University of Berlin, August 3-8, 2019. The ICCOPT is a flagship conference of the Mathematical Optimization Society (MOS), organized every three years. ICCOPT 2019 was hosted by the Weierstrass Institute for Applied Analysis and Stochastics (WIAS) Berlin. It included a Summer School and a Conference with a series of plenary and semi-plenary talks, organized and contributed sessions, and poster sessions. This book comprises the full conference program. It contains, in particular, the scientific program in survey style as well as with all details, and information on the social program, the venue, special meetings, and more

Algorithmes de Newton-min polyédriques pour les problèmes de complémentarité

The semismooth Newton method is a very efficient approach for computing a zero of a large class of nonsmooth equations. When the initial iterate is sufficiently close to a regular zero and the function is strongly semismooth, the generated sequence converges quadratically to that zero, while the iteration only requires to solve a linear system.If the first iterate is far away from a zero, however, it is difficult to force its convergence using linesearch or trust regions because a semismooth Newton direction may not be a descent direction of the associated least-square merit function, unlike when the function is differentiable. We explore this question in the particular case of a nonsmooth equation reformulation of the nonlinear complementarity problem, using the minimum function. We propose a globally convergent algorithm using a modification of a semismooth Newton direction that makes it a descent direction of the least-square function. Instead of requiring that the direction satisfies a linear system, it must be a feasible point of a convex polyhedron; hence, it can be computed in polynomial time. This polyhedron is defined by the often very few inequalities, obtained by linearizing pairs of functions that have close negative values at the current iterate; hence, somehow, the algorithm feels the proximity of a "bad kink" of the minimum function and acts accordingly.In order to avoid as often as possible the extra cost of having to find a feasible point of a polyhedron, a hybrid algorithm is also proposed, in which the Newton-min direction is accepted if a sufficient-descent-like criterion is satisfied, which is often the case in practice. Global convergence to regular points is proved; the notion of regularity is associated with the algorithm and is analysed with care.L'algorithme de Newton semi-lisse est très efficace pour calculer un zéro d'une large classe d'équations non lisses. Lorsque le premier itéré est suffisamment proche d'un zéro régulier et si la fonction est fortement semi-lisse, la suite générée converge quadratiquement vers ce zéro, alors que l'itération ne requière que la résolution d'un système linéaire.Cependant, si le premier itéré est éloigné d'un zéro, il est difficile de forcer sa convergence par recherche linéaire ou régions de confiance, parce que la direction de Newton semi-lisse n'est pas nécessairement une direction de descente de la fonction de moindres-carrés associée, contrairement au cas où la fonction à annuler est différentiable. Nous explorons cette question dans le cas particulier d'une reformulation par équation non lisse du problème de complémentarité non linéaire, en utilisant la fonction minimum. Nous proposons un algorithme globalement convergent, utilisant une direction de Newton semi-lisse modifiée, qui est de descente pour la fonction de moindres-carrés. Au lieu de requérir la satisfaction d'un système linéaire, cette direction doit être intérieur à un polyèdre convexe, ce qui peut se calculer en temps polynomial. Ce polyèdre est défini par souvent très peu d'inégalités, obtenus en linéarisant des couples de fonctions qui ont des valeurs négatives proches à l'itéré courant; donc, d'une certaine manière, l'algorithme est capable d'estimer la proximité des "mauvais plis" de la fonction minimum et d'agir en conséquence.De manière à éviter au si souvent que possible le coût supplémentaire lié au calcul d'un point admissible de polyèdre, un algorithme hybride est également proposé, dans lequel la direction de Newton-min est acceptée si un critère de décroissance suffisante est vérifié, ce qui est souvent le cas en pratique. La convergence globale vers des points régulier est démontrée; la notion de régularité est associée à l'algorithme et est analysée avec soin

Practical Enhancements in Sequential Quadratic Optimization: Infeasibility Detection, Subproblem Solvers, and Penalty Parameter Updates

The primary focus of this dissertation is the design, analysis, and implementation of numerical methods to enhance Sequential Quadratic Optimization (SQO) methods for solving nonlinear constrained optimization problems. These enhancements address issues that challenge the practical limitations of SQO methods. The first part of this dissertation presents a penalty SQO algorithm for nonlinear constrained optimization. The method attains all of the strong global and fast local convergence guarantees of classical SQO methods, but has the important additional feature that fast local convergence is guaranteed when the algorithm is employed to solve infeasible instances. A two-phase strategy, carefully constructed parameter updates, and a line search are employed to promote such convergence. The first-phase subproblem determines the reduction that can be obtained in a local model of constraint violation. The second-phase subproblem seeks to minimize a local model of a penalty function. The solutions of both subproblems are then combined to form the search direction, in such a way that it yields a reduction in the local model of constraint violation that is proportional to the reduction attained in the first phase. The subproblem formulations and parameter updates ensure that near an optimal solution, the algorithm reduces to a classical SQO method for constrained optimization, and near an infeasible stationary point, the algorithm reduces to a (perturbed) SQO method for minimizing constraint violation. Global and local convergence guarantees for the algorithm are proved under reasonable assumptions and numerical results are presented for a large set of test problems.In the second part of this dissertation, two matrix-free methods are presented for approximately solving exact penalty subproblems of large scale. The first approach is a novel iterative re-weighting algorithm (IRWA), which iteratively minimizes quadratic models of relaxed subproblems while simultaneously updating a relaxation vector. The second approach recasts the subproblem into a linearly constrained nonsmooth optimization problem and then applies alternating direction augmented Lagrangian (ADAL) technology to solve it. The main computational costs of each algorithm are the repeated minimizations of convex quadratic functions, which can be performed matrix-free. Both algorithms are proved to be globally convergent under loose assumptions, and each requires at most $O(1/\varepsilon^2)$ iterations to reach $\varepsilon$-optimality of the objective function. Numerical experiments exhibit the ability of both algorithms to efficiently find inexact solutions. Moreover, in certain cases, IRWA is shown to be more reliable than ADAL. In the final part of this dissertation, we focus on the design of the penalty parameter updating strategy in penalty SQO methods for solving large-scale nonlinear optimization problems. As the most computationally demanding aspect of such an approach is the computation of the search direction during each iteration, we consider the use of matrix-free methods for solving the direction-finding subproblems within SQP methods. This allows for the acceptance of inexact subproblem solutions, which can significantly reduce overall computational costs. In addition, such a method can be plagued by poor behavior of the global convergence mechanism, for which we consider the use of an exact penalty function. To confront this issue, we propose a dynamic penalty parameter updating strategy to be employed within the subproblem solver in such a way that the resulting search direction predicts progress toward both feasibility and optimality. We present our penalty parameter updating strategy and prove that does not decrease the penalty parameter unnecessarily in the neighborhood of points satisfying certain common assumptions. We also discuss two matrix-free subproblem solvers in which our updating strategy can be readily incorporated

Méthodes sans factorisation pour l’optimisation non linéaire

RÉSUMÉ : Cette thèse a pour objectif de formuler mathématiquement, d'analyser et d'implémenter deux méthodes sans factorisation pour l'optimisation non linéaire. Dans les problèmes de grande taille, la jacobienne des contraintes n'est souvent pas disponible sous forme de matrice; seules son action et celle de sa transposée sur un vecteur le sont. L'optimisation sans factorisation consiste alors à utiliser des opérateurs linéaires abstraits représentant la jacobienne ou le hessien. De ce fait, seules les actions > sont autorisées et l'algèbre linéaire directe doit être remplacée par des méthodes itératives. Outre ces restrictions, une grande difficulté lors de l'introduction de méthodes sans factorisation dans des algorithmes d'optimisation concerne le contrôle de l'inexactitude de la résolution des systèmes linéaires. Il faut en effet s'assurer que la direction calculée est suffisamment précise pour garantir la convergence de l'algorithme concerné. En premier lieu, nous décrivons l'implémentation sans factorisation d'une méthode de lagrangien augmenté pouvant utiliser des approximations quasi-Newton des dérivées secondes. Nous montrons aussi que notre approche parvient à résoudre des problèmes d'optimisation de structure avec des milliers de variables et contraintes alors que les méthodes avec factorisation échouent. Afin d'obtenir une méthode possédant une convergence plus rapide, nous présentons ensuite un algorithme qui utilise un lagrangien augmenté proximal comme fonction de mérite et qui, asymptotiquement, se transforme en une méthode de programmation quadratique séquentielle stabilisée. L'utilisation d'approximations BFGS à mémoire limitée du hessien du lagrangien conduit à l'obtention de systèmes linéaires symétriques quasi-définis. Ceux-ci sont interprétés comme étant les conditions d'optimalité d'un problème aux moindres carrés linéaire, qui est résolu de manière inexacte par une méthode de Krylov. L'inexactitude de cette résolution est contrôlée par un critère d'arrêt facile à mettre en œuvre. Des tests numériques démontrent l'efficacité et la robustesse de notre méthode, qui se compare très favorablement à IPOPT, en particulier pour les problèmes dégénérés pour lesquels la LICQ n'est pas respectée à la solution ou lors de la minimisation. Finalement, l'écosystème de développement d'algorithmes d'optimisation en Python, baptisé NLP.py, est exposé. Cet environnement s'adresse aussi bien aux chercheurs en optimisation qu'aux étudiants désireux de découvrir ou d'approfondir l'optimisation. NLP.py donne accès à un ensemble de blocs constituant les éléments les plus importants des méthodes d'optimisation continue. Grâce à ceux-ci, le chercheur est en mesure d'implémenter son algorithme en se concentrant sur la logique de celui-ci plutôt que sur les subtilités techniques de son implémentation.----------ABSTRACT : This thesis focuses on the mathematical formulation, analysis and implementation of two factorization-free methods for nonlinear constrained optimization. In large-scale optimization, the Jacobian of the constraints may not be available in matrix form; only its action and that of its transpose on a vector are. Factorization-free optimization employs abstract linear operators representing the Jacobian or Hessian matrices. Therefore, only operator-vector products are allowed and direct linear algebra is replaced by iterative methods. Besides these implementation restrictions, a difficulty inherent to methods without factorization in optimization algorithms is the control of the inaccuracy in linear system solves. Indeed, we have to guarantee that the direction calculated is sufficiently accurate to ensure convergence. We first describe a factorization-free implementation of a classical augmented Lagrangian method that may use quasi-Newton second derivatives approximations. This method is applied to problems with thousands of variables and constraints coming from aircraft structural design optimization, for which methods based on factorizations fail. Results show that it is a viable approach for these problems. In order to obtain a method with a faster convergence rate, we present an algorithm that uses a proximal augmented Lagrangian as merit function and that asymptotically turns in a stabilized sequential quadratic programming method. The use of limited-memory BFGS approximations of the Hessian of the Lagrangian combined with regularization of the constraints leads to symmetric quasi-definite linear systems. Because such systems may be interpreted as the KKT conditions of linear least-squares problems, they can be efficiently solved using an appropriate Krylov method. Inaccuracy of their solutions is controlled by a stopping criterion which is easy to implement. Numerical tests demonstrate the effectiveness and robustness of our method, which compares very favorably with IPOPT, especially for degenerate problems for which LICQ is not satisfied at the optimal solution or during the minimization process. Finally, an ecosystem for optimization algorithm development in Python, code-named NLP.py, is exposed. This environment is aimed at researchers in optimization and students eager to discover or strengthen their knowledge in optimization. NLP.py provides access to a set of building blocks constituting the most important elements of continuous optimization methods. With these blocks, users are able to implement their own algorithm focusing on the logic of the algorithm rather than on the technicalities of its implementation

Optimal Control of Coupled Systems of PDE

The Workshop Optimal Control of Coupled Systems of PDE was held from April 17th – April 23rd, 2005 in the Mathematisches Forschungsinstitut Oberwolfach. The scientific program covered various topics such as controllability, feedback control, optimality conditions,analysis and control of Navier-Stokes equations, model reduction of large systems, optimal shape design, and applications in crystal growth, chemical reactions and aviation

Optimisation sans dérivées sous contraintes

RÉSUMÉ : L'optimisation sans dérivées (Derivative-Free Optimization, DFO) et l'optimisation de boîtes noires (Blackbox Optimization, BBO) est un champ de la recherche opérationnelle en pleine extension, qui correspond à de nouveaux problèmes pour lesquels toutes les fonctions en jeu ou seulement une partie ne sont pas connues analytiquement mais sont le résultat d'expériences ou de simulations numériques, appelées communément boîtes noires. Les contraintes peuvent être de différentes natures. Elles peuvent être connues analytiquement ou bien elles peuvent être, comme la fonction objectif, le résultat de la boîte noire. Elle peuvent même être ignorées de l'utilisateur qui les découvre malgré lui, alors qu'il cherche à évaluer la boîte noire en un point qu'il pensait être réalisable. Elles peuvent être lisses ou non lisses. Cette thèse s'intéresse plus particulièrement aux traitements des contraintes dans le cadre de l'optimisation sans dérivées et de l'optimisation de boîtes noires. Il s'agit donc de proposer de nouvelles techniques pour résoudre des problèmes sous contraintes. Tout d'abord, une méthode générique de traitement des égalités linéaires est proposée. Différents convertisseurs sont utilisés afin de reformuler le problème initial en un problème réduit dans le sous-espace affine défini par les égalités linéaires. Différentes stratégies combinant en plusieurs étapes ces convertisseurs sont proposées. Une implémentation de cette technique dans un algorithme de recherche directe, MADS, utilisant le logiciel NOMAD, est réalisée. À partir de tests numériques, une stratégie est retenue. Elle surpasse sur les problèmes testés un autre logiciel de recherche directe, HOPSPACK, qui proposait déjà un traitement spécifique des contraintes d'égalités linéaires. De plus, notre méthode est adaptable à tous les algorithmes existants. Ensuite, un algorithme hybride, combinant des outils issus de l'optimisation sans dérivées, basée sur les modèles, et ceux de l'optimisation de boîtes noires, basée sur des méthodes de recherche directe, est proposé à travers un algorithme de région de confiance sans dérivées (Derivative-Free Trust-Region, DFTR) qui revisite la barrière progressive déjà proposée dans MADS, et qui permet de traiter certains types de contraintes d'inégalités. L'algorithme obtenu offre des résultats compétitifs avec un représentant de l'optimisation sans dérivées, COBYLA, et un représentant de l'optimisation de boîtes noires, MADS, à partir de tests réalisés sur un panel de problèmes académiques mais aussi sur deux boîtes noires issues de l'optimisation multidisciplinaire. Enfin, un dernier algorithme sans dérivées a été développé, afin de pouvoir résoudre des problèmes avec des contraintes générales d'égalités ou d'inégalités, et qui utilise une méthode classique de Lagrangien augmenté. L'algorithme utilisant le Lagrangien augmenté sert à résoudre le sous-problème de la région de confiance mais aussi à définir les règles de mise à jour de l'algorithme. Des résultats sur des problèmes académiques permettent de conclure quant à la validité de la méthode.----------ABSTRACT : Derivative-Free Optimization (DFO) and Blackbox Optimization (BBO) are growing optimization fields. The goal is to handle new problems involving functions for which analytical expressions are not explicit, but which are the results of simulations or experiments, called blackboxes. Different kind of constraints can be encountered. Their analytical expressions can be given, or they can be the result of the blackbox. They can even be hidden, and not known by the user. They can be smooth or nonsmooth. This thesis focuses more specificaly on the contraints in DFO and BBO, and its goal is to develop new techniques to solve constrained problems. First, a generic method for linear equalities is proposed. Different converters are used to reformulate the initial problem into a reduced one, in the subspace defined by the linear equalities. Different strategies combining these converters in multi-step algorithms are proposed. Theses techniques are implemented in a direct-search algorithm, MADS, by using the solver NOMAD. Computational tests allow to choose the best strategy with the best results. On a benchmark of analytical problems our algorithm outperforms a direct-search algorithm implemented in the solver HOPSPACK, which also handles directly linear equalities. The proposed method is transposable to any other DFO or BBO algorithm. hen, a derivative-free trust-region (DFTR) algorithm combining DFO tools, based on models, and BBO tools, based on direct-search techniques, is proposed through a (DFTR) algorithm. The progressive barrier first designed for MADS is revisited and allows to solve general inequalities in this new DFTR algorithm. The new algorithm offers competitive results with COBYLA, a DFO software and NOMAD, a BBO software. Computational experiments are conducted on a set of analytical problems and two blackboxes from multidisciplinary design optimization. Finally, a third DFO algorithm is proposed, allowing to solve equality and inequality constrained problems, by using an augmented Lagrangian method. This one is used to solve the trust-region subproblem but also to design simple update rules for the DFTR algorithm. Computational results on analytical problems validate our method