Using generalized simplex methods to approximate derivatives

This paper presents two methods for approximating a proper subset of the entries of a Hessian using only function evaluations. These approximations are obtained using the techniques called \emph{generalized simplex Hessian} and \emph{generalized centered simplex Hessian}. We show how to choose the matrices of directions involved in the computation of these two techniques depending on the entries of the Hessian of interest. We discuss the number of function evaluations required in each case and develop a general formula to approximate all order-$P$ partial derivatives. Since only function evaluations are required to compute the methods discussed in this paper, they are suitable for use in derivative-free optimization methods.Comment: arXiv admin note: text overlap with arXiv:2304.0322

Curvature Aligned Simplex Gradient: Principled Sample Set Construction For Numerical Differentiation

The simplex gradient, a popular numerical differentiation method due to its flexibility, lacks a principled method by which to construct the sample set, specifically the location of function evaluations. Such evaluations, especially from real-world systems, are often noisy and expensive to obtain, making it essential that each evaluation is carefully chosen to reduce cost and increase accuracy. This paper introduces the curvature aligned simplex gradient (CASG), which provably selects the optimal sample set under a mean squared error objective. As CASG requires function-dependent information often not available in practice, we additionally introduce a framework which exploits a history of function evaluations often present in practical applications. Our numerical results, focusing on applications in sensitivity analysis and derivative free optimization, show that our methodology significantly outperforms or matches the performance of the benchmark gradient estimator given by forward differences (FD) which is given exact function-dependent information that is not available in practice. Furthermore, our methodology is comparable to the performance of central differences (CD) that requires twice the number of function evaluations.Comment: 31 Pages, 5 Figures, Submitted to IMA Numerical Analysi

Modèles quadratiques et décomposition parallèle pour l’optimisation sans dérivées

RÉSUMÉ: L’optimisation sans dérivées (DFO) et l’optimisation de boites noires (BBO) sont deux disciplines qui traitent des problèmes dont la formulation analytique est inaccessible partiellement ou totalement et qui résultent souvent de simulations informatiques. Les algorithmes DFO et BBO s’appliquent typiquement à des problèmes de petite dimension. Parmi ces méthodes, l’algorithme de recherche directe par treillis adaptatifs (MADS) est une méthode itérative qui se base sur une discrétisation de l’espace et des directions de recherche pour sélectionner et évaluer des points de l’espace. Cette thèse explore deux extensions de MADS qui permettent d’améliorer les résultats de la méthode ainsi que de s’attaquer à des problèmes de plus grande taille. Dans la première extension, MADS utilise des modèles dans l’étape de recherche menant à la création d’une série de sous-problèmes quadratiques avec contraintes quadratiques. Deux méthodes d’optimisation non linéaire classiques sont décrites : la fonction de pénalité exacte en norme `1 et le Lagrangien augmenté. De plus, une nouvelle méthode nommée le Lagrangien augmenté en norme `1 combine les points forts des deux algorithmes précédents. Cette dernière méthode est bien adaptée pour les problèmes quadratiques avec contraintes quadratiques vu qu’elle se base sur un terme de pénalité en norme `1 qui permet de traiter un problème quadratique par morceaux au lieu d’un problème quartique si le Lagrangien augmenté standard est utilisé. La nouvelle méthode du Lagrangien augmenté en norme `1 est décrite pour les problèmes non linéaires avec des contraintes d’égalités. Une analyse conduite sur l’itération interne de l’algorithme prouve que la convergence vers un point stationnaire se fait avec une vitesse surperlinéaire en deux étapes. De plus, l’analyse de l’itération externe de la méthode établit que l’algorithme converge globalement et que le paramètre de pénalité est borné. Dans la seconde extension, l’algorithme de décomposition parallèle de l’espace de la recherche directe par treillis adaptatifs (PSD-MADS), qui est une méthode parallèle asynchrone pour les problèmes de boites noires de grande taille, utilise une stratégie de sélection aléatoire des variables pour la construction des sous-problèmes. Plusieurs stratégies sont proposées pour sélectionner les variables les plus influentes du problème et explorer l’espace des solutions de manière plus efficace. Ces stratégies se basent sur des outils statistiques pour évaluer l’influence des variables sur les différentes sorties et sur la méthode de classification k-mean pour grouper les variables avec plus ou moins le même niveau d’influence. De plus, une méthode hybride qui combine cette nouvelle stratégie avec l’approche aléatoire de sélection de variables est présentée. Les nouvelles méthodes améliorent les résultats de PSD-MADS et les tests numériques sont conduits sur des problèmes de taille allant jusqu’à 4000 variables.----------ABSTRACT: Derivative-free optimization (DFO) and blackbox optimization (BBO) are two fields studying problems for which the analytical formulation is partially or completely inaccessible, and which often result from computer simulations. Algorithms in DFO and BBO typically target problems with small dimension. One of these methods is the mesh adaptive direct search algorithm (MADS) which is an iterative method relying on a space discretization and search directions to select and assess new candidates. This thesis explores two extensions of the MADS algorithm that allow to improve its results and take on problems with a larger dimension. In the first extension, MADS uses models in the search step which generates a sequence of quadratic subproblems with quadratic constraints. Two classic nonlinear optimization methods are described: the `1-exact penalty function and the augmented Lagrangian. In addition, a new method, called the `1 augmented Lagrangian, combines the strengths of both previous methods. This new approach is well suited for quadratically constrained quadratic problems (QCQP) since the `1 penalty term allows the method to optimize a piecewise quadratic problem instead of a quartic one when using the standard augmented Lagrangien. The new `1 augmented Lagrangian is described for nonlinear problems with equality constraints. The analysis of the inner iteration of the algorithm proves a superlinear convergence to a stationary point. In addition,the analysis of the outer loop of the method establishes global convergence and shows that the penalty parameter is bounded away from zero. In the second extension, the parallel space decomposition of the mesh adaptive direct search algorithm (PSD-MADS), which is an asynchronous parallel method for large-sized blackbox problems, uses a random selection of variables to build subproblems. Several new strategies are introduced to select the most influential variables and explore the solution space more efficiently. These strategies are based on statistical tools to quantify the influence of variables on the different outputs and use the k-mean clustering method to group variables with the same level of influence together. In addition, a hybrid method combines this new strategy with the random variable selection of the original PSD-MADS. These new methods improve the results of PSD-MADS and are tested on problems with up to 4000 variables