Trust-Region Methods Without Using Derivatives: Worst Case Complexity and the NonSmooth Case

Trust-region methods are a broad class of methods for continuous optimization that found application in a variety of problems and contexts. In particular, they have been studied and applied for problems without using derivatives. The analysis of trust-region derivative-free methods has focused on global convergence, and they have been proven to generate a sequence of iterates converging to stationarity independently of the starting point. Most of such an analysis is carried out in the smooth case, and, moreover, little is known about the complexity or global rate of these methods. In this paper, we start by analyzing the worst case complexity of general trust-region derivative-free methods for smooth functions. For the nonsmooth case, we propose a smoothing approach, for which we prove global convergence and bound the worst case complexity effort. For the special case of nonsmooth functions that result from the composition of smooth and nonsmooth/convex components, we show how to improve the existing results of the literature and make them applicable to the general methodology

International Conference on Continuous Optimization (ICCOPT) 2019 Conference Book

The Sixth International Conference on Continuous Optimization took place on the campus of the Technical University of Berlin, August 3-8, 2019. The ICCOPT is a flagship conference of the Mathematical Optimization Society (MOS), organized every three years. ICCOPT 2019 was hosted by the Weierstrass Institute for Applied Analysis and Stochastics (WIAS) Berlin. It included a Summer School and a Conference with a series of plenary and semi-plenary talks, organized and contributed sessions, and poster sessions. This book comprises the full conference program. It contains, in particular, the scientific program in survey style as well as with all details, and information on the social program, the venue, special meetings, and more

On Nonsmooth Problems of Stochastic Systems Optimization

A class of stochastic optimization problems is analyzed that cannot be solved by deterministic and standard stochastic approximation methods. We consider risk control problems, optimization of stochastic networks and discrete event systems, screening irreversible changes, pollution control. The results of Ermoliev, Norkin, Wets [11] are extended to the case of problems involving random variables and general constraints. It is shown that the concept of mollifier subgradient leads to easily implementable computational procedures for stochastic systems with Lipschitz and discontinuous expectation functions. New optimality conditions are formulated enabling to design stochastic search procedures for constrained optimization of discontinuous systems

Solution of the problem to optimize two-stage allocation of the material flows

Purpose is to elaborate innovative and computationally efficient algorithm to solve a problem of two-stage allocation of the resource occupying continuously the specified area as well as to demonstrate the behaviour of the corresponding software developed with the application of advanced geoinformation resources. Methods. The paper involves mathematical models of continuous problems of optimal set partitioning with additional connections to describe two-stage problems of the material resource location-allocation. Methodological approach to the solution of such problems is based on the idea of their reducing to the problem of infinite-dimensional mathematical programming for which it is possible to obtain optimal solution in the analytical form with the help of the duality theory apparatus. Findings. Mathematical and algorithmic apparatus to solve continuous problems applied for the fuel and energy complex enterprises has been developed making it possible to obtain partitioning of the deposit area into the zones, which are allocated to the first-stage enterprises exclusively. The algorithm operation is demonstrated in terms of the model problem solution. It has been defined that the benefit of such an approach is in the reducing of the infinite-dimensional programming problem to the problem of finite-dimensional nonsmoth optimization since the obtained computational formulas contain the parameters which determination requires solving the auxiliary problem of the nondifferentiable function optimization. Originality. Contrary to the previously developed one, the proposed algorithm does not stipulate solution of the linear programming problem of transport type at each step of the iteration process. Such a problem is solved only once to find the volumes of product transportation between the first-stage and second-stage enterprises after defining all the optimal solution components. Practical implications. Software implementation of the algorithm on the basis of the advanced geoinformation technologies and resources, in terms of the solution of raw material flow allocation, makes it possible to reduce total costs for the management of material flows and their accompanying service flows throughout the whole logistic chain beginning from the flow origin up to its arrival to the end user.Мета. Розробка нового, ефективного з обчислювальної точки зору, алгоритму вирішення двоетапної задачі розподілу ресурсу, що безперервно займає задану область, а також демонстрація роботи відповідного програмного забезпечення, створеного із застосуванням сучасних геоінформаційних ресурсів. Методика. У роботі використано математичні моделі безперервних задач оптимального розбиття множин з додатковими зв’язками для опису двоетапних задач розміщення-розподілу матеріальних ресурсів. Методичний підхід вирішення таких задач заснований на ідеї зведення їх до задач нескінченномірного математичного програмування, для яких, в свою чергу, за допомогою застосування апарату теорії подвійності оптимальне рішення вдається отримати в аналітичному вигляді. Результати. Розроблено математичний і алгоритмічний апарати вирішення безперервних задач у застосуванні до підприємств паливно-енергетичного комплексу, що дозволяє отримувати розбиття району родовища на зони, за якими підприємства першого етапу закріплюються монопольно. Робота алгоритму показана на прикладі вирішення модельної задачі. Визначено, що виграшем описаного підходу є зведення задачі нескінченномірного програмування до задачі кінцево-мірної негладкою оптимізації, оскільки отримані розрахункові формули містять параметри, для визначення яких потрібно вирішити допоміжну задачу оптимізації недиференційованої функції. Наукова новизна. Представлений алгоритм, на відміну від раніше розробленого, не передбачає вирішення задачі лінійного програмування транспортного типу на кожному кроці ітераційного процесу. Така задача вирішується лише один раз для відшукання обсягів перевезень продукції між підприємствами першого і другого етапів після того, як знайдені інші компоненти оптимального рішення. Практична значимість. Програмна реалізація алгоритму на основі сучасних геоінформаційних технологій і ресурсів на прикладі сировинних потоків дозволяє зменшити сукупність витрат, пов’язаних з управлінням матеріальними і супутніми їм сервісними потоками по всьому логістичному ланцюгу, від моменту зародження потоку до надходження його кінцевому споживачеві.Цель. Разработка нового, эффективного с вычислительной точки зрения, алгоритма решения двухэтапной задачи распределения ресурса, непрерывно занимаемого заданную область, а также демонстрация работы соответствующего программного обеспечения, созданного с применением современных геоинформационных ресурсов. Методика. В работе использованы математические модели непрерывных задач оптимального разбиения множеств с дополнительными связями для описания двухэтапных задач размещения-распределения материальных ресурсов. Методический подход решения таких задач основан на идее сведения их к задачам бесконечномерного математического программирования, для которых, в свою очередь, с помощью применения аппарата теории двойственности оптимальное решение удается получить в аналитическом виде. Результаты. Разработан математический и алгоритмический аппарат решения непрерывных задач в применении к предприятиям топливно-энергетического комплекса, который позволяет получать разбиение района месторождения на зоны, за которыми предприятия первого этапа закрепляются монопольно. Работа алгоритма показана на примере решения модельной задачи. Определено, что выигрышем описанного подхода является сведение задачи бесконечномерного программирования к задаче конечномерной негладкой оптимизации, поскольку полученные расчетные формулы содержат параметры, для определения которых нужно решить вспомогательную задачу оптимизации недифференцируемой функции. Научная новизна. Представленный алгоритм, в отличие от ранее разработанного, не предусматривает решения задачи линейного программирования транспортного типа на каждом шаге итерационного процесса. Такая задача решается лишь один раз для отыскания объемов перевозок продукции между предприятиями первого и второго этапов после того, как найдены остальные компоненты оптимального решения. Практическая значимость. Программная реализация алгоритма на основе современных геоинформационных технологий и ресурсов на примере решения задачи распределения сырьевых потоков позволяет уменьшить совокупность издержек, связанных с управлением материальными и сопутствующими им сервисными потоками по всей логистической цепи, от момента зарождения потока до поступления его конечному потребителю.The study has been carried out in terms of the support, provision with the initial data (for correct problem statement and search for optimal solution), and cooperation of research scientists of the Institute of Geotechnical Mechanics named by N. Poljakov of National Academy of Sciences of Ukraine and the Department of System Analysis and Control of Dnipro University of Technology

Random Models in Nonlinear Optimization

In recent years, there has been a tremendous increase in the interest of applying techniques of deterministic optimization to stochastic settings, largely motivated by problems that come from machine learning domains. A natural question that arises in light of this interest is the extent to which iterative algorithms designed for deterministic (nonlinear, possibly non-convex) optimization must be modified in order to properly make use of inherently random information about a problem.This thesis is concerned with exactly this question, and adapts the model-based trust-region framework of derivative-free optimization (DFO) for use in situations where objective function values or the set of points selected by an algorithm to be objectively evaluated are random.In the first part of this thesis, we consider an algorithmic framework called STORM (STochastic Optimization with Random Models), which as an iterative method, is essentially identical to model-based trust-region methods for smooth DFO. However, by imposing fairly general probabilistic conditions related to the concept of fully-linearity on objective function models and objective function estimates, we prove that iterates of algorithms in the STORM framework exhibit almost sure convergence to first-order stationary points for a broad class of unconstrained stochastic functions. We then show that algorithms in the STORM framework enjoy the canonical rate of convergence for unconstrained non-convex optimization. Throughout the thesis, examples are provided demonstrating how the mentioned probabilistic conditions might be satisfied through particular choices of model-building and function value estimation.In the second part of the thesis, we consider a framework called manifold sampling, intended for unconstrained DFO problems where the objective is nonsmooth, but enough is known a priori about the structure of the nonsmoothness that one can classify a given queried point as belonging to a certain smooth manifold of the objective surface. We particularly examine the case of sums of absolute values of (non-convex) black-box functions. Although we assume in this work that the individual black-box functions can be deterministically evaluated, we consider a variant of manifold sampling wherein random queries are made in each iteration to enhance the algorithm\u27s ``awareness of the diversity of manifolds in a neighborhood of a current iterate. We then combine the ideas of STORM and manifold sampling to yield a practical algorithm intended for non-convex $\ell_1$-regularized empirical risk minimization