Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks

The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and activation functions. The machine learning problems are treated as nonconvex nonsmooth stochastic optimization ones. As a model of nonsmooth nonconvex dependences, the so-called generalized differentiable functions are used. A method for calculating the stochastic generalized gradients of a learning quality functional for such systems is substantiated basing on the Hamilton—Pontryagin formalism. This method extends a well-known “backpropagation” machine learning technique to nonconvex nonsmooth networks. Stochastic generalized gradient learning algorithms are extended for training nonconvex nonsmooth neural networks.Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні сучасних глибоких мереж з негладкими цільовими функціоналами і зв'язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання поширено на неопуклі негладкі нейронні мережі.Прослеживается аналогия между задачами оптимального управления дискретными стохастическими динамическими системами и задачами обучения многослойных нейронных сетей. Внимание концентрируется на изучении современных глубоких сетей с негладкими целевыми функционалами и связями. Показано, что задачи машинного обучения могут трактоваться как задачи стохастического программирования, и для их анализа применена теория невыпуклого негладкого стохастического программирования. В качестве модели негладких невыпуклых зависимостей использованы так называемые обобщенно дифференцируемые функции. Обоснован метод вычисления стохастических обобщенных градиентов функционала качества обучения для таких систем на основе формализма Гамильтона—Понтрягина. Этот метод обобщает известный метод “обратного распространения ошибки” на задачи обучения негладких невыпуклых сетей. Обобщенные (стохастические) градиентные алгоритмы обучения распространены на невыпуклые негладкие нейронные сети

The Analysis and Optimization of Probability Functions

A problem of probability function optimization is considered. This function represents probability that some random quantity depending on deterministic parameters does not exceed some given level. The problem is motivated by studies of safety domains and risk control problems in complex stochastic systems. For example, pollution control includes maximization of probability that some given levels of deposition at reception points are not exceeded. Optimization of probability function is performed over a given range of parameters. To solve the problem stochastic quasi-gradient method is applied under quasi-concavity assumption on functions and measures involved. Convergence and rate of convergence results are presented

A stochastic smoothing method for nonsmooth global optimization

The paper presents the results of testing the stochastic smoothing method for global optimization of a multiextremal function in a convex feasible subset of the Euclidean space. Preliminarily, the objective function is extended outside the admissible region so that its global minimum does not change, and it becomes coercive.Проблема глобальної оптимізації неопуклих негладких функцій з обмеженнями є актуальною для багатьох інженерних застосувань, зокрема, для навчання неопуклих негладких нейронних мереж. У роботі представлені результати тестування методу згладжування багато екстремальної цільової функції для знаходження її глобального мінімуму в деякої опуклій допустимій області евклідового простору. Попередньо цільова функція довизначається поза опуклої допустимої області так, щоб не змінити її глобального мінімуму, та зробити її коерцитивною.Проблема глобальной оптимизации невыпуклых негладких функций при ограничениях актуальна для многих инженерных приложений, в частности, для обучения невыпуклых негладких нейронных сетей. В работе представлены результаты тестирования метода сглаживания многоэкстремальной целевой функции для нахождения ее глобального минимума в некоторой выпуклой допустимой области евклидового пространства. Предварительно целевая функция доопределяется вне допустимой области так, чтобы не изменить ее глобальный минимум, и сделать ее коэрцитивной

Risk and Extended Expected Utility Functions: Optimization Approaches

The proper analysis of policies under uncertainties has to deal with "hit-or-miss" type situations by using approximate risk functions, which can also be viewed as so-called extended expected utility functions. Formally this often requires the solution of dynamic stochastic optimization problems with discontinuous indicator functions of such events as ruin, underestimating costs and overestimating benefits. The available optimization techniques, in particular formulas for derivatives of risk functions, may not be applicable due to explicitly unknown probability distributions and essential discontinuities. The aim of this paper is to develop a solution technique by smoothing the risk function over certain parameters, rather than over decision variables as in the classical distribution (generalized functions) theory. For smooth approximations we obtain gradients in the form of expectations of stochastic vectors which can be viewed as a form of stochastic gradients for the original risk function. We pay special attention to optimization of risk functions defined on trajectories of discrete time stochastic processes with stopping times, which is critically important for analyzing regional vulnerability against catastrophes

Constrained Optimization of Discontinuous Systems

In this paper we extend the results of Ermoliev, Norkin and Wets [8] and Ermoliev and Norkin [7] to the case of constrained discontinuous optimization problems. In contrast to [7] the attention is concentrated on the proof of general optimality conditions for problems with nonconvex feasible sets. Easily implementable random search technique is proposed

Normalized Convergence in Stochastic Optimization

A new concept of (normalized) convergence of random variables is introduced. The normalized convergence in preserved under Lipschitz transformations. This convergence follows from the convergence in mean and itself implies the convergence in probability. If a sequence of random variables satisfies a Limit theorem then it in a normalized convergent sequence. The introduced concept is applied to the convergence rate study of a statistical approach in stochastic optimization

On Nonsmooth Problems of Stochastic Systems Optimization

A class of stochastic optimization problems is analyzed that cannot be solved by deterministic and standard stochastic approximation methods. We consider risk control problems, optimization of stochastic networks and discrete event systems, screening irreversible changes, pollution control. The results of Ermoliev, Norkin, Wets [11] are extended to the case of problems involving random variables and general constraints. It is shown that the concept of mollifier subgradient leads to easily implementable computational procedures for stochastic systems with Lipschitz and discontinuous expectation functions. New optimality conditions are formulated enabling to design stochastic search procedures for constrained optimization of discontinuous systems

Minorant methods for stochastic global optimization

We develop numerical methods for solution of stochastic global optimization problems: min$[F(x)=Ef(x,¦Ø)| xin X]$ and $min[F(x)=P{f(x, ¦Ø) ¡Ü0} | xin X]$, where x is a finite dimensional decision vector with possible values in the set X, ¦Ø is a random variable, $f(x,¦Ø)$ is a nonlinear function of variable x, E and P denote mathematical expectation and probability signs respectively. These methods are based on the concept of stochastic tangent minorant, which is a random function $¦Õ(x,y, ¦Ø)$ of two variables x and y with expected value $¦µ(x,y)=E ¦Õ(x,y, ¦Ø)$ satisfying conditions: (i) $¦µ(x,x)=F(x)$, (ii) $¦µ(x,y) ¡ÜF(x)$ for all x,y. Tangent minorant is a source of information on a function global behavior. We develop a calculus of (stochastic) tangent minorants. We develop a stochastic analogue of Pijavski¡¯s global optimization method and a branch and bound method with stochastic minorant bounds. Applications to optimal facility location and network reliability optimization are discussed