Regularized Penalty Method for General Equilibrium Problems in Banach Spaces

© 2014, Springer Science+Business Media New York. We consider the regularized version of the penalty method for a general equilibrium problem in a Banach space setting. We suggest weak coercivity conditions instead of (generalized) monotonicity and show that they also provide weak and strong convergence properties of the method

Optimal control of Allen-Cahn systems

Optimization problems governed by Allen-Cahn systems including elastic effects are formulated and first-order necessary optimality conditions are presented. Smooth as well as obstacle potentials are considered, where the latter leads to an MPEC. Numerically, for smooth potential the problem is solved efficiently by the Trust-Region-Newton-Steihaug-cg method. In case of an obstacle potential first numerical results are presented

PDE-Constrained Equilibrium Problems under Uncertainty: Existence, Optimality Conditions and Regularization

In dieser Arbeit werden PDE-beschränkte Gleichgewichtsprobleme unter Unsicherheiten analysiert. Im Detail diskutieren wir eine Klasse von risikoneutralen verallgemeinerten Nash-Gleichgewichtsproblemen sowie eine Klasse von risikoaversen Nash Gleichgewichtsproblemen. Sowohl für die risikoneutralen PDE-beschränkten Optimierungsprobleme mit punktweisen Zustandsschranken als auch für die risikoneutralen verallgemeinerten Nash Gleichgewichtsprobleme wird die Existenz von Lösungen beziehungsweise Nash Gleichgewichten bewiesen und Optimalitätsbedingungen hergeleitet. Die Betrachtung von Ungleichheitsbedingungen an den stochastischen Zustand führt in beiden Fällen zu Komplikationen bei der Herleitung der Lagrange-Multiplikatoren. Nur durch höhere Regularität des stochastischen Zustandes können wir auf die bestehende Optimalitätstheorie für konvexe Optimierungsprobleme zurückgreifen. Die niedrige Regularität des Lagrange-Multiplikators stellt auch für die numerische Lösbarkeit dieser Probleme ein große Herausforderung dar. Wir legen den Grundstein für eine erfolgreiche numerische Behandlung risikoneutraler Nash Gleichgewichtsproblem mittels Moreau-Yosida Regularisierung, indem wir zeigen, dass dieser Regularisierungsansatz konsistent ist. Die Moreau-Yosida Regularisierung liefert eine Folge von parameterabhängigen Nash Gleichgewichtsproblemen und der Grenzübergang im Glättungsparameter zeigt, dass die stationären Punkte des regularisierten Problems gegen ein verallgemeinertes Nash Gleichgewicht des ursprünglich Problems schwach konvergieren. Die Theorie legt also nahe, dass auf der Moreau-Yosida Regularisierung eine numerische Methode aufgebaut werden kann. Darauf aufbauend werden Algorithmen vorgeschlagen, die aufzeigen, wie risikoneutrale PDE-beschränkte Optimierungsprobleme mit punktweisen Zustandsschranken und risikoneutrale PDE-beschränkte verallgemeinerte Nash Gleichgewichtsprobleme gelöst werden können. Für die Modellierung der Risikopräferenz in der Klasse von risikoaversen Nash Gleichgewichtsprobleme verwenden wir kohärente Risikomaße. Da kohärente Risikomaße im Allgemeinen nicht glatt sind, ist das resultierende PDE-beschränkte Nash Gleichgewichtsproblem ebenfalls nicht glatt. Daher glätten wir die kohärenten Risikomaße mit Hilfe einer Epi-Regularisierungstechnik. Sowohl für das ursprüngliche Nash Gleichgewichtsproblem als auch für die geglätteten parameterabhängigen Nash Gleichgewichtsprobleme wird die Existenz von Nash Gleichgewichten gezeigt, sowie Optimalitätsbedingungen hergeleitet. Wir liefern wertvolle Resultate dafür, dass dieser Glättungsansatz sich für die Entwicklung eines numerischen Verfahren eignet, indem wir beweisen können, dass sowohl eine Folge von stationären Punkten als auch eine Folge von Nash Gleichgewichten des epi-regularisierten Problems eine schwach konvergente Teilfolge hat, deren Grenzwert ein Nash Gleichgewicht des ursprünglichen Problems ist.In this paper, we analyze PDE-constrained equilibrium problems under uncertainty. In detail, we discuss a class of risk-neutral generalized Nash equilibrium problems and a class of risk-averse Nash equilibrium problems. For both, the risk-neutral PDE-constrained optimization problems with pointwise state constraints and the risk-neutral generalized Nash equilibrium problems, the existence of solutions and Nash equilibria, respectively, is proved and optimality conditions are derived. The consideration of inequality conditions on the stochastic state leads in both cases to complications in the derivation of the Lagrange multipliers. Only by higher regularity of the stochastic state we can resort to the existing optimality theory for convex optimization problems. The low regularity of the Lagrange multiplier also poses a major challenge for the numerical solvability of these problems. We lay the foundation for a successful numerical treatment of risk-neutral Nash equilibrium problems using Moreau-Yosida regularization by showing that this regularization approach is consistent. The Moreau-Yosida regularization yields a sequence of parameter-dependent Nash equilibrium problems and the boundary transition in the smoothing parameter shows that the stationary points of the regularized problem converge weakly against a generalized Nash equilibrium of the original problem. Thus, the theory suggests that a numerical method can be built on the Moreau-Yosida regularization. Based on this, algorithms are proposed to show how to solve risk-neutral PDE-constrained optimization problems with pointwise state bounds and risk-neutral PDE-constrained generalized Nash equilibrium problems. I n order to model risk preference in the class of risk-averse Nash equilibrium problems, we use coherent risk measures. Since coherent risk measures are generally not smooth, the resulting PDE-constrained Nash equilibrium problem is also not smooth. Therefore, we smooth the coherent risk measures using an epi-regularization technique. For both the original Nash equilibrium problem and the smoothed parameter-dependent Nash equilibrium problems, we show the existence of Nash equilibria, and derive optimality conditions. We provide valuable results for making this smoothing approach suitable for the development of a numerical method by proving that both, a sequence of stationary points and a sequence of Nash equilibria of the epi-regularized problem, have a weakly convergent subsequence whose limit is a Nash equilibrium of the original problem

Regularized Jacobi iteration for decentralized convex optimization with separable constraints

We consider multi-agent, convex optimization programs subject to separable constraints, where the constraint function of each agent involves only its local decision vector, while the decision vectors of all agents are coupled via a common objective function. We focus on a regularized variant of the so called Jacobi algorithm for decentralized computation in such problems. We first consider the case where the objective function is quadratic, and provide a fixed-point theoretic analysis showing that the algorithm converges to a minimizer of the centralized problem. Moreover, we quantify the potential benefits of such an iterative scheme by comparing it against a scaled projected gradient algorithm. We then consider the general case and show that all limit points of the proposed iteration are optimal solutions of the centralized problem. The efficacy of the proposed algorithm is illustrated by applying it to the problem of optimal charging of electric vehicles, where, as opposed to earlier approaches, we show convergence to an optimal charging scheme for a finite, possibly large, number of vehicles

Non-Smooth Optimization by Abs-Linearization in Reflexive Function Spaces

Nichtglatte Optimierungsprobleme in reflexiven Banachräumen treten in vielen Anwendungen auf. Häufig wird angenommen, dass alle vorkommenden Nichtdifferenzierbarkeiten durch Lipschitz-stetige Operatoren wie abs, min und max gegeben sind. Bei solchen Problemen kann es sich zum Beispiel um optimale Steuerungsprobleme mit möglicherweise nicht glatten Zielfunktionen handeln, welche durch partielle Differentialgleichungen (PDG) eingeschränkt sind, die ebenfalls nicht glatte Terme enthalten können. Eine effiziente und robuste Lösung erfordert eine Kombination numerischer Simulationen und spezifischer Optimierungsalgorithmen. Lokal Lipschitz-stetige, nichtglatte Nemytzkii-Operatoren, welche direkt in der Problemformulierung auftreten, spielen eine wesentliche Rolle in der Untersuchung der zugrundeliegenden Optimierungsprobleme. In dieser Dissertation werden zwei spezifische Methoden und Algorithmen zur Lösung solcher nichtglatter Optimierungsprobleme in reflexiven Banachräumen vorgestellt und diskutiert. Als erste Lösungsmethode wird in dieser Dissertation die Minimierung von nichtglatten Operatoren in reflexiven Banachräumen mittels sukzessiver quadratischer Überschätzung vorgestellt, SALMIN. Ein neuartiger Optimierungsansatz für Optimierungsprobleme mit nichtglatten elliptischen PDG-Beschränkungen, welcher auf expliziter Strukturausnutzung beruht, stellt die zweite Lösungsmethode dar, SCALi. Das zentrale Merkmal dieser Methoden ist ein geeigneter Umgang mit Nichtglattheiten. Besonderes Augenmerk liegt dabei auf der zugrundeliegenden nichtglatten Struktur des Problems und der effektiven Ausnutzung dieser, um das Optimierungsproblem auf angemessene und effiziente Weise zu lösen.Non-smooth optimization problems in reflexive Banach spaces arise in many applications. Frequently, all non-differentiabilities involved are assumed to be given by Lipschitz-continuous operators such as abs, min and max. For example, such problems can refer to optimal control problems with possibly non-smooth objective functionals constrained by partial differential equations (PDEs) which can also include non-smooth terms. Their efficient as well as robust solution requires numerical simulations combined with specific optimization algorithms. Locally Lipschitz-continuous non-smooth non-linearities described by appropriate Nemytzkii operators which arise directly in the problem formulation play an essential role in the study of the underlying optimization problems. In this dissertation, two specific solution methods and algorithms to solve such non-smooth optimization problems in reflexive Banach spaces are proposed and discussed. The minimization of non-smooth operators in reflexive Banach spaces by means of successive quadratic overestimation is presented as the first solution method, SALMIN. A novel structure exploiting optimization approach for optimization problems with non-smooth elliptic PDE constraints constitutes the second solution method, SCALi. The central feature of these methods is the appropriate handling of non-differentiabilities. Special focus lies on the underlying structure of the problem stemming from the non-smoothness and how it can be effectively exploited to solve the optimization problem in an appropriate and efficient way

Generating structured non-smooth priors and associated primal-dual methods

The purpose of the present chapter is to bind together and extend some recent developments regarding data-driven non-smooth regularization techniques in image processing through the means of a bilevel minimization scheme. The scheme, considered in function space, takes advantage of a dualization framework and it is designed to produce spatially varying regularization parameters adapted to the data for well-known regularizers, e.g. Total Variation and Total Generalized variation, leading to automated (monolithic), image reconstruction workflows. An inclusion of the theory of bilevel optimization and the theoretical background of the dualization framework, as well as a brief review of the aforementioned regularizers and their parameterization, makes this chapter a self-contained one. Aspects of the numerical implementation of the scheme are discussed and numerical examples are provided