Método de punto proximal para sucesiones de funciones de Bregman convergentes puntualmente

A generalization of the classical proximal point method and the method of proximal point with Bregman distances is developed under conditions of convexity. Starting from an arbitrary punctually convergent sucession of Bregman functions, our method allows both the generalization to the classic cases that have been developed for a fixed Bregman function and the addition of properties that regulate the behavior of the succession of Bregman distances. Thus, a method that converges to the minimizer of the objective function is obtained.Se desarrolla una generalización del método de punto proximal clásico y el método de punto proximal con distancias de Bregman bajo condiciones de convexidad.  Partiendo de una sucesión arbitraria de funciones de Bregman convergente puntualmente, el método propuesto permite generalizar los casos clásicos que han sido desarrollados para una función Bregman fija, considerando propiedades que regulan el comportamiento de la sucesión de distancias de Bregman. Como consecuencia, se obtiene un método que converge al minimizador de la función objetivo

Analysis of the Frank-Wolfe Method for Convex Composite Optimization involving a Logarithmically-Homogeneous Barrier

We present and analyze a new generalized Frank-Wolfe method for the composite optimization problem $(P):{\min}_{x\in\mathbb{R}^n}\; f(\mathsf{A} x) + h(x)$, where $f$ is a $\theta$-logarithmically-homogeneous self-concordant barrier, $\mathsf{A}$ is a linear operator and the function $h$ has bounded domain but is possibly non-smooth. We show that our generalized Frank-Wolfe method requires $O((\delta_0 + \theta + R_h)\ln(\delta_0) + (\theta + R_h)^2/\varepsilon)$ iterations to produce an $\varepsilon$-approximate solution, where $\delta_0$ denotes the initial optimality gap and $R_h$ is the variation of $h$ on its domain. This result establishes certain intrinsic connections between $\theta$-logarithmically homogeneous barriers and the Frank-Wolfe method. When specialized to the $D$-optimal design problem, we essentially recover the complexity obtained by Khachiyan using the Frank-Wolfe method with exact line-search. We also study the (Fenchel) dual problem of $(P)$, and we show that our new method is equivalent to an adaptive-step-size mirror descent method applied to the dual problem. This enables us to provide iteration complexity bounds for the mirror descent method despite even though the dual objective function is non-Lipschitz and has unbounded domain. In addition, we present computational experiments that point to the potential usefulness of our generalized Frank-Wolfe method on Poisson image de-blurring problems with TV regularization, and on simulated PET problem instances.Comment: See Version 1 (v1) for the analysis of the Frank-Wolfe method with adaptive step-size applied to the H\"older smooth function

Uma classe de métodos de lagrangiano aumentado

Resumo: Estudamos uma classe de métodos de Lagrangiano aumentado para problemas de minimização, num conjunto convexo e compacto, sujeito a restrições de desigualdade. Esta classe de métodos envolve uma função de penalização. Mostramos, sob certas hipóteses, a convergência global dos métodos desde que as funções de penalização envolvidas satisfaçam certas propriedades. Para os testes computacionais escolhemos três funções de penalização que satisfazem as propriedades exigidas, sendo uma delas a clássica função de penalização quadrática devida a Powell-Hestenes-Rockafellar. São apresentados resultados numéricos de comparação do desempenho computacional desta classe de métodos de Lagrangiano aumentado com as três funções de penalização, na resolução de problemas da coleção CUTEr