207 research outputs found
Local convergence of the Levenberg-Marquardt method under H\"{o}lder metric subregularity
We describe and analyse Levenberg-Marquardt methods for solving systems of
nonlinear equations. More specifically, we propose an adaptive formula for the
Levenberg-Marquardt parameter and analyse the local convergence of the method
under H\"{o}lder metric subregularity of the function defining the equation and
H\"older continuity of its gradient mapping. Further, we analyse the local
convergence of the method under the additional assumption that the
\L{}ojasiewicz gradient inequality holds. We finally report encouraging
numerical results confirming the theoretical findings for the problem of
computing moiety conserved steady states in biochemical reaction networks. This
problem can be cast as finding a solution of a system of nonlinear equations,
where the associated mapping satisfies the \L{}ojasiewicz gradient inequality
assumption.Comment: 30 pages, 10 figure
Splitting methods with variable metric for KL functions
We study the convergence of general abstract descent methods applied to a
lower semicontinuous nonconvex function f that satisfies the
Kurdyka-Lojasiewicz inequality in a Hilbert space. We prove that any precompact
sequence converges to a critical point of f and obtain new convergence rates
both for the values and the iterates. The analysis covers alternating versions
of the forward-backward method with variable metric and relative errors. As an
example, a nonsmooth and nonconvex version of the Levenberg-Marquardt algorithm
is detailled
Levenberg-Marquardt Algorithms for Nonlinear Equations, Multi-objective Optimization, and Complementarity Problems
The Levenberg-Marquardt algorithm is a classical method for solving
nonlinear systems of equations that can come from various applications
in engineering and economics.
Recently, Levenberg-Marquardt methods turned out to be a valuable
principle for obtaining fast convergence to a solution of the nonlinear
system if the classical nonsingularity assumption is replaced by a
weaker error bound condition. In this way also problems with nonisolated
solutions can be treated successfully. Such problems increasingly
arise in engineering applications and in mathematical programming.
In this thesis we use Levenberg-Marquardt algorithms to deal with
nonlinear equations, multi-objective optimization and complementarity
problems. We develop new algorithms for solving these problems
and investigate their convergence properties.
For sufficiently smooth nonlinear equations we provide convergence results
for inexact Levenberg-Marquardt type algorithms. In particular,
a sharp bound on the maximal level of inexactness that is sufficient for
a quadratic (or a superlinear) rate of convergence is derived. Moreover,
the theory developed is used to show quadratic convergence of
a robust projected Levenberg-Marquardt algorithm.
The use of Levenberg-Marquardt type algorithms for unconstrained
multi-objective optimization problems is investigated in detail. In particular,
two globally and locally quadratically convergent algorithms
for these problems are developed. Moreover, assumptions under which
the error bound condition for a Pareto-critical system is fulfilled are
derived.
We also treat nonsmooth equations arising from reformulating complementarity
problems by means of NCP functions. For these reformulations,
we show that existing smoothness conditions are not satisfied
at degenerate solutions. Moreover, we derive new results for positively
homogeneous functions. The latter results are used to show that appropriate
weaker smoothness conditions (enabling a local Q-quadratic
rate of convergence) hold for certain reformulations.Der Levenberg-Marquardt-Algorithmus ist ein klassisches Verfahren zur Lösung von nichtlinearen Gleichungssystemen, welches in verschiedenen Anwendungen der Ingenieur-und Wirtschaftswissenschaften vorkommen kann. Kürzlich, erwies sich das
Verfahren als ein wertvolles Instrument für die Gewährleistung einer schnelleren Konvergenz für eine Lösung des nichtlinearen Systems, wenn die klassische nichtsinguläre Annahme durch eine schwächere Fehlerschranke der eingebundenen Bedingung ersetzt wird. Auf diese Weise, lassen sich ebenfalls Probleme mit nicht isolierten Lösungen erfolgreich behandeln. Solche Probleme ergeben sich
zunehmend in den praktischen, ingenieurwissenschaftlichen Anwendungen und in der mathematischen Programmierung. In dieser Arbeit verwenden wir Levenberg-Marquardt-
Algorithmus für nichtlinearere Gleichungen, multikriterielle Optimierung - und nichtlineare Komplementaritätsprobleme. Wir entwickeln neue Algorithmen zur Lösung dieser Probleme und untersuchen ihre Konvergenzeigenschaften.
Für ausreichend differenzierbare nichtlineare Gleichungen, analysieren und bieten wir Konvergenzergebnisse für ungenaue Levenberg-Marquardt-Algorithmen Typen. Insbesondere, bieten wir eine strenge Schranke für die maximale Höhe der Ungenauigkeit, die ausreichend ist für eine quadratische (oder eine superlineare) Rate der
Konvergenz. Darüber hinaus, die entwickelte Theorie wird verwendet, um quadratische Konvergenz eines robusten projizierten Levenberg-Marquardt-Algorithmus zu zeigen.
Die Verwendung von Levenberg-Marquardt-Algorithmen Typen für unbeschränkte multikriterielle Optimierungsprobleme im Detail zu untersucht. Insbesondere sind zwei globale und lokale quadratische konvergente Algorithmen für multikriterielle Optimierungsprobleme entwickelt worden. Die Annahmen wurden hergeleitet, unter
welche die Fehlerschranke der eingebundenen Bedingung für ein Pareto-kritisches System erfüllt ist.
Wir behandeln auch nicht differenzierbare nichtlineare Gleichungen aus Umformulierung der nichtlinearen Komplementaritätsprobleme durch NCP-Funktionen. Wir zeigen für diese Umformulierungen, dass die bestehenden differenzierbaren Bedingungen nicht
zufrieden mit degenerierten Lösungen sind. Außerdem, leiten wir neue Ergebnisse für positiv homogene NCP-Funktionen. Letztere Ergebnisse werden verwendet um zu zeigen, dass geeignete schwächeren differenzierbare Bedingungen (so dass eine lokale Q-quadratische Konvergenzgeschwindigkeit ermöglichen) für bestimmte
Umformulierungen gelten
Projected pseudotransient continuation
2008-2009 > Academic research: refereed > Publication in refereed journalVersion of RecordPublishe
Implicit iteration methods in Hilbert scales under general smoothness conditions
For solving linear ill-posed problems regularization methods are required
when the right hand side is with some noise. In the present paper regularized
solutions are obtained by implicit iteration methods in Hilbert scales. % By
exploiting operator monotonicity of certain functions and interpolation
techniques in variable Hilbert scales, we study these methods under general
smoothness conditions. Order optimal error bounds are given in case the
regularization parameter is chosen either {\it a priori} or {\it a posteriori}
by the discrepancy principle. For realizing the discrepancy principle, some
fast algorithm is proposed which is based on Newton's method applied to some
properly transformed equations
- …