34 research outputs found
On finding multiple pareto-optimal solutions using classical and evolutionary generating methods
In solving multi-objective optimization problems, evolutionary algorithms have been adequately applied to demonstrate that multiple and well-spread Pareto-optimal solutions can be found in a single simulation run. In this paper, we discuss and put together various different classical generating methods which are either quite well-known or are in oblivion due to publication in less accessible journals and some of which were even suggested before the inception of evolutionary methodologies. These generating methods specialize either in finding multiple Pareto-optimal solutions in a single simulation run or specialize in maintaining a good diversity by systematically solving a number of scalarizing problems. Most classical generating methodologies are classified into four groups mainly based on their working principles and one representative method from each group is chosen in the present study for a detailed discussion and for its performance comparison with a state-of-the-art evolutionary method. On visual comparisons of the efficient frontiers obtained for a number of two and three-objective test problems, the results bring out interesting insights about the strengths and weaknesses of these approaches. The results should motivate researchers to design hybrid multi-objective optimization algorithms which may be better than each of the individual methods
Levenberg-Marquardt Algorithms for Nonlinear Equations, Multi-objective Optimization, and Complementarity Problems
The Levenberg-Marquardt algorithm is a classical method for solving
nonlinear systems of equations that can come from various applications
in engineering and economics.
Recently, Levenberg-Marquardt methods turned out to be a valuable
principle for obtaining fast convergence to a solution of the nonlinear
system if the classical nonsingularity assumption is replaced by a
weaker error bound condition. In this way also problems with nonisolated
solutions can be treated successfully. Such problems increasingly
arise in engineering applications and in mathematical programming.
In this thesis we use Levenberg-Marquardt algorithms to deal with
nonlinear equations, multi-objective optimization and complementarity
problems. We develop new algorithms for solving these problems
and investigate their convergence properties.
For sufficiently smooth nonlinear equations we provide convergence results
for inexact Levenberg-Marquardt type algorithms. In particular,
a sharp bound on the maximal level of inexactness that is sufficient for
a quadratic (or a superlinear) rate of convergence is derived. Moreover,
the theory developed is used to show quadratic convergence of
a robust projected Levenberg-Marquardt algorithm.
The use of Levenberg-Marquardt type algorithms for unconstrained
multi-objective optimization problems is investigated in detail. In particular,
two globally and locally quadratically convergent algorithms
for these problems are developed. Moreover, assumptions under which
the error bound condition for a Pareto-critical system is fulfilled are
derived.
We also treat nonsmooth equations arising from reformulating complementarity
problems by means of NCP functions. For these reformulations,
we show that existing smoothness conditions are not satisfied
at degenerate solutions. Moreover, we derive new results for positively
homogeneous functions. The latter results are used to show that appropriate
weaker smoothness conditions (enabling a local Q-quadratic
rate of convergence) hold for certain reformulations.Der Levenberg-Marquardt-Algorithmus ist ein klassisches Verfahren zur Lösung von nichtlinearen Gleichungssystemen, welches in verschiedenen Anwendungen der Ingenieur-und Wirtschaftswissenschaften vorkommen kann. Kürzlich, erwies sich das
Verfahren als ein wertvolles Instrument für die Gewährleistung einer schnelleren Konvergenz für eine Lösung des nichtlinearen Systems, wenn die klassische nichtsinguläre Annahme durch eine schwächere Fehlerschranke der eingebundenen Bedingung ersetzt wird. Auf diese Weise, lassen sich ebenfalls Probleme mit nicht isolierten Lösungen erfolgreich behandeln. Solche Probleme ergeben sich
zunehmend in den praktischen, ingenieurwissenschaftlichen Anwendungen und in der mathematischen Programmierung. In dieser Arbeit verwenden wir Levenberg-Marquardt-
Algorithmus für nichtlinearere Gleichungen, multikriterielle Optimierung - und nichtlineare Komplementaritätsprobleme. Wir entwickeln neue Algorithmen zur Lösung dieser Probleme und untersuchen ihre Konvergenzeigenschaften.
Für ausreichend differenzierbare nichtlineare Gleichungen, analysieren und bieten wir Konvergenzergebnisse für ungenaue Levenberg-Marquardt-Algorithmen Typen. Insbesondere, bieten wir eine strenge Schranke für die maximale Höhe der Ungenauigkeit, die ausreichend ist für eine quadratische (oder eine superlineare) Rate der
Konvergenz. Darüber hinaus, die entwickelte Theorie wird verwendet, um quadratische Konvergenz eines robusten projizierten Levenberg-Marquardt-Algorithmus zu zeigen.
Die Verwendung von Levenberg-Marquardt-Algorithmen Typen für unbeschränkte multikriterielle Optimierungsprobleme im Detail zu untersucht. Insbesondere sind zwei globale und lokale quadratische konvergente Algorithmen für multikriterielle Optimierungsprobleme entwickelt worden. Die Annahmen wurden hergeleitet, unter
welche die Fehlerschranke der eingebundenen Bedingung für ein Pareto-kritisches System erfüllt ist.
Wir behandeln auch nicht differenzierbare nichtlineare Gleichungen aus Umformulierung der nichtlinearen Komplementaritätsprobleme durch NCP-Funktionen. Wir zeigen für diese Umformulierungen, dass die bestehenden differenzierbaren Bedingungen nicht
zufrieden mit degenerierten Lösungen sind. Außerdem, leiten wir neue Ergebnisse für positiv homogene NCP-Funktionen. Letztere Ergebnisse werden verwendet um zu zeigen, dass geeignete schwächeren differenzierbare Bedingungen (so dass eine lokale Q-quadratische Konvergenzgeschwindigkeit ermöglichen) für bestimmte
Umformulierungen gelten
Comparing classical generating methods with an evolutionary multi-objective optimization method
For the past decade, many evolutionary multi-objective optimization (EMO) methodologies have been developed and applied to find multiple Pareto-optimal solutions in a single simulation run. In this paper, we discuss three different classical generating methods, some of which were suggested even before the inception of EMO methodologies. These methods specialize in finding multiple Pareto-optimal solutions in a single simulation run. On visual comparisons of the efficient frontiers obtained for a number of two and three-objective test problems, these algorithms are evaluated with an EMO methodology. The results bring out interesting insights about the strengths and weaknesses of these approaches. Further investigations of such classical generating methodologies and their evaluation should enable researchers to design a hybrid multi-objective optimization algorithm which may be better than each individual method
Inefficient emergent oscillations in intersecting driven many-particle flows
Oscillatory flow patterns have been observed in many different driven
many-particle systems. The conventional assumption is that the reason for
emergent oscillations in opposing flows is an increased efficiency
(throughput). In this contribution, however, we will study intersecting
pedestrian and vehicle flows as an example for inefficient emergent
oscillations. In the coupled vehicle-pedestrian delay problem, oscillating
pedestrian and vehicle flows form when pedestrians cross the street with a
small time gap to approaching cars, while both pedestrians and vehicles
benefit, when they keep some overcritical time gap. That is, when the safety
time gap of pedestrians is increased, the average delay time of pedestrians
decreases and the vehicle flow goes up. This may be interpreted as a
slower-is-faster effect. The underlying mechanism of this effect is explained
in detail.Comment: For related publications see http://www.helbing.or
Exploiting second order information in computational multi-objective evolutionary optimization
On gradient based local search methods in unconstrained evolutionary multi-objective optimization
Gradient based stochastic mutation operators in evolutionary multi-objective optimization
Levenberg-Marquardt Algorithms for Nonlinear Equations, Multi-objective Optimization, and Complementarity Problems
The Levenberg-Marquardt algorithm is a classical method for solving
nonlinear systems of equations that can come from various applications
in engineering and economics.
Recently, Levenberg-Marquardt methods turned out to be a valuable
principle for obtaining fast convergence to a solution of the nonlinear
system if the classical nonsingularity assumption is replaced by a
weaker error bound condition. In this way also problems with nonisolated
solutions can be treated successfully. Such problems increasingly
arise in engineering applications and in mathematical programming.
In this thesis we use Levenberg-Marquardt algorithms to deal with
nonlinear equations, multi-objective optimization and complementarity
problems. We develop new algorithms for solving these problems
and investigate their convergence properties.
For sufficiently smooth nonlinear equations we provide convergence results
for inexact Levenberg-Marquardt type algorithms. In particular,
a sharp bound on the maximal level of inexactness that is sufficient for
a quadratic (or a superlinear) rate of convergence is derived. Moreover,
the theory developed is used to show quadratic convergence of
a robust projected Levenberg-Marquardt algorithm.
The use of Levenberg-Marquardt type algorithms for unconstrained
multi-objective optimization problems is investigated in detail. In particular,
two globally and locally quadratically convergent algorithms
for these problems are developed. Moreover, assumptions under which
the error bound condition for a Pareto-critical system is fulfilled are
derived.
We also treat nonsmooth equations arising from reformulating complementarity
problems by means of NCP functions. For these reformulations,
we show that existing smoothness conditions are not satisfied
at degenerate solutions. Moreover, we derive new results for positively
homogeneous functions. The latter results are used to show that appropriate
weaker smoothness conditions (enabling a local Q-quadratic
rate of convergence) hold for certain reformulations.Der Levenberg-Marquardt-Algorithmus ist ein klassisches Verfahren zur Lösung von nichtlinearen Gleichungssystemen, welches in verschiedenen Anwendungen der Ingenieur-und Wirtschaftswissenschaften vorkommen kann. Kürzlich, erwies sich das
Verfahren als ein wertvolles Instrument für die Gewährleistung einer schnelleren Konvergenz für eine Lösung des nichtlinearen Systems, wenn die klassische nichtsinguläre Annahme durch eine schwächere Fehlerschranke der eingebundenen Bedingung ersetzt wird. Auf diese Weise, lassen sich ebenfalls Probleme mit nicht isolierten Lösungen erfolgreich behandeln. Solche Probleme ergeben sich
zunehmend in den praktischen, ingenieurwissenschaftlichen Anwendungen und in der mathematischen Programmierung. In dieser Arbeit verwenden wir Levenberg-Marquardt-
Algorithmus für nichtlinearere Gleichungen, multikriterielle Optimierung - und nichtlineare Komplementaritätsprobleme. Wir entwickeln neue Algorithmen zur Lösung dieser Probleme und untersuchen ihre Konvergenzeigenschaften.
Für ausreichend differenzierbare nichtlineare Gleichungen, analysieren und bieten wir Konvergenzergebnisse für ungenaue Levenberg-Marquardt-Algorithmen Typen. Insbesondere, bieten wir eine strenge Schranke für die maximale Höhe der Ungenauigkeit, die ausreichend ist für eine quadratische (oder eine superlineare) Rate der
Konvergenz. Darüber hinaus, die entwickelte Theorie wird verwendet, um quadratische Konvergenz eines robusten projizierten Levenberg-Marquardt-Algorithmus zu zeigen.
Die Verwendung von Levenberg-Marquardt-Algorithmen Typen für unbeschränkte multikriterielle Optimierungsprobleme im Detail zu untersucht. Insbesondere sind zwei globale und lokale quadratische konvergente Algorithmen für multikriterielle Optimierungsprobleme entwickelt worden. Die Annahmen wurden hergeleitet, unter
welche die Fehlerschranke der eingebundenen Bedingung für ein Pareto-kritisches System erfüllt ist.
Wir behandeln auch nicht differenzierbare nichtlineare Gleichungen aus Umformulierung der nichtlinearen Komplementaritätsprobleme durch NCP-Funktionen. Wir zeigen für diese Umformulierungen, dass die bestehenden differenzierbaren Bedingungen nicht
zufrieden mit degenerierten Lösungen sind. Außerdem, leiten wir neue Ergebnisse für positiv homogene NCP-Funktionen. Letztere Ergebnisse werden verwendet um zu zeigen, dass geeignete schwächeren differenzierbare Bedingungen (so dass eine lokale Q-quadratische Konvergenzgeschwindigkeit ermöglichen) für bestimmte
Umformulierungen gelten