Homotopie-Methoden für Lineare Optimierungsprobleme mit L1-Strafterm und Anwendungen

The subject of this thesis is a primal-dual homotopy method for 1-norm minimization problems with infinity norm constraints. In the first part, we employ convex optimization theory in order to obtain primal-dual optimality conditions for this type of problem. Based on these conditions, we motivate an iterative method that generates the entire homotopy path by successively decreasing the homotopy parameter and computing all associated optimal solutions. Subsequently, we prove that our method always terminates after a finite number of iterations yielding an optimal solution. Moreover, we establish a non-trivial upper bound on the number of iterations which is exponential in the numbers of variables and constraints. Vice versa, for arbitrary problem dimension, we also show how to construct adversarial problem instances such that the number of required iterations is exponential in the number of variables. The second part of the thesis covers several practical aspects. On the one hand, we introduce a modification of our algorithm which can handle linear constraints and, as a consequence, linear programs with strictly positive objective function coefficients. On the other hand, we discuss several applications from the fields of signal processing, machine learning and statistical estimation, and present numerical experiments that demonstrate the effectiveness and efficiency of our method.Gegenstand der vorliegenden Dissertation ist eine primal-duale Homotopiemethode für 1-Norm Minimierungsprobleme mit speziellen linearen Nebenbedingungen. Im ersten Teil der Arbeit nutzen wir Techniken aus der konvexen Optimierung, um primal-duale Optimalitätsbedingungen für Probleme dieser Art herzuleiten. Darauf aufbauend motivieren wir ein iteratives Verfahren, welches durch sukzessives Verkleinern des Homotopieparameters den gesamten Homotopiepfad und letztlich eine optimale Lösung des Problems liefert. Anschließend beweisen wir, dass dieses Verfahren stets nach endlich vielen Iterationen eine optimale Lösung bestimmt und leiten eine nicht triviale obere Schranke an die Anzahl der Iterationen her, welche exponentiell in der Anzahl der Variablen und Nebenbedingungen ist. Umgekehrt konstruieren wir Instanzen, für welche der Algorithmus exponentiell viele Iterationen in der Anzahl der Variablen benötigt. Im Anschluss an die im ersten Teil erfolgte Herleitung und theoretische Analyse des Verfahrens beschäftigen wir uns im zweiten Teil der Arbeit mit einigen praktischen Aspekten. Einerseits diskutieren wir eine Modifizierung, welche die Einbeziehung beliebiger linearer Nebenbedingungen, und damit das Lösen linearer Programme mit positiven Zielfunktionskoeffizienten, erlaubt. Schließlich stellen wir verschiedene Anwendungen aus den Themengebieten Signalverarbeitung, Maschinelles Lernen und Statistik vor, an welchen wir die Effektivität und die Effizienz unserer Methode mittels numerischer Beispiele demonstrieren