Robust Risik-Optimization with multi-objective Neural Networks

Ziel dieser Dissertation ist es die Schwierigkeiten bei der Modellierung mit Black-Box Modellen aufzuzeigen, zu quantifizieren und Lösungsvorschläge zu bieten. Als primäres Beispiel für Black-Box-Approximatoren werden Neuronale Netze in verschiedenen Ausprägungen gewählt. Teil I konzentriert sich auf die Approximationsfähigkeit von Neuronalen Netzen in Hinblick auf Dichtheitsaussagen der Form amp;quot;die Klasse der single-layer Neuronalen Netze mit einer diskriminatorischen Aktivierungsfunktion liegt dicht in C(D) mit D kompaktamp;quot;. Bestehende Ergebnisse werden an mehreren Stellen erweitert. Zudem wird in Kapitel 3 die Rolle von Redundanzen in Wavelet-Entwicklungen und die Verbindung zu Wavelet Neuronalen Netzen sowie deren Robustheit gegenüber Störungen in den Wavelet-Koeffizienten untersucht. Teil II stellt das geeignete Fundament für die Analyse der Robustheit von Black-Box Modellen gegenüber in der Praxis unvermeidlicher Störungen zur Verfügung. In diesem stochastischen Rahmen werden die folgenden Aspekte aus verschiedenen Sichtweisen heraus beleuchtet: Empirische Risiko-Minimierung mit Black-Box Approximatoren in stochastischem Rahmen, Konsistenz in der empirischen Risiko-Minimierung, Topologische Einschränkungen von Hypothesenräumen und die Verbindung zu modelltheoretischen Problemstellungen (Bias-Variance-Dilemma) sowie die gleichmäßige Konvergenz der Schätzer gegen die Zielfunktion als Hauptproblem bei der praktischen Anwendung von Neuronalen Netzen. Hierbei werden vor allem sowohl Konvergenz in N (Anzahl Trainingsdatenpunkte) als auch in M (entspricht Modellkomplexität) betrachtet. Weiterhin werden verschiedene Definitionen von Robustheit für Black-Box Approximatoren (Hypothesenstabilität, Ausreißerstabilität, Kondition des Optimierungsproblems) verwendet und diskutiert sowie neue Konstruktionsalgorithmen für Neuronale Netze auf Grundlage von der Komplexität nach geordneten Modellstrukturen. Diese Algorithmen werden auf Robustheits- und Stabilitätseigenschaften hin untersucht. In Teil III werden die in Teil I und II erarbeiteten Zusammenhänge angewendet, so dass ein Konstruktionsalgorithmus angegeben werden kann, der sich bezüglich mehrerer Aspekte (Hypothesen-Stabilität, Komplexität, Konsistenz, Ausreißer-Immunität und Kondition) als optimal erweist. Neuronale Netze werden somit auf neuartige Weise als ganzheitliches Modellierungsproblem präsentiert, denn ein“gutes Modell“ ist nur durch die simultane Optimierung verschiedener Aspekte erreichbar (Multi-Objective Modellierung). Ein zentraler Punkt dieser Dissertation ist in diesem Zusammenhang die Abschätzung des Bias-Fehlers mit Hilfe eines erweiterten greedy-Algorithmus. Es gelingt den Gesamtfehler der Approximation in Abhängigkeit von Modellkomplexität und Anzahl der Trainingsdatenpunkte analytisch nach oben abzuschätzen und zu minimieren