Using Interior Point Methods for Large-scale Support Vector Machine training

Support Vector Machines (SVMs) are powerful machine learning techniques for classification and regression, but the training stage involves a convex quadratic optimization program that is most often computationally expensive. Traditionally, active-set methods have been used rather than interior point methods, due to the Hessian in the standard dual formulation being completely dense. But as active-set methods are essentially sequential, they may not be adequate for machine learning challenges of the future. Additionally, training time may be limited, or data may grow so large that cluster-computing approaches need to be considered. Interior point methods have the potential to answer these concerns directly. They scale efficiently, they can provide good early approximations, and they are suitable for parallel and multi-core environments. To apply them to SVM training, it is necessary to address directly the most computationally expensive aspect of the algorithm. We therefore present an exact reformulation of the standard linear SVM training optimization problem that exploits separability of terms in the objective. By so doing, per-iteration computational complexity is reduced from O(n3) to O(n). We show how this reformulation can be applied to many machine learning problems in the SVM family. Implementation issues relating to specializing the algorithm are explored through extensive numerical experiments. They show that the performance of our algorithm for large dense or noisy data sets is consistent and highly competitive, and in some cases can out perform all other approaches by a large margin. Unlike active set methods, performance is largely unaffected by noisy data. We also show how, by exploiting the block structure of the augmented system matrix, a hybrid MPI/Open MP implementation of the algorithm enables data and linear algebra computations to be efficiently partitioned amongst parallel processing nodes in a clustered computing environment. The applicability of our technique is extended to nonlinear SVMs by low-rank approximation of the kernel matrix. We develop a heuristic designed to represent clusters using a small number of features. Additionally, an early approximation scheme reduces the number of samples that need to be considered. Both elements improve the computational efficiency of the training phase. Taken as a whole, this thesis shows that with suitable problem formulation and efficient implementation techniques, interior point methods are a viable optimization technology to apply to large-scale SVM training, and are able to provide state-of-the-art performance

Klassifikation morphologischer und pathologischer Strukturen in koronaren Gefäßen auf Basis intravaskulärer Ultraschallaufnahmen zur klinischen Anwendung in einem IVB-System

Erkrankungen des Herz-Kreislaufsystems sind in Deutschland für fast 50% der Todesfälle verantwortlich. Insbesondere die Arteriosklerose (vulgo: „Arterienverkalkung“) ist dabei ein dominierendes Krankheitsbild. So ist es auch nicht verwunderlich, dass die Arteriosklerose seit den Anfängen der wissenschaftlichen Medizin ein Feld für umfangreiche Untersuchungen gewesen ist. Speziell durch den technischen Fortschritt bildgebender Verfahren war es möglich neuartige Diagnose- und Therapiemethoden zu entwickeln. Dabei hat sich gerade der intravaskuläre Ultraschall zu einem Goldstandard in der Diagnose arteriosklerotischer Erkrankungen und, in Kombination mit der intravaskulären Brachytherapie, zu einer Erfolg versprechenden Basistechnik für therapeutische Maßnahmen entwickelt. Grundvoraussetzung fast jeder bildbasierten Intervention ist aber die Separierung der Bilddaten in anatomisch und pathologisch differenzierte, saliente Regionen. In Anbetracht zunehmender, umfangreicherer Datenmengen kann eine derartige Aufarbeitung nur rechnergestützt durch Problem adaptierte Klassifikationsalgorithmen gewährleistet werden. Daher war es das Ziel dieser Arbeit, neue Methoden zur Merkmalsextraktion und Algorithmen zur Klassifikation morphologischer und pathologischer Strukturen in koronaren Gefäßen bereitzustellen. Aus der initialen Fragestellung wurde zudem zeitnah deutlich, dass das Forschungsvorhaben Anknüpfungspunkte zu weiteren hochgradig relevanten inter- und intradisziplinären Forschungsthemen, beispielsweise der Histologie, Systembiologie oder Chemietechnik, aufweist. Aber auch vonseiten der Anwendungsszenarien wurden teilweise völlig neue, innovative Wege beschritten. Exemplarisch sei ein E-Learning-Ansatz zur „Übersetzung“ digitaler Bilddaten in haptisch erfahrbare Reliefs für blinde und sehbehinderte Schülerinnen und Schüler genannt. In Anbetracht dieser partiell divergierenden Sichtweisen war auch die generalisierte, von der expliziten Fragestellung abstrahierte Umsetzung eine Ausrichtung der Arbeit. Dieser Intention folgend wurden drei wesentliche methodische und konzeptionelle Entwicklungen innerhalb der Arbeit realisiert: ein Expertensystem zur Approximation arterieller Kompartimente mittels unscharfer elliptischer Templates, ein neuartiger, effizienter Ansatz zur signaltheoretischen Extraktion textureller Merkmale und die Etablierung maschinelle Lernverfahren unter Integration von a priori Wissen. Über eine konsequente Integration statistischer Gütemaße konnte zudem eine ausgeprägte Rückkopplung zwischen Klassifikations- und Bewertungsansätzen gewährleistet werden. Gemeinsam ist allen Ansätzen das Ansinnen, trotz hoch anwendungsbezogener Umsetzungen, die fortwährende Portabilität zu beachten. In einer übergeordneten Abstraktion kann die Intention der Arbeit somit auch in der „generalisierten Nutzung signaltheoretischer Merkmale zur Klassifikation heterogener, durch texturelle Ausprägungen zu differenzierende Kompartimente mittels maschineller Lernverfahren“ verstanden werden

Lernen, Lehren und Forschen in einer digital geprägten Welt. Gesellschaft für Didaktik der Chemie und Physik. Jahrestagung in Aachen 2022

Die Tagung der Gesellschaft für Didaktik der Chemie und Physik (GDCP) fand vom 12. bis zum 15. September 2022 an der RWTH Aachen statt. Der vorliegende Band umfasst die ausgearbeiteten Beiträge der Teilnehmenden zum Thema: "Lernen, Lehren und Forschen in der digital geprägten Welt"