Efficient optimization methods for regularized learning: support vector machines and total-variation regularization

Tesis doctoral inédita. Universidad Autónoma de Madrid, Escuela Politécnica Superior, mayo de 201

Analysis and convergence of SMO-like decomposition and geometrical algorithms for support vector machines

Tesis doctoral inédita. Universidad Autónoma de Madrid, Escuela Politécnica Superior, noviembre de 201

Geometric Approach to Support Vector Machines Learning for Large Datasets

The dissertation introduces Sphere Support Vector Machines (SphereSVM) and Minimal Norm Support Vector Machines (MNSVM) as the new fast classification algorithms that use geometrical properties of the underlying classification problems to efficiently obtain models describing training data. SphereSVM is based on combining minimal enclosing ball approach, state of the art nearest point problem solvers and probabilistic techniques. The blending of the three speeds up the training phase of SVMs significantly and reaches similar (i.e., practically the same) accuracy as the other classification models over several big and large real data sets within the strict validation frame of a double (nested) cross-validation (CV). MNSVM is further simplification of SphereSVM algorithm. Here, relatively complex classification task was converted into one of the simplest geometrical problems -- minimal norm problem. This resulted in additional speedup compared to SphereSVM. The results shown are promoting both SphereSVM and MNSVM as outstanding alternatives for handling large and ultra-large datasets in a reasonable time without switching to various parallelization schemes for SVMs algorithms proposed recently. The variants of both algorithms, which work without explicit bias term, are also presented. In addition, other techniques aiming to improve the time efficiency are discussed (such as over-relaxation and improved support vector selection scheme). Finally, the accuracy and performance of all these modifications are carefully analyzed and results based on nested cross-validation procedure are shown

Acceleration Methods for Classic Convex Optimization Algorithms

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Ingeniería Informática. Fecha de lectura : 12-09-2017Most Machine Learning models are defined in terms of a convex optimization problem. Thus, developing algorithms to quickly solve such problems its of great interest to the field. We focus in this thesis on two of the most widely used models, the Lasso and Support Vector Machines. The former belongs to the family of regularization methods, and it was introduced in 1996 to perform both variable selection and regression at the same time. This is accomplished by adding a `1-regularization term to the least squares model, achieving interpretability and also a good generalization error. Support Vector Machines were originally formulated to solve a classification problem by finding the maximum-margin hyperplane, that is, the hyperplane which separates two sets of points and its at equal distance from both of them. SVMs were later extended to handle non-separable classes and non-linear classification problems, applying the kernel-trick. A first contribution of this work is to carefully analyze all the existing algorithms to solve both problems, describing not only the theory behind them but also pointing out possible advantages and disadvantages of each one. Although the Lasso and SVMs solve very different problems, we show in this thesis that they are both equivalent. Following a recent result by Jaggi, given an instance of one model we can construct an instance of the other having the same solution, and vice versa. This equivalence allows us to translate theoretical and practical results, such as algorithms, from one field to the other, that have been otherwise being developed independently. We will give in this thesis not only the theoretical result but also a practical application, that consists on solving the Lasso problem using the SMO algorithm, the state-of-the-art solver for non-linear SVMs. We also perform experiments comparing SMO to GLMNet, one of the most popular solvers for the Lasso. The results obtained show that SMO is competitive with GLMNet, and sometimes even faster. Furthermore, motivated by a recent trend where classical optimization methods are being re-discovered in improved forms and successfully applied to many problems, we have also analyzed two classical momentum-based methods: the Heavy Ball algorithm, introduced by Polyak in 1963 and Nesterov’s Accelerated Gradient, discovered by Nesterov in 1983. In this thesis we develop practical versions of Conjugate Gradient, which is essentially equivalent to the Heavy Ball method, and Nesterov’s Acceleration for the SMO algorithm. Experiments comparing the convergence of all the methods are also carried out. The results show that the proposed algorithms can achieve a faster convergence both in terms of iterations and execution time.La mayoría de modelos de Aprendizaje Automático se definen en términos de un problema de optimización convexo. Por tanto, desarrollar algoritmos para resolver rápidamente dichos problemas es de gran interés para este campo. En esta tesis nos centramos en dos de los modelos más usados, Lasso y Support Vector Machines. El primero pertenece a la familia de métodos de regularización, y fue introducido en 1996 para realizar selección de características y regresión al mismo tiempo. Esto se consigue añadiendo una penalización `1al modelo de mínimos cuadrados, obteniendo interpretabilidad y un buen error de generalización. Las Máquinas de Vectores de Soporte fueron formuladas originalmente para resolver un problema de clasificación buscando el hiper-plano de máximo margen, es decir, el hiper-plano que separa los dos conjuntos de puntos y está a la misma distancia de ambos. Las SVMs se han extendido posteriormente para manejar clases no separables y problemas de clasificación no lineales, mediante el uso de núcleos. Una primera contribución de este trabajo es analizar cuidadosamente los algoritmos existentes para resolver ambos problemas, describiendo no solo la teoría detrás de los mismos sino también mencionando las posibles ventajas y desventajas de cada uno. A pesar de que el Lasso y las SVMs resuelven problemas muy diferentes, en esta tesis demostramos que ambos son equivalentes. Continuando con un resultado reciente de Jaggi, dada una instancia de uno de los modelos podemos construir una instancia del otro que tiene la misma solución, y viceversa. Esta equivalencia nos permite trasladar resultados teóricos y prácticos, como por ejemplo algoritmos, de un campo al otro, que se han desarrollado de forma independiente. En esta tesis mostraremos no solo la equivalencia teórica sino también una aplicación práctica, que consiste en resolver el problema Lasso usando el algoritmo SMO, que es el estado del arte para la resolución de SVM no lineales. También realizamos experimentos comparando SMO a GLMNet, uno de los algoritmos más populares para resolver el Lasso. Los resultados obtenidos muestran que SMO es competitivo con GLMNet, y en ocasiones incluso más rápido. Además, motivado por una tendencia reciente donde métodos clásicos de optimización se están re- descubriendo y aplicando satisfactoriamente en muchos problemas, también hemos analizado dos métodos clásicos basados en “momento”: el algoritmo Heavy Ball, creado por Polyak en 1963 y el Gradiente Acelerado de Nesterov, descubierto por Nesterov en 1983. En esta tesis desarrollamos versiones prácticas de Gradiente Conjugado, que es equivalente a Heavy Ball, y Aceleración de Nesterov para el algortimo SMO. Además, también se realizan experimentos comparando todos los métodos. Los resultados muestran que los algoritmos propuestos a menudo convergen más rápido, tanto en términos de iteraciones como de tiempo de ejecución

Sparse convex optimization methods for machine learning

Diss., Eidgenössische Technische Hochschule ETH Zürich, Nr. 20013, 201

Query processing in complex modern traffic networks

The transport sector generates about one quarter of all greenhouse gas emissions worldwide. In the European Union (EU), passenger cars and light-duty trucks make up for over half of these traffic-related emissions. It is evident that everyday traffic is a serious environmental threat. At the same time, transport is a key factor for the ambitious EU climate goals; among them, for instance, the reduction of greenhouse gas emissions by 85 to 90 percent in the next 35 years. This thesis investigates complex traffic networks and their requirements from a computer science perspective. Modeling of and query processing in modern traffic networks are pivotal topics. Challenging theoretical problems are examined from different perspectives, novel algorithmic solutions are provided. Practical problems are investigated and solved, for instance, employing qualitative crowdsourced information and sensor data of various sources. Modern traffic networks are often modeled as graphs, i.e., defined by sets of nodes and edges. In conventional graphs, the edges are assigned numerical weights, for instance, reflecting cost criteria like distance or travel time. In multicriteria networks, the edges reflect multiple, possibly dynamically changing cost criteria. While these networks allow for diverse queries and meaningful insight, query processing usually is significantly more complex. Novel means for computation are required to keep query processing efficient. The crucial task of computing optimal paths is particularly expensive under multiple criteria. The most established set of optimal paths in multicriteria networks is referred to as path skyline (or set of pareto-optimal paths). Until now, computing the path skyline either required extensive precomputation or networks of minor size or complexity. Neither of these demands can be made on modern traffic networks. This thesis presents a novel method which makes on-the-fly computation of path skylines possible, even in dynamic networks with three or more cost criteria. Another problem examined is the exponentially growth of path skylines. The number of elements in a path skyline is potentially exponential in the number of cost criteria and the number of edges between start and target. This often produces less meaningful results, sometimes hindering usability. These drawbacks emphasize the importance of the linear path skyline which is investigated in this thesis. The linear path skyline is based on a different notion of optimality. By the notion of optimality, the linear path skyline is a subset of the conventional path skyline but in general contains less and more diverse elements. Thus, the linear path skyline facilitates interpretation while in general reducing computational effort. This topic is first studied in networks with two cost criteria and subsequently extended to more cost criteria. These cost criteria are not limited to purely quantitative measures like distance and travel time. This thesis examines the integration of qualitative information into abstractly modeled road networks. It is proposed to mine crowdsourced data for qualitative information and use this information to enrich road network graphs. These enriched networks may in turn be used to produce routing suggestions which reflect an opinion of the crowd. From data processing to knowledge extracting, network enrichment and route computation, the possibilities and challenges of crowdsourced data as a source for information are surveyed. Additionally, this thesis substantiates the practicability of network enrichment in real-world experiments. The description of a demonstration framework which applies some of the presented methods to the use case of tourist route recommendation serves as an example. The methods may also be applied to a novel graph-based routing problem proposed in this thesis. The problem extends the family of Orienteering Problems which find frequent application in tourist routing and other tasks. An approximate solution to this NP-hard problem is presented and evaluated on a large scale, real-world, time-dependent road network. Another central aspect of modern traffic networks is the integration of sensor data, often referred to as telematics. Nowadays, manifold sensors provide a plethora of data. Using this data to optimize traffic is and will continue to be a challenging task for research and industry. Some of the applications which qualify for the integration of modern telematics are surveyed in this thesis. For instance, the abstract problem of consumable and reoccurring resources in road networks is studied. An application of this problem is the search for a vacant parking space. Taking statistical and real-time sensor information into account, a stochastic routing algorithm which maximizes the probability of finding a vacant space is proposed. Furthermore, the thesis presents means for the extraction of driving preferences, helping to better understand user behavior in traffic. The theoretical concepts partially find application in a demonstration framework described in this thesis. This framework provides features which were developed for a real-world pilot project on the topics of electric and shared mobility. Actual sensor car data collected in the project, gives insight to the challenges of managing a fleet of electric vehicles.Verkehrsmittel erzeugen rund ein Viertel aller Treibhausgas-Emissionen weltweit. Für über die Hälfte der verkehrsbedingten Emissionen in der Europäischen Union (EU) zeichnen PKW und Kleinlaster verantwortlich. Die Tragweite ökologischer Konsequenzen durch alltäglichen Verkehr ist enorm. Zugleich ist ein Umdenken im Bezug auf Verkehr entscheidend, um die ehrgeizigen klimapolitischen Ziele der EU zu erfüllen. Dazu gehört unter anderem, Treibhausgas-Emissionen bis 2050 um 85 bis 90 Prozent zu verringern. Die vorliegende Arbeit widmet sich den komplexen Anforderungen an Verkehr und Verkehrsnetzwerke aus der Sicht der Informatik. Dabei spielen sowohl die Modellierung von als auch die Anfragebearbeitung in modernen Verkehrsnetzwerken eine entscheidende Rolle. Theoretische Fragestellungen werden aus unterschiedlichen Persepektiven beleuchtet, neue Algorithmen werden vorgestellt. Ebenso werden praktische Fragestellungen untersucht und gelöst, etwa durch die Einbindung nutzergenerierten Inhalts oder die Verwendung von Sensordaten aus unterschiedlichen Quellen. Moderne Verkehrsnetzwerke werden häufig als Graphen modelliert, d.h., durch Knoten und Kanten dargestellt. Man unterscheidet zwischen konventionellen Graphen und sogenannten Multiattributs-Graphen. Während die Kanten konventioneller Graphen numerische Gewichte tragen, die statische Kostenkriterien wie Distanz oder Reisezeit modellieren, beschreiben die Kantengewichte in Multiattributs-Graphen mehrere, möglicherweise dynamisch veränderliche Kostenkriterien. Das erlaubt einerseits vielseitige Anfragen und aussagekräftige Erkenntnisse, macht die Anfragebearbeitung jedoch ungleich komplexer und verlangt deshalb nach neuen Berechnungsmethoden. Eine besonders aufwendige Anfrage ist die Berechnung optimaler Pfade, zugleich eine der zentralsten Fragestellungen. Die gängigste Menge optimaler Pfade wird als Pfad-Skyline (auch: Menge der pareto-optimalen Pfade) bezeichnet. Die effiziente Berechnung der Pfad-Skyline setzte bisher überschaubare Netzwerke oder beträchtliche Vorberechnungen voraus. Keine der beiden Bedingung kann in modernen Verkehrsnetzwerken erfüllt werden. Diese Arbeit stellt deshalb eine Methode vor, die die Berechnung der Pfad-Skyline erheblich beschleunigt, selbst in dynamischen Netzwerken mit drei oder mehr Kostenkriterien. Außerdem wird das Problem des exponentiellen Wachstums der Pfad-Skyline betrachtet. Die Anzahl der Elemente der Pfad-Skyline wächst im schlechtesten Fall exponentiell in der Anzahl der Kostenkriterien sowie in der Entfernung zwischen Start und Ziel. Dies kann zu unübersichtlichen und wenig aussagekräftigen Resultatmengen führen. Diese Nachteile unterstreichen die Bedeutung der linearen Pfad-Skyline, die auch im Rahmen diese Arbeit untersucht wird. Die lineare Pfad-Skyline folgt einer anderen Definition von Optimalität. Stets ist die lineare Pfad-Skyline eine Teilmenge der konventionellen Pfad-Skyline, meist enthält sie deutlich weniger, unterschiedlichere Resultate. Dadurch lässt sich die lineare Pfad-Skyline im Allgemeinen schneller berechnen und erleichtert die Interpretation der Resultate. Die Berechnung der linearen Pfad-Skyline wird erst für Netzwerke mit zwei Kostenkriterien, anschließend für Netzwerke mit beliebig vielen Kostenkriterien untersucht. Kostenkriterien sind nicht notwendigerweise auf rein quantitative Maße wie Distanz oder Reisezeit beschränkt. Diese Arbeit widmet sich auch der Integration qualitativer Informationen, mit dem Ziel, intuitivere und greifbarere Routingergebnisse zu erzeugen. Dazu wird die Möglichkeit untersucht, abstrakte Straßennetzwerke mit qualitativen Informationen anzureichern, wobei die Informationen aus nutzergenerierten Daten geschöpft werden. Solche sogenannten Enriched Networks ermöglichen die Berechnung von Pfaden, die in gewisser Weise das Wissen der Nutzer reflektieren. Von der Datenverarbeitung, über die Extraktion von Wissen, bis hin zum Network-Enrichment und der Pfadberechnung, gibt diese Arbeit einen überblick zum Thema. Weiterhin wird die Praktikabilität dieses Vorgehens mit Experimenten auf Realdaten untermauert. Die Beschreibung eines Demonstrationstools für den Anwendungsfall der Navigation von Touristen dient als anschauliches Beispiel. Die vorgestellten Methoden sind darüber hinaus auch anwendbar auf ein neues, graphentheoretisches Routingproblem, das in dieser Arbeit vorgestellt wird. Es handelt sich dabei um eine zeitabängige Erweiterung der Familie der Orienteering Probleme, die häufig Anwendung finden, etwa auch im der Bereich der Touristennavigation. Das vorgestellte Problem ist NP-schwer lässt sich jedoch dank eines hier vorgestellten Algorithmus effizient approximieren. Die Evaluation untermauert die Effizienz des vorgestellten Lösungsansatzes und ist zugleich die erste Auswertung eines zeitabhängigen Orienteering Problems auf einem großformatigen Netzwerk. Ein weiterer zentraler Aspekt moderner Verkehrsnetzwerke ist die Integration von Sensordaten, oft unter dem Begriff Telematik zusammengefasst. Heutzutage generiert eine Vielzahl von Sensoren Unmengen an Daten. Diese Daten zur Verkehrsoptimierung einzusetzen ist und bleibt eine wichtige Aufgabe für Wissenschaft und Industrie. Einige der Anwendungen, die sich für den Einsatz von Telematik anbieten, werden in dieser Arbeit untersucht. So wird etwa das abstrakte Problem konsumierbarer und wiederkehrender Ressourcen im Straßennetzwerk untersucht. Ein alltägliches Beispiel für dieses Problem ist die Parkplatzsuche. Der vorgeschlagene Algorithmus, der die Wahrscheinlichkeit maximiert, einen freien Parkplatz zu finden, baut auf die Verwendung statistischer sowie aktueller Sensordaten. Weiterhin werden Methoden zur Ableitung von Fahrerpräferenzen entwickelt. Die theoretischen Fundamente finden zum Teil in einem hier beschriebenen Demonstrationstool Anwendung. Das Tool veranschaulicht Features, die für ein Pilotprojekt zu den Themen Elektromobilität und Fahrzeugflotten entwickelt wurden. Im Rahmen eines Pilotversuchs wurden Sensordaten von Elektrofahrzeugen erhoben, die Einblick in die Herausforderungen beim Management von Elektrofahrzeugflotten geben

LIPIcs, Volume 274, ESA 2023, Complete Volume

LIPIcs, Volume 274, ESA 2023, Complete Volum