8 research outputs found
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Frank-Wolfe algorithms have recently regained the attention of the Machine
Learning community. Their solid theoretical properties and sparsity guarantees
make them a suitable choice for a wide range of problems in this field. In
addition, several variants of the basic procedure exist that improve its
theoretical properties and practical performance. In this paper, we investigate
the application of some of these techniques to Machine Learning, focusing in
particular on a Parallel Tangent (PARTAN) variant of the FW algorithm that has
not been previously suggested or studied for this type of problems. We provide
experiments both in a standard setting and using a stochastic speed-up
technique, showing that the considered algorithms obtain promising results on
several medium and large-scale benchmark datasets for SVM classification
Acceleration Methods for Classic Convex Optimization Algorithms
Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Ingeniería Informática. Fecha de lectura : 12-09-2017Most Machine Learning models are defined in terms of a convex optimization problem. Thus,
developing algorithms to quickly solve such problems its of great interest to the field. We focus
in this thesis on two of the most widely used models, the Lasso and Support Vector Machines.
The former belongs to the family of regularization methods, and it was introduced in 1996 to
perform both variable selection and regression at the same time. This is accomplished by adding
a `1-regularization term to the least squares model, achieving interpretability and also a good
generalization error.
Support Vector Machines were originally formulated to solve a classification problem by
finding the maximum-margin hyperplane, that is, the hyperplane which separates two sets
of points and its at equal distance from both of them. SVMs were later extended to handle
non-separable classes and non-linear classification problems, applying the kernel-trick. A first
contribution of this work is to carefully analyze all the existing algorithms to solve both problems,
describing not only the theory behind them but also pointing out possible advantages and
disadvantages of each one.
Although the Lasso and SVMs solve very different problems, we show in this thesis that they
are both equivalent. Following a recent result by Jaggi, given an instance of one model we can
construct an instance of the other having the same solution, and vice versa. This equivalence
allows us to translate theoretical and practical results, such as algorithms, from one field to the
other, that have been otherwise being developed independently. We will give in this thesis not
only the theoretical result but also a practical application, that consists on solving the Lasso
problem using the SMO algorithm, the state-of-the-art solver for non-linear SVMs. We also
perform experiments comparing SMO to GLMNet, one of the most popular solvers for the Lasso.
The results obtained show that SMO is competitive with GLMNet, and sometimes even faster.
Furthermore, motivated by a recent trend where classical optimization methods are being
re-discovered in improved forms and successfully applied to many problems, we have also analyzed
two classical momentum-based methods: the Heavy Ball algorithm, introduced by Polyak in
1963 and Nesterov’s Accelerated Gradient, discovered by Nesterov in 1983. In this thesis we
develop practical versions of Conjugate Gradient, which is essentially equivalent to the Heavy
Ball method, and Nesterov’s Acceleration for the SMO algorithm. Experiments comparing
the convergence of all the methods are also carried out. The results show that the proposed
algorithms can achieve a faster convergence both in terms of iterations and execution time.La mayoría de modelos de Aprendizaje Automático se definen en términos de un problema
de optimización convexo. Por tanto, desarrollar algoritmos para resolver rápidamente dichos
problemas es de gran interés para este campo. En esta tesis nos centramos en dos de los modelos
más usados, Lasso y Support Vector Machines. El primero pertenece a la familia de métodos de
regularización, y fue introducido en 1996 para realizar selección de características y regresión al
mismo tiempo. Esto se consigue añadiendo una penalización `1al modelo de mínimos cuadrados,
obteniendo interpretabilidad y un buen error de generalización.
Las Máquinas de Vectores de Soporte fueron formuladas originalmente para resolver un
problema de clasificación buscando el hiper-plano de máximo margen, es decir, el hiper-plano
que separa los dos conjuntos de puntos y está a la misma distancia de ambos. Las SVMs se
han extendido posteriormente para manejar clases no separables y problemas de clasificación
no lineales, mediante el uso de núcleos. Una primera contribución de este trabajo es analizar
cuidadosamente los algoritmos existentes para resolver ambos problemas, describiendo no solo la
teoría detrás de los mismos sino también mencionando las posibles ventajas y desventajas de
cada uno.
A pesar de que el Lasso y las SVMs resuelven problemas muy diferentes, en esta tesis
demostramos que ambos son equivalentes. Continuando con un resultado reciente de Jaggi,
dada una instancia de uno de los modelos podemos construir una instancia del otro que tiene
la misma solución, y viceversa. Esta equivalencia nos permite trasladar resultados teóricos y
prácticos, como por ejemplo algoritmos, de un campo al otro, que se han desarrollado de forma
independiente. En esta tesis mostraremos no solo la equivalencia teórica sino también una
aplicación práctica, que consiste en resolver el problema Lasso usando el algoritmo SMO, que
es el estado del arte para la resolución de SVM no lineales. También realizamos experimentos
comparando SMO a GLMNet, uno de los algoritmos más populares para resolver el Lasso. Los
resultados obtenidos muestran que SMO es competitivo con GLMNet, y en ocasiones incluso
más rápido.
Además, motivado por una tendencia reciente donde métodos clásicos de optimización se
están re- descubriendo y aplicando satisfactoriamente en muchos problemas, también hemos
analizado dos métodos clásicos basados en “momento”: el algoritmo Heavy Ball, creado por
Polyak en 1963 y el Gradiente Acelerado de Nesterov, descubierto por Nesterov en 1983. En esta
tesis desarrollamos versiones prácticas de Gradiente Conjugado, que es equivalente a Heavy Ball,
y Aceleración de Nesterov para el algortimo SMO. Además, también se realizan experimentos
comparando todos los métodos. Los resultados muestran que los algoritmos propuestos a menudo
convergen más rápido, tanto en términos de iteraciones como de tiempo de ejecución
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
© 2015 IEEE. Frank-Wolfe algorithms have recently regained the attention of the Machine Learning community. Their solid theoretical properties and sparsity guarantees make them a suitable choice for a wide range of problems in this field. In addition, several variants of the basic procedure exist that improve its theoretical properties and practical performance. In this paper, we investigate the application of some of these techniques to Machine Learning, focusing in particular on a Parallel Tangent (PARTAN) variant of the FW algorithm for SVM classification, which has not been previously suggested or studied for this type of problem. We provide experiments both in a standard setting and using a stochastic speed-up technique, showing that the considered algorithms obtain promising results on several medium and large-scale benchmark datasets.status: publishe
Anales del XIII Congreso Argentino de Ciencias de la Computación (CACIC)
Contenido:
Arquitecturas de computadoras
Sistemas embebidos
Arquitecturas orientadas a servicios (SOA)
Redes de comunicaciones
Redes heterogéneas
Redes de Avanzada
Redes inalámbricas
Redes móviles
Redes activas
Administración y monitoreo de redes y servicios
Calidad de Servicio (QoS, SLAs)
Seguridad informática y autenticación, privacidad
Infraestructura para firma digital y certificados digitales
Análisis y detección de vulnerabilidades
Sistemas operativos
Sistemas P2P
Middleware
Infraestructura para grid
Servicios de integración (Web Services o .Net)Red de Universidades con Carreras en Informática (RedUNCI
Anales del XIII Congreso Argentino de Ciencias de la Computación (CACIC)
Contenido:
Arquitecturas de computadoras
Sistemas embebidos
Arquitecturas orientadas a servicios (SOA)
Redes de comunicaciones
Redes heterogéneas
Redes de Avanzada
Redes inalámbricas
Redes móviles
Redes activas
Administración y monitoreo de redes y servicios
Calidad de Servicio (QoS, SLAs)
Seguridad informática y autenticación, privacidad
Infraestructura para firma digital y certificados digitales
Análisis y detección de vulnerabilidades
Sistemas operativos
Sistemas P2P
Middleware
Infraestructura para grid
Servicios de integración (Web Services o .Net)Red de Universidades con Carreras en Informática (RedUNCI
Recommended from our members
1995 BRAC Commission
Naval Research Lab: Military Value Data Call. Tabular data, memos, documents. Box 178, L-110