Approximate Convex Optimization by Online Game Playing

Lagrangian relaxation and approximate optimization algorithms have received much attention in the last two decades. Typically, the running time of these methods to obtain a $\epsilon$ approximate solution is proportional to $\frac{1}{\epsilon^2}$. Recently, Bienstock and Iyengar, following Nesterov, gave an algorithm for fractional packing linear programs which runs in $\frac{1}{\epsilon}$ iterations. The latter algorithm requires to solve a convex quadratic program every iteration - an optimization subroutine which dominates the theoretical running time. We give an algorithm for convex programs with strictly convex constraints which runs in time proportional to $\frac{1}{\epsilon}$. The algorithm does NOT require to solve any quadratic program, but uses gradient steps and elementary operations only. Problems which have strictly convex constraints include maximum entropy frequency estimation, portfolio optimization with loss risk constraints, and various computational problems in signal processing. As a side product, we also obtain a simpler version of Bienstock and Iyengar's result for general linear programming, with similar running time. We derive these algorithms using a new framework for deriving convex optimization algorithms from online game playing algorithms, which may be of independent interest

How the Experts Algorithm Can Help Solve LPs Online

We consider the problem of solving packing/covering LPs online, when the columns of the constraint matrix are presented in random order. This problem has received much attention and the main focus is to figure out how large the right-hand sides of the LPs have to be (compared to the entries on the left-hand side of the constraints) to allow $(1+\epsilon)$-approximations online. It is known that the right-hand sides have to be $\Omega(\epsilon^{-2} \log m)$ times the left-hand sides, where $m$ is the number of constraints. In this paper we give a primal-dual algorithm that achieve this bound for mixed packing/covering LPs. Our algorithms construct dual solutions using a regret-minimizing online learning algorithm in a black-box fashion, and use them to construct primal solutions. The adversarial guarantee that holds for the constructed duals helps us to take care of most of the correlations that arise in the algorithm; the remaining correlations are handled via martingale concentration and maximal inequalities. These ideas lead to conceptually simple and modular algorithms, which we hope will be useful in other contexts.Comment: An extended abstract appears in the 22nd European Symposium on Algorithms (ESA 2014

Análisis Sparse de tensores multidimensionales

[ES] Una de las áreas más importantes de la investigación actual en el análisis de datos multivariantes se centra en el desarrollo de técnicas eficientes para el estudio matrices de datos de altas dimensiones. En disciplinas como la genética o el procesamiento de imágenes, las bases de datos están formadas por miles de variables. Para su análisis, se requieren técnicas que las simplifiquen y que no pierdan la información clave de la muestra. El análisis de componentes principales, mediante la descomposición en valores singulares, es la técnica más implementada para la reducción de la dimensión de matrices de datos y extracción de variables características, lo que se logra a través de la extracción de nuevas variables latentes conocidas como componentes principales. Sin embargo, presenta el inconveniente de que cada componente principal es una combinación lineal de todas las variables originales y esto dificulta su interpretación. A lo largo de los años se han desarrollado distintos enfoques para paliar su principal desventaja, pero es en la última década en la que este método se ha modificado para producir componentes principales sparse; es decir, componentes que envuelvan únicamente un pequeño subconjunto de las variables originales más importantes. Todo ello ha dado lugar a la aparición del análisis de componentes principales sparse, un método de selección automática de variables características extremadamente útil en las aplicaciones modernas donde el número de variables originales es enorme. El proyecto aquí propuesto investiga y propone una nueva herramienta de análisis aplicable a un tipo especial de datos, conocidos en estadística como datos multivía o, más recientemente en minería de datos, como tensores. Hasta ahora, los estudios recogían la información en matrices bidimensionales, pero en la actualidad existen ocasiones en las que es interesante y necesario englobar dicha información en bloques de más vías, incluyéndose más cantidad de información en el estudio. Analizándose estos tensores mediante los métodos de descomposición pertinentes se obtendrían respuestas de manera más eficaz (en términos de solución, tiempo y área de aplicación) que si dichas matrices se analizasen por separado. Estos métodos, como los modelos Tucker o el método STATIS, aplicados en diversas áreas, basan su fundamento teórico en el análisis de componentes principales clásico, cuya deficiencia es bien conocida, y en la descomposición en valores singulares, que no tiene una definición única en el caso de tensores. Nuestro trabajo se enfoca en una línea de investigación que acaba de comenzar: el desarrollo de un método sparse generalizado, adaptado al análisis de datos multidimensionales. Para ello, se desarrolla una nueva formulación matemática de la descomposición en valores singulares, CenetSVD, restringida para la obtención de vectores singulares ortogonales y sparse al mismo tiempo mediante la penalización Elastic net. Dicha implementación es extendida al análisis de dos vías, proponiendo CenetPCA, análisis de componentes principales restringido, sparse y ortogonal, y CenetBiplot, métodos Biplot con componentes sparse y ortogonales. Finalmente, la formulación se generalizará a los modelos Tucker de tres vías, para producir matrices de componentes sparse y ortogonales en el conocido como CenetTucker. Las metodologías propuestas serán aplicadas en distintos campos de conocimiento, examinando así su utilidad en disciplinas tan diversas como psicología y genética. Gracias a las herramientas matemáticas, se abre así un nuevo camino en la estadística multivariante, con importantes aplicaciones prácticas en cualquier área de la actividad humana