4 research outputs found
Variable selection and predictive models in Big Data environments
Mención Internacional en el título de doctorIn recent years, the advances in data collection technologies have presented a difficult
challenge by extracting increasingly complex and larger datasets. Traditionally,
statistics methodologies treated with datasets where the number of variables did
not exceed the number of observations, however, dealing with problems where the
number of variables is larger than the number of observations has become more and
more common, and can be seen in areas like economics, genetics, climate data, computer
vision etc. This problem has required the development of new methodologies
suitable for a high dimensional framework.
Most of the statistical methodologies are limited to the study of averages. Least
squares regression, principal component analysis, partial least squares... All these
techniques provide mean based estimations, and are built around the key idea that
the data is normally distributed. But this is an assumption that is usually unverified
in real datasets, where skewness and outliers can easily be found. The estimation
of other metrics like the quantiles can help providing a more complete image of the
data distribution.
This thesis is built around these two core ideas. The development of more robust,
quantile based methodologies suitable for high dimensional problems. The thesis is
structured as a compendium of articles, divided into four chapters where each chapter
has independent content and structure but is nevertheless encompassed within
the main objective of the thesis.
First, Chapter 1 introduces basic concepts and results, assumed to be known
or referenced in the rest of the thesis. A possible solution when dealing with high
dimensional problems in the field of regression is the usage of variable selection techniques.
In this regard, sparse group lasso (SGL) has proven to be a very effective
alternative. However, the mathematical formulation of this estimator introduces
some bias in the model, which means that it is possible that the variables selected by the model are not the truly significant ones. Chapter 2 studies the formulation
of an adaptive sparse group lasso for quantile regression, a more flexible formulation
that makes use of the adaptive idea, this is, the usage of adaptive weights in
the penalization to help correcting the bias, improving this way variable selection
and prediction accuracy. An alternative solution to the high dimensional problem
is the usage of a dimension reduction technique like partial least squares. Partial
least squares (PLS) is a methodology initially proposed in the field of chemometrics
as an alternative to traditional least squares regression when the data is high dimensional
or faces colinearity. It works by projecting the independent data matrix
into a subspace of uncorrelated variables that maximize the covariance with the response
matrix. However, being an iterative process based on least squares makes this
methodology extremely sensitive to the presence of outliers or heteroscedasticity.
Chapter 3 defines the fast partial quantile regression, a technique that performs
a projection into a subspace where a quantile covariance metric is maximized, effectively
extending partial least squares to the quantile regression framework. Another
field where it is common to find high dimensional data is in functional data analysis,
where the observations are functions measured along time, instead of scalars.
A key technique in this field is functional principal component analysis (FPCA), a
methodology that provides an orthogonal set of basis functions that best explains
the variability in the data. However, FPCA fails capturing shifts in the scale of the
data affecting the quantiles.
Chapter 4 introduces the functional quantile factor model. A methodology that
extends the concept of FPCA to quantile regression, obtaining a model that can
explain the quantiles of the data conditional on a set of common functions.
In Chapter 5, asgl, a Python package that solves penalized least squares and
quantile regression models in low and high dimensional is introduced frameworks is
introduced, filling a gap in the currently available implementations of these models.
Finally, Chapter 6 presents the final conclusions of this thesis, including possible
lines of research and future work.En los últimos años, los avances en las tecnologías de recopilación de datos han planteado un difícil reto al extraer conjuntos de datos cada vez más complejos y de mayor tamaño. Tradicionalmente, las metodologías estadísticas trataban con conjuntos de datos en los que el número de variables no superaba el número de observaciones, sin embargo, enfrentarse a problemas en los que el número de variables es mayor que el número de observaciones se ha convertido en algo cada vez más común, y puede verse en áreas como la economía, la genética, los datos relacionados con el clima, la visión por ordenador, etc. Este problema ha exigido el desarrollo de nuevas metodologías adecuadas para un marco de alta dimensión. La mayoría de las metodologías estadísticas se limitan al estudio de la media. Regresión por mínimos cuadrados, análisis de componentes principales, mínimos cuadrados parciales... Todas estas técnicas proporcionan estimaciones basadas en la media, y están construidas en torno a la idea clave de que los datos se distribuyen normalmente. Pero esta es una suposición que no suele verificarse en los conjuntos de datos reales, en los que es fácil encontrar asimetrías y valores atípicos. La estimación de otras métricas como los cuantiles puede ayudar a proporcionar una imagen más completa de la distribución de los datos. Esta tesis se basa en estas dos ideas fundamentales. El desarrollo de metodologías más robustas, basadas en cuantiles, adecuadas para problemas de alta dimensión. La tesis está estructurada como un compendio de artículos, divididos en cuatro capítulos en los que cada uno de ellos tiene un contenido y una estructura independientes pero que, sin embargo, se engloban dentro del objetivo principal de la tesis. En primer lugar, el Capítulo 1 introduce conceptos y resultados básicos, que se suponen conocidos o a los que se hace referencia en el resto de la tesis. Una posible solución cuando se trata con problemas de alta dimensión en el campo de la regresión es el uso de técnicas de selección de variables. En este sentido, el sparse group lasso (SGL) ha demostrado ser una alternativa muy eficaz. Sin embargo, la formulación matemática de este estimador introduce cierto sesgo en el modelo, lo que significa que es posible que las variables seleccionadas por el modelo no sean las verdaderamente significativas. El Capítulo 2 estudia la formulación de un adaptive sparse group lasso para la regresión cuantílica, una formulación más flexible que hace uso de la idea adaptive, es decir, el uso de pesos adaptativos en la penalización para ayudar a corregir el sesgo, mejorando así la selección de variables y la precisión de las predicciones. Una solución alternativa al problema de la alta dimensionalidad es el uso de una técnica de reducción de dimensión como los mínimos cuadrados parciales. Los mínimos cuadrados parciales (PLS por sus siglas en inglés) es una metodología definida inicialmente en el campo de la quimiometría como una alternativa a la regresión tradicional por mínimos cuadrados cuando los datos son de alta dimensión o tienen problemas de colinearidad. Funciona proyectando la matriz de datos independiente en un subespacio de variables no correlacionadas que maximiza la covarianza con la matriz de respuesta. Sin embargo, al ser un proceso iterativo basado en mínimos cuadrados, esta metodología es extremadamente sensible a la presencia de valores atípicos o heteroscedasticidad. El Capítulo 3 define el fast partial quantile regression, una técnica que realiza una proyección en un subespacio en el que se maximiza una métrica de covarianza cuantílica, extendiendo de forma efectiva los mínimos cuadrados parciales al marco de la regresión cuantílica. Otro campo en el que es habitual encontrar datos de alta dimensión es el del análisis de datos funcionales, en el que las observaciones son funciones medidas a lo largo del tiempo, en lugar de escalares. Una técnica clave en este campo es el análisis de componentes principales funcionales (FPCA por sus siglas en inglés), una metodología que proporciona una base ortogonal de funciones que explica la mayor cantidad posible de variabilidad en los datos. Sin embargo, el FPCA no capta los cambios de escala de los datos que afectan a los cuantiles. El Capítulo 4 presenta el functional quantile factor model. Una metodología que extiende el concepto de FPCA a la regresión cuantílica, obteniendo un modelo que puede explicar los cuantiles de los datos condicionados a un conjunto de funciones comunes. En el capítulo 5 asgl, un paquete para Python que resuelve modelos de mínimos cuadrados y regresión cuantílica penalizados en entornos de baja y alta dimensión es presentado, llenando un vacío en las implementaciones actualmente disponibles de estos modelos. Por último, el Capítulo 6 presenta las conclusiones finales de esta tesis, incluyendo posibles líneas de investigación y trabajo futuro.I want to acknowledge the financial support received by research grants and projects PIPF UC3M, ECO2015-66593-P (Ministerio de Economía y Competitividad, Spain) and PID2020-113961GB-I00 (Agencia Estatal de Investigación, Spain).Programa de Doctorado en Ingeniería Matemática por la Universidad Carlos III de MadridPresidenta: María Luz Durban Reguera.- Secretaria: María Ángeles Gil Álvarez.- Vocal: Ying We
A quantile based dimension reduction technique
Partial least squares (PLS) is a dimensionality reduction technique used as an alternative to ordinary least squares (OLS) in situations where the data is colinear or high dimensional. Both PLS and OLS provide mean based estimates, which are extremely sensitive to the presence of outliers or heavy tailed distributions. In contrast, quantile regression is an alternative to OLS that computes robust quantile based estimates. In this work, the multivariate PLS is extended to the quantile regression framework, obtaining a theoretical formulation of the problem and a robust dimensionality reduction technique that we call fast partial quantile regression (fPQR), that provides quantilebased estimates. An efficient implementation of fPQR is also derived, and its performance is studied through simulation experiments and the chemometrics well known biscuit dough dataset, a real high dimensional example
Quantile regression : a penalization approach
Sparse group LASSO (SGL) is a penalization technique used in regression problems where the covariates have a natural grouped structure and provides solutions that are both between and within group sparse. In this paper the SGL is introduced to the quantile regression (QR) framework, and a more flexible version, the adaptive sparse group LASSO (ASGL), is proposed. This proposal adds weights to the penalization improving prediction accuracy. Usually, adaptive weights are taken as a function of the original non-penalized solution model. This approach is only feasible in the n > p framework. In this work, a solution that allows using adaptive weights in high-dimensional scenarios is proposed. The benefits of this proposal are studied both in synthetic and real datasets.In this research we have made use of Uranus, a supercomputer cluster located
at University Carlos III of Madrid and funded jointly by EU-FEDER funds
and by the Spanish Government via the National Projects No. UNC313-4E-
2361, No. ENE2009-12213- C03-03, No. ENE2012-33219 and No. ENE2015-
68265-P. This research was partially supported by research grants and Project
ECO2015-66593-P from Ministerio de Economía, Industria y Competitividad,
Project MTM2017-88708-P from Ministerio de Economía y Competi-
tividad, FEDER funds and Project IJCI-2017-34038 from Agencia Estatal
de Investigación, Ministerio de Ciencia, Innovación y Universidades
Fast partial quantile regression
[EN] Partial least squares (PLS) is a dimensionality reduction technique used as an alternative to ordinary least squares (OLS) in situations where the data is colinear or high dimensional. Both PLS and OLS provide mean based estimates, which are extremely sensitive to the presence of outliers or heavy tailed distributions. In contrast, quantile regression is an alternative to OLS that computes robust quantile based estimates. In this work, the multivariate PLS is extended to the quantile regression framework, obtaining a theoretical formulation of the problem and a robust dimensionality reduction technique that we call fast partial quantile regression (fPQR), that provides quantile based estimates. An efficient implementation of fPQR is also derived, and its performance is studied through simulation experiments and the chemometrics well known biscuit dough dataset, a real high dimensional example.This research was partially supported by research grants and projects PID2020-113961GB-I00 and PID2019-104901RB-I00 from Agencia Estatal de Investigacion, Spain.Méndez-Civieta, Á.; Aguilera-Morillo, MC.; Lillo, RE. (2022). Fast partial quantile regression. Chemometrics and Intelligent Laboratory Systems. 223:1-8. https://doi.org/10.1016/j.chemolab.2022.1045331822