Persévérance et réussite scolaire par le forage de données d'éducation

La présente recherche a été subventionnée par le ministère de l'Éducation et de l'Enseignement supérieur dans le cadre du Programme d'aide à la recherche sur l'enseignement et l'apprentissage (PAREA).Comprend des références bibliographiques

Improving Convergence for Nonconvex Composite Programming

High-dimensional nonconvex problems are popular in today's machine learning and statistical genetics research. Recently, Ghadimi and Lan \cite{Ghadimi} proposed an algorithm to optimize nonconvex high-dimensional problems. There are several parameters in their algorithm that are to be set before running the algorithm. It is not trivial how to choose these parameters nor there is, to the best of our knowledge, an explicit rule how to select the parameters to make the algorithm converges faster. We analyze Ghadimi and Lan's algorithm to gain an interpretation based on the inequality constraints for convergence and the upper bound for the norm of the gradient analogue. Our interpretation of their algorithm suggests this to be a damped Nesterov's acceleration scheme. Based on this, we propose an approach on how to select the parameters to improve convergence of the algorithm. Our numerical studies using high-dimensional nonconvex sparse learning problems, motivated by image denoising and statistical genetics applications, show that convergence can be made, on average, considerably faster than that of the conventional ISTA algorithm for such optimization problems with over $10000$ variables should the parameters be chosen using our proposed approach.Comment: 10 pages, 2 figure

Penalized regression methods for interaction and mixed-effects models with applications to genomic and brain imaging data

In high-dimensional (HD) data, where the number of covariates (??) greatly exceeds the number of observations (??), estimation can benefit from the bet-on-sparsity principle, i.e., only a small number of predictors are relevant in the response. This assumption can lead to more interpretable models, improved predictive accuracy, and algorithms that are computationally efficient. In genomic and brain imaging studies, where the sample sizes are particularly small due to high data collection costs, we must often assume a sparse model because there isn't enough information to estimate ?? parameters. For these reasons, penalized regression methods such as the lasso and group-lasso have generated substantial interest since they can set model coefficients exactly to zero. In the penalized regression framework, many approaches have been developed for main effects. However, there is a need for developing interaction and mixed-effects models. Indeed, accurate capture of interactions may hold the potential to better understand biological phenomena and improve prediction accuracy since they may reflect important modulation of a biological system by an external factor. Furthermore, penalized mixed-effects models that account for correlations due to groupings of observations can improve sensitivity and specificity. This thesis is composed primarily of three manuscripts. In the first manuscript, we propose a method called sail for detecting non-linear interactions that automatically enforces the strong heredity property using both the ℓ₁ and ℓ₂ penalty functions. We describe a blockwise coordinate descent procedure for solving the objective function and provide performance metrics on both simulated and real data. The second manuscript develops a general penalized mixed effects model framework to account for correlations in genetic data due to relatedness called ggmix. Our method can accommodate several sparsity-inducing penalties such as the lasso, elastic net and group lasso and also readily handles prior annotation information in the form of weights. Our algorithm has theoretical guarantees of convergence and we again assess its performance in both simulated and real data. The third manuscript describes a novel strategy called eclust for dimension reduction that leverages the effects of an exposure variable with broad impact on HD measures. With eclust, we found improved prediction and variable selection performance compared to methods that do not consider the exposure in the clustering step, or to methods that use the original data as features. We further illustrate this modeling framework through the analysis of three data sets from very different fields, each with HD data, a binary exposure, and a phenotype of interest. We provide efficient implementations of all our algorithms in freely available and open source software.Avec des données de grande dimension (GD), où le nombre de covariables (??) dépasse largement le nombre d'observations (??), l'estimation peut profiter du principe miser sur la sparsité, c'est à dire, seulement un petit nombre de prédicteurs de la variable réponse sont réellement pertinents. Cette hypothèse permet d'obtenir des modèles interprétables, améliore leur précision et facilite l'implémentation d'algorithmes efficaces sur le plan des calculs. Dans les études d'imagerie génomique et cérébrale, où la taille des échantillons est particulièrement faible en raison des coûts élevés associés à la collecte de données, nous devons souvent supposer un modèle sparse car l'information est insuffisante pour estimer les ?? paramètres. Pour ces raisons, les méthodes de régression pénalisées telles que lasso et group lasso ont suscité un intérêt considérable, car elles permettent d'obtenir des estimés des coefficients du modèle égaux à zéro. Dans le cadre de la régression pénalisée, de nombreuses approches ont été développées pour les effets principaux. Cependant, il y un besoin d'adapter ces approches pour les modèles d'intéraction et les modèles mixtes. En effet, une capture précise des interactions permettrait de mieux comprendre les phénomènes biologiques et d'améliorer la précision des prédictions, car elles reflètent souvent une modulation importante d'un système biologique par un facteur externe. De plus, les modèles mixtes pénalisés qui tiennent compte des corrélations dues aux regroupements d'observations peuvent améliorer la sensibilité et la spécificité. Cette thèse est composée principalement de trois manuscrits. Dans le premier manuscrit, nous proposons une méthode appelée sail pour détecter les interactions non linéaires qui applique automatiquement la propriété d'hérédité forte à l'aide des pénalités ℓ₁ et ℓ₂. Nous décrivons une procédure de descente de coordonnées par blocs pour optimiser la fonction objective, et nous démontrons la performance sur des données simulées et réelles. Le deuxième manuscrit développe un cadre général de modèles mixtes pénalisés pour tenir compte des corrélations dans les données génétiques issues de familles. Notre méthode, appelée ggmix, peut tirer profit de plusieurs pénalités, telles que lasso, elastic net et group lasso. Elle permet également d'intégrer des informations d'annotation antérieures sous forme de poids. Notre algorithme a des garanties théoriques de convergence et nous évaluons à nouveau ses performances à l'aide de données simulées et de données réelles. Le troisième manuscrit décrit une nouvelle stratégie appelée eclust pour la réduction de la dimension des variables qui exploite les effets d'une variable d'exposition ayant un impact important sur les mesures GD. Avec eclust, nous avons constaté une amélioration de la performance prédictive et de la sélection de variables par rapport aux méthodes qui ne tiennent pas compte de l'exposition lors de l'étape de clustering ou des méthodes utilisant les données d'origine comme des effets principaux. Nous illustrons ensuite ce cadre de modélisation en analysant trois ensembles de données provenant de domaines très différents, chacun avec des données GD, une exposition binaire et une variable réponse. Nous fournissons des implémentations efficaces de tous nos algorithmes dans les logiciels gratuits et à source ouverte

A Model for Interpretable High Dimensional Interactions

<div>Introduction: Since the introduction of the LASSO, computational approaches to variable selection have been rigorously developed in the statistical literature. The need for such methods has become increasingly important with the advent of high-throughput technologies in genomics and brain imaging studies where it is believed that the number of truly important variables is small relative to the total number of variables. While the focus of these methods has been on additive models, there are several applications where interaction models can reflect biological phenomena and improve statistical power. For example, genome wide association studies (GWAS) have been unable to explain a large proportion of heritability (the variance in phenotype attributable to genetic variants) and it has been suggested that this missing heritability may in part be due to gene-environment interactions. Furthermore, diseases are now thought to be the result of entire biological networks whose states are affected by environmental factors. These systemic changes can induce or eliminate strong correlations between elements in a network without necessarily affecting their mean levels. </div><div><br></div><div>Methods: Therefore, we propose a multivariate penalization procedure for detecting interactions between high dimensional data ($p >> n$) and an environmental factor, where the effect of this environmental factor on the high dimensional data is widespread and plays a role in predicting the response. Our approach improves on existing procedures for detecting such interactions in several ways; 1) it simultaneously performs model selection and estimation 2) it automatically enforces the strong heredity property, i.e., an interaction term can only be included in the model if the corresponding main effects are in the model 3) it reduces the dimensionality of the problem and leverages the high correlations by transforming the input feature space using network connectivity measures and 4) it leads to interpretable models which are biologically meaningful. </div><div><br></div><div>Results: An extensive simulation study shows that our method outperforms LASSO, Elastic Net and Group LASSO in terms of both prediction accuracy and feature selection. We apply our methods to the NIH pediatric brain development study to refine estimates of which regions of the frontal cortex are associated with intelligence scores, and a sample of mother-child pairs from a prospective birth cohort to identify epigenetic marks observed at birth that help predict childhood obesity. Our method is implemented in an R package http://sahirbhatnagar.com/eclust/</div

Persévérance et réussite scolaire par le forage de données d'éducation

La présente recherche a été subventionnée par le ministère de l'Éducation et de l'Enseignement supérieur dans le cadre du Programme d'aide à la recherche sur l'enseignement et l'apprentissage (PAREA).Comprend des références bibliographiques

Persévérance et réussite scolaire par le forage de données d’éducation [rapport de recherche]

Comprend des références bibliographiquesCette recherche a été effectuée à partir d’une subvention du Ministère de l'Éducation et de l'Enseignement supérieur.PAREA n°PA-2015-001