Bolstering Stochastic Gradient Descent with Model Building

Stochastic gradient descent method and its variants constitute the core optimization algorithms that achieve good convergence rates for solving machine learning problems. These rates are obtained especially when these algorithms are fine-tuned for the application at hand. Although this tuning process can require large computational costs, recent work has shown that these costs can be reduced by line search methods that iteratively adjust the stepsize. We propose an alternative approach to stochastic line search by using a new algorithm based on forward step model building. This model building step incorporates second-order information that allows adjusting not only the stepsize but also the search direction. Noting that deep learning model parameters come in groups (layers of tensors), our method builds its model and calculates a new step for each parameter group. This novel diagonalization approach makes the selected step lengths adaptive. We provide convergence rate analysis, and experimentally show that the proposed algorithm achieves faster convergence and better generalization in well-known test problems. More precisely, SMB requires less tuning, and shows comparable performance to other adaptive methods

Modules Valués: en vue d'applications à la théorie des corps valués de caractéristique positive

This thesis examines valued modules over twisted polynomial rings of the form R = K[t,φ] where φ is an endomorphism of the field K . The motivating examples are the valued fields (M, v) in characteristic p > 0 . where R = K [t ;x ↦ XP ] is the ring of additive polynomials with coefficients in a subfield K of M . In chapters 3 et 4 we establish Ax-Kochen and Ershov type theorems in a two sorted language, with hypotheses analogue to the case of I algebraically maximal Kaplansky fields. In chapter 5 we apply these results to give a complete characterisation of C- minimal valued modules. Rings of Puiseux series on a finite field Fq. considered as valued modules over Fq[t; x ↦xP ] , and algebraically maximal Kaplansky fields with a divisible value group over its ring of additive polynomials are the main examples of C-minimal valued modules. Chapter 6 studies the case of a discrete valuation, in a one sorted language, where the properties related to the valuation are expressed by means of a chain of subgroups. It shows a result of local elimination of quantifiers, which is valid for example for the field Fq((X))Cette thèse étudie les modules values sur des anneaux de polynômes tordus de la forme R := K[t:φ] où φ est un endomorphisme du corps K . Les exemples motivants sont les corps values (M/,v) de caractéristique p>(). où R = K [t ;x ↦ XP ], l'anneau des polynômes additifs à coefficient dans un sous-corps K de M. , Le coeur de la thèse se trouve dans les chapitres 3,4 et 5 où l'on considère les R -modules munis d'une valuation à valeurs dans un ensemble ordonné, muni lui-même d'une action de R , qui, dans un corps value de caractéristique p > 0 , est donnée par la fonction P :γ↦γ̣ · P:=min{p̕ γ+v(α)}. Cette action est notée plus généralement comme ·r. où r ∈ R . Notre idée directrice a été d'exprimer dans ee contexte des propriétés comme comme le lemme de Hensel, la maximalité ou la maximalité algébrique. Cela nécessite l'étude des points irréguliers : ce sont les éléments x ∈ M tels que v(x.r) > v(x) • r pour un r ∈ R \ {0} . Cela permet d'établir divers théorèmes Hensel du type Ax-Kochen et Lrshov dans les chapitres 3 et 4 (cf. 3.3.8-3.3.10 et 4.6.3), et de caraetériser les modules values C -minimaux dans le chapitre 5 (cf. 5,0.7-9). Le chapitre 6 traite le cas d'une valuation discrète, dans un langage à une sorte, où les propriétés valuatives sont exprimées à l'aide d'une chaîne de sous-groupes. On y démontre un résultat local d'élimination des quantificateurs (cf. 6.5.2