Optimal exponential bounds for aggregation of estimators for the Kullback-Leibler loss

We study the problem of model selection type aggregation with respect to the Kullback-Leibler divergence for various probabilistic models. Rather than considering a convex combination of the initial estimators $f_1, \ldots, f_N$, our aggregation procedures rely on the convex combination of the logarithms of these functions. The first method is designed for probability density estimation as it gives an aggregate estimator that is also a proper density function, whereas the second method concerns spectral density estimation and has no such mass-conserving feature. We select the aggregation weights based on a penalized maximum likelihood criterion. We give sharp oracle inequalities that hold with high probability, with a remainder term that is decomposed into a bias and a variance part. We also show the optimality of the remainder terms by providing the corresponding lower bound results.Comment: 25 page

Le test du maximum fort: une façon efficace de valider la qualité d'un point de conception.

Dans une analyse de fiabilite, nous nous intressons a l'evaluation de probabilites de defaillances faibles. Une methode de choix pour ce calcul est la methode FORM (First Order Reliability Method). Une etape primordiale de cette methode est la determination du point de conception du systeme, et l'approximation FORM consiste a lineariser la frontiere du domaine de defaillance pour valuer la probabilite de defaillance . Aucune methode d'optimisation ne garantit le caractere global du maximum obtenu. Par ailleurs, pour que l'approximation faite par la methode FORM soit valable, il faut s'assurer qu'il n'y a pas d'autre point du domaine de defaillance ayant une densite de probabilite comparable a celle calculee au point de conception et qui ne soit pas situe au voisinage de ce point. Dans cet article, nous decrivons un test, appel Test du Maximum Fort, qui permet de verifier ces deux proprietes de facon simple et efficace. Nous mettons ensuite en oeuvre ce test sur un exemple analytique afin d'illustrer son fonctionnement et ses proprietes

Simultaneous off-the-grid learning of mixtures issued from a continuous dictionary

In this paper we observe a set, possibly a continuum, of signals corrupted by noise. Each signal is a finite mixture of an unknown number of features belonging to a continuous dictionary. The continuous dictionary is parametrized by a real non-linear parameter. We shall assume that the signals share an underlying structure by assuming that each signal has its active features included in a finite and sparse set. We formulate regularized optimization problem to estimate simultaneously the linear coefficients in the mixtures and the non-linear parameters of the features. The optimization problem is composed of a data fidelity term and a $(\ell_1,L^p)$-penalty. We call its solution the Group-Nonlinear-Lasso and provide high probability bounds on the prediction error using certificate functions. Following recent works on the geometry of off-the-grid methods, we show that such functions can be constructed provided the parameters of the active features are pairwise separated by a constant with respect to a Riemannian metric.When the number of signals is finite and the noise is assumed Gaussian, we give refinements of our results for $p=1$ and $p=2$ using tail bounds on suprema of Gaussian and $\chi^2$ random processes. When $p=2$, our prediction error reaches the rates obtained by the Group-Lasso estimator in the multi-task linear regression model. Furthermore, for $p=2$ these prediction rates are faster than for $p=1$ when all signals share most of the non-linear parameters

Encadrement de l'erreur asymptotique d'estimation des quantiles extrêmes

National audienceLa maîtrise des risques environnementaux est un sujet de préoccupation majeur au sein d'EDF. Dans ce cadre, une méthodologie d'analyse des valeurs extrêmes consiste, à partir d'une loi de valeurs extrêmes ajustée sur des données, à déterminer les quantiles extrêmes de période de retour centenale, millénale voire décamillénale. Ces quantiles extrêmes dépendent du modèle de valeurs extrêmes utilisé ainsi que du nombre de données disponibles. Dans cette communication, nous exposons les expressions des erreurs asymptotiques relatives des quantiles extrêmes issus d'une loi des valeurs extrêmes à trois paramètres. Des éléments de réponses sont ensuite donnés quant à l'encadrement de ces erreurs dans le cas où le paramètre de forme est proche de zéro

Etude de l'erreur relative d'approximation des quantiles extrêmes

National audienceIn the risk management context, the extreme value methodology consists in estimating extreme quantiles - one hundred years return period or more - from an extreme-value distribution adjusted on data. In this communication, we quantify the extrapolation limits associated with extreme quantile estimations. To this end, we focus on the framework of the block maxima method and we study the behaviour of the relative approximation error of a quantile estimate dedicated to the Gumbel attraction domain. We give necessary and sufficient conditions for the error to converge towards zero and, if necessary, we provide a first order approximation of the latter. We show that extrapolations can be greatly limited depending on the data distribution.Une problématique générale en analyse des valeurs extrêmes consiste, à partir d'une loi de valeurs extrêmes ajustée sur des données, à déterminer les quantiles extrêmes de période de retour centennale ou millénnale. Dans cette communication, nous quantifions les limites d'extrapolation associées à ces estimations de quantiles extrêmes. Pour ce faire, nous nous plaçons dans le cadre de la méthode des maxima par blocs et nous étudions le comportement de l'erreur relative d'approximation associée à un estimateur des quantiles dédié au domaine d'attraction de Gumbel. Nous donnons des conditions nécessaires et suffisantes à la convergence de l'erreur vers zéro et le cas échéant un équivalent de cette dernière. Nous montrons que la qualité de l'extrapolation est grandement dépendante de la loi dont sont issues les données

Etude de l’erreur relative d’extrapolation associée à l’estimateur de Weissman pour les quantiles extrêmes.

National audienceNous étudions le comportement asymptotique de l'erreur d'extrapolation (relative) associée à l'estimateur deWeissman, un estimateur semi-paramétrique des quantiles extrêmes dédié au domaine d'attraction de Fréchet. Des conditions sont alors fournies de telle sorte que l'erreur tende vers zéro quand la taille de l'échantillon augmente. Nous montrons que, dans le cas où la loi appartient au domaine d'attraction de Fréchet, sans surprise, l'erreur d'extrapolation relative tend vers zéro sous des conditions très faibles sur l'ordre du quantile. De manière originale, nous montrons également que l'erreur d'extrapolation tend vers zéro pour deux types de lois du domaine d'attraction de Gumbel sous des conditions raisonnables sur l'ordre du quantile. Mieux encore, des équivalents de l'erreur sont établis montrant que l'estimateur de Weissman mène à des erreurs d'extrapolation plus faibles que l'estimateur Exponential Tail pour certains types de lois du domaine d'attraction de Gumbel. Ces résultats sont illustrés numériquement

Improving MCMC convergence diagnostic: a local version of R-hat

International audienc