Consistencies and rates of convergence of jump-penalized least squares estimators

We study the asymptotics for jump-penalized least squares regression aiming at approximating a regression function by piecewise constant functions. Besides conventional consistency and convergence rates of the estimates in $L^2([0,1))$ our results cover other metrics like Skorokhod metric on the space of c\`{a}dl\`{a}g functions and uniform metrics on $C([0,1])$. We will show that these estimators are in an adaptive sense rate optimal over certain classes of "approximation spaces." Special cases are the class of functions of bounded variation (piecewise) H\"{o}lder continuous functions of order $0<\alpha\le1$ and the class of step functions with a finite but arbitrary number of jumps. In the latter setting, we will also deduce the rates known from change-point analysis for detecting the jumps. Finally, the issue of fully automatic selection of the smoothing parameter is addressed.Comment: Published in at http://dx.doi.org/10.1214/07-AOS558 the Annals of Statistics (http://www.imstat.org/aos/) by the Institute of Mathematical Statistics (http://www.imstat.org

Sprungschätzung für verrauschte Beobachtungen von verschmierten Treppenfunktionen

Wir betrachten das Schätzen einer Treppenfunktion $f$ aus verrauschten Beobachtungen von $Kf$, wobei $K$ ein Integraloperator mit beschränktem Integralkern ist. Zur Rekonstruktion von $f$ aus den Beobachtungen verwenden wir einen penalisierten kleinste Quadrate Schätzer, wobei der Penalisierungsterm der Anzahl der Sprünge der Rekonstruktion entspricht. Wir zeigen, dass asymptotisch die richtige Anzahl der Sprünge mit Wahrscheinlichkeit eins geschätzt werden kann. Unter der Vorraussetzung, dass diese Anzahl richtig geschätzt wurde, konvergieren die Schätzer der Sprungstellen und Sprunghöhen mit einer $n^{-1/2}$ Rate gegen die wahren Werte. Außerdem konvergiert die Verteilung des normalisierten Vektors der Schätzer gegen eine Normalverteilung deren Kovarianzstruktur vom Operator $K$ abhängt. Wir zeigen, dass die Konvergenzrate unabhängig von der Spektralinformation des Operators ist

Consistencies and Rates of Convergence of Jump-PenalizedLeast Squares Estimators

Abstract We study the asymptotics for jump-penalized least squares regression aiming at approx-imating a regression function by piecewise constant functions. Besides conventional consistency and convergence rates of the estimates in L2([0, 1)) our results cover other metricslike Skorokhod metric on the space of c`adl`ag functions and uniform metrics on C([0, 1]) aswell as convergence of the scale spaces, the family of estimates under varying smoothing parameter. We will show that the estimates used are in an adaptive sense rate optimal overthe class of functions of bounded variation, (piecewise) H&amp;quot;older continuous functions of order 1&gt; = a&gt; 0 and the class of step functions. In the latter setting, we will also deduce therates known from changepoint analysis for detecting the jumps. 1 Introduction We consider regression models of the form Y ni = f ni + xni, (i = 1,..., n) (1) where xni are independent zero-mean sub-gaussian random variables and f ni is the mean valueof a square integrable function f 2 L