Open House, ISM in Tachikawa, 2010.7.9統計数理研究所オープンハウス（立川）、H22.7.9ポスター発

Tadayoshi Fushiki

伏木 忠義

English

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所 学術研究リポジトリ

交差確認法を用いた予測誤差の推定について 2010年7月9日　統計数理研究所　オープンハウス伏木　忠義 数理・推論研究系　助教1. はじめに興味が予測にある場合には，データから構成したモデルを使って予測するときにどの程度の予測誤差があるかを知っておくことは重要なことである．本発表では予測誤差の推定方法について議論する．2. 問題設定・データ：D = f(x1; y1);    ; (xN ; yN)g  F i.i.d.・x が与えられたときに fh(x; )g という関数を使って y を予測．・推定量：^(D) = argmin24 NXi=1fyi   h(xi; )g235 :・予測誤差：sN = E(x;y)Ffy   h(x; ^(D))g2:3. 訓練誤差と K-fold cross-validation・訓練誤差：TRN =1NNXi=1fyi   h(xi; ^(D))g2:・データをほぼ等分割：D = fD(1);    ;D(K)g; D( ) = D n D()．・K-fold cross-validation：CVN;K = N 1KX=1X(x;y)2D()fy   h(x; ^(D( )))g2:・バイアス：E(TRN   sN) < 0; E(CVN;K   sN) > 0:4. 訓練誤差と K-fold cross-validation をつなげる族1. fCVMN;K()j0    1g,CVMN;K() = (1  )CVN;K + TRN :2. fCVEN;K()j0    1g,CVEN;K() = N 1KX=1X(x;y)2D()fy   h(x; ^(D( )))g2:ここで^(D( )) = argmin24 X(x;y)2D( )fy   h(x; )g2 + X(x;y)2D()fy   h(x; )g235 :(CVMN;K()と CVEN;K() に関する注意)・ = 0 のとき：K-fold cross-validation CVN;K に一致．・ = 1 のとき：訓練誤差 TRN に一致．・K = N;  = 1=(2N) + o(N 2)のとき：Yanagihara et al. (2006)で考えているバイアス補正された cross-validation と一致．5. バイアス補正された K-fold cross-validation1. M = (2K   1) 1 とする．このとき，CVMN;K(M) は漸近的にバイアス補正されている．2. E = (K   1)f(1 K 2) 1=2   1g とする．このとき，CVEN;K(E) は漸近的にバイアス補正されている．(注意)・上の M，E は K だけの関数として書けているのでさらなる推定をしなくてもこの方法を適用することができる．・K = N のとき，M = 1=(2N) + o(N 2)，E = 1=(2N) + o(N 2)．6. 例1. 線形回帰．・真の分布：Y = 0 +d 1Xk=1kXk + "; "  N(0; 20); X  U( 1; 1)d 1線形回帰モデルで最小二乗法を使って  を推定する．・正規化された予測誤差：sN = E(X;Y )[(Y   ^TX)2]=(220):・N = 1000; d = 250 のときの結果：K = 5 K = 10 K = NED[CVN;K] 0.727 0.693 0.667ED[CVMN;K] 0.688 0.676 0.667ED[CVEN;K] 0.662 0.666 0.667s.d.D[CVN;K   sN ] 0.046 0.042 0.039s.d.D[CVMN;K   sN ] 0.043 0.040 0.039s.d.D[CVEN;K   sN ] 0.041 0.040 0.039・ED[sN ] = 0.667．・真値  は U( 1; 1)d を使って発生．・D の期待値は10000回の Monte Carlo 計算によって求めた．2. 非線形回帰．・真の分布：Y = f0(X) + "; "  N(0; 20); X  N(0; 1)d 1;f0(X) = 1  3&(1 +X1 + 3X2  X3   2X4 + 5X5)+5&( 2 + 2X1   3X2 +X3 + 2X4);&(x) = f1 + exp( x)g 1非線形回帰モデル h(x; ) = 0 +Pi&(wi0 + wTi X) を仮定し最小二乗法を使って  を推定．・正規化された予測誤差：sN = E(X;Y )[fY   h(X ; ^(D)g2]=(220):・N = 80 のときの結果：K = 5 K = 10 K = NED[CVN;K] 0.793 0.726 0.688ED[CVMN;K] 0.750 0.709 0.686ED[CVEN;K] 0.671 0.679 0.681s.d.D[CVN;K   sN ] 0.243 0.268 0.195s.d.D[CVMN;K   sN ] 0.225 0.260 0.194s.d.D[CVEN;K   sN ] 0.194 0.218 0.187・ED[sN ] = 0.681．・D の期待値は10000回の Monte Carlo 計算によって求めた．参考文献Fushiki, T. Estimation of prediction error by using K-fold cross-validation,Statistics and Computing, (to appear).Yanagihara, H., Tonda, T., & Matsumoto, C. Bias correction of cross-validation criterion based on Kullback-Leibler information under a generalcondition. Journal of Multivariate Analysis, 97, 1965-1975. (2006).

交差確認法を用いた予測誤差の推定について

https://ismrepo.ism.ac.jp/?action=repository_action_common_download&item_id=30866&item_no=1&attribute_id=17&file_no=1

交差確認法を用いた予測誤差の推定について

Abstract

Similar works

Full text

Available Versions

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所学術研究リポジトリ

交差確認法を用いた予測誤差の推定について

Abstract

Similar works

Full text

Available Versions

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所 学術研究リポジトリ

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所学術研究リポジトリ