平成21年度研究報告会、統計数理研究所(広尾）、H22.3.18-19口頭発

Kenji Fukumizu

福水 健次

English

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所 学術研究リポジトリ

正定値カーネルによる条件付確率の推定とその応用新機軸創発センター 関数解析的統計推論グループ教授　　福水　健次　1 はじめに近年，正定値カーネルを用いた方法論いわゆる「カーネル法」の新しい展開として，確率変数を再生核ヒルベルト空間に写像した特徴ベクトルの平均によって確率分布を表現することにより，分布の均一性や独立性などの統計的問題を議論する方法が開発されてきた．本報告では，ヒルベルト空間上で条件付確率を表現する方法と，その時系列データへの応用に関して述べる．2 正定値カーネルによる条件付確率の表現kX ; kY をそれぞれ X ;Y 上の有界な正定値カーネルとする．(X;Y ) を X £Y 上に値を持つ確率変数で，その分布を PXY，周辺分布を PX ; PY とする．特徴写像©X : X ! HX , x 7! kX (¢; x) によって，確率変数 X をHX 上の確率変数 ©X (X) に写像し，そのHX での平均mX ´ E[©X (X)] = E[kX (x;X)]を考える．このときhmX ; fiHX = E[f(X)] (8f 2 HX )が成り立つ．mX はX の高次の統計量の情報を有し，ガウスRBFカーネル k(x1; x2) = exp(¡kx1¡x2k2=¾2) など様々なカーネルに対して，mX によって確率分布 PX が一意的に定まることが知られている (Fukumizu et al., 2009)．そこで mX を分布 PX の表現として用いることができる．X;Y をそれぞれ ©X (X), ©Y(Y ) と埋め込み，HX ­HY 上で共分散 §Y X を考えると，hg;§Y XfiHY = Cov[f(X); g(Y )] (8f 2 HX ;8g 2 Hy)が成り立つ．いま g 2 HY に関して，条件付平均E[g(Y )jX = x]を X 上の関数とみたとき，HX に属すると仮定する．このとき§XXE[g(Y )jX] = §XY gが成り立つ (Fukumizu et al., 2004)．そこで，§Y X§¡1XX が考えられれば，(2.1) hg;§Y X§¡1XX©X (x)iHY = h§¡1XX§XY g;©X (x)iHX = E[g(Y )jX = x]となり，§Y X§¡1XX©X (x)は条件付確率を表現すると考えることができる1．そこで "n > 0 を正則化定数として，E[g(Y )jX] の推定量をbC(n)Y jXg = (b§(n)XX + "nI)¡1b§(n)XY gによって定める．このとき次のように， bC(n)Y jXgは E[g(Y )jX] の一致推定量である．1E[g(Y )jX = x] 2 HX は成り立たない場合もあり，§Y X§¡1XX も well-de¯ned とは限らないため，必ずしも厳密な議論とは言えない．- 50 -定理 1 "n ! 0; "nn1=3 !1 のとき，°°°n bC(n)Y jXg ¡ 1nnXi=1¡ bC(n)Y jXg¢(Xi)o¡ ©E[g(Y )jX]¡ E[g(Y )]ª°°°L2(PX)= op(1) (n!1):さらに E[g(Y )jX] 2 HX が成り立つとき，°° bC(n)Y jXg ¡ E[g(Y )jX]°°HX = op(1) (n!1):3 時系列データへの応用(2.1)式においてX に関する期待値をとると，(3.1) §Y X§¡1XXmX = mYが成り立つ．これは，確率分布に関する関係式Rp(yjx)p(x)dx = p(y)のカーネルによる表現である．この関係式を基礎として，有向グラフによるグラフィカルモデルなど，条件付確率によって定義されるモデルの推論に正定値カーネルの方法を用いることが可能である．本報告では，観測されない状態変数 Zt と観測される変数 Xt を持つ定常な状態空間モデルp(fXigTi=1; fZigTi=1) = ¼(Z0)TYt=0p(XtjZt)T¡1Yt=1p(Zt+1jZt)におけるフィルタリングの問題に適用する．ここでは，p(XtjZt) や p(Zt+1jZt) にパラメトリックなモデルを仮定しない．そのかわりに，学習サンプルとして (Xt; Zt) の例が与えられ，それに基づいて共分散作用素の推定を行い，その後あらたなデータに対して (3.1) 式の関係式によって条件付確率 p(Ztjx0; : : : ; xt) の逐次推定を行う (Song et al., 2009)．具体的には，まず学習サンプルによって，b§(n)ZtZt , b§(n)Zt+1Zt , b§(n)XtXt を推定する．次に x0; x1; : : : を新たなデータとするとき，bmZ0jx0 = bCZjX©X (x0)による初期化のあと，p(Ztjx0; : : : ; xt) の表現 bmZtjx0;:::;xt を更新していく．このためには，p(Zt+1jX0; : : : ; Xt; Xt+1) = p(Zt+1jXt+1; Zt)p(ZtjX0; : : : ; Xt; Xt+1) ¼p(Zt+1jXt+1; Zt)p(ZtjX0; : : : ; Xt) の近似に基づいてbmZt+1jx0;:::;xt+1 = bCZt+1jZt bmZtjx0;:::;xt + bC(n)Zt+1jXt+1©X (xt+1)により逐次更新を行う，報告会においては，より詳しい方法と，ノイズを伴った観測から回転角を推定する数値シミュレーションの結果についても論じる．参考文献K. Fukumizu, F.R. Bach, and M.I. Jordan. Dimensionality reduction for supervised learningwith reproducing kernel Hilbert spaces. J. Machine Learning Research, 5:73{99, 2004.K. Fukumizu, F.R. Bach, and M.I. Jordan. Kernel dimension reduction in regression. Ann. Stat.,37(4):1871{1905, 2009.L. Song, J. Huang, A. Smola, and K. Fukumizu. Hilbert space embeddings of conditional distri-butions with applications to dynamical systems. In Proc. ICML2009, pages 961{968, 2009.- 51 -

正定値カーネルによる条件付確率の推定とその応用

https://ismrepo.ism.ac.jp/?action=repository_action_common_download&item_id=30995&item_no=1&attribute_id=17&file_no=1

正定値カーネルによる条件付確率の推定とその応用

Abstract

Similar works

Full text

Available Versions

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所学術研究リポジトリ

正定値カーネルによる条件付確率の推定とその応用

Abstract

Similar works

Full text

Available Versions

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所 学術研究リポジトリ

RISM (Repository of the Institute of Statistical Mathematics) / 統計数理研究所学術研究リポジトリ