確率モデル集合の階層モデリング

本研究の目的は階層モデリングの計算理論構築である．階層モデリングとはモデルの集合をさらにモデル化することである．すなわち複数の解析対象に対して個々をモデル化すると同時に，モデル集合全体を高次モデル化し，対象に共通する普遍的な法則性を表現することである．本研究では特に，機械学習における普遍的表現である確率モデル集合の階層モデリングの計算理論を構築する．これを通してマルチタスク学習，マルチビュー学習，マルチレベル解析，メタ解析等の研究領域群を統一的な枠組みで体系化することをめざす．確率モデル集合の階層モデリングでは以下の3つの問題が存在する．(1)確率モデル空間は線形空間でないため，モデル間の補間や距離の概念自体が非自明である．(2)関数回帰によるモデリングの場合は無限次元確率変数のモデル空間となるため，モデル間距離の有界性や有限時間での計算可能性が保証されない．(3)教師なし学習によるモデリングの場合は，高次モデル化に必要な情報が不完全にしか得られない．そこで本研究では，(1)情報幾何の観点で平坦な空間を用いることで距離や補間の問題を解決し，(2)無限次元の場合でも有界性と計算有限性を持つ距離を定義できることを示し，(3)教師なし学習による不完全情報下でも階層モデリングが可能な計算原理を提案した．さらに発展的取り組みとして，(4)球体のような非平坦モデル空間における階層モデリングについても理論化を試みた．本論文の構成は以下のとおりである．第一章では序論として研究の背景および目的と論文の構成について述べる．第二章では階層モデリングの基礎となる概念と手法についてまとめる．はじめに階層モデリングについて概説した後，本研究で取り扱う確率モデル集合の階層モデリングの定義と問題設定を述べる．また先行研究を交えて体系的分類を提案する．第三章では，本論文に必要な基礎知識を概説する．第四章では，確率的ノンパラメトリック回帰の代表であるガウス過程回帰を取り上げ，回帰モデル集合の階層モデリングの理論化を行う．特に無限次元確率変数のモデル間距離の定義と，有界性・計算有限性の証明を行う．さらに情報幾何的主成分分析により階層モデリングの実装例を示す．第五章，第六章では，教師なし学習の階層モデリングにおける不完全情報推定について述べる．ここでは自己組織化マップ(Self-Organizing Map: SOM)を代表例として取り上げ，情報幾何における２種の平坦性（m平坦・e平坦）に対応するアルゴリズムを提案する．第五章ではm平坦下での階層モデリング，第六章ではe平坦下での階層モデリングについて述べる．第七章では，非平坦なモデル空間であるグラスマン多様体における階層モデリングについて述べる．その一例として，複数の異なる観測手段によるデータから観測者の意図を推定する潜在視点推定法を提案する．第八章は討論と総括であり，階層モデリングの体系的理解について検討し，論文全体をまとめる．九州工業大学博士学位論文 学位記番号：生工博甲第319号 学位授与年月日：平成30年3月23日第1章 序論|第2章 階層モデリング|第3章 基礎知識|第4章 ガウス過程集合の情報幾何的主成分分析|第5章 m型マルチレベルテンソルSOM(m-MLTSOM)|第6章 e型マルチレベルテンソルSOM(e-MLTSOM)|第7章 調査データの潜在視点解|第8章 討論と総括九州工業大学平成29年

Multitask Principal Component Analysis

International audiencePrincipal Component Analysis (PCA) is a canonical and well-studied tool for dimension- ality reduction. However, when few data are available, the poor quality of the covariance estimator at its core may compromise its performance. We leverage this issue by casting the PCA into a multitask framework, and doing so, we show how to solve simultaneously several related PCA problems. Hence, we propose a novel formulation of the PCA prob- lem relying on a novel regularization. This regularization is based on a distance between subspaces, and the whole problem is solved as an optimization problem over a Riemannian manifold. We experimentally demonstrate the usefulness of our approach as pre-processing for EEG signals