エネルギー関数の形状に着目した焼きなまし法の適用に関する研究

Abstract

本論文ではエネルギー関数の形状に着目した焼きなまし法の適用方法について提案し，Boltzmann Machineにおける事後分布推定，観光経路推薦問題を対象としてその有効性を示す．Boltzmann Machine や焼きなまし法等，現在利用されている機械学習や最適化問題の解法は統計物理学に基づくものが多い．これらはいずれも物質を構成する分子の微視的状態を記述するBoltzmann分布をもとに定式化され，Boltzmann Machineでは与えられた分布に適したエネルギー関数を学習により決定する．学習結果から得られる分布は有用な潜在的表現を有することからNeural Networksに対する事前学習法としてよく利用される．また，Boltzmann分布に従う系では，エネルギー関数の値が低い状態が高い出現確率を持ち，温度が低いほどその傾向が強くなる．焼きなまし法はこの性質を利用し，最適化問題における目的関数をエネルギー関数とした手法である．焼きなまし法を用いれば局所最適化法で問題となる局所最適解への収束性を緩和することができ，Traveling Salesman Problem (TSP)等さまざまな問題に対して適用されている．焼きなまし法は，計算量の多さと，温度変化過程の与え方が自明でないことが短所として指摘されている．さらに，本論文では，Deep Boltzmann Machineの事後分布推定に対して効果的でないこと，TSPに対しても問題の規模が大きくなるにつれ，Markov Chain Monte Carlo (MCMC)法における棄却率が高まり，効率が低下するといった問題点があることも明らかにする．これらの問題に対し，本論文ではエネルギー関数の形状に着目することで，焼きなまし法における上記問題の解決を目的とする．従来手法がMCMC法の探索方法を決定する提案分布に対し局所最適化法をそのまま用い，エネルギー関数には最適化問題として一般的に定義されていた目的関数をそのまま用いているのに対し，提案手法では，問題ごとに適切なエネルギー関数と，棄却率の低い提案分布の構築を行う．具体的な例として，Boltzmann Machineと観光経路推薦問題に提案手法を適用し，有効性を示す．Boltzmann Machine は階層構造を持たせたDeep Boltzmann Machineとして広く用いられ，事前学習やマルチモーダルデータに対するモデルとして近年注目を集めている．しかし，現在一般に用いられているGibbs Sampling法を適用しただけでは，層数の増加に伴い事後分布の推定が難しくなる．また，本論文で示す通り，焼きなまし法を適用しても精度を改善することはできない．提案手法では，階層構造を反映したエネルギー関数の構築と温度の制御を行うことで事後分布の推定精度を改善する．観光経路推薦問題への適用においては，TSPに対してMCMC法における提案分布に適切なものを選ぶことで探索効率を改善できることを示す．また，観光経路推薦問題を対象として，訪問スポットの選択も含むようにTSPを拡張した選択的TSPに対しては，従来節点と辺を用いて定式化されていたのに対し，辺のみを用い，さらに，自己ループ辺を導入することで次元数を固定とする定式化を提案し，確率場として問題を定義可能とする．また，経路長に対する制約を連続な関数で表現することで焼きなまし法を適用可能とする．これらの工夫により高速に解を探索可能となり，従来手法では固定とされていたスポット間の移動経路をユーザの嗜好に応じて決定する等の柔軟な経路推薦が可能となる．本論文は5章からなり，1章で序論，2章では本論文の基礎となる関連研究について述べ，3章でBoltzmann Machineに対する焼きなまし法の適用法，4章で観光経路推薦問題に対する焼きなまし法の適用法を提案する．5章では本論文で論じたことをまとめる．3章では，はじめにBoltzmann Machineにより評価値行列から抽出される潜在因子の性質を調査した結果に基づき，事後分布推定におけるBoltzmann Machineの特性について考察する．その後，Deep Boltzmann Machineのエネルギー関数を層ごとに分割し，各層に対応した関数ごとに温度を割り当てることで温度分布を表現可能とする手法を提案する．これにより，種結晶から金属の単結晶を得る手法であるFloating Zone法を導入し，入力側から温度を低下させることで事後分布を高精度に近似できることを示す.4章では，観光経路推薦問題の概要，および既存研究における定式化を紹介した後，本論文で提案する定式化について説明する．提案する定式化を用いて，エネルギー関数により経路長に対する制約を表現する方法，棄却率の低い提案分布を用いてMCMC法を構築する方法を述べる．人工および観光客の位置情報から作成されたデータセットを用いて，提案手法の有効性を示す.本論文で得られた成果は，焼きなまし法を適用するにあたりエネルギー関数の形状を考慮することの重要性を示したものであり，対象としたBoltzmann Machineや，観光経路推薦問題だけでなく，より多様な用途における焼きなまし法の適用可能性の拡大へ貢献するものである．首都大学東京, 2019-03-25, 博士（工学）首都大学東