?????? ?????? ??????????????? ?????? ????????????

Department of Computer Science and EngineeringRecently deep reinforcement learning (DRL) algorithms show super human performances in the simulated game domains. In practical points, the sample efficiency is also one of the most important measures to determine the performance of a model. Especially for the environment of large search spaces (e.g. continuous action space), it is very critical condition to achieve the state-of-the-art performance. In this thesis, we design a model to be applicable to multi-end games in continuous space with high sample efficiency. A multi-end game has several sub-games which are independent each other but affect the result of the game by some rules of its domain. We verify the algorithm in the environment of simulated curling.clos

条件にロバストなデジタルカーリングの改良

　「デジタルカーリング」は，カーリングの戦略を議論することを目的して2014年に当研究室の北清らによって開発されたカーリングプラットフォームである． このシステムを広く公開したことでカーリングの戦略が統一された場で議論されるようになり，カーリングAIの発展に大い寄与してきた．しかし,「パラメータの変更が考慮されておらず，ルールの変更に柔軟に対応できないこと」「プレイヤの技量差や氷の状態のような，実際のカーリングでは重要なパラメータの変更が容易でないこと」などが問題点として指摘されていた.　本研究では，従来のデジタルカーリングシステムの問題点を踏まえ,ルールや物理ミュレーョンのパラメータ変更に対して柔軟に対応できる改良システムを新たに構築した．従来システムでは散逸していて変更が難しかったパラメータをひとまめにし，ゲーム進行に必要な関数群もまとめたゲーム進行クラスを定義した．これにより，ルールだけでなく物理シミュレーョンに必要パラメータ等の変更もゲームサーバから行えるようになった．また従来システムで表現されていなかったプレイヤによる技量差を，乱数の大きさやショットベクトルの最大値などといった形で表現できるようにした．　本システムを用いてGPW杯2018大会を，通常ルールに加えカーリングの変則ルールであるミックスダブルス部門の競技を実施して，ルールの変更に対して柔軟な対応が可能であることを示した．変則ルールへの対応や技量差の導入を行うことにより ,現実に近いより複雑な条件に対応したゲームを再現することを可能とした．これにより，改良システムがカーリングAI研究のより一層の発展に寄与することが期待できる．また本研究室で別途開発されているカーリングの学習支援システムへ本システムを利用することで，様々なパラメータの変更に対応できる実用性の高い支援への応用も期待される．応用の一例として，ショットのウェートの上限を変えた状況でカーリングAIによるショット選択の実験を行ったところ，条件によって違うショットの選択肢が提示されることを確認した.電気通信大学201