九州工業大学博士学位論文（要旨）学位記番号：情工博甲第338号 学位授与年月日：平成31年3月25

Chinsatit  Warapon

Kyutacar : Kyushu Institute of Technology Academic Repository

Convolutional Neural Network-Based GazeEstimation Using Inside-Out Camera著者 Chinsatit  Warapon発行年 2019-03-25その他のタイトル Inside-Outカメラを用いた畳み込みニューラルネットワークに基づく注視点推定学位授与番号 17104甲情工第338号URL http://hdl.handle.net/10228/00007162氏     名     WARAPON CHINSATIT（タイ）  学 位 の 種 類       EA     博 士（情報工学）  A学 位 記 番 号       EA      情工博甲第３３８号  学位授与の日付      平成３１年 ３月２５日  学位授与の条件   学位規則第４条第１項該当  A学位論文題目       EA   Convolutional Neural Network-Based Gaze Estimation Using Inside-Out Camera（Inside-Outカメラを用いた畳み込みニューラルネットワークに基づく注視点推定）  A論文審査委員       EA      主 査   准教授  齊藤 剛史                  教 授  岡本 卓                                   〃   岡部 孝弘                  准教授  尾下 真樹  学 位 論 文 内 容 の 要 旨 注視点推定はユーザが何を見ているのか推定することであり、マーケティングや障害者の生活支援など様々な分野での応用が期待されている。本論文の目的は、ユーザの目を撮影するカメラと視界を撮影するカメラのカメラ2台から構成されるInside-Outカメラを用いた高精度な注視点推定手法を開発することである。本論文では、i) Convolutional Neural Network（CNN）を用いた効果的な瞳孔中心検出法を提案し、ii) キャリブレーションフリーのCNNに基づく注視点推定手法を提案している。 本論文は7つの章で構成される。第1章では、研究の背景と関連論文・既製品、注視点推定分野におけるデータセットおよび本研究の位置づけと目的について述べている。 第2章では、人手によって設計された特徴量を用いるhand-craft法として、勾配法とRANSACを用いた瞳孔中心検出手法について説明している。分離度フィルタを用いた従来手法との比較実験より提案手法の有効性を示している。 第3章では、CNNの基礎構造およびAlexNetやVGGNet、ResNet、Inceptionなどの代表的なCNNモデルを紹介している。 第4章では、CNNを用いた瞳孔中心検出手法を提案している。従来手法では主に開いた目（Open eye）を対象としているが実利用を想定する場合、閉じた目や半開きの目（Medium eye）にも対応する必要がある。本研究は、前段に目状態を分類するCNN、後段に瞳孔中心を推定するCNNの2段構造をもつ高精度な瞳孔中心を検出する手法を提案している。またCNNを用いる場合、大規模なデータセットを用いて学習することが重要であり、本研究ではInside-outカメラを用いて効率よく目画像を収集するツールを開発し、約2万枚の目画像を収集した。提案手法とCNNを用いた他手法との比較実験を行い、提案手法が高い瞳孔中心検出精度を得ることを確認した。また瞳孔中心を推定するCNNに関しては、Open eyeとMedium eyeを区別するために二つのCNNを構成し、それぞれで学習する構造より、Open eyeとMedium eyeを合わせて一つのCNNで学習する構造の方が、瞳孔中心検出精度が高くなることを示した。 ウェアラブルデバイスを利用する注視点推定では煩わしいキャリブレーション作業が必要である。第5章では、キャリブレーションフリーのCNNに基づく注視点推定手法を提案している。提案手法は、注視点推定CNNモデルと特徴抽出CNNモデルおよび両者を統合するモデルから構成されている。第4章と同様に目画像収集ツールを開発し、独自に約5万枚の目画像を収集した。提案手法と代表的なCNNとの比較実験を行った結果、高い注視点推定精度が得られた。また提案手法をInside-outカメラに組み込み、市販されている2製品と注視点推定精度を比較した結果、既製品よりも注視点推定精度が高いことを確認し、提案手法の有効性を確認した。 第6章では、これまで提案した注視点推定手法を利用した応用研究として、モニタなどに表示された文字を注視して一文字ずつ入力する視線ベース文字入力システムを開発した。開発システムの利便性を検証するために、被験者実験を実施し、開発システムの有効性を確認した。 第7章は結言であり、各章で得られた結果を総括し、結論を述べている。  学 位 論 文 審 査 の 結 果 の 要 旨 本論文に関し、調査委員から提案手法に対するロバスト性、キャリブレーションフリーの注視点推定手法の問題点およびその解決策、処理時間などについて質問がなされたが、いずれも著者から満足な回答が得られた。 また、公聴会においても、多数の出席者があり、種々の質問がなされたが、いずれも著者の説明によって質問者の理解が得られた。 以上により、論文調査及び最終試験の結果に基づき、審査委員会において慎重に審査した結果、本論文が、博士（情報工学）の学位に十分値するものであると判断した。  

Inside-Outカメラを用いた畳み込みニューラルネットワークに基づく注視点推定

https://kyutech.repo.nii.ac.jp/?action=repository_action_common_download&item_id=5952&item_no=1&attribute_id=16&file_no=1

Inside-Outカメラを用いた畳み込みニューラルネットワークに基づく注視点推定

Abstract

Similar works

Full text

Available Versions

Kyutacar : Kyushu Institute of Technology Academic Repository