眼球近傍画像解析による瞬目入力とEye Glance入力を組み合わせたインタフェースに関する研究

　本論⽂では，注視位置測定に依存せず，かつ特別な機器を使⽤せずに撮影した可視光画像の解析による視線⼊⼒インタフェースの実現に向け，視線の移動⽅向，および瞬⽬を併せて⽤いた⼊⼒について検討した。　情報機器の⼩型・⾼性能化に伴い，視線や瞬⽬など，⽬の情報を⽤いてコンピュータなどの操作を⾏う視線⼊⼒はハンズフリーの⼊⼒⼿段として注⽬されている。既存の視線⼊⼒インタフェースの多くは⼤型の情報表⽰画⾯を想定し，指標を注視することでコマンドを⼊⼒する注視⼊⼒⽅式を採⽤している。そのため，情報を表⽰する画⾯が⼩さくなればなるほど，注視位置測定に要求される測定精度が⾼くなってしまう。結果として，⼩型の情報端末において⽤いることのできる視線⼊⼒インタフェースは実現していない。　注視⼊⼒⽅式による視線⼊⼒インタフェースではコンピュータの操作を全て視線で⾏おうとすると，視線を向けたコマンドすべてが選択されてしまうという，いわゆるMidas Touch 問題が存在する。そのため，⼊⼒のための注視であることを判定するための静⽌時間が⼊⼒速度のボトルネックとなってしまう。これを解決するため，先⾏研究において，視線の移動⽅向を限定し，組み合わせることで多選択肢の⼊⼒を⾏うEye Glance ⼊⼒⽅式が提案されている。そこで，眼球電図（EOG）と単純な多選択肢UI からなるEye Glance ⼊⼒インタフェースを構築し，視線⼊⼒インタフェースとして実⽤する際の妥当性を実験により検証した。その結果，同程度の選択肢数の⼊⼒において，従来の注視⼊⼒⽅式と同程度の精度・速度で⼊⼒可能であることを確認した。この結果は使⽤者のUI に対する習熟によって⼊⼒精度・速度の向上が期待できることを⽰唆している。　⼀⽅，⽂字⼊⼒やアプリケーションの操作といった複雑なコマンド⼊⼒を想定した場合，視線移動に全ての機能を割り当てるのではなく，取消，決定，機能シフトといった直接の⼊⼒指⽰を補助する役割を担当するような別の⼊⼒チャンネルを設定することが望ましい。そこで，補助的な役割を担当するチャンネルとして，視線移動とは独⽴に，on/off の⼊⼒スイッチとして扱われることの多い，瞬⽬を組み合わせる。瞬⽬は⼀般に，随意性，反射性，⾃発性の3 種類に分類される。このうち，⾃⾝が意図して⾏う随意性瞬⽬のみを⾃動的に抽出できれば，瞬⽬を⼊⼒スイッチとして⽤いることができる。しかしながら，瞬⽬は⾼速な動作であるため，⼀般的なビデオカメラで撮影された動画像から随意性瞬⽬を⾃動識別することは困難を伴う。　このような背景から，本論⽂では，⼩型の情報端末での使⽤を想定し，特殊な計測機器を使⽤せずに可視光による眼球近傍画像の計測のみによるEye Glance ⼊⼒と瞬⽬⼊⼒を併せた⼊⼒を実現するための解析⼿法を提案する。具体的には，ビデオカメラによって撮影された眼球近傍画像から視線移動を検出する⼿法，随意性瞬⽬の⾃動識別を⾏う⼿法，およびこれらの⼿法を併せて⽤いた場合の処理⼿順を検討した。　本論⽂は全6 章により構成され，各章の要旨は以下の通りである。　第1 章では，これまでの視線⼊⼒の概要を述べ，本研究の⽬的とその概要について述べる。　第2 章では，眼球運動に関する基礎的な知識を解説し，従来の視線⼊⼒⽅式，および瞬⽬の概要とその問題点を述べる。また，本研究で⽤いるEye Glance ⼊⼒⽅式とその有効性について，EOG を⽤いて実装したEye Glance ⼊⼒インタフェースによる評価実験の結果を述べる。　第3 章では，Eye Glance ⼊⼒⽅式を眼球近傍領域の動画像を解析することにより実現する⼿法を提案する。眼球の動きは顔において最も早い動きであることに着⽬し，オプティカルフローを計測することによって，視線移動を定量的に検出する。加えて，⽔平・垂直⽅向成分の増減から，視線移動⽅向の識別を⾏う。実験により評価を⾏ったところ，各⽅向の識別率は全体を平均して80%程度となり，EOG を⽤いて実装したEye glance ⼊⼒インタフェースに迫る⼊⼒精度を得た。また，瞬⽬を⼊⼒チャネルとして⽤いるため，オプティカルフロー計測による瞬⽬種類識別を試みた。眼球近傍画像の時間的な変化を波形として捉えることで，瞬⽬の形状特徴量を計測することができる。しかしながら，実験の結果，提案⼿法における解析では，従来の瞬⽬特徴量を⽤いた識別は困難であることを確認した。　第4 章では，眼球近傍画像解析による随意性瞬⽬識別を実現するため，形状特徴量の出現傾向の分析を⾏った。分析では，眼球開⼝部を画像処理によって抽出し，その画素数の変化を瞬⽬波形として捉える。また，分析の結果から，瞬⽬時積分値を新たな形状特徴量として定義することで，随意性と不随意性の⾃動識別を⾏う⼿法を開発した。加えて，提案⼿法を実験により検証したところ，⾼い精度で瞬⽬種類の識別ができることを確認した。　第5 章では，第3 章と第4 章で提案した視線移動と随意性瞬⽬を識別するアルゴリズムを併せて⽤いる際の課題を実験により評価し，⼊⼒インタフェースとしての応⽤を検討する。それぞれの検出システムを単純に並列動作させた場合，誤検出などによって全体の識別率が低下すると予想される。そこで，それぞれの検出システムを並列に動作させ，オンラインでEye glance ⼊⼒と随意性瞬⽬の検出・識別を⾏う実験システムを試作し，実験システムの出⼒結果を決定するアルゴリズムを検討した。実験の結果，視線移動の識別結果を確定した後に随意性瞬⽬の判定を⾏った場合において最も識別率が良く，概ね視線移動と瞬⽬をそれぞれ⾃動的に識別可能であることを確認した。　第6 章では，本研究で得られた結果を整理し，研究の成果を評価する。また，今後の研究の展望について述べる。本研究の成果として，提案する眼球近傍画像の解析アルゴリズムを⽤途ごとに設計した⼊⼒UI と組み合わせることで，注視位置測定に依存しない視線⼊⼒インタフェースの構築が実現可能となった。電気通信大学201