See-Through Information Belt:光学シースルー方式ＨＭＤと直観的ジェスチャＵＩによるウェアラブルコンピューティングシステム

近年，計算機の小型高性能化やネットワークサービスの普及により，日常生活におけるコンピュータ支援の拡大が期待されている．特に光学シースルー方式を利用することで，周囲が見え，現実世界に重畳して表示ができ，着用したまま使え，両手が塞がることなく，常に装着することができるため，日常生活における様々なコンピュータ支援が受けられる．　本論文では，ユーザが日常生活において，いつでもどこでも容易にコンピュータ支援を利用できるための，光学シースルー方式HMDを用いたウェラブルコンピューティングシステムとして，See-Through Information Beltを提案する．提案システムは，マーカレス指先検出アルゴリズムにより，指の本数の変化による直観的なジェスチャでクリックなどの操作ができる．指先はHMDに内蔵されたカメラによって検出されるため赤外線センサやステレオカメラなどの特殊なデバイスを必要としない．また，指先検出アルゴリズムは，パターンマッチング等の複雑な手法を用いないため，軽量でありノートPCなどの外部計算機を必要としない．このため，システムはHMDデバイス単体で動作し，HMDの可搬性を欠くことはない．提案システムは，停止時はヘッドトラッキングを用いた広い仮想画面を利用できる．また，移動中は歩行検知によってヘッドトラッキングによる仮想画面の移動を停止させることにより，仮想画面の視点を前方方向に固定表示する．これにより、移動時でも必要なアプリケーションを常に表示することができる．　クリックジェスチャ実験と提案システムの実験により，評価した．クリックジェスチャ実験では，実験の環境と実験プログラム（固定とジャイロあり）の組合せとして，白い壁の背景，白い壁の背景+ジャイロ，生活環境，生活環境+ジャイロ，4つの組合せで実験を行った．被験者の平均値で，それぞれのクリック精度は，98%，99%，92%，96%となった．初めて使用した人でも問題なく操作でき，Body-Stabilizedな仮想画面でも，画面固定と変わらない精度でクリックできた．提案システムの実験では，システムを被験者に利用してもらうことにより，指先でのジェスチャ操作，Body-Stabilizedな仮想画面，歩行検知による表示形式の切替，が有効であると確認できた．電気通信大学201

Augmediated reality system based on 3D camera selfgesture sensing

Abstract—Three-Dimensional (3D) range cameras have recently appeared in the marketplace for use in surveillance (e.g. cameras affixed to inanimate objects) applications. We present FreeGlass TM as a wearable hands-free 3D gesture-sensing Digital Eye Glass system. FreeGlass comprises a head-mounted display with an infrared range camera, both connected to a wearable computer. It is based on the MannGlas TM computerized welding glass, which embodies HDR (High Dynamic Range) and AR (Augmented/Augmediated Reality). FreeGlass recontextualizes the 3D range camera as a sousveillance (e.g. cameras attached to people) camera. In this sousveillance context, the range camera is worn by the user and shares the same point-of-view as the user. Computer vision algorithms therefore benefit from the use of the range camera to allow image segmentation by using both the infrared and depth information from the device for 3D hand gesture recognition system. The gesture recognition is then accomplished by using a neural network on the segmented hand. Recognized gestures are used to provide the user with interactions in an augmediated reality environment. Additionally, we present applications of FreeGlass for serendipitous gesture recognition in everyday life, as well as for interaction with real-world objects (with and without gesture recognition). A plurality of FreeGlass units can be used together, each sensor having a different spreading sequence, or the like, so that a number of people can collaborate and share the same or similar Augmediated Reality space(s). I