金沢大学大学院自然科学研究科情報システ

Akita Junichi

Takagi Hiroaki

Kanazawa University Repository for Academic Resources

急速眼球運動対応の視線検出機能を持つVisionChipの試作と評価著者 Takagi Hiroaki, Akita Junichi雑誌名 映像情報メディア学会技術報告巻 30号 32ページ 17-20発行年 2006-06-01URL http://hdl.handle.net/2297/3536社団法人映像情報メディア学会技術報告急速眼球運動対応の視線検出機能を持つVision Chip の試作と評価高木 宏章† 秋田純一††金沢大学 〒920-1192 石川県金沢市角間町E-mail: †taka@merl.jpあらまし 本稿では急速眼球運動に対応した視線検出機能を持つ Vision Chip を提案する. 視線の検出には瞳孔とプルキニエ像の位置の二つのパラメータが必要であり, 今回提案する Vision Chip は, 眼球画像からの瞳孔とプルキニエ像の検出, 及びそれらの中心の検出と中心の座標生成を行うものである. 本Vision Chipの基礎的な検討を行うため,CMOS0. 35μm-Opto プロセスを用いて 16×16 の処理要素（PE）数の Vision Chip の設計・試作を行った. この設計においては, PEの瞳孔とプルキニエ像を検出する回路では瞳孔, プルキニエ像の閾値を求め, その閾値に対応した差動増幅器を設計した. またプルキニエ像の中心を検出する回路ではアルゴリズムを見直し, トランジスタ数を大幅に削減し, PE の面積を小さくした.キーワード Vision Chip 視線検出 急速眼球運動 並列処理Design and Evaluation of Vision Chipfor Detecting Line of Sight with Saccade TrackingHiroaki Takagi† Junichi Akita††Kanazawa University kakuma-machi, kanazawa-shi, Ishikawa, 920-1192 JapanE-mail: †taka@merl.jpAbstract In this paper, we propose Vision Chip for detecting line of sight with saccade tracking . Line of sight can bedetermined by the positions of the pupil and the Purkinje’s image in eye image. The proposed Vision Chip has thefunctions of detecting their positions, as well as generating the coordinates of their centeroid. The proposed Vision Chip hasbeen fabricated using 0. 35μm CMOS-Opto technology with 16×16 processing element(PE). In the designed Vision Chip, thedigitized circuit with differential amplifier which correspond the pupil and the Purkinje’s image as well as theimproved circuit for shrink procedure in the Purkinje’s image detection are included in order to achieve small size of PE.Keyword Vision Chip Line of sight Saccade Parallel Processing1. はじめに急速眼球運動（サッケード）とは 我々の意図にかかわらず , ごく自然に起こる , 非常に高速な眼球の運動である . 急速眼球運動は新式のコンピュータ・ヒューマン・インターフェースとして利用できると期待される [1, 2]が , その速度は多くの場合 , 毎秒 600°以上にも及び , 従来の視線検出装置で用いられる , NTSC 規格などのビデオカメラを用いて画像を取り込み , 計算機等を用いてソフトウェア処理するという方式ではリアルタイムに検出・追尾することは不可能である .このような背景から, 本稿では高速な画像処理を行う Vision Chip の構成によって, 急速眼球運動を含む視線を検出することを目標とした. Vision Chip は受光素子と処理回路を画素ごとに配置し , 1 チップ上に集積させた知的な撮像センサー[3]であり, この構造によって逐次的な処理ではなく並列処理による超高速な画像処理が可能である. 本稿では, 急速眼球運動に対応する視線検出機能をもつ Vision Chip の設計及び試作について述べる.2. 視線検出の原理赤外線の眼球画像は視線を検出するのにふさわしい . 赤外線眼球画像の例を図 1に示す . この中には , 2つの特徴的な領域が存在する . 1 つはカメラから角膜に正面方向から光を当てた場合に返ってくる強い反射光であり , プルキニエ像と呼ばれる白い領域であり ,もう 1 つはまた黒く丸い領域である瞳孔である . これら 2 つの領域の位置関係を用いると , 図 2に示すようにプルキニエ像から角膜の半径直線を伸ばすことで角膜曲率中心が求められ , そこから瞳孔の中心へと直線を伸ばすことで視線ベクトル (視線 )を求めることができる . すなわち視線を求めるためには , 赤外線眼球画像からプルキニエ像と瞳孔の中心位置を求めることが必要であることがわかる .図 1 赤外線眼球画像3.本眼球よこの処理の結し路か路かエ像たエちをでリ14る検図 3 本 Vision Chip の構成以下では PE の要素回路である PD の設計 , 判定回路の設計 , 瞳孔拡大収縮回路やプルキニエ像収縮回路を含めた PE の状態遷移部の設計 , 全体の中の収縮終了判定回路 , 座標生成回路について順に述べる . なお設計ツールとして Cadence 社の IC5. 1, 製造プロセスとして austriamicrosystems 社の CMOS0. 35μm -Opto プロセスを使用した .3. 1 PD 設計エンコーダエンコーダ座標生成PE瞳孔輪郭びP本,Fきテ6こ出目から反射した光を受ける部分が PD である . そのPD の特性を調べるために TEG を設計した . PD の TEGとして図 4に示すような PSub/Nwell 構造と PSub/Ndiff構造の 2 つを設計した .視線ベクトル角膜曲率中心光 光視線検出稿で提案す運動を含プルキニVision Ch要素 PEE は受光部ている . 受らなり , 処ら構成されおよび瞳孔ンコーダにVision二値化後PGA 上にた [4]. まィカルパ[kfps]となとを確認機能を持カメラ図 2 視線検出機能を持つ Vる Vision Chipむ視線を求めてエ像の両者の位ip は図 3 のよう(Processing Elemと処理部からな光部はフォトダ理部は輝度値る . また PE かを示すフラグ射影され , 座標Chip アーキテの処理を行う実装し , 正した PE 数を 10スを考慮しり十分に急速した. これらつ Vision Chiプルキニエ像のiの追置にのはクデく0たのp原理sion Chip の設計本質的な機能は , 急速跡するために , 瞳孔おを求めることである .画素ごとに配置されるent)から構成される . こり , 上下左右の PE と連イオード (PD)と増幅回判定回路 , 拡大収縮回ら出力されたプルキニｘ・ｙ軸上に配置されを生成する .チャの構成要素のうィジタル処理部 (PE)動作することが確認×100 とした場合のクフレームレートは眼球運動を検出でき結果を踏まえ, 視線の設計を行う.図 4 (a)PPSub/Nwel度が期待で度期待できた .また PD の対し 10um×のサイズで3.2 判定回判定回路エ像を検出際の検出方部での反射ことになるエ像を検出で表すことN+Sub/Nwell 構造 (b)PSubl 構造は一般的によく用いきる . また PSub/Ndiff 構造, 暗電流が少ないことか構造と面積の関係を調べる10um, 14um×14um, 18um×設計した .路では視線の検出に必要なし, それぞれを示すフラグ法として赤外線を目に照射率の違いにより , PD の光電. そこで視線検出に必要なするために図 5のような回とする . この回路ではプルP-SubN-wellN+/Ndiff 構造られる構造で感は感度がある程ら検討対象としために各構造に18um の 3 種類瞳孔とプルキニを生成する. 実すると , 目の各流の値が異なる瞳孔とプルキニ路によって 3 値キニエ像と瞳孔P-SubN＋を検出できるよう閾値を設定しておき , その閾値と実際の明るさをコンパレータで比較することにより , プルキニエ像と瞳孔がそれぞれ検出される . 瞳孔とプルキニエ像の閾値は輝度値が 256 階調の眼球画像を用いた画像数値シミュレーションにより , 瞳孔は 45~80,プルキニエ像は 205~235 となり , この範囲でそれぞれの正確な中心を求めることができる . なお実際の眼球画像においては , これらの閾値は照明条件等にあわせて調節する必要がある . これらの値を電源電圧が 3.3V の場合として 256 階調を 0~3. 3V に置き換えると瞳孔は約 2. 5V, プルキニエ像は約 0. 5V に閾値を設定することになるため , これを考慮してコンパレータの設計を行った . AnalogArtist による回路シミュレーションの結果 , 単純な nmos 入力の差動増幅器によるコンパレータでは入力電圧範囲が 0. 6V~3. 0V と分かり , プルキニエ像検出を行うことが困難であった . そこでpmos 入力の差動増幅器を用いた構成をとることで ,入力電圧範囲は 0. 2V~2. 6V となり , 瞳孔とプルキニエ像の両者が検出可能であるように設計した .図 5 判定回路3.3 状態遷移部ここでは処理要素 PE の状態遷移部の回路設計について述べる . PE の状態遷移部の回路を図 6 に示す . 瞳孔及びプルキニエ像を示すフラグは ,図 5の判定回路から与えられる . 中心の PE の値 P(i, j)は , 4 つの隣接した上下左右の PE の値 P(i, j+1), P(i, j-1), P(i-1, j), P(i+1,j)と中心 PE の値 P(i, j)よって生成される . そして , その値は D フリップ・フロップの中で保持され , クロックによって変化する . 瞳孔の拡大回路と収縮回路 , プルキニエ像収縮回路とは瞳孔とプルキニエ像を検出したフラグの領域に対して, それぞれの中心を求めるものである. 瞳孔を拡大する場合には中心の PE と 4 近傍の PE から受け取った値が少なくとも 1 つが 1 のときその中心を 1 にするというアルゴリズム[4]であり, 隣接した PE の値と中心の PE の値の 5 入力 OR で構成されている . また瞳孔を収縮する場合には, 中心の PE と上下左右の隣接した 4 近傍の PE から受け取った値がすべて 1 のとき, その中心を 1 にするというアルゴリズム[4]であり, 隣接した PE の値と中心の PE の値の5 入力 AND で構成されている . 次にプルキニエ像収縮回路のアルゴリズムは以下のとおりである .1 中心の PE の値が 1 かつ隣接した PE の値 4 つのうち 3 つが 1 の時 , 中心の PE の値を 1 にする .2 それ以外の時 , 中心の PE の値を 0 にする .このアルゴリズムで収縮回路を構成すると , トランジスタ数で 38 になる . Vision Chip にとって PE の面積縮小は重大な問題であり , PE の面積縮小化のためプルキニエ像のアルゴリズムに以下を追加した .3 上 , 中 , 下の PE の値 P(i, j+1), P(i, j), P(i, j-1)が 1のとき中心の PE を 1 にする左 , 中 , 右の PE の値 P(i-1, j), P(i, j), P(i+1, j)が 1のとき中心の PE を 1 にするこの条件を含めることにより必要トランジスタ数は 16 となり , トランジスタ数を大幅に削減できる . またこの新しいアルゴリズムで画像数値シミュレーションを行っても , プルキニエ像の中心が正しく検出できることを確認した .次に瞳孔の拡大収縮回路 , プルキニエ像の収縮回路を選択するのがセレクタである . セレクタは全体の制御回路から状態が変化する度にセレクト信号を変え ,回路の選択の制御を行っている . 状態遷移は以下のようになる .1 瞳孔のフラグを選択2 瞳孔拡大回路を選択し数回処理をする3 瞳孔収縮回路を選択し全てが消えるまで繰り返す4 プルキニエ像のフラグを選択5 プルキニエ像収縮回路を選択し全てが消えるまで繰り返す図 6 PE の状態遷移部3.4 収縮終了判定回路収縮終了判定回路の機能は , 軸上に射影された全PE からの瞳孔・プルキニエ像それぞれの 1 の値の数を数えるものである . 図 7 に回路を示す . 射影されたPE の値は 3 入力の NAND ゲートを通ることにより , 隣プ ル キ ニ エ像閾値－++－プルキニエ像瞳孔瞳孔閾値実際の明るさり合う PE 間での収縮終了の信号を出し , それらの信号を AND ゲートに通すことにより全体で収縮終了を判断する構成になっている .軸上に射影された PE の値P0 P1 P2 PN-1図 7 収縮終了判定回路3.5 座標生成回路前述の収縮終了判定回路によって収縮過程の終了が検出されると , 瞳孔とプルキニエ像のそれぞれの中心の座標を生成する必要がある . この収縮終了時点では ,x, y 軸上に存在する値が 1 である射影線は 1 本または2 本であるため , 各軸上に 2 つのプライオリティエンコーダを配置することで, 各軸上の値が 1 である射影線の位置の座標の最大値と最小値を出力することができる.3. 6 レイアウト設計上 記 回 路 構 成 を 持 つ Vision Chip を ,austriamicrosystems 社 CMOS0. 35um-Opto プロセスを用いてレイアウト設計を行った .図 8 は PE のレイアウトである . PE サイズは 65μm×65μm, PD サイズは18μm×18μm, 開口率は 6. 8%となった . 次に図 9に試作した Vision chip のチップ写真を示す . 電源電圧 3.3V, チップサイズ 2. 2mm×2. 2mm, PE 数 16×16 となっている . この Vision Chip には PD の TEG, PD に増幅回路を加えた TEG, PE 単体回路 , 全体回路がある . これらの回路の測定は現在進行中である .4. まとめ本研究では急速眼球運動に対応する視線検出機能をもつ Vision Chip を考案し, 各回路の設計を行った.PE の判定回路では瞳孔, プルキニエ像の閾値を求め,その閾値に対応した差動増幅器を設計した. プルキニエ像の収縮回路ではアルゴリズムを見直し, トランジスタ数を 38 から 16 に大幅に減らし, PE の面積を小さくした. 設計した Vision Chip を CMOS0. 35μm-Optoプロセスで PE 数 16×16 の Vision Chip の試作を行った .チップの測定と評価は現在進行中である .図 8 PE のレイアウト図 9 Vision Chip 写真文 献[1] J. Triesch, D. H. Ballard, M. M. Hayhoe, B. T.Sullivan, ： “What you see is what you need, ” Journal ofVision, No. 3, pp. 86–94, 2003.[2] S. S. Intille, ：“Change Blind Information Display forUbiquitous Computing Environments, ” UbiComp2002,LNCS 2498, pp. 91–106, 2002.[3] T. Komuro, S. Kagami, M. Ishikawa, ： “ADynamically Reconfigurable SIMD Processor for a VisionChip”, IEEE Journal of Solid-State Circuits, Vol. 39, No.1, pp. 265–268, 2004. 1.[4] 高木宏章 , 秋田純一：“急速眼球運動対応の視線検出機能を持つ Vision Chip アーキテクチャ”, 映像情報メディア学会技術報告, IST2005-30, pp. 17-20June.2005

急速眼球運動対応の視線検出機能を持つVision Chipの試作と評価

https://kanazawa-u.repo.nii.ac.jp/?action=repository_action_common_download&item_id=7496&item_no=1&attribute_id=26&file_no=1

急速眼球運動対応の視線検出機能を持つVision Chipの試作と評価

Abstract

Similar works

Full text

Available Versions

Kanazawa University Repository for Academic Resources