FUJIOKA Yoshichika

TOMABECHI Nobuhiro

苫米地 宣裕

藤岡 与周

English

FUJIOKA, YOSHICHIKA

5095

藤岡, 与周

read0183435

フジオカ, ヨシチカ

苫米地, 宣裕

2742

トマベチ, ノブヒロ

TOMABECHI, Nobuhiro

Hachinohe Institute of Technology Repository / 八戸工業大学学術リポジトリ

複数の奥行き計測が可能な両眼視対応点探索並列ハー ドウェアアルゴリズム藤 岡 与 周キ・苫米地 宣 裕**A卜11ultiple]Depth lnstrumentable Parallel]王ard、vare AlgorithnュforFinding Point Correspondences on Stereoヽ「isioYoshichika FLT」IOKA and Nobuhiro ToMABECHIAbstractIn the visual feedback contrOl of intelligent robots,the delay time must be reduced for inding point correspon‐dences in stereo vision applications  ln this paper,郡ァe propo e a rnulti le depth instrumentable algorithm for nndingpoint correspondences  A/1oreover,this argorithm is also suitable for a para■el hard都/are algorithni to reduce thedelay tirne  By employing the concept of dynaHュic reconligurati n for naulti―pera d H inirnuHl value selectors,thedelay time can become reduced to the small delay timeキーワード:微小遅れ時間 (small delay time),動的再構成 (dynamic reconiguration),知能ロボットシステム (intelligent robot systems),両眼視 (stereo甑sion), ビジュアルフィードバック市」御 (visual feedback cOntrol)1。 まえが き知能ロボットシステムにおいては,動的に変化する未知環境を認識・理解するため,ステレオビジョンなどによる3次元画像計測が重要となるユ比これまで,動的計画法に基づ くステレオビジョン対応点探索の演算遅れ時間を最小化するため,所望 とする入力数の多入力最小値選択器の動的再構成 という概念を導入した並列ハードウェhorizontal axis(far)アアルゴリズムが提案されている2o。本稿では,手前側とその奥との両者が両眼で見える場合にも正しくそれぞれの奥行きを計測可能な両眼視対応点探索アルゴリズムを提案するとともに,シミュレーションによりその妥当性を明らかにしている。さらに,光学系の有する被写界深度の制約を考慮した探索候補限定による計算量の大幅な減少を可能 としている。2.画像視差平面と対応点探索ステレオビジョンとは,左右 2つの画像から三角測量の原理に基づき対象物体の3次元形状を計測する手法である。この場合,Fig lに示すように,対象物体表面の各depth(near)|d????，left■mageright■mage(near)li雪三'こj(far)surface ofobj ectshorizontal axisX=■+]reconstructed imageFig l  Finding point correspondences for stereo vision,平成12年12月21日受理*八戸工業大学 システム情報工学科 講師科 八戸工業大学 システム情報工学科 教授correspondence45°Fig 2  Spatial disparity planeЧ コuleft■mageright＼ima▼?????45°―- 23 -mulヒ土―operand lninimun value selection(2-operands′ .  ′ 2■―operands)(x)′id(X―■)(x-1)玉id(X-1))Fx(1)IR(j)ノidid(x-1)=0  1d(土d(x-1)‐l     id(x-1)=2n―lx-11(x) 工L(1)八戸工業大学情報システムエ学研究所紀要 第13巻Fig 3 Data depenence graph for inding point corre‐spondences based on dynaHlic progranllningのデータ依存グラフで示される処理を実行しなければならない①このデータ依存グラフの中で最も演算遅れ時間が大きい部分として,χと″(χ)の値に対応して2個から512個(%=256の場合)までの候補データ島 (″(χ),"(χ-1))の最小値 島 (″(χ))とその場合の ″(χ-1)を選択する処理があげられる。そこで,このような種々の入力数の多入力最小値選択を完全並列かつ2進木構造で実行するため,Fig.4に示すような演算遅れ時間最小形多入力最小値選択回路を考案 している。スイッチ回路(SWB,SWM)を動的に切 り換えるのことにより,所望とする最小値選択器 (MIN)に中間結果を転送することが可能である。最小値選択器は大小比較器 とマルチプレクサから構成されており,島(″(χ),″(χ-1))の大小を比較した後,小さい方の島 (″(χ),″(χ-1))とその場合の ″(χ-1)を選択することができる。3.複数の奥行きを計測可能な対応点探索アルゴリズム前節でのアルゴリズムを検証するため,Fig 5に示すようなシミュレーションソフトウェアを開発した。この結果,Fig.5の左上に表示されている左右の画像から,Fig 5の左下に表示される様に各水平座標に対する奥行き情報を画像視差平面上に得ることができた。この測定結果を拡大した者をFig 6に示す。ただし,本アルゴリズムの妥当性を検証することを目的としているため,左右画像には人工的に作られた画像を用いている。実際のカメラ画像からは,光のあたり具合や左右のカメラ精度のばらつきなどにより,必ずしもこのようにきちんとした結果が得られない可能性があるが,この問題は今後の課題 として残されている。また,Fig.5のシミュレーションでは平面な背景の全面にある程度幅の広い物体があると仮定した左右画像を用いているが,幅の狭い物体があると仮定した左右画像を用いてシミュレーションを行なった結果,Fig 7に示すように,背景に対応する奥行き情報だけが得られており,幅の狭い物体に対する奥行き情報が欠落する結果が得られた。これは,例えば鉛筆などのような細長い物体を目の前においても,その物体の後ろ側もやはり両眼で見えるため,水平座標に対して奥行き情報を一つだけ決定するという前提に問題があることが本質的な原因であることが考えられる①暗黙のうちに,そのような場合は手前の物体に対する奥行き情報が優先されて得られることを期待していたが,動的計画法に基づ く対応点探索アルゴリズムでは, もっともらしい対応点を得るための評価関数の関係で,Fig 7の様な結果が得られると考えられる。そこで, このように物体が存在してもその奥行き情報が欠落する問題を解決する必要がある。このため,両眼視にかぎらず,それぞれのカメラ画像には最も手前の画??MIN: minimun Va■ue seleCtOrMBT: MIN unit for binary treeS【・IM: SWitch circuit for changing 1/O COnnectiOn of MINFig 4 1ヽIulti―operand rninilnuHl value selector based onthe minimum delay time architecture点が左右画像の各々どの点に対応するのか,エピポーラ線上で探索を行なう必要がある。左右画像の水平方向の画素数を2%+1,左右画像の対応点の座標をそれぞれ ゲとブ(ケ,ブ=―%,一%+1,…"%)とするとき,対象物体までの距離 (奥行き)プはおよそ ケー ブ(≧0)に反比例し,また水平位置 χはゲ+ブに比例する。この特長を利用して,Fig。1に示すように左右画像をそれぞれ 45°に傾けて左右の画像を直交して配置することにより,Fig.2のような直角二等辺三角形の画像視差平面を形成することができる。ここで,底辺方向はゲ十ブ,すなわち対象物体の水平方向χに対応し,高さ方向は ゲー ブ,すなわち対象物体の奥行き方向 プの逆数 1″=″に対応する。Fig 2に示すように,対応点探索とはχ=ゲ十ブ=-2%,-2%+1,…,2%に対 す る″(力)=1″(χ)=ゲーブ=0,1,…2%一χ の決定に帰着できる。対応点探索には種々のアルゴリズムが提案されているが,本稿では,全画素に対する対応点を決定できる,動的計画法に基づくアルゴリズムのを採用している。本アルゴリズムでは,各χの値毎にFig.3―- 24 -―〓?複数の奥行き計測が可能な両眼視対応点探索並列ハードウェアアルゴリズムFig 5  Silnulation soft、ATare l for rinding point correspOndencesFig 6 Findinёσ point correspondences result (I, 、アidobject)像しか写らないという特長に着目して,各カメラ画像の各ピクセルに対する,他のカメラ画像への対応点探索を行ない,左右 2台分の対応点探索結果を統合することにより,水平座標に対する対応点探索を唯一決定する場合で起きた上記の問題を回避するアルゴリズムを考案 した。各水平座標に対応する奥行き情報を決定するための対応点探索では,Fig.2の下の部分に2等辺三角形の形状で示される画像視差平面において,各水平座標から縦方向のどの部分を選ぶかに対応している。これに対し,新たに考案した対応点探索アルゴリズムでは,まず画像視差平面での左斜辺に対応する左画像のピクセルから,右下方向のどの部分を選ぶかを行なうとともに,次に画像視差平面での右斜辺に対応する右画像のピクセルから,左下方向のどの部分を選ぶかを行ない, これらの結果から共通する部分を両眼視での対応点探索結果 とするものである。この場合,例えば左画面で得られた対応点探索結果が右画面での結果 と一致しない部分が出て くるが,Fig 7 Finding point correspOndences result(I,narrOwobject)この部分は右画面からは隠れて見えない部分であり,厳密には奥行き情報を測定できない部分であると判断できる。左右逆についても同様である。本アルゴリズムの特長は,動的計画法に基づ く対応点探索アルゴリズムをほとんど変更することなしに,単に対応点探索に用いるデータヘのアクセス方法を変えることで実現できることにある。それに左右の結果を統合する処理を追加するだけで良 く,規則的でハードウェア向きのアルゴリズムである。このように新たに考案したアルゴリズムを検証するため,Fig 8に示すようなシミュレーションソフトウェアを開発した。Fig_8の右側の3つの対応点探索結果は,上からぞれぞれ左画面に関する対応点探索結果,右画面に関する対応点探索結果とこの2つを統合した対応点探索結果を示している。元の画像には背景と物体がそれぞれ水平になるように設定しているため,得られた対応点探索結果における斜めの対応点探索結果は左右どちらかし―- 25 -―八戸工業大学情報システムエ学研究所紀要 第 13巻Fig 8  Silnulation soft都ァ re II for inding point correspOndencesか見えない隠れ部分であることを示している。また,左右独立に対応点探索を行なっているため, とちらのカメラから見えないのかがはっきり区別できるという特長も有している。本シミュレーションソフトウェアを用いて幅の広い物体 と幅の狭い物体がそれぞれ背景の手前にある場合の両眼視計測シミュレーション結果が,それぞれ Fig_9とFig。10に示すように得られた。いずれの場合も,対象物体及び背景について,両眼から見える部分については水平座標に対して奥行き計測結果が複数ある場合でも計測可能であることが明らかとなった。4.対応点探索用並列プロセッサの構成提案する対応点探索用並列プロセッサの構成をFigllに示す。画像視差平面の各座標 (χ,″(χ))に対応したローカルメモリ(LMESDP)には,動的計画法に基づ く対応点探索に伴う中間結果 島 (″(χ))や,それを最小にする′`′(χ-1),およびエピポーラ線上における左右画面の画素値 島P(ゲ)とrL(ブ)などが言融隠される。また,カメラ画像の画素データをそのまま画像視差平面に対応させると,Fig_11における黒丸で示すように対応点探索の対象となる画像視差平面の各座標 (χ,″(χ))がとびとびの値をとるため,隣接する2つの画素の中間値を補間するLMESDPを備えている。さらに,Fig 3で示されるデータ依存グラフに基づく対応点探索を実行するため,2η個の島 (″(χ)),″(χ-1))演算器 と,所望とする入力数や個数を動的に再構成可能な几 (″(χ))最小値選択器から構成される演算ユニット(DRPU)を備えている。LMESDPを構成する縦方向と横方向のデータバスの各交点にスイッチを備えることにより,LMESDPはクロスバスイッチの機能を有している。このクロスバスイッチによるLMESDPとDRPU間の任意のデータ転送 と,DRPU内部の動的再構成を組み合わせることにより,各χについて演算量が大幅に変化する対応点探索処理を,DRPU内部の各演算器の稼働効率が最大の状態で高並列かつ演算遅れ時間最小で実行可能 としている。5.被写界深度の制約を利用した計算量の減少高精度な対応点探索を実現するためには,カメラ画像において対象物体の細部が精細に撮影される必要がある①このためにはカメラ画像のすべての範囲で焦点が合う必要がある。しかし,対象物体の奥行き範囲が広い場合には,部分的に焦点が合わず画像がばけるため,その部分での高精度な対応点探索は困難 となる。この場合でも,焦点を少しずらした2枚の画像からカメラ画像の各部分の高域成分の変化を調べることにより,焦点距離より近いか遠いかの判断が可能である。焦点距離と焦点の合う範囲 (被写界深度)はCCDカメラに備えられたレンズの位置 と絞 りの開き具合から求めることができる。このため,焦点距離と被写界深度に対応する画像視差平面上のLMESDPについてだけ対応点探索を行ない,被写界深度から外れる領域については,単にその焦点距離から近いか遠いかを調べることにより,計算量を大幅に減少可能である。例えば,被写界深度が無限の場合には,Fig.3に示 す よ う に各 χの値 につ き最 小 値 候 補F/(ゲプ(χ),ケと′(χ-1))(″(χ)=0,1,…. 2η―χl,ゲ′(χ-1)=0,1,….,2%―χ―α)をほ1灘(2%―χ)2ィ固(%=256,χ=―- 26 -一複数の奥行き計測が可能な両眼視対応点探索並列ハードウェアアルゴリズム―ヽ―  ―Fig 9 Finding point correspOndences result(II, 郡ァideobject)0の場合,約26万個)計算する必要がある。これに対し,被写界深度の制約から20種類の″(χ)からの探索で済む場合には,1,600個程度の最小値候補だけを計算すれば良く,計算量を約1/160程度に減少可能である。Fig.11の並列プロセッサにはクロスバスイッチが備えられているため, どのような被写界深度でも最大効率での並列処理による演算遅れ時間の最小化が可能という特長を有する。6.む す び被写界深度の制約を利用すれば,焦点距離を連続的に変化させた入力画像の高域成分の変化を調べることにより,距離情報の概略を得ることが可台Bと考えられる。今後の課題 として,このような特長を利用した並列ハードウェアアルゴリズムの構成 と評価が重要 と考えられる。また,シミュレーションでは理想的な左右画像を用いているが,実際には光のあたり具合も考慮に入れたレイ トレーシングなどの概念に基づ く実用的な対応点探索アルゴリズムを検討する必要があると考えられる。さらに,2台の左右カメラの有するレンズ収差や誤差のばらつきなどを補正できるような改良も必要となる。Fig 10 Finding point correspOndences result (II, nar_row object)left eye⇔ switch forcrossbar switchis provided―n+1i=―n′―n+1/2―n+1′  _′n う=―n′  ‐′n-1′ュー1/ワ′n??????x = -2n】??????????、???、?、?＝（?）??＝＝（?）??horizontal axis inpuじLMESDP(x′土d)工L(1) IR(j)津1詣中LMESDP(X,id) (interpolaじed)IL(1+1/2)王R(j+1/2)津1米岬Fig ll Parallel prOcessor for inding point correspon‐dences―- 27 -―CCD calneraELBCCD cameraELB八戸工業大学情報システムエ学研究所紀要 第13巻参考文献1)亀山,藤岡:“ロボット用VLSIプロセッサシステム",日本ロボット学会誌,Vol 14,No l,pp_22-25(1996)2)藤岡,苫米地 :“多入力積和演算器の動的再構成に基づくステレオビジョン画像相関演算用並列プロセッサの構成",平成10年度電気関係学会東北支部連合大会講演論文集,2H―11,p 313 (1998)3)藤岡,苫米地 :“多入力積和・算術論理演算器の動的再構成に基づくステレオビジョン対応点探索用並列プロセッサの構成",1999年電子情報通信学会総合大会講演論文集,エレクトロニクス2,p133(1999)4)藤岡,苫米地 :“被写界深度の制約に基づく計算量の少ない対応点探索並列ハードウェアアルゴリズム",ロボティクス・メカトロニクス講演会'99講演論文集CD―ROM, No99-9,2P2-49-055(1999).5)藤岡,苫米地 :“動的再構成に基づくステレオビジョン対応点探索用リニアアレイプロセッサの構成",平成11年度電気関係学会東北支部連合大会講演論文集,p.276(1999.)6)徐,辻:“3次元ビジョン",共立出版,p109(1998).7)藤岡,亀山 :“ビットシリアルアーキテクチャに基づ くロボット制御用再構成可能並列VLSIプロセッサの構成",電子情報通信学会論文誌 D―X,Vol」8卜DI,No 2,pp 85-93(1998)- 28 -

A Multiple Depth Instrumentable Parallel Hardware Algorithm for Finding Point Correspondences on Stereo Vision

https://hi-tech.repo.nii.ac.jp/?action=repository_action_common_download&item_id=2603&item_no=1&attribute_id=22&file_no=1

複数の奥行き計測が可能な両眼視対応点探索並列ハードウェアアルゴリズム

複数の奥行き計測が可能な両眼視対応点探索並列ハードウェアアルゴリズム

Abstract

Similar works

Full text

Available Versions

Hachinohe Institute of Technology Repository / 八戸工業大学学術リポジトリ