京都大学新制・課程博士博士(情報学)甲第23543号情博第773号新制||情||132(附属図書館)京都大学大学院情報学研究科知能情報学専攻(主査)准教授 延原 章平, 教授 西野 恒, 教授 西田 眞也, 教授 佐藤 いまり(国立情報学研究所)学位規則第4条第1項該当Doctor of InformaticsKyoto UniversityDFA

Meng-Yu, Jennifer Kuo

English

Kyoto University Research Information Repository

RIGHT:URL:CITATION:AUTHOR(S):ISSUE DATE:TITLE:Refraction and Absorption forUnderwater Shape Recovery(Abstract_要旨 )Meng-Yu, Jennifer KuoMeng-Yu, Jennifer Kuo. Refraction and Absorption for UnderwaterShape Recovery. 京都大学, 2021, 博士(情報学)2021-09-24https://doi.org/10.14989/doctor.k23543  （ 続紙 １ ）                             京都大学 博士（情報学） 氏名 郭 孟妤（Kuo, Meng-Yu Jennifer） 論文題目 Refraction and Absorption for Underwater Shape Recovery （屈折と吸収のモデル化による水中物体の３次元形状復元）  （論文内容の要旨）  画像を入力とした３次元形状復元は２次元へと縮退した情報から３次元の情報を推定する不良設定問題であり，これまでにも多視点幾何，陰影，輪郭形状など様々な制約条件を活用した手法が研究されてきたが，これらの手法の多くは空気中での撮影が想定されていた．これに対して水中物体の３次元形状復元では，２次元へと縮退した投影像からの形状推定という困難さに加えて，光の屈折，吸収，散乱などによる撮影画像の変化についても同時に解決しなくてはならない．一般に屈折量，吸収量，散乱量は視点から被写体までの距離，つまり復元対象である被写体の形状そのものに依存するため，両者は鶏と卵の関係にある．  本論文では屈折や散乱を明示的にモデル化すると同時に，水による光の吸収量が水中での光路長，つまり被写体までの距離に依存し，かつその吸収係数が波長依存であることに着目して，異なる波長で計測された同一物体の輝度の違いから，光の吸収を利用した３次元形状・運動計測手法を提案するものであり，７章から構成される．  第１章では，まず水中３次元形状計測には生物学など数多くの応用が存在することを述べるとともに，水中撮影で生じる光の屈折，吸収，散乱によって，従来の空気中での撮影を想定した３次元形状計測アルゴリズムでは正確な計測を行うことができないことを指摘している．またそのうえで，これらの光の屈折，吸収，散乱の過程をモデル化し，逆に利用することで，水中物体の３次元形状計測が可能となることを提案している．  第２章では，従来の研究として空気中での３次元形状計測，水中での３次元形状計測，部分計測の統合による全周囲３次元形状計測法について概観するとともに，本研究の位置づけについて述べている．特に従来手法では，各画素において被写体表面までの距離と，表面の法線方向を同時に得ることが不可能であった一方で，提案手法では，水という媒質によって生じる光の吸収が波長依存であることを積極的に利用することによって，距離と法線の同時推定が可能となる点に新規性がある点を指摘している．  第３章では，水中物体を撮影するための屈折光学系における計測モデルについて述べている．まず光の吸収がBeer-Lambert則に従うこと，そして吸収率が異なる波長で撮影された計測輝度の比から光路長を計算することができることを述べたのちに，媒質による拡散が直接光に対する畳み込み演算によって近似できることを述べている．特に水中においては波長850nmから950nmの近赤外光で光の吸収率が急峻に変化し，かつこの波長帯域が一般的な画像センサーによって撮像可能であることを指摘し，提案手法が実現可能であることを示している．続いて水-カメラ間に存在するハウジングによって生じる屈折を，画素依存焦点距離を備えたaxialカメラモデルによって表現することができること，また光源からの照射光が屈折面によって反射，屈折してカメラに届く過程がフレネル反射として表現できることを述べている．  第４章では，正射影撮影および平行光源環境を仮定したうえで，波長と照射角によって決まる実効吸収率という概念を導入し，この実効吸収率が異なる４つ以上の光源の下で撮影された画像を入力として，水中物体の３次元表面形状を画素単位の奥行きと法線方向として推定するアルゴリズムを導出するとともに，そのアルゴリズムが一意な解を得ることができる条件を，実効吸収率を用いて証明している．またこのアルゴリズムに基づいて形状が既知である物体を撮影することによって，逆にカメラと光源の位置姿勢を同定するためのキャリブレーション手法についても示している．    第５章では，より一般的な透視投影撮影および点光源環境へと手法を拡張し，さらに複数フレームにわたる計測を統合して全周囲３次元形状計測を実現する手法を示している．本章では水中を移動する被写体を各時刻において撮影し，各時刻で得られた奥行情報と，映像から得られるオプティカルフローを組み合わせることで３次元のシーンフローを得ることができること，そしてこのシーンフローから撮影中に生じた被写体の非剛体変形を推定し，その逆変換を用いることで１つの統合された全周囲３次元形状を得ることができることを示している．また水中での３次元位置が既知である点を１点計測することで，点光源位置がある円錐上に制約されることを導出し，この制約を複数点から得ることで点光源位置の同定を行うキャリブレーション手法を提案している．  第６章では，透視投影環境において，形状に加えて表面法線も同時に得ることができる手法について示している．本章では被写体が剛体であることを仮定して，被写体の周囲をカメラが移動しながら撮影することで全周囲３次元形状計測を行う．このとき各時刻で得られた部分的な被写体形状からカメラの相対的な位置を推定し，第４章で定義した実効吸収率が異なる４光源を用いた手法を，時間方向に計測を統合することで実現している． 第７章では，本論文の目的と提案手法のまとめを行うとともに，今後の課題と応用について議論をしている．     （続紙 ２ ）                            （論文審査の結果の要旨） 本論文は画像計測による水中物体の３次元形状復元に取り組んだものであり，水中撮影に伴う屈折や散乱を明示的にモデル化すると同時に，水による光の吸収量が水中での光路長，つまり被写体までの距離に依存し，かつその吸収係数が波長依存であることに着目して，異なる波長で計測された同一物体の輝度の違いから，光の吸収量の比を利用した３次元形状・運動計測手法を提案している．本論文によって得られた成果は以下の通りである． （１）正射影かつ平行光源環境において，波長と照射角によって決まる実効吸収率という概念を導入し，この実効吸収率が異なる４つ以上の光源の下で撮影された画像を入力として，水中物体の３次元表面形状を画素単位の奥行きと法線方向として推定するアルゴリズムを導出するとともに，その有効性を実物体の計測によって定量的に示した．また考案したアルゴリズムが一意な解を得ることができる条件を証明した． （２）透視投影かつ点光源環境において，複数フレームにわたる計測を統合して全周囲３次元形状計測を実現する手法として，撮影中に生じた被写体の非剛体変形を推定し，その逆変換を用いることで１つの統合された全周囲３次元形状を得ることができるアルゴリズムを考案するとともに，その有効性を実物体の３次元形状計測によって定量的に示した． （３）透視投影かつ点光源環境において，奥行き形状に加えて画素単位の表面法線も同時得ることができる手法として，被写体の形状自身からカメラ位置を推定し，実効吸収率が異なる撮像を異なる時刻から得ることで，物理的には１つの光源であったとしても，仮想的に対象表面上の各点を異なる波長で撮影した状況へと変換して推定を行うアルゴリズムを考案した． （４）点光源の位置を撮影画像から推定するキャリブレーション手法として，水中での３次元位置が既知である点を１点計測することで，点光源位置がある円錐上に制約されることを導出し，この制約を複数点から得ることで点光源位置を推定する手法を考案した． 以上本論文は，水中環境における光の吸収，屈折，散乱を明示的にモデル化した３次元形状計測アルゴリズムと光源位置のキャリブレーション手法を考案するとともに，実画像を用いた実験によってその有効性を実証したもので，形状推定に関する知見は，コンピュータビジョンによる画像解析による実世界理解の新たな方向性と応用先の可能性を示すものであり，学術上、実応用上貢献するところが少なくない．よって，本論文は博士（情報学）の学位論文として価値あるものと認める． また，令和３年８月３０日に論文内容とそれに関連した口頭試問を行った結果合格と認めるとともに，論文のインターネットでの全文公表についても支障がないことを確認した．  要旨公開可能日：     年   月   日以降   

屈折と吸収のモデル化による水中物体の３次元形状復元

https://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/266071/2/yjohk00773.pdf

屈折と吸収のモデル化による水中物体の３次元形状復元

Abstract

Similar works

Full text

Available Versions

Kyoto University Research Information Repository