Go Katsuyama

Hideyuki Shimada

Mitsuru Shiono

Yoshiya Miyagaki

カツヤマ ゴウ

シオノ ミツル

シマダ ヒデユキ

ミヤガキ ヨシヤ

勝山 剛

塩野 充

宮垣 嘉也

島田 英之

勝山, 剛

カツヤマ, ゴウ

Katsuyama, Go

島田, 英之

シマダ, ヒデユキ

Shimada, Hideyuki

塩野, 充

シオノ, ミツル

Shiono, Mitsuru

宮垣, 嘉也

ミヤガキ, ヨシヤ

Miyagaki, Yoshiya

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

部分画像列からのパノラマ画像生成法剛・島田英之・塩野充・宮垣嘉也岡山理科大学工学部情報工学科（1998年10月５日受理）勝山１．まえがき近年，画像処理技術の発展が目覚ましく，テレビジョン，ファクシミリ，コンピュータ端末などさまざまな方面に応用されている。また，コンピュータや周辺技術の発展に伴い，画像処理の手法も多様化している。そこで，自分で撮った写真を合成するために，パソコンのアプリケーションソフトなどで画像を加工し，手作業でひとつずつ画像を合成し，ひとつのパノラマ画像に合成するなどの需要も多くなってきた。しかし，空間的な画像の歪み，明るさやコントラストのずれのために，手作業では正確な合成が不可能な場合が多く，たとえ合成できても大変な手間と時間がかかる。そこで本研究では，部分画像列を，その位置，大きさ，傾きを指標となる画像に合わせて補整を行う。しかし，それだけでは明るさやコントラストなどが違う画像を合成すると継ぎ目が目立って，違和感のある画像となる。そこで，本稿では明るさやコントラストの違いを解消するための補整を行い自動的に歪みや継ぎ目のないパノラマ画像に合成する手法について述べる。２．関連する各種技法２．１２Ｄ投影変換投影変換')の一般的な表現は，次の通りである。IilH;｛ iliilIil１４７加加腕 ｏｒｕ'＝Ｍｕ (1)腕o〃＋醜,ひ＋”２上〃〃妬 (2)腕6〃＋〃７２ﾉ＋1.0”3〃＋腕4〃＋”５ｙ｜，〃ｙ (3)”6〃＋加７２ﾉ＋１．０平行移動の場合のⅢ192 勝山剛・島田英之・塩野充・宮垣嘉也M-j鱗｜腕5はｙ方向の移動量。(4)”は妬方向の移動量，拡大・縮小の場合のⅢⅢ-IiMll”oは苑方向の拡大・縮小，加4はｙ方向の拡大・縮小。回転の場合のＭ(5)Ⅲ-儒三瀞原点を中心として反時計回りにβだけ回転。'１ (6)せん断の場合のⅢM臺縢 1１〃Z１１〃４００ (7)ここで，〃は同次座標であり，任意の０でないスカラー量である。同次座標表現では，〃次元の問題を〃＋１次元の問題として取り扱え，同次座標(jr',ｙ'〃')をz(ﾉ'で割ることにより通常座標(ｊＭ)を得る。２．２補間法画像の大きさの変換を行う場合，変換前の画像の座標と交換後の座標の対応が必ずつくとは限らない。そこで，対応付けの時に補間の必要が生じる。そこで，変換画像の一つの画素を(jvMo)とする。（１）（j､,yO)の変換前の座標("0,DC)を，変換式を用いて求める。（２）求めた座標("Ｍﾉo)の近くにある画素の値を使って,補間により（jro,yO)の値を求める。補間の方法としては，最近傍法や線形補間法などがあるが，本研究では，線形補間法を用いた。２．２．１線形補間法線形補間法とは,図１のように座標("0,2ﾉ｡)のまわりの４つの画素を用いて,線形に補間して求めることである。式は，次のようになる。部分画像列からのパノラマ画像生成法 193〃’〃'＋１Ｖ’ｖ＋１図１線形補間/("0,2ﾉ｡)＝／("',zﾉ')(１－α)(１－β）＋/("'＋1,z/)α(１－β）＋/("''2/＋1)(１－α)β＋/("'＋1,"'＋1)αβ (8)２．３最小２乗法最小２乗法2)3)は，需要予測や回帰分析4)などの予測をするときなどに多く用いられる。実験や調査などで得られたデータは，種々の誤差を含んでいるが，最小２乗法は，ある程度は，これらの誤差を打ち消すような効果を持つ。今，〃個の独立したデータの組を（兀柳ｺﾞ）（ノー1,2,…，〃;ただし〃＞，）とすると，このデータ区間の範囲内[，rボル]における近似関数が，，(の，次多項式Ｙ(jr)＝a1jr＋α2兆2＋…＋αPjrp＋αｏ （９）で表せるとすると，各点におけるＹ(jr`）と，ツガとの残差は，ｅ(jri)＝Ｙ(娘)－yガ（ノー1,2,…，〃）００）となる。また，この残差の２乗和をＥとすると，Ｅは，194 勝山剛・島田英之・塩野充・宮垣嘉也〃 〃E＝菖eい)2＝冨{Y(jに`)-j′`}， (11）で示される。このＥが最小となるようにαﾊﾞﾉ＝0,1,.…,，)を定めるのである。このαjの値を求めるためには，Ｅを各αjに関してそれぞれ偏微分することによって，次のように得られる゜器一念倉(Y(錘)-,卜2菖(Y(菰)洲且耆卜:△〃〃=2菖{Y(駈)-y`}ｊｒｉｊ＝０ ⑫したがって，次のような係数に関する，＋１元連立１次方程式が得られる。｜’｜’｜｜●ロロ一㎡酢，・酌．，．〃図伺〃皿御〃欧包．（》戸二」（》】。ムエ彦二ααα＋＋＋●●●●●●●●●●●●＋＋＋●ロロ一十蝦猿。・・，．〃Ｚ甸河ｚ匂〃ｎ割。□■●①■■△●ロ■△ａαα＋＋＋●●■●ユ（》』。●●クレ尤妬〃〃ｚ何〃ｚ甘く叩叩）（凪叩》《叩叩》ａαα１１１〃Ｚ〕ノガガー１〃Ｚｗｒｉｉ＝１ ⑪〃Ｚｗｒ’i＝１これはガウスの正規方程式と呼ばれている。これを行列一ベクトル記法で表すと，Ａ･ａ＝ｂ (1０となる。Ａは次式の係数行列，ｂはベクトルで既知数である。鴎三川層」 ⑱Ａ･ａ＝〃ただし，記号zは三の意味である。ｉ＝１係数?行列の行列式の値が０でなければ，すなわち，行列の行列式の値が０ ，，＋１個の方程式が互いに独立であれば，式05)はただ１つの解をもつ。求められた解の(ノー0,1,…,，)を式(9)に代入すれば，得られたデータに近似した曲線Ｙ(jr)を求めることができる。本研究では，２枚の画像Ａ，Ｂの対応する画素を２，投影変換で求め，画像Ｂを変形させる。画像Ａの濃度値をＩ，補間された画像Ｂの濃度値をＩ'とする。２．３．１濃度差の２乗和次に画像Ａ，Ｂの対応するすべての画素における濃度差ａと濃度差の２乗和Ｅを求める。そのときの式は次の通りである。部分画像列からのパノラマ画像生成法 195ｅ＝Ｉ'(jr',ｙ')－１(ｊＭ）Ｅ＝二[I'(苑1,y;)－１(ｊｒｗｉ)]2＝＝e；(１０⑰ｊは画像Ａ，Ｂの対応する画素数。２．３．２濃度差の偏導関数非線形最小２乗法5)により，濃度差の２乗和Ｅを最小にするためにアフイン変換行列Ｍに関する濃度差の偏導関数を求める必要があり，その式は，次の通りである。器－号÷響十号÷響 (1０ﾙｰo〃〃器,器…濃度勾配濃度勾配については次で説明する。２．３．３濃度勾配濃度勾配は，画像の縦方向と横方向の濃度変化である。縦方向はｙ，横方向はjrである。今回は，中心差分法を用いて濃度勾配を計算している。計算式は次の通りである。匹砒〃｜⑪I'(x＋1,ｙ)－１'(jr-1,ｙ ’２ 09r(jr,ｙ＋1)－１'(jc,ｙ－１２２．３．４近似へツセ行列と重み付き勾配ベクトル近似へツセ行列と重み付き勾配ベクトルの式は次の通りである。Ａ“＝ｚ２２Ｌ.且ＥＬｆ８〃ん８”ん一二｡‘潟ノレ＝0,1,...,7ノー０，１，…，７式帥が近似へツセ行列で，式(21)が重み付き勾配ベクトルである。近似へツセ行列Ａと重み付き勾配ベクトル６は⑪(21）AliilHiilHかjｌ 伽のように表す。Ａは８行８列の行列で，６は８行１行の行列になる。196 勝山剛・島田英之・塩野充・宮垣嘉也次に，卿Ａ･△ｍ＝６より行列Ｍを求める。そのために，Ａの逆行列を求めて解くと，△ｍ＝Ａ-１６ ㈱のようになり，行列Ｍが求まる。３．合成処理全体の手順として，画像の取り込み→歪みの補整→明るさの補整→画像の合成という流れで行う。以下では，各手順について述べる。３．１画像取り込みデジタルカメラを用いて重複領域のある数枚の写真を撮る｡画像サイズはそれぞれWidthを160,Ｈeightを120とする。画像は，白黒濃淡画像とする。３．２歪みの補整歪んだ画像を，そのままで正確に合成することは不可能である。そこで，歪んだ画像を歪みのない画像に補整する必要がある。歪みの補整の手順を以下に示す。（１）歪みのない画像にするために，２枚の画像のＡ，Ｂの対応する画素を２，投影変換により求める。だが２，投影変換行列Ｍの値がわからないので，初期値を単位行列として計算する。（２）求まった対応するすべての画素間の濃度差の２乗和を式(17)より求める。（３）非線形最小２乗法により,変換行列Ｍに関する濃度差の偏導関数を式(18Ｉより求める。そのために，画像の苑方向とｙ方向の濃度勾配を式09より求める必要がある。（４）近似へツセ行列と重み付き勾配ベクトルを式00)と式(21)より求め，式(23Ｉに代入し，近似へツセ行列の逆行列を求め，重み付き勾配ベクトルとの積を求め，行列Ｍの増加分△伽の値を求める。（５）行列Ｍに行列Ｍの増加分△、を加える。（６）手順１～５を濃度差の２乗和が収束するまで繰り返し,最終的な変換行列Ｍの値を決定する。（７）最終的に求まった変換行列Ｍで，画像Ａの位置に合わせて歪みの補整を行う。このようにして歪みの補整を行った。３．３明るさの補整歪みの補整をし，画像を合成すると，明るさが違う画像の場合，画像の継ぎ目がはっきりと見えてしまう。そこで，継ぎ目をなくすために最小２乗法を用いて片方の画像に合わ部分画像列からのパノラマ画像生成法 197せて明るさを補整する。明るさの補整の手順を以下に示す。（１）画像Ａと画像Ｂの対応する画素の濃度値の関係式を作る。その式は次のようになる。ｙ＝α11'(兀',ｙ')＋czoe＝Ｉ(ｊＭ)－ｙ閲㈹（２）２枚の対応するすべての画素間の濃度差の２乗和を求める。（３）最小２乗法により，濃度差の２乗和をα,，αoで偏微分する。その値が０の時，濃度差の２乗和が最小となり，その時のα,，αoを求める。（４）そのために連立一次方程式を解き，α,，αoを求める。（５）求まったα,，czoで画像Ａに合わせて明るさの補整をする。このようにして明るさの補整を行った。３．４画像の合成画像を合成する際には，エッジを目立たなくするために画像中心からの距離に応じて図２のような荷重平均を用いて，最終的な濃度値を決定し，合成する。次式において,〃は画像中心から離れるにしたがって小さくなる重み,Ｉは各画像の濃度，Ｈは最終的な濃度値を示す。Ｈ(妬,ｙ)＝ (27）以上の処理で合成画像を作成できる。４．実験結果と考察４．１実験結果本研究での処理結果を図３に示す。（１）画像の取り込み白黒画像で，大きさはWidthl60，Heightl20で取り込んだ。その例を図３に示す。また，図３の画像Ｂは異なる明るさで取り込んだ。（２）歪みの補整３．２節で述べた手順により画像を処理する。図３の画像Ｂを画像Ａに合わせて歪みの補整をした画像を図３の(d)に示す。（３）明るさの補整３．３節で述べた手順により画像を処理する。図３の画像Ｂを画像Ａの明るさに合わせて明るさの補整をした画像を図３の(f)に示す。198 勝山剛・島田英之・塩野充・宮垣嘉也０⑩（ｘ）図２荷重平均（４）画像の合成３．４節で述べた手順により画像を合成する。図３の画像Ａと画像Ｂを合成した画像を図３の(9)に示す。４２考察（１）歪みの補整について本研究では,２，投影変換を用いて指標とする画像の位置に合わせて歪みのない画像に変形させるという補整を行った。大部分が重なっていないと補整が出来ないが，手動である程度移動させると補整を行うことが出来た。また，明るさがあまりに違う場合，歪みの補整がうまく出来ないことが分かった。(2)明るさの補整について２枚の画像の重なった部分の濃度値を，最小２乗法を用いて近づけることにより，明るさの補整を行った。式０５)のα,でコントラストを，αoで明るさを補整することが出来た。(3)画像の合成について歪んだ画像でも，明るさやコントラストの違う画像でも上の２つの補整を行うことにより，きれいな合成画像を作成することが出来た。しかし，画像によっては雑音や継ぎ目が目立つ場合もある。部分画像列からのパノラマ画像生成法 199(a)原画像Ａ (b)原画像Ｂ(c)歪み補整後の画像Ａ (d)歪み補整後の画像Ｂ(e)明るさ補整後の画像Ａ (f)明るさ補整後の画像Ｂ(9)合成画像（Ａ＋Ｂ）図３合成結果５． まとめ本研究では，いくつかの画像を合成して大きな１枚の画像を作成することを目的とする部分画像列からのパノラマ画像生成法について述べた。本研究で得られた結論を以下に述べる。本研究では，２，投影変換と非線形最小２乗法を用いて，歪みの補整を行った。歪み補整する際に，濃度勾配によって補整を行っているので，明るさの異なる画像である場合も歪み補整を行うことが出来た。明るさの補整には，最小２乗法を用いた。歪みの補整が正しく行えると明るさの補整もうまく行うことができた。本研究では，２つの補整をすることにより，自動的に歪みや継ぎ目のない合成画像を得ることができた。本研究の改良点として，次のことが挙げられる。勝山剛・島田英之・塩野充・宮垣嘉也200(1)本研究で使用した歪みの補整の手法では，画像の重なりが少ない場合正しく補整が出来ない。現状では手動により移動させているので，画像のおおまかな位置合わせを行う前処理が必要である。(2)歪みの補整では，濃度差の２乗和Ｅが収束すると補整が終わる.しかし，収束の判定を行っていないので，Ｅの値や反復回数にしきい値を設けるなどの方法で収束判定をするプログラムが必要である。(3)本研究では，白黒画像だけを取り扱っていて，カラー画像は，取り扱っていない。そこで，カラー画像にも対応できるプログラムが必要である。(4)画像を合成するまでの時間が非常にかかる｡そこで,計算速度の高速化が必要である。参考文献１）小堀研一，春日久美子箸：“基礎から学ぶ図形処理"，工業調査会（1996)．２）竹本宜弘，荒実箸：ｗＣによる数値計算，'，朝倉書店（1987)．３）川上一朗著：《《数値計算''，岩波書店（1989)．４）有馬哲，石村貞夫箸：賦多変量解析のはなし'，，東京図書株式会社（1987)．５）RichardSzeliski：《VideoMosaicsforVirtualEnvironments"，IEEEComputerGraphicsandApplication,Marchl996,ｐｐ２２－３０（1996)．部分画像列からのパノラマ画像生成法 201AMethodofMakingaPanorarniclmagefromPartialScenesGoKATsuYAMA，HideyukiSHIMADA，MitsuruSHIoNoandYoshiyaMIYAGAK１Ｇｍ〃α花Schooノｑ／ＥｿZgj"ｃｃガブＺｇＤ"α、,zc7ztq／Ｉ）Z/b”αがo〃＆α”伽γＥ'Zg/"Ce""gF1zzc"/bﾉｑ／Ｄｚｇｊ"“""ｇｏﾉｾcZyZz”αＵ)Citﾉeぶｊ１ｙｑ／Ｓｃね"cc，」Ｗｔｚｊ.ｃｈｏＩ－Ｚ，OADzZyZz加α７り0-0005ノヒZPα〃（ReceivedOctober5,1998）Ｉｔｉｓｖｅｒｙｄｉｆｆｉｃｕｌｔｔｏｍａｋｅａｎｅｘａｃｔpanoramicimagemanuallyfromwarpedimageandtakenunderdifferentlightscenes､Ａｎｄｔｈｉｓｗｏｒｋｔａｋｅｓａｇｒｅａｔｄｅａｌｏｆｔｉｍｅｌｎｔｈｉｓｐａｐｅｒ，wehavedescribedamethodofmakinganexactpanoramicimagefrompartialscenes．(1)Theusercangetanexactandfinepanoramicimageeasilyfromdifferentlightsceneswiththismethod．(2)GatheringalotofpicturesmakeitpossibletocreateahighresolutionimageWecangetapanoramicimagewithnojointbythismethod．

ブブン ガゾウ レツ カラノ パノラマ ガゾウ セイセイ ホウ

https://ous.repo.nii.ac.jp/?action=repository_action_common_download&item_id=1591&item_no=1&attribute_id=18&file_no=1

ブブンガゾウレツカラノパノラマガゾウセイセイホウ

Abstract

Similar works

Full text

Available Versions

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

ブブン ガゾウ レツ カラノ パノラマ ガゾウ セイセイ ホウ

Abstract

Similar works

Full text

Available Versions

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

ブブンガゾウレツカラノパノラマガゾウセイセイホウ