Amano, Toshiyuki

Harano, Tomotaka

Kaneda, Kazufumi

Shinomura, Yuji

Tamaki, Toru

Uchida, Seiich

Name not available

(d)?????????????????????On methods for taking pedestrians' paths for prediction?? ?? y ?? ?? y ?? ? y ?? ?? yy ?? ?? y ?? ?? yyyYuji Shinomuray Tomotaka Haranoy Toru Tamakiy Toshiyuki Amanoyy Kazufumi Kaneday Seiichi Uchidayyy??????????????? y ???????????????????? yy?????????????????? yyy1 ?????????????????????????????????????????????????????????????????????? [1]?????????????????????????????????????????????????????????????????????????????????????? [2]?????????????????. ???????????????????????????????????????????????????????????? (?1:??)???????????????????????????????????????????????????????????????????????????????????????(? 1:??)???????????????????????2 ???????????????????? [2]??????????????????????????????? 2??????????2.1 ?????????????????????M ??????? N ?????????????????????????????yi ????????m = 1NPNi=1 yi ????????????????N ???????? ei?????????????? EN ????EN = [e1; ¢ ¢ ¢ ;eN ] (1)??? ei? 2M ??????????????????????M ????????????ei = (eTi1; eTi2; : : : ; eTiM )T 2 R2M (2)? 1: ??:??????.??:?????????????????????????????.2.2 ????????????????????????????????????????. ?????????? t = 1???.????? t?????????.????????????????? t?????????????????????????????????????????????????????????????s?????????????????? y0 ???????????? t???????????????????? y0 ?? s?? (s · M)??????????????y0 = (p0T1 ; : : : ;p0Ts )T 2 R2s; s ·M (3)????s + 1 · s0 · M ?????? p0s ??????????????????? p0s? 0???????p0s = 0 = (0; 0)T ???????????? 2M ??????????? y00 ????y00 = (p0T1 ; : : : ;p0Ts ;0T ; : : : ;0T| {z }(M¡s) ?)T= (y0T ; 0; : : : ; 0| {z }2(M¡s))T 2 R2M (4)????y00??????????? a? E0???????????????a = E0Ty00; E0 = diag(2sz }| {1; ¢ ¢ ¢ ; 1;2(M¡s)z }| {0; ¢ ¢ ¢ ; 0) E (5)????? (5)????????? E'?????E0TE0a = E0Ty00(6)??????????????????? y¤ ????????? E ??????????????? y¤?????y¤ = Ea = E(E0TE0)¡1E0Ty00 (7)??? rank(T ) = min(2s;N)???????????? det(T ) 6= 0???????rank(T ) = N ???????????????y00??????? p0t?? s?N=2??????????????????????????????????????????????????????3 ??? [2]?????????????? [2]??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1?????????????????????????????????????????????????????4 DP????????????? [2]??????????????????????????????????????????????????????????DP????? [3, 1]??????????????DP??????? 2?????????????????????????? (????) ????????????????????????????????????????????????????????????????????????1????????????????????????????????????????? DP?????????DP????????????????????????????????????????????????????????????????????????????????????? (??????)?M ???? DP ?????????????????M ?????????????????????????????????????? DP??????????????????A????M???????????? 2: ??????????????? (?????????????????????????????DP??????).? 1: DP???????????Pk P1 P2 P3 P4 P5 . . . PM®(Pk) a1 a2 a3 a4 a5 . . . aM¯(Pk)) b1 b2 b3 b3 b3 . . . bNB?????? 2??????????? Pk(1 · k ·M)???Pk ?????????????????????????? ®(Pk),¯(Pk)?????Pk????????????????????? a®(Pk),b¯(Pk)???? (? 1)?????????????????????????M ¸ N ????????? (? 3).5 DP?????????????????DP?????????????????????????????????????????????????????DP????????????????????????????????????????????????????????????????????????????????????????????? (? 2)????DP??????????????????????????????????????????5.1 ??????????? 4???????????????????????????A1? 3???????mpeg????????????????????? 4?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 4????????????? 30??????????????????????????????????????????????? 3: DP??????????????.5.2 ???????????????? 30???????? 5?????? 30??????????DP???????????????????????? 30????????????????? 1???????? 29?????DP??????????DP??????? 30????????????????????DP????????????????????????????????????????????????????????????????????????????????????????????????????????????????N ????????????????????????????????????????????????????????? DP?????????????????????????N ????????????????DP???????????????????????????????????????????????????????????50,150,250,350?????????????????6,7,8,9 ???????????"?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????5.3 ??? [2]???????????????????????????????????????[2]???????????????????????????????????? 10??????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 10?????????????????? s? 51,103,149??????????????????????????????????????????????????????????????? 4: ???????.???????????? DP?????????????????????????????????????6 ????????????????????????????????? DP??????????????????????????DP??????????????????????????????DP???????????????????????????????????????????????????????????????????????????????????????????????????????[1] ????, ???, ????, ???, ?????,????, ???? :?????????????????, MIRU2006 ?????????????????, pp.818{823 (2006).[2] ????,???,????,???? :???????????????????????, MIRU2007?????????????????, pp.774-779(2007).[3] ???? : ?DP??????? »????????» ?, ????????, ???? PRMU2006-166, pp.31{36 (2006). 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxstart position? 5: ??????? 30??????? 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking50estimation50? 6: 50??????????????? 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking150estimation150? 7: 150??????????????? 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking250estimation250? 8: 250??????????????? 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking350estimation350? 9: 350??????????????? 50 100 150 200 250 300 350 400 100  150  200  250  300  350  400  450  500  550  600yxo ooactual paths = 51 s = 103s = 149? 10: ?????????????????????.

On methods for taking pedstrians' paths for prediction

Hiroshima University Institutional Repository

(d)情報人物歩行予測における軌跡取得方法の検討On methods for taking pedestrians' paths for prediction篠村 祐司 y 原野 友敬 y 玉木 徹 y 天野 敏之 yy 金田 和文 y 内田 誠一 yyyYuji Shinomuray Tomotaka Haranoy Toru Tamakiy Toshiyuki Amanoyy Kazufumi Kaneday Seiichi Uchidayyy広島大学工学研究科情報工学専攻 y 奈良先端科学技術大学院大学情報科学研究科 yy九州大学大学院システム情報科学研究院 yyy1 はじめに画像処理分野において，監視システムや事前危機回避システムのために映像中の人物の認識・追跡・行動予測の研究が盛んに行われている．中島ら [1]は予め学習した人物の動作に基づいた固有ジェスチャを用いることで，追跡中の学習していない人物動作を，初期段階で動作識別する早期認識を行っている．行動予測の分野で，我々は従来法 [2]での人物歩行予測の研究を行っている. これは，固定したビデオカメラを用いてある領域内を撮影し，映像中の歩行する人物について，未来の歩行軌跡を予測するものである (図1:右図)．ここでいう人物の歩行軌跡とは，映像から切り出した各フレーム画像上での人物の重心位置座標を時系列に並べたものである．我々は予め学習した歩行軌跡から学習に基づく部分空間を作り，(図 1:左図)．部分空間を使って未来の歩行軌跡の予測を行う．2 学習部分空間に基づいた人物歩行予測従来法 [2]での人物歩行予測について説明する．ここでは，学習と追跡・予測の 2つの処理に分かれる．2.1 学習に基づいた部分空間作成同じプロット点数M に正規化された N 本の歩行軌跡を学習サンプルとして，学習を行う．すなわち，各yi から平均ベクトルm = 1NPNi=1 yi を引き，共分散行列の対角化によりN 本の固有ベクトル eiを求め，それらが張る部分空間 EN を得る．EN = [e1; ¢ ¢ ¢ ;eN ] (1)ここで eiは 2M 次元であり，歩行軌跡の各プロット点に対応するM 個の部分から構成される．ei = (eTi1; eTi2; : : : ; eTiM )T 2 R2M (2)図 1: 左図:学習歩行軌跡.右図:実際の歩行軌跡とこの画像上の人物の位置における予測歩行軌跡.2.2 部分空間を用いた歩行軌跡予測学習サンプルにはない，新たな人物の歩行軌跡を予測する. まず，追跡開始時刻を t = 1とする.次に，時刻 tまで人物を追跡する.このとき，人物を観測した歩行軌跡は t点の観測点まで存在する．ここで，学習サンプルと同じ間引きフレーム間隔，同じプロット間隔での正規化を行って再プロットし直す．s点に再プロットした追跡中の歩行軌跡を y0 とする．これにより，時刻 tまでの追跡における，正規化された歩行軌跡 y0 上の s番目 (s · M)の点まで追跡しているとする．y0 = (p0T1 ; : : : ;p0Ts )T 2 R2s; s ·M (3)ここで，s + 1 · s0 · M における座標 p0s は未観測の軌跡部分である．そこで，座標 p0sを 0とおく．つまりp0s = 0 = (0; 0)T とし，未観測部分を含んだ 2M 次元の正規化歩行軌跡を y00 とする．y00 = (p0T1 ; : : : ;p0Ts ;0T ; : : : ;0T| {z }(M¡s) 点)T= (y0T ; 0; : : : ; 0| {z }2(M¡s))T 2 R2M (4)ここで，y00の部分空間上への投影点 aは E0を用いて以下のように表される．a = E0Ty00; E0 = diag(2sz }| {1; ¢ ¢ ¢ ; 1;2(M¡s)z }| {0; ¢ ¢ ¢ ; 0) E (5)さらに，式 (5)において，固有空間 E'の性質よりE0TE0a = E0Ty00(6)ここで，未観測部分を予測した歩行軌跡を y¤ とすると，部分空間 E 上の投影点からの逆射影によって y¤が求まる．y¤ = Ea = E(E0TE0)¡1E0Ty00 (7)ここで rank(T ) = min(2s;N)である．逆行列の存在条件 det(T ) 6= 0を満たすには，rank(T ) = N である必要がある．したがって，y00を構成する座標 p0tの数 sがN=2よりも多ければよい．つまり，追跡の初期においては条件を満たさないが，ある程度観測を続けると予測が可能になる．3 従来法 [2]での歩行予測での問題点従来法 [2]での人物歩行予測では，歩行軌跡の学習傾向として，映像中では人物は等速で歩行しているという仮定を行っている．すなわち，学習する歩行軌跡は等プロット間隔になると仮定していることになる．この仮定から，学習された歩行軌跡群は同じ長さ，同じプロット間隔で正規化され，正規化後の等次元ベクトルの歩行軌跡群から部分空間を作成している．しかし，この正規化が学習の基準として正しいかどうかは検討されていない．また，各歩行軌跡のスタート地点の違いについてや各歩行軌跡毎に起こる非線形時間変動への対応は行われていない．そのため，同方向の歩行軌跡を学習する上で，スタート地点や歩行軌跡間でのプロット点の対応の有無が予測軌跡にどのような影響があるのかを検討する必要がある．そこで，学習方法の検討の 1つとして，歩行軌跡間のプロットの対応を取る場合を仮定し，その学習した部分空間に基づく予測を行う必要がある．4 DPマッチングによる学習従来法 [2]での学習歩行軌跡間で生じる事前の次元正規化を不要にし，かつ非線形時間伸縮を吸収可能な方法として正規化を考慮するためにDPマッチング [3, 1]の適応による学習を検討する．DPマッチングとは 2つのパターンの各要素対応付ける際に，対応付けるコスト (局所距離) を最小にするように対応をとる手法であり，この手法によって歩行軌跡間での時間的な伸縮をキャンセルし、軌跡の形状にて学習することができる．ここでは，1つの標準パターンの歩行軌跡を準備し，学習の歩行軌跡と標準パターンの歩行軌跡について DPマッチングを行う．DPマッチングによって改めて学習の歩行軌跡群を求めることで，歩行軌跡同士の非線型伸縮の対応を考慮した学習と予測を行うことができると考えられる．ここで，標準パターンのベクトル長 (プロット点数)をM とすると DP マッチング後の学習歩行軌跡の長さはM になる．これにより，学習歩行軌跡同士のベクトル長は等しく正規化される．以下に DPマッチングの説明を示す．標準パターンAの長さをM，学習パターンの長さを図 2: 基準歩行軌跡と学習軌跡との対応 (基準歩行軌跡上のプロット点から矢印で示される同じ番号の○がDPによる対応点).表 1: DPマッチングにおける対応Pk P1 P2 P3 P4 P5 . . . PM®(Pk) a1 a2 a3 a4 a5 . . . aM¯(Pk)) b1 b2 b3 b3 b3 . . . bNBとする．この 2つのパターンの対応点を Pk(1 · k ·M)とし，Pk における標準パターン，学習パターンでの対応をそれぞれ ®(Pk),¯(Pk)とする．各Pkにおけるマッチングコストが最小になるように a®(Pk),b¯(Pk)を求める (表 1)．今回は必ず標準パターン全てにマッチングするようにM ¸ N という制約を設ける (図 3).5 DPマッチングによる学習と軌跡予測実験DPマッチングを用いた学習と，その学習に基づいた予測を観測するため，以下のような実験を行う．まず学習のために，DPマッチングによる学習歩行軌跡同士の対応付けを行う．これは，予め標準パターンの歩行軌跡を学習歩行軌跡の中から選び，標準の歩行軌跡に対して，各学習歩行軌跡を標準歩行軌跡に対応させることである (図 2)．次に，DPマッチングによる学習を用いて，学習していない新たな歩行軌跡に対して追跡・予測を行う．5.1 実験試料本実験では，図 4に示すようなコーンを用いたコースを設け，広島大学工学部A1棟 3階より撮影方式mpegの固定ビデオカメラによって撮影を行った．図 4に示すように，コース上にスタートライン，ゴールラインを設けた．人物の歩行軌跡の取得方法としては，映像からオフライン処理によって各フレームを取得した．各フレームにおける人物中心位置は背景輝度差分法による輝度変化領域から算出した．学習用の歩行軌跡として，図 4の黒線のコースの歩行軌跡を 30人分取得した．また，追跡・予測対象用の歩行軌跡として同様のコースを通った歩行軌跡を取得した．図 3: DPマッチングによる対応の取り方.5.2 実験結果まず，計測により取得した 30本の歩行軌跡を図 5に示す．この 30本の歩行軌跡に対してDPマッチングを行った．このとき，標準パターンとして 30本の中で最も長い歩行軌跡ベクトルを 1本を選び，残りの 29本に対してDPマッチングを行った．DPマッチング後の 30本の歩行軌跡を用いて部分空間を学習した．DP後の学習歩行軌跡はすべて標準の歩行軌跡と同じ点にマッチングされている．次に，追跡・予測実験を行った．追跡する歩行軌跡は，学習と同様，各フレームにおける背景差分法によって検出した人物歩行位置の時系列データを用いる．追跡開始からN フレーム後の取得した追跡中の歩行軌跡に対して追跡時の歩行軌跡部分までと，学習の際に用いたものと同じ標準パターンとの DPマッチングを行い，マッチングが取れた後の追跡軌跡のN 点目までを新たな追跡軌跡とした．DPマッチング後の追跡軌跡を部分空間に投影・逆射影を行うことで予測軌跡を取得する．追跡・予測実験結果として，追跡開始後から50,150,250,350フレーム目における予測歩行軌跡を図6,7,8,9 に示す．尚，図中の“○"がそのフレームでの人物の現在位置を表している．追跡している歩行軌跡から取得するプロット点が増加するに従って予測軌跡の形状が実際の歩行軌跡に近付いていくことが分かる．また，既に追跡し終わったところの予測の部分に関しては，実際の歩行軌跡に沿った予測結果になっていることが分かる．5.3 従来法 [2]での人物歩行予測との結果との比較今回実験で出力した結果と比較するために，従来法[2]で使われている等プロット間隔による歩行軌跡の正規化を用いた予測について図 10に示す．これは，学習及び追跡に使用した歩行軌跡は今回の実験と同じ材料を使用している．ただし，正規化自体の方法が違うため，同じフレームもしくは同じプロット位置での比較はできない．また，正規化により，実際の歩行軌跡も短くなっている．図 10では，正規化された追跡中のプロット点 sが 51,103,149点目の時の予測軌跡を表している．追跡で取得するプロット数が増加するほど，実際の歩行軌跡に近付いているように見える．しかし，未図 4: 実験歩行コース.観測部分の予測については DPマッチングを行った予測軌跡の方が実際の歩行軌跡に近付いていることが分かる．6 まとめ今回は，人物歩行予測における学習歩行軌跡取得方法の検討として DPマッチングによる学習の正規化を適用し，予測を行った．DPマッチングと既存学習手法での予測軌跡形状における比較を行い，DPマッチングによる学習の方が予測に大きく影響を与えていることが定性的に判断できた．今後の課題としては，予測軌跡がどの程度実際の軌跡を予測できているかを定量的に評価するための評価方法の検討が挙げられる．参考文献[1] 中島正登, 森明慧, 内田誠一, 倉爪亮, 谷口倫一郎,長谷川勉, 迫江博昭 :「固有ジェスチャを用いた動作予測」, MIRU2006 画像の認識・理解シンポジウム論文集, pp.818{823 (2006).[2] 篠村祐司,玉木徹,天野敏之,金田和文 :「固有空間と零空間の組合せによる人物歩行予測」, MIRU2007画像の認識・理解シンポジウム論文集, pp.774-779(2007).[3] 内田誠一 : 「DPマッチング概説 »基本と様々な拡張» 」, 電子情報通信学会, 信学技報 PRMU2006-166, pp.31{36 (2006). 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxstart position図 5: 取得した学習用 30本の歩行軌跡． 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking50estimation50図 6: 50点目までの追跡軌跡と予測軌跡． 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking150estimation150図 7: 150点目までの追跡軌跡と予測軌跡． 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking250estimation250図 8: 250点目までの追跡軌跡と予測軌跡． 50 100 150 200 250 300 350 100  150  200  250  300  350  400  450  500  550  600yxoactual pathtracking350estimation350図 9: 350点目までの追跡軌跡と予測軌跡． 50 100 150 200 250 300 350 400 100  150  200  250  300  350  400  450  500  550  600yxo ooactual paths = 51 s = 103s = 149図 10: 等プロット間隔正規化手法に基づいた予測軌跡.

人物歩行予測における軌跡取得方法の検討

http://ir.lib.hiroshima-u.ac.jp/files/public/2/21524/20141016141142329315/20071020HISS_shinomura.pdf

On methods for taking pedstrians' paths for prediction

Abstract

Similar works

Full text

Available Versions

Name not available

Hiroshima University Institutional Repository