早大学位記番号:新7515早稲田大

Iwamoto Naoya

早稲田大学博士（工学）早大学位記番号:新7515doctoral thesi

岩本, 尚也

64960

Iwamoto, Naoya

Waseda University Repository

  早稲田大学大学院 先進理工学研究科     博 士 論 文 概 要       論  文  題  目   Physics-based Animation Beyond Capture Data        申  請  者  Naoya  IWAMOTO  岩本  尚也  物理学及応用物理学専攻 画像情報処理研究      2016 年 12 月           近年，キャプチャデバイスの発達によって，静的及び動的な三次元オブジェクトを容易に取得できるようになった．それでもなお，複雑なトポロジー変化を伴う流体やクロス，ヘアといった物理的オブジェクトや身体の皮膚の動きといった複雑な姿勢や変形が伴う同物体のキャプチャは容易ではない．そこで我々は，現在のキャプチャ技術と物理シミュレーション技術を駆使し，実空間での再現が困難なシーンへのリターゲット，キャプチャだけでは取得しきれない微細な動きの再現，そしてキャプチャした動きからの実時間の動作生成と編集を実現する手法を三つのプロジェクトを通じて提案する． 本論文は，全五章で構成されており，以下に各章の概要を記す．   第一章 : I nt ro d uct io n 本論文の背景として，まずコンピュータグラフィックス分野におけるキャラクタアニメーションや物理シミュレーションの制作背景を振り返る．その後，映画とゲームにおける映像制作の技術発展について触れ，その差が今後ハードウェア技術の発展によってより縮まってくることに関して言及する．そして近年のキャプチャデバイスの登場により，映像制作全般のワークフローが変わりつつある現状と未だ残されているキャプチャ技術の課題について述べ，以後紹介する三つのプロジェクトがその課題を解決するためのものである位置付けを示す．   第二章 : E s t i ma t i ng  Fl u i d  S i mul a t io n P ar a me ters  fro m V i deo  本章では，キャプチャの対象を液体とし，液体の動的三次元復元とその液体形状の動きからのパラメータ推定について提案する．本研究では，従来課題であった映像制作における流体シミュレーションのパラメータ設定の困難を解決するだけでなく，液体のパラメータ推定を行うことでキャプチャしたものをそのまま表示するのみならず，同じ印象の液体を異なるシーンへとリターゲットすることも可能にする．液体の動的な三次元復元には，プロジェクタからのパターン光投影による三次元復元手法を用いる．本手法では，液体に白い絵の具を混ぜ，その液面にプロジェクタからパターン光を当てることで，その液面の歪みから液面の三次元形状を取得可能である．液体へ与える力は，人の手によって発泡スチロール製の白球を左右に揺らすことで与える．その際，その白球も液面と同時に三次元復元することで，復元形状からその球の位置を推定する．取得した球の三次元移動は，実空間と同一の環境を構築した仮想空間上の液体に対しての入力とする．その後，復元した液面形状と仮想空間上のシミュレーション結果で，液面の高さを評価関数とし，その誤差が小さくなるようシミュレーションのパラメータを最適化していくことで実物の動きと同一の動きを再現するシミュレーションパラメー   No.1       タを推定する．結果として，シミュレーション同士で行うクローズドテストにおいてその誤差が小さくなるようにパラメータが最適化していると共に，その動きも近づいていることを示す．またオープンテストとして，実際にキャプチャされた液体からパラメータを推定し，その液体を異なるシーンにシミュレーション上でリターゲットした際に，初期値と最適化後の値でどのような挙動変化が生じたかを示す．   第三章 : U p -s a mp l i ng  o f  L iq ui d  S ur fa ce  本章では，まず第二章で述べた液面の三次元形状復元手法の制限として，液面上に細かいノイズが残ってしまう問題について言及する．一般的にノイズののったメッシュにはスムージングをかけて滑らかにすることでノイズを除去するが，液面に対 して 行うと 本来 生じ ている 液面 の伝搬 情報 まで失 われ てし まう． そこ で我々はスムージングされたメッシュに対して新たに波面のシミュレーション結果を付与することで，本来生じている液面表現を再現する手法を提案している．その手段として，キャプチャした液体の連続的な形状からフレーム間での頂点の遷移を近傍探索手法や頂点の法線を基にしたトラッキング手法で求め，波が生じる場所及びタイミングを求める手法を提案している．本手法で得られた情報から二次元の波動方程式を解き，その波面情報を三次元表面に凹凸を付与するディスプレイスメントマップと呼ばれる手法によって液体の三次元形状に付与する．本手法は従来法に比べ，メッシュを入力とすることで流体のシミュレーションモデルに対する依存性をなくすと同時に，計算負荷の低い波動方程式計算を用いることで他手法に比べて実時間性の高い液面の高解像度化を実現している．本研究では，実際にキャプチャした液体ではなく，流体シミュレーションによって取得した形状に対して液面高解像度化を行ったが，今後の発展として，たとえキャプチャによって細かい動きが得られなかった場合にも，実時間でその細部の情報を付与が可能であるため，あたかもその形状が実際に得られているかのような体験を生み出すことが期待できる．   第四章 : R e a l -T i me  D y na mi c  C har a c ter  D e fo r ma t io n  本章では，キャプチャの対象を人体の筋肉や脂肪によって皮膚上に生じる二次的動作に移し，現状のキャプチャデバイスでは皮膚のトラッキングが困難であることを踏まえ，キャプチャ可能な人体のスケルトンの動きから本来生じる二次動作を生成する手法について提案する．本研究では，第二章のようなキャプチャした対象と近い結果を得る目的とは異なり，アーティストが映像制作のためにキャプチャした情報に対し，様々な編集が可能にすることが目的となる．本研究を実現   No.2       する上で，筋肉や脂肪といったアナトミカルなキャラクタモデルの構築，実時間でロバストな二次動作生成及びアーティストの直感的なパラメータ編集フレームワークといった三つの課題を解決する必要がある．本研究では従来のアナトミカルモデリング手法に比べ，アナトミカルなデータベースを一切用いないプロシージャルモデリングを実現し，アナトミカルな知識やモデリングソフトの経験が必要のないアマチュアユーザにも使用できるようにデザインされている．また，実時間でロバストな二次動作生成を再現するために，従来研究で提案されている実時間向けの弾性体シミュレーション手法である Shape Matching や Lattice Shap e Matching 手法に加え，様々な制約を考慮することで様々な物体の物理的挙動を定義し，再現することができる Position-based Dynamics との統合も行う．その結果，従来研究ではスケルトンの動きが激しい際に二次動作形状が破たんしてしまう問題を解決し，より滑らかな動きを実現している．最後に直感的なパラメータ調整のためのフレームワークについて提案している．初めに，従来の 3D モデリングソフトウェアでは体積を持ったモデルやキャラクタの内部に対してパラメータを直感的に与えることが困難といった問題点を指摘し，その問題を解決する手法として，表面に与えたパラメータが内部へ伝搬する手法を提案している．その手段として，まず入力となるキャラクタのメッシュをボクセライズし，そのボクセルの隣接関係から表面ボクセルとその法線方向を定義する．その表面ボクセルから内部への最短距離を計算し，各ボクセルにその距離を与えると共に，法線がその距離の値に応じて内部に行くにつれて減衰していくようなモデルを構築する．アプリケーションとして，ユーザはキャラクタのメッシュ上にパラメータを与え，その頂点が埋められているボクセルから内部へとそのパラメータが伝搬していく仕組みとなっている．以上，三つの課題を解決することで，従来困難であったキャプチャした動きからの実時間生成と実時間編集を可能にした．最後にデモとして，Kinect と呼ばれる被験者 (アクター )のスケルトンの動きをキャプチャ可能なデバイスを用いて，実時間かつロバストなキャラクタコントロールと編集の実現可能性を示した．    第五章 : C o nc l us io n  本章では，本論文で紹介した三つのプロジェクト (パラメータ推定，高解像度化，実時間生成及び編集 )を通じて，キャプチャデータでは取得しきれない情報を物理ベースアニメーションによって再現するアプローチについて総括する．また今後の研究の方向性として，キャプチャ対象を物理モデルだけに限定せず，大量かつ様々なキャプチャデータを用いたモデル生成の可能性について述べる．    No .3     Ｎｏ.1 早稲田大学 博士（工学） 学位申請 研究業績書 氏 名   岩本 尚也     印 （ 2017 年 2 月 現在） 種 類 別   題名、  発表・発行掲載誌名、  発表・発行年月、  連名者（申請者含む） 〇論文 (講演) (査読有) Naoya Iwamoto，Hubert P.H. Shum, Longzhi Yang, Shigeo Morishima , “Multi-layer Lattice Model for Real-Time Dynamic Character Animation”, Computer Graphics Forum. 34 (7): p99-109, (Pacific Graphics 2015), 2015.10. 〇論文 (査読有) 岩本尚也，森島繁生, “キャラクターの身体構造を考慮した実時間肉揺れ生成手法”, 画像電子学会誌 第 44巻,第 3号, p502-511, 2015.7. 〇講演 (査読有) Naoya Iwamoto, Shigeo Morishima, “Material Parameter Editing System for Volumetric Simulation Models”, ACM SIGGRAPH 2014, 10, 2014.7. 講演 (査読有) Naoya Iwamoto, Ryusuke Sagawa, Shoji Kunitomo, Shigeo Morishima, “Estimating Fluid Simulation Parameters from Video”, ACM SIGGRAPH 2011, 3, 2011.7. 講演 (査読有) Naoya Iwamoto, Ryusuke Sagawa, Shoji Kunitomo, Shigeo Morishima, “Estimating Fluid Simulation Parameter from Videos”, ACM SIGGRAPH / Eurographics Symposium on Computer Animation (SCA), 2011.7. 講演 (査読有) 岩本尚也，森島繁生, “多重レイヤーボリューム構造を考慮した キャラクターのリアルタイム肉揺れアニメーション生成手法”, Visual Computing / グラフィクスと CAD 合同シンポジウム 2015, 2015.6.  講演 (査読有) 岩本尚也，森島繁生, “"肉揺れ"を実現するキャラクターアニメーションシステム”, CEDEC2014. 2014.9.  講演 (査読有) 岩本尚也, 佐川立昌，国友翔次，森島繁生, “動的な液面形状を考慮した流体シミュレーションパラメータ推定”, Visual Computing / グラフィクスと CAD 合同シンポジウム 2011. 2011.6. 講演 (査読無) 岩本尚也, 加藤卓哉，原健太，柿塚亮，森島繁生, “DanceDJ: ライブパフォーマンスのためのダンス動作ミックスシステム“, WISS2016, 2016.12. 講演 (査読無) 岩本尚也, 森島繁生, “スケルトンベースの高速な弾性体キャラクターアニメーション手法”, ビジュアルコンピューティングワークショップ 2013. 画像電子学会誌,第 42巻,第 1号,「VCWS2013報告」p115-123, 2013.11. 講演 (査読無) 岩本尚也，佐川立昌，国友翔次，森島繁生, “動的な液面形状を考慮した流体シミュレーションパラメータ推定”, 電子情報通信学会総合大会 2011. 2011.3.  その他 （講演） （査読有） Narumi Okada, Naoya Iwamoto, Tsukasa Fukusato and Shigeo Morishima. Dance Motion Segmentation Method Based on Choreographic Primitives.In Proceedings of the 10th International Conference on Computer Graphics Theory and Applications (GRAPP 2015), 47, Berlin, 2015.3. その他 （講演） （査読有） Ryo Kakitsuka, Kosetsu Tsukuda, Satoru Fukayama, Naoya Iwamoto, Masataka Goto, Shigeo Morishima, “A choreographic authoring system for character dance animation reflecting a user’s preference”, Eurographics/ACM SIGGRAPH Symposium on Computer Animation (SCA) 2016, Zurich, 2016.7. その他 （講演） （査読有） Wakana Asahina, Naoya Iwamoto, Hubert P.H. Shum, Shigeo Morishima, “Automatic Dance Generation System Considering Sign Language Information” ACM SIGGRAPH 2016, Anaheim, 2016.7. その他 （講演） （査読有） Kakuto Goto, Naoya Iwamoto, Shunsuke Saito, Shigeo Morishima:  The efficient and robust sticky viscoelastic material simulation. SIGGRAPH 2014, Vancouver, 2014.8..    Ｎｏ.2 早稲田大学 博士（工学） 学位申請 研究業績書  種 類 別   題名、  発表・発行掲載誌名、  発表・発行年月、  連名者（申請者含む） その他 （講演） （査読有） Narumi Okada, Kazuki Okami, Tsukasa Fukusato, Naoya Iwamoto, Shigeo Morishima. “Expressive Dance Motion Generation”, ACM SIGGRAPH 2013, 4, Anaheim, 2013.7. その他 （講演） （査読有） Kazuki Okami, Naoya Iwamoto, Akinobu Maejima, and Shigeo Morishima,  Reflectance Estimation of Human Face from a Single Shot Image, SIGGRAPH 2013, Anaheim, 2013.7. その他 （講演） （査読有） Shunsuke Saito, Ryusuke Sagawa, Naoya Iwamoto, Shigeo Morishima.  Cloth Parameter Estimation., SCA 2012, EPFL. Switzerland, 2012.7. その他 （講演） （査読有） Tsukasa Fukusato, Naoya Iwamoto, Shoji Kunitomo, Hirofumi Suda, Shigeo Morishima., “Hair Motion Capturing from Multiple View Videos”, ACM SIGGRAPH 2012, 55, Los Angeles, 2012.8. その他 （講演） （査読有） 朝比奈わかな, 岡田成美, 岩本尚也, 増田太郎, 福里司, 森島繁生, “ダンスにシンクロした楽曲印象推定によるダンスキャラクタの表情アニメーション生成手法の提案”, Visual Computing/GCAD合同シンポジウム 2015, 姫路, 2015.6. その他 （講演） （査読有） 柿塚亮, 岩本尚也, 朝比奈わかな, 森島繁生, “好みを反映した 3Dダンス制作のための振付編集手法”,Visual Computing/GCAD合同シンポジウム 2016.早稲田, 2016.6. その他 （講演） （査読有） 朝比奈わかな, 岡田成美, 岩本尚也, 増田太郎, 福里司, 森島繁生, “楽曲印象に基づくダンスモーションに同期したダンスキャラクタの表情自動合成”, 第 20 回 日本顔学会大会(フォーラム顔学 2015). 日本顔学会論文誌, Vol.15, pp.124, 2015.9. その他 （講演） （査読有） 岡見和樹, 岩本尚也, 前島謙宣, 森島繁生, “一枚顔画像を入力とした顔の反射特性推定”, Visual Computing/GCAD合同シンポジウム 2013. 2013.6. その他 （講演） （査読有） 福里司, 岩本尚也, 國友翔次, 須田洋文, 森島繁生, “ステレオカメラ画像の色相検出に基づくマーカレス頭髪モーションキャプチャ”, Visual Computing/GCAD合同シンポジウム 2012.東京, 2012.6. その他 （講演） （査読有） 岡見和樹, 岩本尚也, 國友翔次, 須田洋文, 森島繁生, ”動作の多様性を生成するデータドリブンな歩行動作変換”. Visual Computing/GCAD 合同シンポジウム 2012.東京, 2012.6. その他 （講演） （査読無） 朝比奈わかな, 岡田成美, 岩本尚也, 増田太郎, 福里司, 森島繁生, “ダンスモーションに同期した表情自動合成のための楽曲印象解析手法の提案”, 情報処理学会 第 77 回全国大会, 2S-08, 京都, 2015.3.  その他 （講演） （査読無） 朝比奈わかな, 岡田成美, 岩本尚也, 増田太郎, 福里司, 森島繁生, “ダンスモーションにシンクロした音楽印象推定手法の提案とダンサーの表情自動合成への応用”, 情報処理学会 第 106回音楽情報処理科学研究会, 23, 山梨, 2015.3. その他 （講演） （査読無） 岡田成美, 福里司, 岩本尚也, 森島繁生, “振り付けの構成要素を考慮したダンスモーションのセグメンテーション手法の提案”, 情報処理学会 グラフィックスと CAD研究会第 156回研究発表会, 9, 名古屋, 2014.9. その他 （講演） （査読無） 岡田成美, 岡見和樹, 福里司, 岩本尚也, 森島繁生, “ダンスモーションにおける表現のバリエーション生成”, 情報処理学会 第 75回全国大会, 6ZB-6, 仙台, 2013.3.    Ｎｏ.3 早稲田大学 博士（工学） 学位申請 研究業績書  種 類 別   題名、  発表・発行掲載誌名、  発表・発行年月、  連名者（申請者含む） その他 （講演） （査読無） 福里司, 岩本尚也, 森島繁生. “アニメ作品のコミック画像解析に基づく動画要約手法の提案”画像電子学会 Visual Computing ワークショップ 2012, 画像電子学会誌, Vol 42, No.1, p.117, 2013.1.  その他 （講演） （査読無） 福里司, 岩本尚也, 國友翔次, 須田洋文, 森島繁生, “複数台のビデオ映像解析による頭髪モーションキャプチャ”, 電子情報通信学会 2012 総合大会講演論文集, ISSN 1349-1377, 岡山, 2012.3. その他 （講演） （査読無） 福里司, 岩本尚也, 國友翔次, 須田洋文, 森島繁生, “動画像解析に基づくリアルな頭髪運動再現”, 情報処理学会 グラフィックスと CAD研究会 第 146回研究発表会, 2, 東京, 2012.2.  

Physics-based Animation Beyond Capture Data

DSpace at Waseda University

キャプチャデータを越境する物理ベースアニメーションの研究

https://waseda.repo.nii.ac.jp/?action=repository_action_common_download&item_id=38803&item_no=1&attribute_id=20&file_no=2

キャプチャデータを越境する物理ベースアニメーションの研究

Abstract

Similar works

Full text

Available Versions

Waseda University Repository

DSpace at Waseda University