早大学位記番号:新8176早稲田大

Kato Takuya

English

DSpace at Waseda University

 早稲田大学大学院 先進理工学研究科 
 
 
 
 
博士論文審査報告書 
 
 
 
 
 
 
 
 
論  文  題  目  
 
Research on Refinement and Real-time Editing of 
Expression for 3DCG Character Animation 
 
3DCG キャラクタの表現の改善法と実時間操作に関する研究 
 
 
 
 
 
 
 
 
 
 
申  請  者 
 
加藤 
 
卓哉 
 
Takuya 
 
Kato 
 
Department of Pure and Applied Physics, Research on Image Processing 
 
 
 
 
2019年 2月  
 1 
 本論文では，近年増加する音楽 CG 映像の作成における技術を支援する
研究を提案している．特に，音楽 CG 映像の中でもライブパフォーマンス
を行う上で重要な技術に着目し，研究が行われている．こうした背景に
は，音楽と CG という親和性が高いにも関わらずほとんど相互の関係性に
ついて検討された研究が存在しないこと，また存在してもその精度が低
いことが挙げられる．音楽 CG 映像をはじめとする特殊な CG 映像制作に
際して，多くの技術を基本的な CG 制作技術を転用することにより，その
制作過程を効率化することが可能である．モデリングや基本動作の適用，
レンダリングなどを始めとする技術などがこれにあたる．こうした技術
は音楽 CG 制作においても転用可能であることが知られている．しかし，
歌唱時の表情合成と実時間でのキャラクターコントロールについては，
未だ研究が進んでおらず，また音楽との親和性から CG 技術からの転用が
難しい．一般的な CG 制作技術と比較し，音楽 CG においてはビートやメ
ロディー，楽曲構造，歌声など様々な付加要素と動作との関係性を検討
することが求められる．そこで本論文では，一般的な CG 技術において用
いられる手法を改善するため，音楽情報処理の技術や音楽作成・編集に
使用されている技術を活用することにより，音楽 CG に特化した CG 制作
技術の研究を行っている．本論文は，主に表情合成技術と実時間キャラ
クタコントロールの 2 点に着目し，音楽 CG 制作を支援する研究を 3 つ提
案している．本論文は，以下のように構成されている．  
 
1 章では，研究の意義と章構成について述べている．音楽 CG の需要，他
の CG 研究との差などについて述べ，本研究の分野内における立ち位置や
研究する分野についての基本事項が述べられている．  
 
2 章では，基本的な CG 制作過程と，本論文が採用した CG 制作手法につ
いて述べている．異なる CG 制作技術の差や，音楽 CG 制作との親和性，
採用した技術の有効性について述べられている．これにより，本論文で
提案された手法への需要の高さなどに言及している．  
 
3 章では，表情作成の際に使用されている基底表情の自動作成手法につ
いて述べられている．表情作成においては，基底表情の重み付き線形和
によりアニメーションを作成するブレンドシェイプアニメーションとい
う手法が取り入れられているが，その上で基底となる表情作成を大量に
行うことについて問題提起した．そこで，少ない表情データセットから
データセット変形特徴を抽出し，それを自動で作成された粗い表情モデ
ルに適用することで，高精細な基底表情を作成することに成功した．デ
ータセットの特徴を適切に付与することで，既存研究の問題であったモ
デルのトポロジーの違いやキャラクタ固有の特徴的な表情の再現に成功
 2 
した．今後の課題として，音楽 CG に特化した基底表情合成技術の提案が
挙げられている．  
 
4 章では，3 章で作成した基底表情のブレンド率を推定技術に関する研究
について述べられている．本論文では音楽 CG 制作に特化した技術として，
歌声と楽曲情報のみからブレンド率を推定する技術を提案した．本論文
では音楽 CG において重要な歌唱の特徴を CG で表現するため，音声から
の情報のみならず，楽曲からのビート情報やメロディー情報，そして音
声情報から推定された口形素の情報を入力とした深層学習を用いること
で，歌唱時の目や頬，首の回転などの推定に成功した．スピーチアニメ
ーションとは異なる歌唱に特化した特徴として楽曲情報などを適用する
ことで，より高い精度でアニメーションの推定精度を高めることに成功
した．評価に際しては，定量評価に加え，プロのアーティストを含めた
主観評価実験を実施し，自然さや学習された動作の特徴などについて高
い評価を受けた． 3 章での基底表情作成技術と組み合わせることで，少
ない表情データセットと音声，楽曲の情報のみから高精細な歌唱時の表
情アニメーションの生成が可能となった．本研究で用いられている技術
は，様々な実際のライブにも使用されること試みが進められるなど，高
い評価を受けている．  
 
5 章では，よりライブパフォーマンスにおける技術に特化し，音楽 CG に
おいてダンスするキャラクタを実時間で操作可能とするインターフェー
スを提案した．音楽 CG のライブパフォーマンスにおいては，そのコンテ
ンツの特殊性と動作の特殊性から，一般に普及するインタフェースを用
いることが困難である．そこで，この章では，DJ インタフェースを用い
た音楽 CG に特化した新たなキャラクタコントロールインタフェースを
開発した．DJ インターフェースによる音楽の実時間コントロールを参考
に，音楽との親和性が高いダンスモーションをコントロールするインタ
ーフェースを考案した．このインターフェースの実現において，どのよ
うにユーザーにダンスの自然な切り替え点を計算するか，またそれをど
のように提示するかについて検討した．提案されたインターフェースに
ついて，ユーザー側の視点と観客側の視点において，主観評価実験を行
い，それぞれについて高い評価を得た．実際のライブパフォーマンスに
おいても実験を行い，提案手法を用いたアニメーションは観客やユーザ
ーより高い評価を受けた．  
 
6 章では，本論文の結論と今後の課題について述べている．特に本研究
が必要とされる既に死去した歌唱者のライブパフォーマンスへの技術転
 3 
用の可能性について述べ，今後の音楽 CG 研究の展開などについても言及
している．  
 
本論文は，音楽 CG という新しい CG 分野において，音楽とキャラクタア
ニメーションの関係性について，実際の CG 制作課程に沿った制作支援方
法の研究を行った．これまで，CG 技術として大きく分類されていた技術
分野から音楽 CG 分野を切り分け，音楽における情報を考慮する形でキャ
ラクタアニメーションを作成する研究について提案した．一般的な CG
研究のみでは困難であった表情合成技術やキャラクタコントロールに関
する技術に際し，音楽情報を活用することにより，問題を解決するに至
っている．また，それぞれについて定量的評価のみならず，プロのアー
ティストなどによる主観評価を行ったうえで高い評価を受ける等，学術
的にも価値のあるものである．また，論文中で提案された方法は，実際
のライブパフォーマンスで適用された実績があり，その効果を実際のユ
ースケースに沿って実証した点も意義は大きい．以上の理由から，本博
士論文は博士（工学）の学位論文に値すると認める．  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 4 
2019 年 2 月 7 日  
 
審査員  主査  早稲田大学教授  工学博士（東京大学）  森島繁生  
 
 
 
審査員  副査主早稲田大学教授  理学博士（早稲田大学）小松進一  
 
 
 
審査員  主査  早稲田大学教授  博士（工学）（早稲田大学）澤田秀之  
 
 
 
    副査  国立研究開発法人産業技術総合研究所   
       主任研究員  博士（情報理工学）（東京大学） 深山  覚                 
 
                
 
 
 
 


3DCGキャラクタの表現の改善法と実時間操作に関する研究

早稲田大学博士(工学)早大学位記番号:新8176doctoral thesi

加藤, 卓哉

89237

Kato, Takuya

89236

Waseda University Repository

Research on Refinement and Real-time Editing of Expression for 3DCG Character Animation

https://waseda.repo.nii.ac.jp/?action=repository_action_common_download&item_id=46681&item_no=1&attribute_id=20&file_no=1

3DCGキャラクタの表現の改善法と実時間操作に関する研究

Abstract

Similar works

Full text

Available Versions

DSpace at Waseda University

Waseda University Repository