森基金活動報告書
研究課題名:ビデオコンテシステム「ジオラマエンジン」の研究開発
徳原徹
慶應義塾大学政策・メディア研究科
インフォメーション・テクノロジー・プログラム コンテンツ工学プロジェクト
2.4 ジオラマエンジンによるダイナミックコンテ制作プロセス
近年、コンピュータ処理能力の飛躍的な向上により、映像コンテンツのプロダクション工程(制作実行段階)においてCG技術の利用が広がった。しかし、プレプロダクション(制作準備段階)においては、コンピュータによる工程のディジタル化は皆無に等しい。本研究はプレプロダクションのなかでも、映像の設計図としてきわめて重要な位置付けにある、「絵コンテ」の次世代型システム「ジオラマエンジン」の研究開発である。ジオラマエンジンでは、リアルタイム3DCG技術を利用しインタラクティブに「ビデオコンテ」を制作する。同時にコンピュータの空間上に配置したオブジェクトのレイアウト情報やカメラワークをデータとして出力する。ビデオコンテと設定データが統合されたものが、絵コンテの次世代形「ダイナミックコンテ」である。ダイナミックコンテにより、これまで表現の難しかった時間経過を明確にすると同時に、中間制作物としての位置付けであった絵コンテを、以降の工程の礎にすることが可能になる。本稿では、「ジオラマエンジン」の紹介と、その開発結果を述べる。
近年、映像制作においてコンピュータグラフィックス(CG)の利用は一般的になった。しかし、その多くはプロダクション行程、ポストプロダクション行程における利用で。プレプロダクション行程では、ワープロの延長としてコンピュータが使用されるにとどまり、制作全体のディジタル化を大きく妨げている。特に制作工程の終盤まで多数のスタッフが参照する絵コンテについては、現在は手描きによるアナログな制作物であり、制作に膨大な時間がかかると同時に、修正や追加などが困難であった。
絵コンテはせりふとト書きにより構成された脚本に、絵と時間軸を加えてビジュアル化したものである。基本的に監督ないしは絵コンテマンが監督の要望を反映して制作する。絵コンテは各シーンにおける関連性や、それぞれのタイミング、特殊効果や音楽、カメラアクションなどの演出内容をスタッフに伝えるものであり、以降の制作工程においてスタッフの拠り所となる。
絵コンテは基本的にカットごとに表現され、制作には膨大な時間が必要となる。絵コンテの重要性が極めて高いアニメの場合、30分番組でおよそ200カットから400カットになる。この制作時間の問題を含め、絵コンテ制作における問題点について整理する。
@ タイミングや時間の流れは、紙に書かれた秒数、コマ数が頼りであり、時間軸の把握という意味では不十分である。
A 一カットごと絵を描いていく必要があり、絵がかけない監督は、専属の絵コンテマンと呼ばれるスタッフを立てる必要がある。
B 中間的な制作物であり、最終的に仕上がる映像の一部分ではない。つまり、以降の制作工程で参照されることはあっても、使用されるものではない上に、デザインや演出プランと異なり、一話ごとに制作する必要がある。
C 絵コンテにおける画面構成では、実写や3DCG などでは、表現不可能な画面構成が含まれることもある。再現するために特殊な手法を用いるなどして解決を図るが、制作時間が大幅に増加する。
これらの問題点を解決するためには、従来型の紙媒体による絵コンテでは不可能であり、新たな形態のコンテが必要である。また、その制作においても、絵の描けないディレクタであっても、簡単に演出意図が伝えられることが重要である。これらの条件を満たした上で、以降の制作工程を円滑に進めることの出来る新しいコンテとその制作ツールが必要になる。
ジオラマエンジンのアイデアの出発点は、1997年より、筆者が行ってきたPCベースの戦略シミュレーションゲーム制作である。シミュレーションゲームは、あらかじめプログラムされた制約に従ってプレーヤが設定を行い、その設定の結果がコンピュータにより計算されるというプロセスを経る。筆者の行ったゲーム制作はコンピュータの計算結果の表現手法として、MicrosoftのDirectXを使用し、リアルタイムで表示をするという仕組みをとっていた。この表示クオリティはもちろんテレビアニメなどのノンインタラクティブコンテンツには及ばないものの、結果を確認するという意味では十分であり、画面の中で何が行われているか明確に確認することが可能であった。何よりもゲームはインタラクティブでリアルタイムである。ゲーム上で設定を行うかのように、舞台を設定、役者に演技を与え、それをカメラでとる。この一連の動作により、絵コンテの一コマに表現される演出を、一連の画像(コンテニュイティ)としてビデオデータとして出力することを考案した。
ダイナミックコンテはこのビデオデータと設定データが組み合わさった新しいコンテである。「ジオラマエンジン」は3DCGソフトウェアとしてではなく、ダイナミックコンテ制作ツールとして特化した「ゲームエンジン」というコンセプトである。
「ジオラマエンジン」は、2.3.2のコンセプトを受け「絵コンテ」が持つ問題を解消するために企画、設計し、開発、試作版の実装を行った。ジオラマエンジンの特徴は次のとおりである。
(@) 絵を描く必要がない
3Dモデルを配置して空間を設計、その空間をカメラで撮影していくという手法を用いるため、絵を描く必要をなくすことができる。
(A) 時間経過が容易に把握できる
紙媒体ではなく、PC上のビデオファイルとして出力することにより時間経過を明確に持った、ビデオコンテを出力することができる。また、独自フォーマットによる設定データの保存を可能にし、ビデオファイルを生成しなくともジオラマエンジンが動作する環境では、この設定データさえあればコンテが閲覧可能になる。これによりインターネットを介したコンテの共有も容易にできる。
(B) 複雑なシーンの画面構成が容易に出来る
設定されたシーンはどの角度から捉えることが可能である。ひとつのシーンで9台までカメラを設定できるので、時間経過の把握とあわせて、複雑なシーンの記述が容易にできる。
(C) 設定データの再利用が可能である
一度設定したシーンのデータはジオラマエンジンの独自形式で保存が可能である。したがって同じシーンを作成する場合など、データの再利用が容易に可能である。
(D) 簡潔なインタフェイスを持つ
3DCGにおいて最もオペレーションが複雑で困難となるモデリング、アニメーションを「ジオラマエンジン」では行わない。レイアウトとカメラワークに特化することにより、比較的簡単な操作が可能である。
(E) リアルタイム処理が可能である
PCをプラットフォームとしたゲーム制作で実績のあるDirectXを利用することにより、リアルタイムレンダリングが可能である。これにより、ジオラマエンジンにおけるビデオコンテ制作は3DCG制作のようなレンダリングが終わるのを待つということがなく、制作者は試行錯誤を容易にすることが可能になり、シーンシミュレーションを綿密にそして何度でも難なく繰り返せるようになる。
(F) 汎用のPCで動作する
基本的にDirectXが動作するPCであればジオラマエンジンは実行可能で、これによりノートPCでの作業も可能になり、作業場所を選ばない。
図2-1はジオラマエンジンによるダイナミックコンテ制作のフローである。ダイナミックコンテは「シーン設定段階」と「演出段階」の大きく二つの工程に分かれる。
図2-1ジオラマエンジンによるダイナミックコンテ制作工程図
ここでは脚本で設定されたシーンをジオラマエンジン上に構築する。シーンを構成する環境モデル、オブジェクト、キャラクタをシーンに読み込み配置し、さまざまな角度から確認を行い、動きやライティングの設定を行う。
環境の基礎設定として、ハイトマップを使用した凹凸を設定することが可能である。平坦なシーンのみならず、必要に応じて多彩な土台を生成することができる。
モデリングデータの読み込みについては、現在はDirectXのX形式のファイルに対応しており、その他の形式のデータは、データ形式の変換を行うことにより読み込みが可能である。また、モデリングデータが存在しないオブジェクトについては、ジオラマエンジンに用意されているプロクシ(プリミティブオブジェクトによる代用品)を配置することにより、オブジェクトを代用できる。
キャラクタやオブジェクトの動きに関しては、キーフレームで制御することにより、位置の移動を表現できる。
図表2-2 オブジェクトの読み込み
図表2-3 シーンレイアウトの例
演出段階ではカメラ位置を移動しながらカメラのキーフレームを設定していく。キーフレーム間のカメラの動きについては自動的にスプライン補完される。設定されたキーフレームの画像は、画面一番下のボタンにマッピングされキーフレームを作業中いつでも確認できる。このボタンを押すことで表示されている画像のフレームにメインビューが切り替わることができる。制作者はキーフレーム設定、解除を繰り返し、リアルタイムに確認しながらストレスなくカメラワークを確定することができる。ジオラマエンジンでは、一つのシーンで最大9台のカメラが扱うことができる。一つのシーンを設定することにより、複数のカットを連続して制作することが可能で、効率的に作業を行うことが可能である。
図表2-4 カメラのキーフレームの設定
図表2-5 複数のカメラによるダイナミックコンテ生成
出力されるデータは、AVI形式のビデオファイルとジオラマエンジンの独自ファイル形式による設定データである。
ジオラマエンジンの設定データは、再利用が可能である。同じシーン設定を利用して別のカットの制作や、キャラクタの変更、動きの変更により、別のカットを制作することも出来る。TVアニメシリーズや、比較的長い時間の作品を制作する際には特に効率的である。さらに、ジオラマエンジンの設定ファイルはデータ容量が少ない。
現在、カメラワークのデータについては、3DCGアニメーションソフトウェア「アニメーションマスター」へ出力が可能である。したがってジオラマエンジンで設定したカメラワークはそのまま3DCGソフトウェアで再現することが出来る。
ジオラマエンジンにより作成したダイナミックコンテをもとに映像を制作する手法について、3DCG映像の実証制作を行い、従来の絵コンテと比較してジオラマエンジンの有用性を次のとおり確認した。
l 時間の流れやタイミング、構図の変化などを忠実に伝えることが可能であった
l 3Dの配置を元に制作されたため、制作実行段階で同じ設定が活用できた
l 絵を描かなくとも制作できた
l 複雑なシーンの表現が容易にできた
一方で、従来の絵コンテと比較した場合、次の点については、ダイナミックコンテでは不十分であった。
l 表情や、細かい設定の伝達手段が別途必要であった
l 紙媒体として見ることができない
また、ダイナミックコンテ制作については、市販の3DCGソフトウェアでも基本的に代用は可能である。しかし、ジオラマエンジンはこれらと比較して次の利点がある。
l 操作が容易である
l 作業時間が短い
l 複数のカメラを扱うことが出来る
図3-1 慶応義塾大学金子研究室がジオラマエンジンを使用して制作したビデオコンテ例「Chack Panic」
3より、大学の研究室における実証制作を進め、その有用性を確かめた。今後はテレビ放映作品の制作現場において使用することを目標にする。それに向けての第一ステップとして現在、OLM Digital(※1)の協力を得ながら、現場試用の話し合いを進めている。
※1 国内のアニメーション制作プロダクション。劇場版「ポケモン」シリーズの制作で有名である。
2003年2月28日現在
学術論文
1. 三上浩司、徳原徹、リアルタイム3DCG技術を利用した次世代絵コンテシステム「ジオラマエンジン」の研究開発, 第17回NICOGRAPH論文コンテスト論文集,
pp.173-178, 2001
2. Koji Mikami, Toru Tokuhara, Diorama Engine - A 3D Directing Tool for 3D Computer Animation production, Cgi2003 (採択決定済み)
国内会議
1.
徳原徹、三上浩司、Diorama
Engine - A 3D Directing Tool for 3D Computer Animation production、情報処理学会第65回全国大会特別トラック
海外会議
1. Koji Mikami, Toru Tokuhara, Diorama Engine - A 3D Video Storyboard Editor for 3D Computer Animation, Siggraph Sketches and Applications, 2002