wise代表・尾小山良哉氏
ツールやミドルウェアの最新アップデートや事例紹介が中心となるGTMF。その中でも、コンテンツ自体のポストモータムとして注目を集めたのがwise代表の尾小山良哉氏による「VRにおけるUE4のリアルタイムVFXワークフローについて」です。大阪会場では実施されず、東京会場のみで実施された本セッションでは、映像業界からゲーム業界に向けた貴重な知見が共有されました。
◆実写動画と3DCGの融合
風景をデジカメで撮影し、Photoshopで加工してアドベンチャーゲームの背景などに使用する…。PS2時代に多用された開発技法です。これが昨今では、全天球動画をゲームエンジン上でCGキャラクターを組み合わせ、インタラクティブに操作できる時代に進んでいます。映像制作プロダクションのwiseはその急先鋒。尾小山氏もCMディレクター出身で、いわば「異業種」による登壇です。
講演で紹介されたのが、同社が制作した技術デモ『Horizon』です。朝焼けの空をバックに巨大な神獣が表示され、ボタン操作で視点の変更や、神獣のアクションが可能です。実写撮影された天球動画と、神獣のCGモデルをUnreal Engine 4上で組み合わせて、リアルタイムにレンダリングすることで実現しています。VFX映画の1シーンと見間違うかのような、リアルな絵作りが特徴です。
ちなみに『Horizon』で使用された素材の多くは、Oculus Rift DK2むけに制作された『THE WORLD'S END』のものが流用されています。『THE WORLD'S END』はプリレンダーCGによるパノラマ動画ですが、両者の差異はほとんどありません。つまり同じCGアセット、同じ実写素材で、プリレンダーに匹敵するリアルタイム表現が実現できた・・・というわけです。
◆シーンリニアワークフローの組み込み
もっとも、天球動画を撮影して、ゲームエンジン上でCGキャラクターを配置するだけなら、比較的簡単です。しかし、これでは色味や陰影がなじまず、「いかにも合成しました」という表現に留まってしまいます。両者をなじませるために、映像業界ではプリレンダーCG上で、さまざまな技術やノウハウが蓄積されてきました。本作品はこれらをリアルタイムCG側に持ってきた点が特徴です。
ベースになった技術が「シーンリニアワークフロー」です。これはひらたくいえば、実写とCGで同じライティング・ガンマ曲線・カラースペースを使用し、物理的に正しいCGのレンダリングを行うことで、合成のマッチングを向上させようというものです。そのためには、すべてを物理ベースのアルゴリズムで統一する必要があります。
もっとも、これは非常に処理が重いため、プリレンダーCGで先行して採用されてきました。しかし技術革新に伴い、現在ではゲームエンジン内蔵のレンダラーでも、物理ベースのレンダリングが可能になっています。ということは、シーンリニアワークフローのノウハウが、リアルタイムCGでも活かせるということです。「3年くらい前から仮説を立てて、研究開発を続けてきました」（尾小山氏）
◆全天球動画の撮影
尾小山氏ははじめに、全天球動画の撮影ノウハウから解説をはじめました。今や市場にはVR用の撮影機材があふれています。しかし尾小山氏は「撮影対象や用途にあわせて、最適な機材を選択することが大切」だと釘を刺しました。特に近距離での撮影時にはレンズによってパララックスが出やすく、動画がうまく結合できない恐れがあるので、レンズ数を減らした方がいいとのことです。
もっとも『Horizon』では遠方の風景を撮影するため、撮影リグにF360BroadCaster、カメラはGoPro HERO 4が6台、用いられました。カメラワークを付けるため、ウルトラクレーンも使われています。撮影後はヒーローカメラ（メインとなるカメラ）をマッチムーブし、そのデータを基にコンポジットツールのNUKE上で消し込み作業を行って、天球上にスティッチしています。
ポイントは風景にあわせてHDR、カラーチャート、銀玉、グレーボールなどを撮影しておくことです。これらはCGアセットをレンダリングする上で、撮影環境のリファレンスとなります。また、CG制作と違って撮影は撮り直しが難しい点も要注意。本映像も深夜から準備を開始し、真っ暗闇の中で機材を組み立て、明け方に一発撮りで撮影するなど、さまざまな苦労があったそうです。
◆リニアガンマによる合成
シーンリニアワークフローのポイントとして、リニアガンマによる合成についても説明されました。一般的なPCモニタでは、PCから送られてきた信号に対して、常にガンマという濃度調整が行われています。これに対してデジタルカメラやデジタルビデオでは、撮影時にあらかじめ「逆ガンマカーブ」がかけられています。これらが相殺されて、出力時にリニア（直線）な映像になります。
これに対して3DCGデータは現実世界のシミュレーションを行っているため、最初からリニアな映像である点が特徴です。そのため3DCGによる映像と実写映像を融合させると、濃度とトーンの具合がマッチせず、違和感のある映像になります。そのため通常、3DCGの映像に逆ガンマカーブをかけて合成することになります。
しかし、実写映像の逆ガンマカーブはカメラのレンズやセンサーによって微妙に特性が異なります。そのため逆ガンマカーブがかけられた状態で、CGと実写素材の濃度を修正するのは非常に大変で、最終的に「目合わせ」にならざるを得ません。一方、実写映像側のガンマ値をリニアにすれば、ガンマカーブが直線になります。そのため、理論的には完璧な同期が可能になるというわけです。
◆物理ベースによるアセット制作
一方、CG制作でポイントとなるのは物理ベースによるアセット制作です。前世代までは物体のベースカラーに対して「見た目」で質感が調整されてきました。これが現世代では光が物体に反射し、物体の材質によって見え方が異なるという、現実世界と同じ質感表現が可能になりました。現世代機でグラフィックがリアルになった主要因です。
そのため本作でもフラットライティングでアルベド（反射能）を撮影し、素材のリニアライズ（線形化）やシャドーキャンセルを経て、アルベドテクスチャに活用されています。アセット制作の環境も撮影され、複数のソフトで統一のターンテーブル環境が構築されました。その結果、プリレンダーCGとリアルタイムCGの両者で使えるアセットが作成できました。
パイプラインでは、テクスチャコンポジットツールのSubstance Designerをマテリアル作成のハブとした点が特徴です。これにより物理ベースで制作されたアセットであれば、プリレンダーで主流のV-RAYと、Unreal Engine 4の双方でレンダリングが可能になります。その結果、プリレンダーCGでもリアルタイムCGでも、ほとんど変わらない絵作りが可能になりました。
なお、Unreal Engine 4では物理ベースのアセットを、HDRによるIBL（イメージベースドライティング）、物理エンジンによるPBR（物理ベースレンダリング）を経て、別途用意された全天球動画とシーンリニアで合成し、映像として出力しています。「このように、物理ベースというアルゴリズムで統一することで、定性的ではなく定量的に合成をとらえ、リアルタイム化が実現できました」（尾小山氏）
最後に尾小山氏は『Horizon』で使用された全天球動画と、宇宙船風のCGモデルを活用し、Unreal Engine 4で制作したシューティングゲームのデモ映像を紹介しました。まるでSFX映画の1シーンといった雰囲気です。「ゲームではすべての映像をゼロからCGで作りますが、現実の素材とうまく組み合わせることで、ユーザー体験を向上させる時代が来るのではないでしょうか」（尾小山氏）
もっとも、まだエフェクトのように「現実にない映像表現」をインアクティブに表現したり、ライトが動的に変化したりといった表現は難しいとのこと。またゲームエンジン側のレンダリングの癖などもあり、完全にプリレンダーCGと同じ色味・質感を再現することも困難とのことです。とはいえ、新たな表現の可能性を指し示すセッションだったといえるでしょう。
