ここで照明が果たしている役割は、リアルの舞台照明や世界観をバーチャル空間へと連続させていることと泉さんは話します。星街さんと観客が同じ空間にいると感じ取れ、実在感を高めていくことにも繋がります。
特に重要と思われるポイント3つ。
・位置関係性について
・タイミングの一致について
・色味に一致について
まずは位置関係性については、照明器具や電飾などの光源の位置や向きについて、これをバーチャル空間に影響しているように見せていくのが重要となっており、タレント本人への陰影が効果的につけられるかが表現力の高まりにつながっていきます。
マリンさんのライブ公演ですが、ステージ上の照明が左側から右向きに照射されており、この時にマリンさんにあたっている光も同じような照明と指向性をもった陰影がついています。
つぎにタイミングの一致について。これについては、照明効果の遅延をコントロールすることで実現されていますが、照明の遅延補正というのは一般的には行なわれていません。（考えれば当たり前ですが）光はどんな距離でも即座に届くので、遅延ということを考えなくても大丈夫だからです。
照明コンソールから舞台照明を点灯させ、同時にバーチャル空間のタレント本人へと光が飛んでいくのですが、ここでレンダーシステムなどを挟んでいる影響で、どうしても遅れが生じてしまいます。人間の知覚として、ここでちょっとでも遅れてしまうと違和感を覚えてしまうわけです。
この光の遅延補正というシステムを、泉さんが参加するTxDのチームで独自開発して導入しましたといいます。
3つ目に色味の一致についてです。
まず、現実の舞台照明や電飾と、バーチャル空間の照明や電飾は同じ色味・明るさでないと違和感が生まれます。ですが、互いにまったく異なる光デバイスなので、色味はうまく合いません。
くわえて、舞台照明の明かりをそのまま踏襲してしまうとかなり明るすぎてしまいます。単純に明るさを落として出力すればよいわけでもなく、バーチャル空間内の照明がそのまま明るさを落として表現されるため、今度はこちらが暗くて見えなくなってしまう。泉さんはそういった問題が指摘しました。
この写真はおかゆさんの公演ですが、写っているのはすべてバーチャル空間です。実際のライブ公演にもある照明器具や電飾と、バーチャル空間内にしかない照明器具や電飾が混在しています。バーチャル空間の照明を現実の舞台にある照明にあわせて明るさを落としてしまうと、全体的にすごく暗くなってしまうわけです。
この問題の解決には、最近になって登場したArt-Netルーティング機器を使うことで解決しました。この機器によるマスター調整コントロールという機能を活用し、リアル空間とビデオウォール内のバーチャル照明、バーチャル電飾、そしてフルCG空間の3カ所に対してそれぞれ個別に補正して信号を送り込むことが可能になりました。
最後に泉さんはシステム図を挙げ、照明コンソールから出力したものをタイミング調整と色味調整それぞれのツールや機器にかけ、タレント・バーチャル空間内・リアル会場の照明やライティングにそれぞれ参照して使用している、という形になっていると説明しました。
