藤井氏は以前はスクウェア・エニックスで「ファイナルファンタジー」シリーズのムービーディレクターを担当。その後、タイトーに転籍し、本業はアートディレクターながら、自身でプログラムも書くというハイブリッドな業務をこなしています。今回の発表は直接業務に紐付くものではなく、自身のライフワークとしての取り組みという側面が強いようでした。
しかし表情認識はソーシャルゲームを手がけるON!AIR事業部にとっても意味があるものになりそうです。藤井氏が指摘したのは、元来は効率化・省力化の為に生まれたコンピューターが、今やコミュニケーションの手段として存在感を増しているということです。このコミュニケーションの世界で、表情というのは言語以上に効果的で、世界共通で通用する手段です。プレイヤーの表情の認識と、その表現によって、例えば仮想空間でも今以上のコミュニケーションを実現できるのではないかと考えられます。
藤井氏の用いる表情認識では、まず顔認識を行い、それ以外の部分をマスクし、顔の中から特徴点を抽出。基本形状からの歪みを認識、予め用意されたパターンに当てはめ、それがどのような感情を示しているか数値化するというものです。従来の表情認識ではモーションキャプチャーデータのような特徴点のトラッキングデータを受渡していましたが、それでは転送と処理に大きなコストが必要です。今回のように歪みから感情(笑、怒、平坦)をパーセンテージで数値化して受け渡しを行えば、オンラインゲームや仮想空間のようなネットワーク越しでもやり取りが容易です。
処理負荷は数世代前のPCでも十分にリアルタイム処理できる範囲に収まっていました。顔認識は画像の解像度に依存して負荷が大きくなりますが、表情認識は顔認識をして抽出範囲を狭めるので解像度に依存せずに認識が可能という特徴があります。
デモで藤井氏は表情を認識、それを数値データへと置き換えて、さらにその数値データを元にペンギンのキャラクターに表情付けを行う様子を見せてくれました。ペンギンのモデルは笑、怒といったパターンが用意されていて、数値データの比率によってブレンドして生成しているそうです。人の表情を見事にキャラクターに置き換えることができていて、そのままの技術で、仮想空間のキャラクターの表情を実際にプレイしているプレイヤーの表情と同期させるような事が可能になりそうです。
藤井氏は更に表情認識に音声入力を組み合わせることによって、リップシンクを正確に行い、リアルさを増す手法も考えられると紹介。また、感情を抽出することは、音声合成での声色の表現、感情に合わせたモーション表現、言葉やセリフ、あるいは条件分岐などに活用できるのではないかと指摘しました。コンピューティングパワーの増大やカメラの普及で表情認識にかかるコストは低下していて、それを活かしたゲームというのも絵空事では無さそうです。
編集部おすすめの記事
特集
ゲームビジネス アクセスランキング
-
時限更新型RPGの魅力をあなたに ― 『エルダーサイン』インサイド限定アイテムで序盤を完全攻略
-
『リズム天国』のプライズが登場―可愛くはない?
-
セガ、新社長に現・常務取締役の鶴見尚也氏が就任 ― グループ会社人事を刷新
-
今年でコナミ設立40周年、グローバル展開をより推進・・・上月拓也社長
-
プレイステーション3版『頭文字D EXTREME STAGE』・・・開発者に聞く
-
【DEVELOPER'S TALK】音ゲー、コーデ、キラキラ感。3DSタイトル『プリティーリズム マイ☆デコレインボーウエディング』にみるミドルウェアで実現した女児向けゲーム開発のこだわりとは？
-
任天堂がマイクロソフトにレア社を売却した経緯とは・・・3億7500万ドル巨額買収の裏側
-
劇場版「SAO」のアスナとVRで会える！ 視線追跡型VRヘッドセット「FOVE」が新たな刺激を提案
-
「キミの心の応援団長」バーチャルYouTuber富士葵が込める想いとはーーキーマンインタビュー
-
発覚！元任天堂広報H氏2度目の転職
