セルシスのイラスト・マンガ・アニメーション制作ソフト「CLIP STUDIO PAINT」。創作活動に勤しむ個人ユーザーのみならず、多くのプロにも愛用されるこのソフトに、2018年11月よりAIを用いた便利な機能が多数追加され続けています。「CLIP STUDIO PAINT」に魅力的な新機能を提供したAIフレームワーク「ailia SDK」とはどのようなものなのでしょうか？
本稿では、2019年9月4日から6日にかけてパシフィコ横浜で開催された「CEDEC 2019」のセミナー「CLIP STUDIO PAINTでのディープラーニング活用事例とAIフレームワークailia SDKの紹介」のレポートをお届けします。
AIがクリエイターの"単純作業"を助ける道を模索
まずは、セルシスの片岡猛氏より「CLIP STUDIO PAINTのディープラーニング活用事例」が紹介されました。同社は、グラフィック系コンテンツの制作・閲覧・流通を通じて、IT でクリエイターの創作活動を支援しています。
1993年のアニメーション制作ソフト「RETAS STUDIO」に始まり、マンガ制作ソフト「ComicStudio」、イラスト制作ソフト「IllustStudio」、3Dデータセットアップツール「CLIP STUDIO MODELER」などをリリースしており、2012年リリースの「CLIP STUDIO PAINT」は多くのイラストレーターやマンガ家に愛用され、アニメーション制作スタジオなどにも採用されています。全世界で500万人以上いる「CLIP STUDIO PAINT」のユーザーは、およそ50％が海外ユーザーであるとのことです。
自然でなめらかなペンタッチ、鉛筆・ペン・水彩・油絵など多彩な塗り方に対応した彩色機能、対称定規やパース定規など創作活動の助けとなる数々の定規、アニメーション制作に必須となるタイムライン機能など、さまざまな観点・機能から支持され続けています。
そんな「CLIP STUDIO PAINT」とAIを組み合わせることで、クリエイターたちの創作活動を支援できないかという研究開発は2016年から始まりました。アートスパークホールディングスのエイチアイ、セルシスらグループ会社から開発者を集め、当初は試行錯誤の繰り返しだったといいます。
そうした研究が実を結び、2018年11月29日より「CLIP STUDIO PAINT」の新機能として「jpegノイズ除去」、「トーン消去」、「自動彩色」、「ポーズスキャナー」、「スマートスムージング」機能がソフト利用者を対象に無償で提供開始となりました。ノイズ除去であれば「ブロックノイズの出ていない画像」、トーン消去であれば「線画」、自動彩色であれば「色が付いている画像」を「正解」として覚え込ませ、大量の学習データによる"学習済みモデル"を開発することで実現にいたったとのことです。
しかし、これらの機能には課題もありました。自動彩色・トーンを消去・ポーズスキャナーは、実行するのに膨大な計算が必要であり、また、様々なユーザー環境で実行環境を提供するのが困難だったため、専用のGPUを搭載したサーバーを用意・保守する必要があること。そして、サーバーで処理を行うため、機能使用時にインターネット接続が必須となることです。
こうした課題はユーザー側の端末で処理を実行すれば解消されますが、ユーザー側にハイスペックな端末を要求してしまううえ、Windows、Mac、iOSなどのマルチプラットフォームに対応する必要があるなど、一朝一夕には実現できません。
そんな矢先に出会ったのが、ax、およびアクセルが開発・提供するディープラーニングフレームワーク「ailia SDK」でした。エッジ推論（≒処理の実行）に特化しているため「CLIP STUDIO PAINT」に組み込みやすく、さまざまなプラットフォームに対応でき、かつGPUだけではなくCPUでも実行できるため、幅広いユーザーに対応することができました。2019年7月から提供されている「スマートスムージング」機能は、セルシスが開発したモデルをailia SDKで実行することで実現できたとのことです。
片岡氏は最後に「これからも、クリエイターのみなさんが創作・制作に向き合う際に発生する"作業"をAIで解決する仕組みを作っていくことで、みなさんが作品づくりに集中できる環境作りに邁進してまいります」と講演をまとめました。
世界最高峰の推論速度を誇るAIフレームワーク「ailia SDK」とは
続いて、アクセルおよびaxでailia SDKの拡販を担当している品部仁志氏によるailia SDKの紹介が行われました。ailia SDKは、エッジ端末（機器側）でディープラーニング推論を実行するミドルウェアです。その魅力の1つめは「世界最高水準の高速エッジ推論プラットフォーム」であることです。
その看板に恥じぬ速度を実現するため、高速化の手法を常に模索。その結果、Windows、Mac、Android、iOSにおいてGoogleが提供する機械学習ライブラリ「TensorFlow/TensorFlow Lite」を約2倍～3倍上回る推論速度を実現しました。
2つめに挙げられたのは「ユーザーのハードウェアの自由度」。ailia SDKは前述した主流の4プラットフォームに加え、オプションとしてLinux、組み込み機器や、ユーザーカスタムのFPGA、またこれから市場に出てくるディープラーニング向けのAI推論チップ（LSI）にもライブラリを提供可能です。さらに、ailia SDKはアクセルの完全自社開発によるものなので、アップデート・改善も継続的に行われ、サポートへの対応が早いのも強みのひとつとなっています。
そして3つめに挙げられたのは「もっとも快適・安心・効率的なエンジニアリング環境を提供すること」です。C++やC#に対応した一貫した共通API、Unityプラグインを提供することで、WindowsやMac用に開発したものをそのままiOSやAndroidにコンバート可能に。推論の実行に必要となる学習済みモデルも共通化させる仕組みが採用されており、これもマルチプラットフォームの実現にひと役買っています。また、そうした学習済みモデルは数百MB以上の容量になるものもありますが、その圧縮・難読化による保護もサポートされています。
一般的なディープラーニングシステムは、クラウド上で学習から推論までを行うのが普通ですが、片岡氏の講演でも挙げられたように、こうしたシステムはエッジ機器（ユーザーの端末）のインターネット接続が必須となる、通信容量が膨大になる場合がある、ネット接続が切断された場合の動作の担保をどうするか、などの課題が伴います。
その対応策として挙げられるのが、エッジ端末で動作するアプリを提供し、クラウドからAIモデルをエクスポートしてエッジ端末側で推論を実行することですが、これもやはり片岡氏が述べたような課題が残ります。そして、ailia SDKはまさにそうした課題を解消すべく開発されたものであることが品部氏の口から語られました。
最後に、ailia SDKのアーキテクチャが紹介されました。アクセルがとりわけ力を入れているのがアクセラレータで、あらゆるプラットフォームで高速に動く環境を常に保ち続けられるよう、今度も新たなアクセラレーションに随時対応していくとのこと。OpenCLへの対応も進んでおり、2019年中に完了する見込みです。
品部氏は「AIは、膨大なアセットの自動分類やカテゴライズ、テクスチャやサウンドのバリエーション生成、異常な画面を検知させることでのデバッグなど、ゲーム/エンターテイメントの分野においてさまざまな用途が見込まれます。ぜひお気軽にご相談ください」と語り、セッションをまとめました。
アクセルが開発・提供するミドルウェア製品群「AXIP」シリーズのひとつである、ディープラーニングフレームワーク「ailia SDK」。品部氏が見据えるアセット分類やデバッグなどの機能が実現されれば、今以上にゲーム業界での活用が見込まれます。
