2024年12月10日 – シーエーシー（CAC）は、音声感情解析AIによる3Dキャラクター表情自動生成サービス「DeepEmo」のUnity版デモエディタの提供開始を発表しました。
「DeepEmo」のUnity版デモエディタの提供が開始
音声から3Dキャラクターの表情アニメーションを自動生成する「DeepEmo」のデモエディタの提供が2024年12月10日（火）より開始されました。
DeepEmo とは
「DeepEmo」音声感情解析AI「Empath」を搭載し、3Dゲームのキャラクターの表情生成を支援するサービスです。
このサービスを利用することで、表情アニメーターの工数を大幅に削減し、制作コストを抑えることが可能となります。この技術は、株式会社スクウェア・エニックスが2023年1月24日に発売した『FORSPOKEN（フォースポークン）』の開発にも利用されました。
デモエディタは、ゲームエンジンであるUnityのプロジェクトとして提供するもので、AIが台詞音声を解析して感情データを出力し、その感情データをもとに、3Dキャラクターの表情アニメーションを自動生成することができます。
DeepEmoは感情表出音声をもとにディープラーニングを用いて、平常、怒り、恐怖、嫌悪、喜び、悲嘆、信頼、興味、驚きの9つの感情を推定するアルゴリズムです。収録した台詞音声を解析し、0.32秒ごとに変化する感情値を生成します。
これまでDeepEmoは、この音声データから解析した感情値をCSVファイルとして提供してきました。しかし、この方式ではお客様側で感情解析データを解釈し、また、それをもとに表情を生成するシステムの構築を個社ごとに行う必要があるため、実際の開発現場に導入するにはハードルが高くなっていました。このような課題を解決し、より効率的な開発環境を実現するため、本デモエディタの開発が行われました。
このデモエディタにより、感情解析から表情生成までの一連の工程を簡単に体験できるようになりました。
デモエディタの概要
今回CACが開発したデモエディタでは、音声データと感情解析したCSVをインポートするだけで、簡単にセリフと感情に合わせた3Dキャラクターの表情アニメーションをUnity上で自動生成することができます。
表情生成の基本となる9種類の感情（平常、怒り、恐怖、嫌悪、喜び、悲嘆、信頼、興味、驚き）に対応するブレンドシェイプをプリセットとして登録することで、台詞の感情に合わせたリップシンク付きの自然な表情アニメーションを生成することができます。
Unityのエディタ上では、感情の強度パラメーターの微調整や、アニメーション変化の開始タイミング調整など、より細やかな表現の制御が可能です。
今後の展開
CACは、今回のデモエディタを通じて、実際のゲーム開発現場の様々な開発者の皆様からフィードバックを集め、現場のニーズに即した機能強化が行われることが計画されています。
将来的には、複数の3D制作プラットフォームへの対応や、既存パイプラインとの連携、一括表情適用機能の実装、VRM形式への対応など、開発現場の多様なニーズに対応する機能が追加予定です。
また、ゲーム制作に限らず、メタバースやVtuber等、3Dキャラクターを活用したデジタルコンテンツ制作全般へのサービス展開も視野に入れ、DeepEmoが提供する感情解析・表現技術を通じて、人とデジタルキャラクターとのより豊かなコミュニケーション体験の実現を目指していくとしています。
利用について
デモエディタの利用についての、ゲーム開発、アニメーション制作、デジタルコンテンツ制作などに携わる企業等からのお問い合わせは、下記の連絡先で受け付けているとのことです。
■お問い合わせ先
株式会社シーエーシー
新規事業開発本部 DeepEmo担当
E-mail：deepemo_info@cac.co.jp
音声感情解析AIによる3Dキャラクター表情自動生成サービス「DeepEmo」のUnity版デモエディタの提供を開始
～ 台詞音声からキャラクターの表情をAIで自動生成 ～
コメント