2024年1月8日(現地時間)- Nvidia は、CES 2024でNVIDIA Audio2Face (A2F) および NVIDIA Riva 自動音声認識 (ASR) 用の ACE プロダクション マイクロサービスが利用可能になったことを発表しました。また、NVIDIA ACE を採用しているデジタル アバター開発者の紹介や次世代 AI NPC がどのようにゲームに革命をもたらすかを紹介するための新しいKairos デモの最新バージョンを公開しました。
NVIDIA ACE マイクロサービスが利用可能に
NVIDIA ACE を使用すると、ミドルウェア、ツール、ゲームの開発者は、A2F や Riva ASR などの最先端の AI モデルを取得し、ゲームやアプリケーションのデジタル アバター ソリューションに実装することができます。
Riva ASR:Riva ASR では、プレイヤーは AI キャラクターにタイピングするのではなく、マイクを介して AI キャラクターに話しかけることができます。ASR モデルの目標は、ゲーマーがカジュアルかつ自然に会話できるようにし、没入型でダイナミックな会話を可能にすることです。
Audio2Face:Audio2Face は、テキスト読み上げモデルなどのオーディオソースのみから、ゲーム キャラクターの表情豊かな顔のアニメーションを作成します。A2F は、リアルタイムの表情とリップシンクの生成と、オフラインでの顔のパフォーマンスの作成の両方に使用できます。NPC の音声ラインは非決定的であるため、リアルタイムは AI NPC にとって厳しい要件になります。
トップデジタルアバター開発者が NVIDIA ACE を採用
トップクラスのインタラクティブ アバターおよびゲーム開発者は、ACE および生成 AI テクノロジがプレイヤーとキャラクターのインタラクションをどのように変換できるかを先駆けて開発しています。これには、Convaiに加えて、Charisma.AI、Inworld、miHoYo、NetEase Games、OurPalm、Tencent、Ubisoft、UneeQが含まれています。
Convaiの創設者兼CEOであるPurnendu Mukherjee氏、Tencent Gamesはそれぞれ次のように述べています。
「仮想世界における生成AIキャラクターは、これまで不可能であった様々なユースケースや体験を可能にします。ConvaiはRiva ASRとA2Fを活用し、低遅延の応答時間と忠実度の高い自然なアニメーションで、本物そっくりのNPCを実現します。」
– Purnendu Mukherjee氏
「これは、ゲームにおけるAIの画期的な瞬間です。NVIDIA ACEとTencent Gamesは、ビデオゲームに個性的で生き生きとした性格とインタラクションを持つデジタルアバターをもたらす基礎を築く手助けをします。」
– Tencent Games
Kairos デモが進化
2023年5月に公開された生成AIを使用したNPCのデモ『Kairos』が新しい技術で進化しました。
NPCとのオープンエンドな会話は、ゲームにおけるインタラクティブ性の可能性を広げます。しかし、会話は潜在的な行動につながる結果を伴うものでなければなりません。NPCがアクションを実行するには、周囲の世界を認識し、ダイナミックに相互作用できる必要があります。NVIDIA のパートナーであるConvaiと彼らの最新リリースにより、以下の新機能を備えたAI NPCを実現しました。
- 空間認識 – ゲームキャラクターがオブジェクトを識別して対話し、周囲の環境について会話することができます。例えば、プレイヤーがアイテムを指差すと、キャラクターがそのアイテムについてインテリジェントに話します。
- アクション – 会話に基づいて、ゲームキャラクターがゲーム世界のアイテムと相互作用できるようにします。例えば、リクエストに応じて日本酒を届けるなど。
- NPC間インタラクション – ゲームキャラクター同士のインタラクションを可能にし、プレイヤーがアイドル状態でも世界を生き生きとさせます。
さらに、Convaiは新しいNVIDIA ACEマイクロサービス: Audio2FaceとRiva ASRを統合しました。Convaiのパイプラインに新しいACEマイクロサービスを追加することで、ゲームキャラクターはリップシンクが改善され、表情が豊かになり、プレイヤーの声を聞く際に正確な音声検出ができるようになります。
以下が新しいKairosデモとなります。
NVIDIA & Developers Pioneer Lifelike Digital Characters For Games And Applications With NVIDIA ACE
コメント