NVIDIA、デジタルヒューマンの構築と展開を容易にするNVIDIA ACE 向けの新しいUE5プラグイン、Maya ACE プラグインを発表!

プラグイン

2024年10月1日(現地時間)- NVIDIA は、Unreal Fest Seattle 2024 において、NVIDIA ACE 向けの新しい Unreal Engine 5 オンデバイスプラグイン、Autodesk Maya 用の Audio2Face-3D プラグインなどを発表しました。

新しいUnreal Engine 5オンデバイスプラグイン

Nvidia ACE は、生成 AI による音声、知能、アニメーションを提供するデジタルヒューマン テクノロジのスイートです。この度Nvidiaは、Windows PC 上で AI 駆動の MetaHuman キャラクターの構築と展開を容易にするNVIDIA ACE 向けの新しい Unreal Engine 5 オンデバイスプラグインを発表しました。

NVIDIA ACE Unreal Engine 5 サンプル プロジェクトは、デジタル ヒューマンをゲームやアプリケーションに統合しようとする開発者のためのガイドとなります。このサンプルプロジェクトでは、以下のようなオンデバイスACEプラグインが拡張されます。

  • リップシンクとフェイシャル アニメーションのための Audio2Face-3D
  • 応答生成のための Nemotron-Mini 4B Instruct
  • コンテキスト情報の RAG

開発者は、知的財産のコンテキストに関する情報でデータベースを構築し、低遅延で関連性の高い応答を生成し、その応答が対応する MetaHuman のフェイシャル アニメーションを Unreal Engine 5 でシームレスに駆動させることができます。これらのマイクロサービスはそれぞれ、Windows PC 上で低遅延かつ最小限のメモリ フットプリントで動作するように最適化されています。

新しいプラグインは近日公開予定です。利用し始めるには、適切な NVIDIA ACE プラグインと Unreal Engine サンプルをこちらからダウンロードし、MetaHumanキャラクタと一緒に使用してください。

Maya ACE プラグイン

Autodesk Maya は、ゲーム開発者やテクニカルアーティストが高品質な 3D グラフィックスを作成するための高性能アニメーション機能を搭載しています。Audio2Face-3Dプラグインを使用することで、あらゆるキャラクタの高品質なオーディオ駆動型フェイシャルアニメーションをより簡単に生成できるようになりました。

合理化されたユーザー インターフェイスにより、Unreal Engine 5 環境へのシームレスな移行が可能です。ソースコードとスクリプトは高度にカスタマイズ可能で、他のデジタル コンテンツ作成ツールで使用するために変更することもできます。

Explore the Capabilities of Autodesk Maya and NVIDIA ACE

使用方法

開始するには、API キーを取得するか、Audio 2Face-3D NIM をダウンロードしてください。Audio2Face-3Dマイクロサービスは、NVIDIA NIMの一部であり、あらゆるクラウドやデータセンターでの基盤モデルの展開を高速化する、使いやすいマイクロサービスのセットです。

次に、Autodesk Maya 2023、2024、または 2025 があることを確認します。Maya ACE Github リポジトリには、Mayaプラグイン、gRPCクライアントライブラリ、テストアセット、サンプルシーンが含まれています。

How to Download and Install Autodesk Maya for NVIDIA ACE

UE5 Pixel Streamer によるデジタル ヒューマンの大規模展開

クラウドを通じてデジタル ヒューマンを展開する開発者は、できるだけ多くの顧客に同時にリーチしようとしていますが、高忠実度のキャラクターをストリーミングするには、大量の計算リソースが必要です。そこで、Epic の Unreal Pixel Streaming テクノロジを活用した Unreal Engine 5 レンダラー マイクロサービスが構築されました。

このマイクロサービスは現在早期アクセスで、NVIDIA ACE Animation Graph マイクロサービスと Linux オペレーティング システムをサポートしています。Animation Graph マイクロサービスは、リアルで応答性の高いキャラクターの動きを可能にし、Unreal Pixel Streaming のサポートにより、開発者は MetaHuman の作品をあらゆるデバイスにストリーミングすることができます。

Animation Graph は、アニメーションのステート マシンとブレンド ツリーの作成を容易にするマイクロサービスです。開発者は、アニメーションのブレンド、再生、および制御のための柔軟なノードベースのシステムを利用できます。ピクセル ストリーミング機能を備えた新しい Unreal Engine 5 のレンダラー マイクロサービスは、Animation Graph マイクロサービスからのデータを消費するため、開発者はクラウド上のサーバーで MetaHuman キャラクターを実行し、そのレンダリング フレームと音声を WebRTC (Web Real-Time Communication) を介して任意のブラウザやエッジ デバイスにストリーミングすることができます。

Unreal Engine 5 のレンダラーマイクロサービスをダウンロードするための早期アクセスの申し込みはこちらから


Simplify and Scale AI-Powered MetaHuman Deployment with NVIDIA ACE and Unreal Engine 5

コメント

Translate »
タイトルとURLをコピーしました