Audio2Face 2023 (Open Beta) がリリース、UE ライブリンクプラグインが追加

2023年7月25日 – Nvidiaは、音声ソースから顔の動きとリップシンクのアニメーションを作成するAIツール Audio2Face 2023.1.1 (Open Beta) のリリースを発表しました。

新機能ハイライト
アップデート情報
1. 2023.2
チュートリアル
1. 2023.2
ダウンロードする

新機能ハイライト

このリリースでは、Audio2FaceからUnreal Engineにブレンドシェイプアニメーションをストリーミングする機能を提供する、Livelinkとアバターストリーミングが追加されています。

新しいAIモデルとパネル

今回のリリースでは、新しい多言語の中国人女性AIモデル Claire が追加されました。

さらに新しいAIモデルパネルが導入され、どのオーディオプレーヤーでどのAIモデルを使いたいかを選択できるようになりました。また、複数のネットワークが存在する場合、それぞれのAIモデルで利用可能な学習済みネットワークを素早く切り替えることができます。

ライブリンクとアバターストリーミング

キャラクターの顔のアニメーションパフォーマンスを駆動する外部アプリケーションに、ブレンドシェイプアニメーションデータのライブストリームを出力できるようになりました。

ストリーミングワークフローの設定については次の動画をご覧ください。

UE4ライブリンクプラグイン

このリリースでは、Omniverse Live Linkプラグインが追加されました。

Audio2Face Live Link プラグインを使用すると、Audio2FaceからUnreal Engineにアニメーションをライブストリームし、MetaHuman Characterに接続するワークフローが可能になります。

Audio2FaceまたはAvatar Cloud Engine (ACE)のどちらでも、フェイシャルアニメーションとオーディオをストリーミングできます。ごくわずかな設定で、MetaHuman キャラクタがストリーミングされたフェイシャルアニメーションを受信できるように設定でき、正しいマッピングポーズアセットを使用すれば、他の多くのタイプのキャラクタでもプラグインを使用できます。

■プラグインのインストール方法

Audio2Face インストールフォルダー内の以下に示すディレクトリに移動します。
\audio2face-version\ue-plugins\
UE インストール用のプラグインのバージョンを選択し、フォルダーを開きます。
「omniverseLiveLink」ディレクトリを見つけます。
「OmniverseLiveLink」ディレクトリを UE プロジェクトの Plugins ディレクトリにコピーします。

以下の動画でMetahumanにフェイシャルアニメーションとオーディオをストリーミングする方法を見ることができます。

その他のアップデート

舌のサポートが追加されたBlendShapesの改良
エモーションキーフレームのエクスポート
Rest APIの改良
A2F 2023.1サンプルファイル

すべてのアップデート内容の確認はこちらから

アップデート情報

2023.2

2023年11月29日（現地時間） – Audio2Face 2023.2.0 がリリースされました。

Audio2Faceのバージョン2023.2.0では、Blend Shapeの品質が大幅に改善され、Audio2Faceネットワークで生成されたすべてのモーションをエクスポートできるようになりました。Blend Shape Face Tunerは、キャラクタを動かすウェイトオフセットを最適化する機能で、より強力なシェイプ出力をコントロールできます。改良された瞬きのウェイトと、目と顎のトランスフォームもエクスポート可能です。さらに、Audio2Faceのフェイシャル・アニメーション・パフォーマンスを、キャラクターに転送することが、今まで以上に簡単になりました。

■自動対応（Auto Correspondence）