Audio2Face 2023 (Open Beta) がリリース、UE ライブリンクプラグインが追加

CGソフト

2023年7月25日 – Nvidiaは、音声ソースから顔の動きとリップシンクのアニメーションを作成するAIツール Audio2Face 2023.1.1 (Open Beta) のリリースを発表しました。

新機能ハイライト

このリリースでは、Audio2FaceからUnreal Engineにブレンドシェイプアニメーションをストリーミングする機能を提供する、Livelinkとアバターストリーミングが追加されています。

新しいAIモデルとパネル

今回のリリースでは、新しい多言語の中国人女性AIモデル Claire が追加されました。

さらに新しいAIモデルパネルが導入され、どのオーディオプレーヤーでどのAIモデルを使いたいかを選択できるようになりました。また、複数のネットワークが存在する場合、それぞれのAIモデルで利用可能な学習済みネットワークを素早く切り替えることができます。

ライブリンクとアバターストリーミング

キャラクターの顔のアニメーション パフォーマンスを駆動する外部アプリケーションに、ブレンドシェイプアニメーションデータのライブストリームを出力できるようになりました。

ストリーミング ワークフローの設定については次の動画をご覧ください。

UE4ライブリンクプラグイン

このリリースでは、Omniverse Live Linkプラグインが追加されました。

Audio2Face Live Link プラグインを使用すると、Audio2FaceからUnreal Engineにアニメーションをライブストリームし、MetaHuman Characterに接続するワークフローが可能になります。

Audio2FaceまたはAvatar Cloud Engine (ACE)のどちらでも、フェイシャル アニメーションとオーディオをストリーミングできます。ごくわずかな設定で、MetaHuman キャラクタがストリーミングされたフェイシャル アニメーションを受信できるように設定でき、正しいマッピング ポーズ アセットを使用すれば、他の多くのタイプのキャラクタでもプラグインを使用できます。

プラグインのインストール方法

  • Audio2Face インストール フォルダー内の以下に示すディレクトリに移動します。
  • \audio2face-version\ue-plugins\
  • UE インストール用のプラグインのバージョンを選択し、フォルダーを開きます。
  • 「omniverseLiveLink」ディレクトリを見つけます。
  • 「OmniverseLiveLink」ディレクトリを UE プロジェクトの Plugins ディレクトリにコピーします。

以下の動画でMetahumanにフェイシャル アニメーションとオーディオをストリーミングする方法を見ることができます。


その他のアップデート

  • 舌のサポートが追加されたBlendShapesの改良
  • エモーションキーフレームのエクスポート
  • Rest APIの改良
  • A2F 2023.1サンプルファイル

すべてのアップデート内容の確認はこちらから

アップデート情報

2023.2

2023年11月29日(現地時間) – Audio2Face 2023.2.0 がリリースされました。

Audio2Faceのバージョン2023.2.0では、Blend Shapeの品質が大幅に改善され、Audio2Faceネットワークで生成されたすべてのモーションをエクスポートできるようになりました。Blend Shape Face Tunerは、キャラクタを動かすウェイトオフセットを最適化する機能で、より強力なシェイプ出力をコントロールできます。改良された瞬きのウェイトと、目と顎のトランスフォームもエクスポート可能です。さらに、Audio2Faceのフェイシャル・アニメーション・パフォーマンスを、キャラクターに転送することが、今まで以上に簡単になりました。

■自動対応(Auto Correspondence)

  • 自動検出は、メッシュ フィッティング プロセスで 25 の対応点を自動的に生成する機能を提供します。
  • インタラクティブ検出では、5つの初期ガイド点を設定し、残りの20点を自動検出することができます。

■拡張されたエクスポート オプション

  • 顎と目の関節変換データをA2Fデータ変換タブからエクスポートできるようになりました。

■Blendshape Blink(瞬き)エクスポートとライブストリーミングの改善

  • Blendshapeの瞬きをエクスポートする際、A2Fはアセットのばらつきを自動補正し、1(まぶたが完全に閉じている場合)の値が確実にエクスポートされるようになりました。
  • ブリンクのエクスポートは、Audio2Face ネットワークからのブリンクのアクティブ化に対応します。

■Face Tuner ノード

  • 「Tuner」ノードでは、ゲインとオフセットを使用してブレンドシェイプ ウェイトを変更できるため、ユーザーの希望に応じて一部のポーズ ウェイトを増幅/削減/オフセットできます。
  • ウェイト出力を変更すると、ユーザーは受信アセットのブレンドシェイプ設定での動作の発散範囲を補正できます。
注: Livelink UE プラグインのワークフローとドキュメントにおける次の変更点に注意してください – コピー/ペーストするディレクトリの名前は「OmniverseLiveLink」という名前ではなくなりました。代わりに「ACE」ディレクトリをコピーして貼り付けてください。
その他すべてのアップデート内容の確認はこちらから

チュートリアル

また、以下のようなワークフローチュートリアルが公開されています。

カスタムキャラクター転送の設定

ARKit Blendshape


2023.2

ダウンロードする

Audio2Faceは、Win 64 1909以降、Ubuntu Linux バージョン20.04以降で利用できます。

ダウンロードは Nvidia Omniverse launcher から可能です。

Omniverse launcherのダウンロードはこちらから

コメント

Translate »
タイトルとURLをコピーしました