Omniverse Audio2Face 2022.1 がリリース、感情のあるアニメーションの生成が可能に

CGソフト

2022年7月21日(現地時間)- Nvidiaは、Omniverse Audio2Face 2022.1をリリースしました。今回のアップデートは、確かCOMPUTEX2022で予告されていたもので、次の記事でも少し触れています。

https://cginterest.com/2022/05/25/2022%e5%b9%b45%e6%9c%88%e3%81%ae-nvidia-studio-driver-%e3%81%8c%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%b9/#toc6

Omniverse Audio2Face について

NVIDIAのAudio2Faceは、AIテクノロジーの組み合わせを使用して、オーディオソース入力から顔のアニメーションと会話のリップシンクを生成するOmniverseアプリケーションです。

Learning AI技術により、音声ソースだけから表情豊かなフェイシャルアニメーションを素早く簡単に生成することができます。

このアプリケーションは、インタラクティブなリアルタイムアプリケーションにも、従来のフェイシャルアニメーションオーサリングツールとしても使用できます。アプリケーションは、結果をジオメトリキャッシュとしてエクスポートする前に、アニメーションのパフォーマンスを微調整するためのプリプロセスパラメータとポストプロセスパラメータの配列を提供します。

仕組み

Audio2Faceには、オーディオトラックと一緒にアニメーション化できる3Dキャラクターモデル “Digital Mark “がプリインストールされているので、オーディオを選択してアップロードするだけで、簡単に使い始めることができます。

オーディオの入力は、事前にトレーニングされたディープニューラルネットワークに送られ、出力はリアルタイムで顔のアニメーションを作成するために、キャラクターメッシュの3D頂点を駆動します。また、様々な後処理パラメータを編集して、キャラクターのパフォーマンスを編集するオプションも用意されています。

Omniverse Audio2Face 2022.1

Audio2Faceは、AIベースのテクノロジーの組み合わせで、オーディオソースから完全に派生したフルフェイシャルモーションとリップシンクを生成します。

このリリースでは、新機能のAudio2Emotionによって、音声を分析し、キャラクターの演技に感情のアニメーションを自動生成することができるようになりました。

Full-Face Neural Networkは、目や舌を含む顔のすべての特徴をアニメーション化します。新キャラクター設定機能により、キャラクターリターゲットプロセスで目、歯、舌を設定することができ、フルフェイスのキャラクターを転送することが可能です。

■新機能リスト

  • 感情表現が可能なフルフェイス:新しいFull-face Neural Networkは、喜び、驚き、怒り、悲しみなどの様々な感情を用いてトレーニングされています。
  • Audio2Emotion:Audio2Emotionは、オーディオパフォーマンスからキャラクターの感情を検出し、自動的にキーフレームを作成するNeural Networkです。

  • フルフェイスキャラクターセットアップ:キャラクターセットアップUIは、キャラクターメッシュのセットアップを支援し、フルフェイスパイプラインに接続します。

  • キーフレーミング:エモーションパネルとポストプロセッシングパネルに、シンプルなキーフレーミングのUIが用意されています。
  • メッシュツール:「メッシュ分割」「サブセットによるメッシュ抽出」「フリーズ変換」などの新機能を搭載し、A2F用のメッシュをセットアップすることができます。

Audio2Faceのより詳しい情報はこちらのページから確認することができます。

ダウンロードとシステム要件

Audio2Face には Windows 64 ビット 1909 以上が必要です。

より詳しいシステム要件はこちらから

Audio2Faceは、Omniverse Launcher からダウンロードして利用することができます。個人利用の場合は無料です。

ダウンロードはこちらから

コメント

Translate »
タイトルとURLをコピーしました