2022年7月21日(現地時間)- Nvidiaは、Omniverse Audio2Face 2022.1をリリースしました。今回のアップデートは、確かCOMPUTEX2022で予告されていたもので、次の記事でも少し触れています。
https://cginterest.com/2022/05/25/2022%e5%b9%b45%e6%9c%88%e3%81%ae-nvidia-studio-driver-%e3%81%8c%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%b9/#toc6
Omniverse Audio2Face について
NVIDIAのAudio2Faceは、AIテクノロジーの組み合わせを使用して、オーディオソース入力から顔のアニメーションと会話のリップシンクを生成するOmniverseアプリケーションです。
Learning AI技術により、音声ソースだけから表情豊かなフェイシャルアニメーションを素早く簡単に生成することができます。
このアプリケーションは、インタラクティブなリアルタイムアプリケーションにも、従来のフェイシャルアニメーションオーサリングツールとしても使用できます。アプリケーションは、結果をジオメトリキャッシュとしてエクスポートする前に、アニメーションのパフォーマンスを微調整するためのプリプロセスパラメータとポストプロセスパラメータの配列を提供します。
■仕組み
Audio2Faceには、オーディオトラックと一緒にアニメーション化できる3Dキャラクターモデル “Digital Mark “がプリインストールされているので、オーディオを選択してアップロードするだけで、簡単に使い始めることができます。
オーディオの入力は、事前にトレーニングされたディープニューラルネットワークに送られ、出力はリアルタイムで顔のアニメーションを作成するために、キャラクターメッシュの3D頂点を駆動します。また、様々な後処理パラメータを編集して、キャラクターのパフォーマンスを編集するオプションも用意されています。
Omniverse Audio2Face 2022.1
Audio2Faceは、AIベースのテクノロジーの組み合わせで、オーディオソースから完全に派生したフルフェイシャルモーションとリップシンクを生成します。
このリリースでは、新機能のAudio2Emotionによって、音声を分析し、キャラクターの演技に感情のアニメーションを自動生成することができるようになりました。
Full-Face Neural Networkは、目や舌を含む顔のすべての特徴をアニメーション化します。新キャラクター設定機能により、キャラクターリターゲットプロセスで目、歯、舌を設定することができ、フルフェイスのキャラクターを転送することが可能です。
■新機能リスト
- 感情表現が可能なフルフェイス:新しいFull-face Neural Networkは、喜び、驚き、怒り、悲しみなどの様々な感情を用いてトレーニングされています。
- Audio2Emotion:Audio2Emotionは、オーディオパフォーマンスからキャラクターの感情を検出し、自動的にキーフレームを作成するNeural Networkです。
- フルフェイスキャラクターセットアップ:キャラクターセットアップUIは、キャラクターメッシュのセットアップを支援し、フルフェイスパイプラインに接続します。
- キーフレーミング:エモーションパネルとポストプロセッシングパネルに、シンプルなキーフレーミングのUIが用意されています。
- メッシュツール:「メッシュ分割」「サブセットによるメッシュ抽出」「フリーズ変換」などの新機能を搭載し、A2F用のメッシュをセットアップすることができます。
Audio2Faceのより詳しい情報はこちらのページから確認することができます。
ダウンロードとシステム要件
Audio2Face には Windows 64 ビット 1909 以上が必要です。
より詳しいシステム要件はこちらから
Audio2Faceは、Omniverse Launcher からダウンロードして利用することができます。個人利用の場合は無料です。
ダウンロードはこちらから
コメント