iClone 8 と音声入力のみから表情豊かなフェイシャルアニメーションを生成する Audio2Face との無料連携プラグインがリリース

2024年3月11日（現地時間）- Reallusionは、Character Creator、iClone、Audio2Faceのシームレスな統合を発表し、NVIDIA Audio2Face (A2F) for iClone 8 をリリースしました。

Audio2Face (A2F)について
Audio2faceで生成されたAIアニメーションを強化
インストール方法
1. CC Character Auto Setup
2. NVIDIA Audio2Face Plugin for iClone
ダウンロード

Audio2Face (A2F)について

Audio2Face (A2F)は、AIによって音声入力のみから表情豊かなフェイシャルアニメーションを生成することができるNvidiaのアプリケーションです。Audio2Faceの最新のリリースでは、多言語ダイアログ用の自然なリップシンクアニメーションの生成に加えて、スライダーコントロールとキーフレームエディタを備えた表情もサポートしています。

また、英語中心のリップシンクソリューションの大半とは異なり、Audio2Faceは、歌や不明確な言葉を含むあらゆる言語からアニメーションを生成する優れた能力を持っているのも大きな特徴です。標準的なAIモデルMarkに加え、アジア言語に堪能な女性キャラクター用に調整された新しいディープラーニングモデルClairを利用できます。

Audio2Faceの詳細は以下の記事をご覧ください

https://cginterest.com/2023/07/27/audio2face-2023-1-open-beta-%e3%81%8c%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%b9%e3%80%81ue-%e3%83%a9%e3%82%a4%e3%83%96%e3%83%aa%e3%83%b3%e3%82%af%e3%83%97%e3%83%a9%e3%82%b0%e3%82%a4%e3%83%b3%e3%81%8c/

Audio2faceで生成されたAIアニメーションを強化

cc、a2f、icloneのシームレスな統合

この度発表された2つの補完的なプラグイン『NVIDIA Audio2Face (A2F) for iClone 8 』と『Audio2Face Extension for Audio2Face – CC Character Auto Setup』により、Character Creator、iClone、Audio2Faceのシームレスな統合が実現され、Audio2Faceで生成したアニメーションを強化し、Blender、Unreal Engine、Unity、Omniverseなどの主要な3Dエンジンにをエクスポートできるようになりました。

ワンクリックで、NVIDIA Audio2FaceでCCキャラクターを設定し、インポートされたオーディオトラックと一緒にリアルタイムでアニメーション化し、3Dツールやゲームエンジンにエクスポートする前に、iCloneにトーキングアニメーションをシームレスに戻して、さらに洗練させることができます。

Audio2FaceでのワンクリックCCキャラクターセットアップ

Audio2FaceのCC Character Auto Setupプラグインは、NVIDIAとReallusionのコラボレーションの成果であり、手作業による18ステップのプロセスを1ステップに凝縮しています。CCキャラクターをインポートし、トレーニングモデル（MikeまたはClair）を選択すると、アーティストは、オーディオファイルと同期したリアルなトーキングアニメーションを即座に見ることができます。

モーションスライダー、自動表情、キーフレームの設定などを試し、最終的に完成したアニメーションは、iCloneに送信してさらに改良することができます。

iCloneを使用した幅広いアニメーション調整

iClone用の無料のNvidia Audio2Faceプラグインは、Audio2Faceからアニメーションデータを受け取るように調整されており、アニメーションのインポートだけでなく、顔の生き生きとした表情を強調し、最終的なプロダクションに適した優れたカットに仕上げることができます。

■パーツによる顔の調整

ダイナミックなインターフェイスでアニメーションを微調整できます。表情の強弱や頭の動き、ダレ目の追加など、さまざまなパラメーターを調整してパフォーマンスを引き立てることができます。顎の開きを大きくして感情の緊張感を高めたり、舌の位置を微調整して正確な発音を模倣したりすることも可能です。

■滑らかさの向上

生成AIアニメーションはノイズの影響を受けやすく、特にオーディオファイルが低忠実度のデバイスでキャプチャされた場合や、好ましくない環境でキャプチャされた場合は注意が必要です。Reallusion Audio2Faceの統合は、高度に洗練されたノイズフィルターを導入することで、このような問題を回避し、音質が悪くてもジッターを除去して最適な結果を得ることができます。

■さらにアニメーションを調整

Audio2Faceから満足のいくアニメーションを得た後、特に感情の変化に直面したり、台詞のレベルを変えて特定の口の形を強調したりする場合には仕上げが必要になります。iCloneを使用すると、フェイシャル編集機能により、洗練されたリップシンク、自然な表情の追加、モーションキャプチャ機器 ( AccuFACE、iPhone Live Face ) から取得した頭部の動きの組み込みが可能になります。

インストール方法

CC Character Auto Setup

Audio2Faceを開いて [Windows > Extensions] をクリック。
開いたパネルで、[Options（ハンバーガーメニューアイコン） > Import Extension]をクリックし、「CC.Character.Auto.Setup.Zip」ファイルを選択してインポートします。
CC Character Auto Setup を検索し、拡張機能を有効にすると、CC Character Auto Setupパネルが起動します。