2023年11月6日(現地時間)- Reallusion は、高品質のフェイシャルアニメーションをリアルタイムで正確に提供するAI搭載フェイシャルトラッカー『iClone AccuFACE 』を発表しました。
AccuFACEとは
AccuFACEは、NVIDIA RTX GPUによって駆動されるAIフェイシャルトラッカーで、ウェブカメラと従来のビデオファイルの両方から表情をキャプチャすることができます。AccuFACEは、適切な照明条件下で優れた精度と応答性を発揮するだけでなく、顔の動きを音声入力とスムーズに同期させることができます。さらに、Reallusion独自のAccuLIPSテクノロジーを使用することで、唇や舌のアーティキュレーションを微調整することが可能です。タイムコードマッチングにより、プロフェッショナルな制作や産業用アプリケーションに不可欠な、正確なフルフレームアニメーション録画を実現します。
またAccuFACEは、iClone Motion LIVEを通じてボディモーキャップやデータグローブと連携することにより、フルボディのライブパフォーマンスも可能です。
■ウェブカメラを使用したリアルタイムのフェイシャルトラッキング
スタンドアロンのUSBウェブカメラまたはウェブカメラ内蔵のノートパソコンに対応するAccuFACEは、毎秒30フレーム、720pの解像度で最適なトラッキングができます。ヘルメットに取り付けたセットアップでビデオの向きを調整できるので、身体と手のトラッキングを同時に行いながら、安定した顔のキャプチャが可能です。
■録画した動画からキャプチャ
特殊な機器に関連する高額なコストを節約し、コンシューマーグレードのカメラや一般的な携帯電話を使って映像を作成することができます。
正確さと個性のための調整
■表情の範囲を最適化
あらゆる表情のベースラインとして、顔のニュートラルな状態を設定できます。眉毛の動きをさらにキャリブレーションすることで、個々の俳優とその個性的な演技の信憑性を高めることができます。
■ライブモードのキャリブレーション
簡単なガイド付きプロセスで、ライブのパフォーマーに合わせてキャラクターの顔設定を調整できます。アニメーションのフィードバックを即座に受け取って、改良することができます。
■ビデオモードのキャリブレーション
1つのビデオソースから理想的なキャリブレーションポーズを取得することが困難な場合、AccuFACEでは複数のビデオファイルからキャリブレーションフレームを柔軟に検索できます。
Mocapのリファイン
AccuFACEは、ノイズや干渉など一般的な課題に対処するための包括的なツールキットを提供し、完璧なアニメーションの実現に近づけます。
■強度バランス
特定の顔の部位の動きをブーストまたは変調して、演技をよりリアルに描写したり、別のアニメーションスタイルに移行したりできます。
■スムーズフィルタ
トラッキング角度の超過、ヘアの過度なかぶさり、不均一なライティングや シャドーイングなどの結果生じる望ましくないspasms(痙攣)をトラッキングデータから除去します。
■ノイズ除去
ジッターはモーショントラッキングのあらゆるレベルを悩ませます。AccuFACE Denoiseは、パフォーマンスの幅を損なうことなく、不安定な動きを効果的に滑らかなものにします。
■干渉防止
交差領域の干渉や交差トリガ(cross-triggering)は、表情の乱れにつながります。AccuFACE interference cancellationは、不要な頭、眉、口の動きを低減します。
正確なオーディオマッチング
音声とパフォーマンスを完全に同期させるために個別の音声調整が必要なフェイシャルモーキャップソリューションとは異なり、AccuFACEは音声データとフェイシャルアニメーションの両方をシングルパスでキャプチャします。これにより、ライブウェブカメラまたは録画済みビデオのどちらから取得した場合でも、音声に同期したアニメーションを迅速に生成することができます。
ソースメディアのフレームレートが24fps、30fps、60fpsのいずれに設定されていても、AccuFACEエンジンは、ソースフレームレートに従って一貫して音声同期アニメーションを生成します。
AccuLIPSテクノロジーを統合
AccuLIPS テクノロジーが統合されているため、微妙な唇と舌のアニメーションを組み込むことができます。AccuLIPSは、他のフェイシャルモーキャップシステムでは不十分な、複雑な唇と舌の動きを可能にします。音声からテキストデータを抽出することで、AccuLIPSは、正確なリップシンクのための追加Visemeトラックを生成。フェイシャルモキャップの微妙な動きを完全にコントロールするために、iCloneのフェイシャルキーエディタ、フェイシャルレイヤー、カーブエディタを活用することができます。
また、AccuLIPSは、音声テキスト認識をバイパスすることで、英語以外の言語にも対応します。英語以外の音声ファイルをローマ字表記に変換する無料ツールも用意されています。
タイムコード同期によるロスレス録音
選択されたウェブカメラまたは録画されたビデオのフレームレートに基づいて、タイムコード・マッチングは、コンピュータの仕様や性能に依存することなく、フルフレームレコーディングを保証します。
価格とシステム要件
AccuFACEの使用には、
Windows 10 64ビット以降、NVIDIA GeForce RTX 2060、Quadro RTX 3000、TITAN RTX 以降のGPUとNVIDIA Display Driverバージョン520.46以降が必要です。
サポートされているビデオ形式は、 AVI、WMV、MP4、MKV、MOV。1280×720、30 fps 以上のウェブカメラまたはヘッドマウントカメラをサポートしています。対応するウェブカメラの詳細はこちらから
AccuFACEは、iClone8のアドオンとして利用できます。
アドオン単体の価格は499ドル(現在リリース記念により250ドル)となっています。
iClone8とのバンドル製品もあり、価格は1098ドル(現在リリース記念により599ドル)となっています。
価格の確認はこちらから
コメント