2023年6月15日（現地時間）- EpicGamesは、今年3月に発表した高品質のフェイシャル アニメーションを簡単に作成できる MetaHuman animator が利用可能になったことを発表しました。
MetaHuman Animator
MetaHuman Animator は、iPhone またはステレオ ヘッドマウント カメラ (HMC) システムを使ってアクタのパフォーマンスをキャプチャし、手動での作業を必要とせずに、それを高忠実度のフェイシャル アニメーションとしてあらゆる MetaHuman キャラクターに適用できる新機能セットです。
GDC 2023 で初めて公開された MetaHuman Animator は、迅速で容易なデジタル ヒューマン パイプラインとして、MetaHuman のための忠実度の高いパフォーマンス キャプチャを実現します。
高忠実度のフェイシャル アニメーションを簡単に作成
以前は、アクタのパフォーマンスのあらゆるニュアンスをデジタル ヒューマンで忠実に再現するには、専門家チームによる何か月もの作業が不可欠でした。今や、MetaHuman Animator を使ってこの煩雑な作業を一瞬にして完了できるため、負担を大幅に軽減できるようになりました。
この新機能セットでは、4D ソルバを使って、パフォーマーを再現した MetaHuman に動画と深度データを組み合わせます。アニメーションは、わずか数分で利用可能になる最終的なアニメーションを使って GPU ハードウェアでローカルに生成されます。
すべての処理はプログラム内で行われるため、ユーザーはカメラをアクタに向けて、撮影ボタンを押すだけでほぼすべてが完了します。キャプチャが完了すると、MetaHuman Animator により、アクタのパフォーマンスの個性とニュアンスがあらゆる MetaHuman キャラクターで正確に再現されます。
さらに、アニメーション データは適切なリグ コントロールを使った意味論的に正しいものであり、時間的にも一貫性があり、制御トランジションもスムーズであるため、アニメーションを調整したい場合でもアート面の調整を容易に加えることができます。
Epic Games の 3Lateral チームがセルビアのアーティストと短編映像「Blue Dot」を共同制作しました。この繊細な表現を実現した短編映像は、MetaHuman Animator をステレオ ヘッドマウント カメラ システム、および従来の映画制作技術を併用した場合に、アーティストや映画制作者が期待できる忠実度のレベルを示しています。
さらに、チームは、MetaHuman Animator の結果を基にして、最小限の操作でこの印象的なアニメーション品質を実現しました。
あらゆる MetaHuman に対応したフェイシャル アニメーション
MetaHuman Animator を使ってキャプチャしたフェイシャル アニメーションは、わずか数回のクリックであらゆる MetaHuman キャラクター、または MetaHuman の新しいフェイシャル記述標準に適合するキャラクターに適用できます。つまり、それぞれ好きにデザインしたキャラクターで、フェイシャルアニメーションが正しく機能することが保証されています。
この処理は、技術的にはわずか3フレームのビデオと、iPhoneで撮影した深度データ、または縦型ステレオヘッドマウントカメラのデータを使って再構成したMetaHuman Identityを作成できるようになったことで実現しました。
これにより、ソルバーがアクターにパーソナライズされ、MetaHuman AnimatorはどんなMetaHumanキャラクターにも対応するアニメーションを作成することができます。また、音声を利用して、説得力のある舌のアニメーションを作成することも可能です。
キャプチャーにiPhoneを使用
EpicGamesは、フェイシャルパフォーマンスのキャプチャーを、ハイエンドのキャプチャーシステムを持つエキスパートだけが実現できるものから、すべてのクリエイターのためのものへと変えたいと考えているとしています。
MetaHuman Animatorは、iPhone（12以上）とデスクトップPCだけで使用することができます。Live Link Face iOSアプリがアップデートされ、生のビデオとデプスデータをキャプチャし、デバイスから直接Unreal Engineに取り込んで処理することが可能となっています。
また、MetaHuman Animatorを既存の縦型ステレオヘッドマウントカメラシステムと組み合わせて使用することで、より忠実な処理を実現することができます。
iPhoneやステレオHMCを使用している場合でも、MetaHuman Animatorはキャプチャワークフローのスピードと使いやすさを向上させます。これにより、撮影の要件やビジュアルフィデリティのレベルに最適なハードウェアを柔軟に選択することができます。
キャプチャしたアニメーションデータはタイムコードに対応しているため、フェイシャルパフォーマンスのアニメーションをボディモーションキャプチャやオーディオと簡単に合わせることができ、完全なキャラクターパフォーマンスを提供することができます。
撮影現場での最適なツール
MetaHuman Animatorは、MetaHumanキャラクタにフェイシャルアニメーションを素早く処理・転送できるので、撮影現場でクリエイティブな選択をするのに最適なツールとされています。
アクターにもっと演技をさせたい、もっと違う感情を表現させたい、新しい方向性を探りたい場合は、すぐに別のテイクを撮りコーヒーを淹れるのと同じくらいの時間で、結果を確認することができます。
撮影中にアニメーション データを Unreal Engine で確認できるため、最終的なキャラクターがアニメーション化される前に、キャプチャーの品質を十分に評価することができます。
また、俳優がまだステージにいる間に再撮影を行うことができるので、後日全員を呼び戻すのに必要なコストと時間を吸収する代わりに、その場で最高のテイクを得ることが可能です。
Mesh to MetaHuman のアップデート
このリリースでは、Mesh to MetaHumanにもアップデートがされており、テンプレートメッシュのポイント位置を直接設定できるようになりました。
Mesh to MetaHumanは、任意のトポロジーを使用できるようにフィットを実行しますが、これは必然的に入力メッシュのボリュームを近似させます。今回のリリースでは、テンプレートメッシュを設定し、それがMetaHumanのトポロジーに厳密に準拠していれば、近似値ではなく、まさにそのメッシュをリギングすることができるようになりました。これにより、元のメッシュにさらに似た MetaHuman が作成できます。
メッシュとジョイントのニュートラルポーズを設定するDNA Calibの機能と合わせて、カスタムキャラクターを素早く完成させることができます。
この機能の詳細はこちらから
リソース
MetaHuman Animatorを使って、デジタルヒューマンのフェイシャルアニメーションを数分で制作する方法が紹介されている動画が公開されています。
また、MetaHumanフレームワークのすべての側面に関するドキュメントが、新しいMetaHumanハブで読むことができるようになりました。
Epic のツールについて学び、他のユーザーと情報交換するためのワンストップ ショップである Epic Developer Community 内にあり、自分の作品を紹介したり質問したりできるフォーラムや、Epic とユーザー作成のチュートリアル コンテンツの両方を含むチュートリアル セクションも提供しています。
ダウンロード
このプラグインは、UE専用コンテンツとなっています。Unreal Engine ベースの製品にのみ使用がライセンスされ、無料で使用できます。
アップデートされた LiveLink Face アプリはこちらから
高品質のフェイシャル アニメーションを数分で作成できる MetaHuman Animator を今すぐご利用いただけます。
コメント