2024年7月30日(現地時間) – 映画・テレビ業界に3Dキャプチャと処理を提供する Clear Angle Studios、独立系フェイシャルキャプチャとアニメーションを提供する DI4D、高解像度スキンテクスチャマップと高度なスキン処理を提供するTexturingXYZは、SIGGRAPH 2024において、パフォーマンス主導のデジタルヒューマンフェイスの新基準に向けたビジョンを披露しました。
映像とほとんど見分けがつかない4Dフェイシャルキャプチャ
3社が共同で発表した4Dフェイシャルパフォーマンスキャプチャーサービスは、フレームごとのマップデータを生成することで、人間の記録映像とほとんど見分けがつかない最終製品を提供します。
最初のメッシュから最終的なレンダリングまでの構築プロセスを紹介する次の動画では、インタラクティブエンターテインメントの未来と、3つの専門会社が協力することでベンダーに提供できる1つのサービスの可能性が垣間見えます。
Clear Angle Studiosはキャプチャ技術を提供、DI4Dはマーカーレスメッシュトラッキングを提供し、TexturingXYZは先進的なHyperskin技術を使ってマップ上の微細な肌のディテールを強調しています。
3Dスキャンは、静止した現実の被写体の正確なデジタルモデルを作成します。しかし、3Dスキャンを使用しても、デジタルヒューマンで俳優の動きを再現することは、これまでアニメーターの解釈に頼っていました。4Dキャプチャーでは、動きのあるスキャンが記録されるため、本物の人間だけが出せる微妙なニュアンスをすべて捉えた、フォトリアリスティックな俳優の演技のデジタル複製が可能になります。
■フレームごとのマップデータを生成し微細な変化を正確にキャプチャ
Clear Angle Studios、DI4D、TexturingXYZは、人間の顔が表情の変化の中で受ける超微細な変化を正確に表示することに取り組みました。毛穴や皮膚の細部は、顔のポーズを変えたときに、特定の方法で伸びたり、縮んだり、たわんだり、流れたりします。これにより、目に見える歪みが生じ、光の当たり方が変化します。1つの3Dスキャンから得た肌のディテールの静止フレームをシーケンス全体でアニメーション化すると、このディテールの多くが失われたり、推測する必要があります。
しかし、ビデオで見ることができるように、この新しい共同4Dプロセスでは、フレームごとに動的に起こるこれらの現実世界の変化を忠実に再現しています。マイクロスキンのテクスチャマップのディテールがジオメトリ全体で正確であるだけでなく、レンダリングで見られる光の反射も非常に正確で、これらのマイクロディテールの変化を反映しています。
Clear Angle Studios、DI4D、TexturingXYZのそれぞれの代表者はそれぞれ次のように述べています。
「私たちは10年以上にわたって、全身キャラクター、頭部、小道具のスキャン、LiDAR、環境キャプチャ、3Dスキャン処理を、業界で最も有名なスタジオに提供してきました。その経験から学んだことや専門知識を、この4Dキャプチャーの進歩に生かすことができることを大変誇りに思います。今回もまた、素晴らしい人々とのチームワークとコラボレーションによってのみ可能になる進歩です。」
– Dominic Ridley, Co-Founder and CEO of Clear Angle Studios
「DI4Dは4Dフェイシャルキャプチャーのパイオニアであり、20年以上この分野をリードしてきました。私たちは、Clear Angle StudiosとTexturingXYZという、3Dスキャニングとテクスチャーマップ生成の分野で世界的に有名な2つのリーダーとコラボレーションできることを大変嬉しく思っています。彼らの専門知識と世界をリードする私たちの4Dトラッキング能力を組み合わせることで、フレームごとに高精度のディフューズ、法線、変位マップを持つ画期的な4Dデータを作成することができ、その結果、最もリアルなパフォーマンス主導のフェイシャルアニメーションが可能になります。」
– Colin Urquhart, Co-Founder and CEO of DI4D,
「TexturingXYZの使命は、アーティストに最高品質のテクスチャマップを提供し、驚くほどリアルなデジタルヒューマンを作成できるようにすることです。今回のコラボレーションは、業界のリーダーたちが独自の強みを組み合わせることで何が達成できるかを証明するものです。我々は、この革新的な4Dキャプチャー・プロセスに専門知識を提供し、デジタル・エンターテインメントの可能性の限界を押し広げることに興奮しています。」
– Jeremy Celeste, CEO of TexturingXYZ
コメント