多数使用しても Unreal Engine で最大120fps が可能となるデジタルヒューマン「4D Digital Humans」がリリース

AXYZ designは10月1日（現地時間）、建築ビジュアライゼーション、特殊効果、映画、テレビ、ゲームなど様々な分野で活用することができる新しいデジタルヒューマン3Dモデルである「4D Digital Humans」をリリースしました。

4D Digital Humans とは

4D Digital Humansは、従来の静的なReady Posed モデルのリアリズムとRigged モデルのアニメーションという2つの長所をミックスした新しいタイプのモデルです。

モデルは、実際に生きている人々のパフォーマンスを一定期間にキャプチャし、アニメーション化されたテクスチャを持つアニメーション化された3Dジオメトリに変換することができる最先端の技術を使用して作られています。基本的なコンセプトは、静的なReady Posedモデルの作成に使用されるものと同じですが、時間を追加することでプロセス全体が全く新しいレベルの複雑さをもたらします。

この新しいキャプチャプロセスによって、衣服の細部をすべて保存し、リアリズムを提供するフェイシャルアニメーションを提供することができるようになっています。

さらに、一定期間にわたる新しい3Dスキャンキャプチャと、AXYZデザインが開発した新しいポストプロセス技術により、ロスレス圧縮を適用してキャプチャデータを5GBから150～250MBに減らすことができます。

また、4D キャラクターテクノロジーは、マルチコア CPU と最新の GPU のストリーミング機能を活用しており、これらのアクターを同時に多数使用して Unreal Engine で 120fps を達成することが可能とということです。

既知の問題

4Dモデルのキャプチャに使用される新しい3Dシーケンススキャナーテクノロジーは、まだ改善の余地があるの最先端技術であり、問題点も多数あります。

■固定で限定されたアニメーション
各モデルには30秒程度のアニメーションがあり、環境や他のアクターに合わせることはできず、ループもできません。なので、通常3～6秒程度かかる複数のショットに収まるようにキャプチャがながくなっています。また、anima®内で各アクターのアニメーションのカスタムオフセットを設定することで、パフォーマンスの多様性を向上させることができます。

■アーティファクトとメッシュの振動
近距離で、また照明条件によっては、一部のモデルではメッシュに目に見える振動があり、気が散ってしまうことがあります。これはソーススキャン処理の制限であり、圧縮（ロスレス圧縮）の産物ではありません。

■IPRの問題
本番用のレンダリングモードは素晴らしい働きをしますが、3Dアプリケーションとレンダリングエンジンのいくつかの組み合わせにおいて、インタラクティブレンダリングモード（IPR）は、フレームが変更されたときにプラグインが行うテクスチャの自動更新の変更を正しく処理しません。これは主に、一部のレンダラーがこのレンダーモードで、新しい 4D ストリームモデルのパラダイムを考慮していない最適化を使用しているために起こります。AXYZ designは、すでにレンダー開発者と連絡を取り合って解決策を探しており、この機能をサポートしているレンダーエンジンでは問題なく動作しています。

■Cinema4D®ではモーションブラーはありません。
プラグインは、3dsMax®、Maya®、Unreal Engine®で4Dモデルのモーションブラーを生成することができますが、Cinema4D®では、このアプリケーションのアーキテクチャとの非互換性があるため、この機能がありません。現在Maxonと連絡を取り合って解決策を探しているということです。

■ノーマルマップはありません。
現在の4Dスキャン技術では、他の3Dスキャンで生成できるような詳細な法線マップを提供していません。そのため、これらのモデルに使用するシェーダ上で、実際に拡散テクスチャに基づいた擬似バンプマップを生成しなければなりません。スキャナ技術がこれをサポートするように進化したらすぐに、anima®フォーマットがすでにサポートしているため、モデルにもその情報を含める予定です。

■カラーバリエーションがありません。
anima®の一般的な機能は、すべてのモデルのテクスチャに5色のカラーバリエーションがあることです。残念ながら、ソーステクスチャデータの性質上、現時点では4Dモデルにカラーバリエーションを生成することはできません。

■エクスポートがブロック
一般的にanima®からは、シミュレーションされたシーンを3つの標準フォーマット（FBX、VrScene、Open Collada）にエクスポートすることができますが、4Dモデルはこの機能が制限されています。これは、少なくとも今のところ、これらの新しいストリームモデルが必要とするメッシュやテクスチャでのアニメーションの再生に必要な技術をサポートしていないためです。