2024年12月12日（現地時間）- Nvidia は、アーティストのような高忠実度の3Dメッシュ生成するための論文『Meshtron: High-Fidelity, Artist-Like 3D Mesh Generation at Scale』を公開しました。
Meshtronの概要
Meshtronは、1024レベルの座標解像度で最大64K面のメッシュを生成できる新しい自己回帰メッシュ生成モデルです。
高品質のメッシュを作成することは、3Dモデリングに多大な時間と専門知識を必要とする手間のかかる作業です。繊細なオブジェクトを正確にモデリングするには、104面以上の面を必要とすることが多いですが、アーティストのようなメッシュを生成しようとする最近の試みでは、1.6K面が限界で、頂点座標の離散化も多くなってしまいます。
リアルで複雑な3Dオブジェクトの高品質メッシュを生成するためには、最大面数と頂点座標解像度の両方を拡張することが極めて重要です。そこで考えられたのがこのMeshtronです。
Meshtronのスケーラビリティは4つの主要コンポーネントによって実現されています：
- 砂時計型ニューラルアーキテクチャ（A hourglass neural architecture )
- 切り捨てられたシーケンストレーニング ( Truncated sequence training )
- スライディングウィンドウ推論（Sliding window inference )
- メッシュシーケンスの順序を強制するロバストサンプリング戦略
この結果、学習メモリは50%以上削減され、スループットは2.5倍高速になり、さらに既存の技術よりも優れた一貫性を実現するに至りました。
Nvidiaは、『Meshtron』は、これまでにないレベルの解像度と忠実度で、詳細で複雑な3Dオブジェクトのメッシュを生成し、プロのアーティストが作成したものに近い、アニメーション、ゲーム、仮想環境用の詳細な3Dアセットのより現実的な生成への可能性を開くとしています。
Meshtronのアーキテクチャ
Meshtronは、Hourglassアーキテクチャをベースとし、sliding window attentionを使用した自己回帰メッシュジェネレーターです。
メッシュシーケンスの周期性と局所性を利用し、大幅な効率向上を実現します。
Hourglassアーキテクチャは、シーケンス内の位置に基づいて異なるメッシュトークンに異なる計算を割り当てます
他の技術との比較
詳細
より詳しい情報は以下の論文、プロジェクトページから確認できます。
Meshtron: High-Fidelity, Artist-Like 3D Mesh Generation at Scale 論文ページへ
コメント