NVIDIA、2D画像から3Dオブジェクトをすばやく制作する手法 NVIDIA 3D MoMa を発表

ニューオリンズで開催されたカンファレンス、コンピュータービジョンとパターン認識に関する会議（CVPR）2022にて、NVIDIA Researchは、3Dオブジェクトを短時間で制作する手法 NVIDIA 3D MoMa を発表しました。

NVIDIA 3D MoMa
2D画像から3Dオブジェクトを抽出

NVIDIA 3D MoMa

NVIDIA 3D MoMa により、建築家、デザイナー、コンセプトアーティストおよびゲーム開発者は、グラフィックスエンジンにオブジェクトをすばやくインポートし、そのオブジェクトを使った作業、スケールの修正、マテリアルの変更、あるいはさまざまなライティングを試すことができるようになります。

ジャズとその発祥地であるニューオリンズの両方を題材にした以下の動画でこのテクノロジーが紹介されています。また、今週行われているコンピュータービジョンとパターン認識に関する会議（CVPR）では、NVIDIA 3D MoMa についての論文 (paper behind NVIDIA 3D MoMa) が発表されました。

上記の動画において、NVIDIA 3D MoMa の機能を披露するために、NVIDIA の研究チームとクリエイティブチームは最初に、さまざまな角度で撮られた、トランペット、トロンボーン、サクソフォン、ドラムセットおよびクラリネットという、ジャズバンドで使用する5 つの楽器それぞれの画像を 100 枚程度収集しました。

NVIDIA 3D MoMa は、それぞれの楽器の2D画像をメッシュとして表示された3D表現へと再構成。その後、NVIDIA のチームは、オリジナルのシーンから楽器をとり出し、それらをNVIDIA Omniverse 3D シミュレーションプラットフォームにインポートして、編集を行いました。

クリエイターは、どのようなグラフィックスエンジンでも、NVIDIA 3D MoMa が生成した形状のマテリアルを簡単に取り替えることができ、編集したオブジェクトをあらゆる仮想シーンに簡単に挿入することができます。

また、動画ではレンダリングの品質を見るためのクラシックなグラフィックステストに使われるコーネルボックスに楽器を入れたシーンがあります。このシーンでは、仮想楽器が物理世界と同じように光に反応する様子、光沢のある金管楽器が明るく反射する様子、ドラムの皮が光を吸収し光沢のない様子を見ることができます。

インバースレンダリングで生成された、これらの新しいオブジェクトは、複雑なアニメーションシーンの構成要素として使用することができます。その例として、動画の最後で仮想ジャズバンドの姿で披露されています。

2D画像から3Dオブジェクトを抽出

インバースレンダリングは、一連の静止画像をオブジェクトまたはシーンで構成された 3Dモデルに再構成する手法です。

ゲームスタジオや他のクリエイターはこれまで、相当な時間と手作業を必要とする、複雑なフォトグラメトリ技術を使って、上記のような 3Dグラフィックスを制作していました。ニューラルラディアンスフィールド (NeRF) の最近の研究では、オブジェクトまたはシーンで構成された 3D表現をすばやく生成することができますが、編集のしやすい三角形メッシュの形式ではありませんでした。

NVIDIA 3D MoMa は、単一の NVIDIA Tensor コア GPU によって、1 時間以内に三角形メッシュのモデルを生成します。このパイプラインのアウトプットは、クリエイターがすでに使用している 3Dグラフィックスエンジンやモデリングツールと直接の互換性があります。

このパイプラインによる再構成では、3Dメッシュモデル、マテリアルおよびライティングという 3 つの要素が含まれます。メッシュは三角形で作られた 3D 形状のパピエマシェ(張り子)モデルのようなものです。マテリアルは、3D メッシュの上に肌のように重ねられた 2Dのテクスチャです。さらに、NVIDIA 3D MoMa はシーンのライティングがどのようになるのかを推定し、クリエイターは後でオブジェクトのライティングを修正することができます。

NVIDIA のグラフィックスリサーチ担当バイスプレジデントのデイビットルーブキー (David Luebke) 氏は次のように述べています。

「インバースレンダリングにおける問題のあらゆる部分を、GPU で高速化される微分可能な要素として定式化することにより、NVIDIA 3D MoMa レンダリングパイプラインは、最新のAIの仕組みと NVIDIA GPU の純粋な処理能力を使って、クリエイターが既存ツールの制約を受けることなく、インポート、編集および拡大が可能な 3D オブジェクトをすばやく作り出せるようになります」

AI in the Big Easy: NVIDIA Research Lets Content Creators Improvise With 3D ObjectsNVIDIA 3D MoMa についての論文 (paper behind NVIDIA 3D MoMa)