2021年4月16日（現地時間）Nvidiaは、NVIDIA Omniverseで、標準的な2D画像から3Dオブジェクトモデルを作成する新しいディープラーニングエンジンを搭載したGANverse3Dのデモを公開しました。
このGANverse3Dを含むNVIDIA’s AI researchの研究は以下の動画でも紹介されています。
GANverse3Dについて
トロントにあるNVIDIA AI Research Labが開発したGANverse3Dアプリケーションは、平面的な画像からリアルな3Dモデルを生成し、仮想環境で視覚化したり制御したりすることができます。この機能により、建築家、クリエイター、ゲーム開発者、デザイナーは、3Dモデリングの専門知識やレンダリングにかける多額の予算がなくても、モックアップに新しいオブジェクトを簡単に追加することができます。
研究チームは、学習用のデータセットを作成するために、GAN（Generative Adversarial Network）を利用して、同じ対象物を複数の視点から撮影した画像を合成しました。これは写真家が駐車している車の周りを歩き回り、さまざまな角度から写真を撮影するようなものです。これらのマルチビュー画像は、2D画像から3Dメッシュモデルを推論するプロセスであるインバースグラフィックスのレンダリングフレームワーク（rendering framework for inverse graphics）に接続されます。
マルチビュー画像で学習したGANverse3Dでは、1枚の2D画像だけで3Dメッシュモデルを予測します。このモデルは、開発者がオブジェクトのカスタマイズや背景の入れ替えをコントロールできる3Dニューラルレンダラーで使用することができます。
Knight Rider KITTのデモ
新しく公開された上記のデモ動画では、1980年代のアメリカの人気テレビ番組「Knight Rider」に登場するAI車である「KITT」をGANverse3Dを使用して3Dに再現しています。GANverse3Dは、NVIDIA Omniverseプラットフォームの拡張機能としてインポートされ、NVIDIA RTX GPU上で実行されています。
研究者らは、KITTを再現するために学習済みのモデルに車の画像を与えて、GANverse3Dに対応する3Dテクスチャメッシュと、車輪やヘッドライトなどの車のさまざまな部分を予測させました。その後、NVIDIA Omniverse Kit と NVIDIA PhysX ツールを使用して、予測されたテクスチャを高品質のマテリアルに変換し、KITT の外観と感触をよりリアルにして、ダイナミックなドライビングシーケンスに配置しました。
GANによる次元の転換
同じ物体を様々な角度から撮影した実世界のデータセットは稀であるため、画像を2Dから3Dに変換するAIツールの多くは、ShapeNetのような合成3Dデータセットを用いて学習を行っています．
これまでのインバース・グラフィックスでは、学習データとして3D形状に依存していましたが、NVIDIA の研究者たちは、ウェブ上で公開されている自動車の画像などの実世界のデータからマルチビュー画像を取得するため、GAN モデルに着目し、ニューラルネットワークのレイヤーを操作してデータ生成ツールにしました。
NVIDIA社の研究員で本プロジェクトの主執筆者であるWenzheng Chen氏は、「私たちは、GANモデルを非常に効率的なデータジェネレータに変え、ウェブ上のあらゆる2D画像から3Dオブジェクトを作成できるようにしました。」と述べています。また、このプロジェクトの共同著者であるNVIDIAのJun Gao研究員は、「合成データに依存する一般的なパイプラインではなく、実際の画像でトレーニングを行ったため、AIモデルは実世界のアプリケーションにうまく一般化することができました」と述べています。
GANによって生成された55,000枚の車の画像で学習された最終モデルは、人気のあるPascal3Dデータセットで学習されたインバース・グラフィックス・ネットワークよりも優れていましたとのことです。
GANverse3Dの研究成果は、5月に開催される「International Conference on Learning Representations」と、6月に開催される「Conference on Computer Vision and Pattern Recognition」の2つの会議で発表される予定です。
ICLR論文を見るKnight Rider Rides a GAN: Bringing KITT to Life with AI, NVIDIA Omniverse
コメント