2023年6月1日（現地時間）- Nvidia は、NVIDIA Researchが開発したニューラルネットワークによる3D再構築のための新しいAIモデル「Neuralangelo」の研究論文を発表しました。
3D再構築のための新しいAIモデル「Neuralangelo」
「Neuralangelo」は、2Dの動画クリップを詳細な3D構造に変え、建物、彫刻、その他の現実世界のオブジェクトの実物そっくりなバーチャルレプリカを生成することができるNVIDIA Researchが開発した新しいAIモデルです。クリエイターは、これらの3Dオブジェクトをデザインアプリケーションに取り込み、さらに編集して、アート、ビデオゲーム開発、ロボット工学、産業用デジタルツインに使用することが可能です。
屋根板、ガラス板、滑らかな大理石など、複雑な素材の質感を2D動画から3Dアセットに変換するNeuralangeloの能力は、従来の方法を大きく上回るとされており、高い忠実度により、開発者やクリエイターがスマートフォンで撮影した映像を使って、プロジェクトで使用可能な仮想オブジェクトを迅速に作成することが容易になります。
NVIDIAの研究者はデモで、このモデルがミケランジェロのダビデ像のような象徴的なものからフラットベッドトラックのようなありふれたものまで再現できることが紹介されています。Neuralangeloは、建物の内部や外観を再現することもできます。
Instant NeRFを支える技術を採用
3Dシーンを再構築するための先行するAIモデルは、反復するテクスチャパターン、均質な色、強い色のバリエーションを正確に捉えることに苦労してきました。Neuralangeloは、NVIDIA Instant NeRFを支える技術である Instant Neural Graphics Primitives が採用されており、微細なディテールを捉えることができます。
このモデルは、オブジェクトやシーンをさまざまな角度から撮影した2Dビデオを使用して、アーティストが被写体を複数の側面から見て、奥行き、サイズ、形状の感覚を得るように、異なる視点を捉えた複数のフレームを選択します。
そして各フレームのカメラ位置を決定すると、彫刻家が被写体の形を彫り始めるように、NeuralangeloのAIはシーンのラフな3D表現を作成。彫刻家が石を削って布や人物の質感を再現するように、レンダリングを最適化し、細部を鮮明にします。
最終的な結果は、バーチャルリアリティアプリケーション、デジタルツイン、ロボット開発などで使用できる3Dオブジェクトや大規模なシーンとなります。
CVPRでのNVIDIAの研究発表
Neuralangeloは、6月18日から22日までバンクーバーで開催されるCVPR（Computer Vision an Pattern Recognition）で発表されるNVIDIA Researchの30近いプロジェクトのうちの1つです。論文は、ポーズ推定、3D再構成、ビデオ生成などのトピックにまたがっています。
長尺の横長画像、360度パノラマ画像、ループモーション画像など、大規模なコンテンツを作成する拡散手法『DiffCollage』、高解像度のテキストから 3D コンテンツ生成モデル『Magic3D』、潜在拡散Latent Diffusionモデルを使用した高解像度ビデオ合成手法などさまざまな論文があります。
NvidiaのCVPR2023でのすべての発表内容の確認はこちらから
Digital Renaissance: NVIDIA Neuralangelo Research Reconstructs 3D Scenes
コメント