2024年7月12日（現地時間）- Nvidia は、7 月 28 日から 8 月 1 日までデンバーで開催されるコンピューター グラフィックスの主要なカンファレンスである SIGGRAPH 2024 において発表するレンダリング、シミュレーション、生成 AI におけるさまざまな進歩を紹介しました。
NVIDIA Research が SIGGRAPH 2024でシミュレーションと生成 AI の進歩を発表
NVIDIA Research の 20 を超える論文では、次世代モデルのトレーニングに役立つ合成データ生成と逆レンダリング ツールを進化させるイノベーションが紹介されています。NVIDIA の AI 研究は、画像品質を向上させ、現実世界または想像上の世界の 3D 表現を作成する新しい方法を実現することで、シミュレーションを向上させています。
これらの論文は、視覚生成 AI、物理ベースのシミュレーション、ますますリアルになる AI 駆動レンダリングのための拡散モデルに焦点を当てています。これらには、2 つの Best Paper Award 受賞論文と、米国、カナダ、中国、イスラエル、日本の大学、および Adobe や Roblox などの企業の研究者とのコラボレーションが含まれています。
これらの取り組みは、開発者や企業が複雑な仮想オブジェクト、キャラクター、環境を生成するために使用できるツールの作成に役立ちます。その後、合成データ生成を利用して、強力な視覚的ストーリーを伝えたり、科学者の自然現象の理解を助けたり、ロボットや自律走行車のシミュレーションベースのトレーニングを支援したりすることが可能になります。
[video_player file=https://www.youtube.com/watch?v=UuFxTyg6RK4 source=library]
拡散モデルによりテクスチャ ペイントやテキストから画像への生成が改善
拡散モデルは、テキストプロンプトを画像に変換するための一般的なツールであり、アーティスト、デザイナー、その他のクリエイターがストーリーボードや制作用のビジュアルを迅速に生成し、アイデアを実現するまでの時間を短縮するのに役立ちます。
NVIDIA が執筆した 2 つの論文は、これらの生成 AI モデルの機能を進化させています。
ConsiStory
NVIDIA と Tel Aviv 大学の研究者が共同で開発した ConsiStory は、一貫したメイン キャラクターを持つ複数の画像を簡単に生成可能にします。これは、漫画のイラストやストーリーボードの作成など、ストーリーテリングのユース ケースに不可欠な機能で、研究者のアプローチでは、Subject-Driven Shared Attention と呼ばれる手法が導入され、一貫した画像を生成するのにかかる時間が 13 分から約 30 秒に短縮されます。
Diffusion Texture Painting
NVIDIA の研究者は昨年、テキストや画像のプロンプトをカスタム テクスチャ マテリアルに変換する AI モデルで SIGGRAPH の Real-Time Live イベントの Best in Show を受賞しました。今年は、2D 生成拡散モデルを 3D メッシュのインタラクティブ テクスチャ ペイントに適用した論文を発表します。これにより、アーティストは任意の参照画像に基づいて複雑なテクスチャをリアルタイムでペイントできるようになります。
[video_player file=https://www.youtube.com/watch?v=lKeCta_klJ0 source=library]
物理ベースのシミュレーションの開発を促進
グラフィックス研究者は、物理ベースのシミュレーション (デジタルのオブジェクトやキャラクターを現実世界と同じように動かすさまざまな手法) によって、物理オブジェクトと仮想表現のギャップを縮めています。
SuperPADL
NVIDIA Research の論文には、この分野における画期的な成果がいくつか掲載されています。その 1 つが SuperPADL で、テキスト プロンプトに基づいて複雑な人間の動作をシミュレートする という課題に取り組むプロジェクトです。
[video_player file=https://cginterest.com/wp-content/uploads/2024/07/20240718_Nvidia-reserch-siggraph-SuperPADL_Multiple-Prompts-1.mp4 source=library]
研究者は、強化学習と教師あり学習を組み合わせて、SuperPADL フレームワークをトレーニングして 5,000 以上のスキルの動作を再現する方法を実証しました。また、このフレームワークは、コンシューマー グレードの NVIDIA GPU でリアルタイムに実行できます。
Simplicits
[video_player file=https://www.youtube.com/watch?v=3Zameqg66aA source=library]
さらに別の NVIDIA の論文では、AI を適用して、オブジェクト (3D メッシュ、NeRF、またはテキストから 3D モデルに生成されたソリッド オブジェクトとして表現されるオブジェクト) が環境内で移動したときにどのように動作するかを学習するニューラル フィジックス メソッド（ neural physics method ）が紹介されています。
Walkin’ Robin
カーネギーメロン大学の研究者と共同で執筆された論文では、新しい種類のレンダラーが開発されています。これは、物理的な光をモデル化する代わりに、熱分析、静電気学、流体力学を実行可能にするものです。SIGGRAPH で 5 つの Best Paper の 1 つに選ばれたこの方法は、並列化が容易で、面倒なモデルのクリーンアップが不要なため、エンジニアリング設計サイクルを高速化する新しい機会を提供します。
[video_player file=https://www.youtube.com/watch?v=4v9VZqOCPsU source=library]
上の例では、レンダラーが火星探査機キュリオシティの熱解析を実行しています。この場合、温度を特定の範囲内に保つことがミッションの成功に不可欠です。
その他
その他のシミュレーションに関する論文としては、髪の毛のモデル化のより効率的な手法や、10 倍に流体シミュレーションを高速化するパイプラインがあります。
レンダリングのリアリズム、回折シミュレーションの水準を引き上げる
Real-Time Neural Appearance Models
Real-Time Neural Appearance Models、これまでオフラインで使用されていた複雑な外観のシーンをリアルタイムでレンダリングするためのシステムです。これは、アルゴリズムとシステムレベルの革新の組み合わせによって実現しています。
neural material shaderは、non-neural layered materialに比べて1桁以上高速化でき、これにより、ゲームやライブプレビューなどのリアルタイムアプリケーションで、映画品質のビジュアルを使用する道が開けるとされています。
A Free-Space Diffraction BSDF
NVIDIA が執筆した別の一連の論文では、可視光を最大 25 倍高速にモデル化し、自動運転車のトレーニング用のレーダー シミュレーションで使用されるような回折効果を最大 1,000 倍高速にシミュレートする新しい手法が紹介されています。
NVIDIA と Waterloo 大学の研究者による論文では、自由空間回折、つまり光が物体の端で広がったり曲がったりする光学現象に取り組んでいます。チームの手法は、パス トレーシング ワークフローと統合して複雑なシーンでの回折シミュレーションの効率を高め、最大 1,000 倍の高速化を実現します。可視光のレンダリングだけでなく、このモデルはより長い波長のレーダー、音、電波のシミュレーションにも使用できます。
Area ReSTIR
パス トレーシングは、多数のパス (シーンの中で複数回跳ね返る光線) をサンプリングして、フォトリアリスティックな画像を作成します。2 つの SIGGRAPH 論文では、ReSTIR のサンプリング品質が向上しています。ReSTIR は、NVIDIA とダートマス大学の研究者が SIGGRAPH 2020 で初めて導入したパス トレーシング アルゴリズムで、ゲームやその他のリアルタイム レンダリング製品にパストレーシングを導入する鍵となっています。
これらの論文の 1 つでは、ユタ大学との共同研究で、計算されたパスを再利用する新しい方法が共有されています。これにより、有効なサンプル数が最大 25 倍に増加し、画像品質が大幅に向上します。
左から右へ: 以前のサンプリング、25 倍の改善、参照画像の視覚品質の比較。モデルは Blender Studio 提供。
Decorrelating ReSTIR Samplers via MCMC Mutations
もう 1 つは、光源のパスのサブセットをランダムに変更することでサンプルの品質を向上させます。これにより、ノイズ除去アルゴリズムのパフォーマンスが向上し、最終レンダリングで視覚的なアーティファクトが少なくなります。
その他
NVIDIA の研究者は、SIGGRAPH で 3D 表現とデザインのための多目的 AI ツールも展示しています。
fVDB
1 つの論文では、現実世界のスケールに一致する 3D ディープラーニング用の GPU 最適化フレームワークである fVDB が紹介されています。fVDB フレームワークは、都市規模の 3D モデルと NeRF の大規模な空間スケールと高解像度、および大規模なポイント クラウドのセグメンテーションと再構築のための AI インフラを提供します。
From Microfacets to Participating Media
ダートマス大学の研究者と共同で執筆した Best Paper Award 受賞論文では、3D オブジェクトが光とどのように相互作用するかに関する理論が紹介されています。この理論は、さまざまなスペクトルの外観を 1 つのモデルに統合します。
Surface-Filling Curve Flows via Implicit Medial Axes
また、東京大学、トロント大学、Adobe Research との共同研究により、リアルタイムで、3D メッシュ上に滑らかで空間を埋め尽くす曲線を生成するアルゴリズムが紹介されています。
[video_player file=https://cginterest.com/wp-content/uploads/2024/07/20240718_Nvidia-reserch-siggraph-Space-Filling-Curves-1.mp4 source=library]
以前の方法では数時間かかっていましたが、このフレームワークは数秒で実行され、ユーザーは出力を高度に制御してインタラクティブなデザインを実現できます。
その他
■NeuralVDB: High-resolution Sparse Volume Representation using Hierarchical Neural Networks
■A Differential Monte Carlo Solver For the Poisson Equation
■Stabler Neo-Hookean Simulation: Absolute Eigenvalue Filtering for Projected Newton
NVIDIA Research には 世界中に何百人もの科学者とエンジニアがおり、チームは AI、コンピューター グラフィックス、コンピューター ビジョン、自動運転車、ロボット工学などのテーマに注力しています。最新の研究成果はこちらから見ることができます。
Mile-High AI: NVIDIA Research to Present Advancements in Simulation and Gen AI at SIGGRAPH
コメント