2023年5月2日 – Nvidia は、SIGGRAPH 2023 で発表する予定のグラフィックス研究論文のハイライトを公開しました。
約20の研究論文を発表
アメリカ、ヨーロッパ、イスラエルの12以上の大学との共同研究を含む、生成AIとニューラルグラフィックスを推進する約20のNVIDIA Research論文が8月6日から10日までロサンゼルスで開催されるコンピュータグラフィックス会議、SIGGRAPH 2023に提出される予定です。
論文には、テキストをパーソナライズされた画像に変える生成AIモデル、静止画像を3Dオブジェクトに変換するinverseレンダリングツール、AIを使って複雑な3D要素をリアルにシミュレーションするニューラル物理モデル、AIを駆使したリアルタイムの視覚詳細を生成する新しい機能を開放するニューラルレンダリングモデルなどが含まれています。
NVIDIAの研究者によるイノベーションは、定期的にGitHubで開発者と共有され、メタバースアプリケーションを構築・運用するためのNVIDIA Omniverseプラットフォームや、最近発表されたビジュアルデザイン用のカスタム生成AIモデル用のファウンドリであるNVIDIA Picassoなどの製品に取り入れられています。最近では、NVIDIAのグラフィックス研究は、世界初のパストレース技術を用いたAAAタイトル「Cyberpunk 2077 Ray Tracing: Overdrive Mode」のように、映画スタイルのレンダリングをゲームにもたらすのに役立ちました。
今年のSIGGRAPHで発表された研究の進歩は、開発者や企業がロボット工学や自律走行車のトレーニングのための仮想世界を構成する合成データを迅速に生成することを支援します。また、アート、建築、グラフィックデザイン、ゲーム開発、映画などのクリエイターが、ストーリーボードやプリビジュアライゼーション、さらには制作のために高品質なビジュアルをより迅速に作成することも可能になります。
以下は、発表される予定の研究論文の一部となります。
カスタマイズされた Text-to-Image モデル
アーティストに、ある特定のテーマがある場合があります。例えば、おもちゃブランドのクリエイティブディレクターは、新しいテディベアの広告キャンペーンを企画し、テディベアのティーパーティーなど、さまざまなシチュエーションでテディベアをビジュアル化したいと考えるかもしれません。生成AIモデルの出力にこのレベルの具体性を持たせるために、テルアビブ大学とNVIDIAの研究者は、モデルが迅速に学習する画像例をユーザーが提供できるようにする2つのSIGGRAPH論文を発表しました。
1つの論文（Encoder-based Domain Tuning for Fast Personalization of Text-to-Image Models）では、出力をカスタマイズするために1つの画像例を必要とする技術について説明しており、NVIDIA A100 Tensor Core GPU1つでパーソナライズ処理を数分からおよそ11秒に加速し、これまでのパーソナライズ手法の60倍以上高速化します。
2つ目の論文（Key-Locked Rank One Editing for Text-to-Image Personalization）では、Perfusionと呼ばれる非常にコンパクトなモデルが紹介されています。このモデルは、わずかなコンセプト画像を用いて、ユーザーが複数のパーソナライズ要素（特定のテディベアやティーポットなど）をAIが生成した1つのビジュアルに組み合わせることができます。
インバースレンダリングとキャラクター制作の進歩
クリエイターが仮想世界のコンセプトアートを思いついたら、次はその環境をレンダリングして3Dオブジェクトやキャラクターを配置する必要があります。NVIDIA Researchは、この時間のかかるプロセスを加速するために、2Dの画像や動画を自動的に3D表現に変換し、クリエイターがグラフィックアプリケーションに取り込んで編集できるAI技術を研究しています。
カリフォルニア大学サンディエゴ校の研究者と共同で作成された3つ目の論文（Live 3D Portrait:
Real-Time Radiance Fields for Single-Image Portrait View Synthesis）では、一枚の2Dポートレートに基づいてフォトリアルな3Dの頭と肩のモデルを生成・描画することができる技術について説明されています。これは、AIを用いた3Dアバターの作成や3Dビデオ会議へのアクセスを容易にする画期的な技術です。この方法は、一般的なデスクトップでリアルタイムで動作し、従来のウェブカメラやスマートフォンカメラだけを使って、フォトリアルまたはスタイリッシュな3Dのテレプレゼンスを生成することができます。
スタンフォード大学との共同プロジェクトである4つ目のプロジェクト（Learning Physically Simulated Tennis Skills from Broadcast Videos）は、3Dキャラクターに実物そっくりの動きをもたらすものです。研究者たちは、実際のテニス試合の2Dビデオ記録からさまざまなテニススキルを学習し、このモーションを3Dキャラクターに適用できるAIシステムを作成しました。シミュレーションされたテニスプレーヤーは、仮想コート上の目標位置に正確にボールを打つことができ、他のキャラクターと長時間のラリーをすることもできます。
このSIGGRAPHの論文は、テニスというテストケースにとどまらず、高価なモーションキャプチャデータを使用せずに、リアルな動きで様々なスキルをこなす3Dキャラクターを制作するという難しい課題に取り組んでいます。
ニューラルフィジックスによるリアルなシミュレーション
人間の頭髪は平均10万本あり、それぞれが個人の動きや周囲の環境に応じてダイナミックに反応します。従来、クリエイターは物理計算式を使って髪の毛の動きを計算し、利用可能なリソースに基づいてその動きを単純化したり近似したりしてきました。そのため、大作映画のバーチャルキャラクターは、リアルタイムのビデオゲームのアバターよりもはるかに詳細な頭髪を持つことになります。
5つ目の論文（Interactive Hair Simulation on the GPU Using ADMM）は、現実世界で物体がどのように動くかを予測するためにニューラルネットワークに教えるAI技術であるニューラルフィジックス（neural physics）を用いて、数万本の髪の毛を高解像度でリアルタイムにシミュレーションできる方法を紹介したものです。
研究チームによる実物大の毛髪を正確にシミュレーションするための新しいアプローチは、特に最新のGPUに最適化されています。CPUベースの最新ソルバーと比較して大幅に性能が向上し、シミュレーション時間を数日から数時間に短縮するとともに、リアルタイムで可能な毛髪シミュレーションの品質も向上しました。この技術により、物理ベースのヘアグルーミングの正確性とインタラクティブ性を両立することが可能になりました。
リアルタイムグラフィックスに映画並みのディテールをもたらすニューラルレンダリング
環境にアニメーション化された3Dオブジェクトやキャラクターを配置した後、リアルタイムレンダリングは、仮想シーンを反射する光の物理をシミュレートします。最近のNVIDIAの研究は、テクスチャ、マテリアル、ボリュームに関するAIモデルが、ビデオゲームやデジタルツイン向けに、映画品質のフォトリアリスティックなビジュアルをリアルタイムで提供する方法を示しています。
NVIDIAは20年以上前にプログラマブルシェーディングを発明し、開発者がグラフィックパイプラインをカスタマイズできるようにしました。これらの最新のニューラルレンダリングの発明では、研究者は、NVIDIAのリアルタイムグラフィックスパイプラインの奥深くで動作するAIモデルでプログラマブルシェーディングコードを拡張しました。
SIGGRAPHの6番目の論文（Random-Access Neural Compression of Material Textures）では、NVIDIAは、GPUメモリを追加することなく最大16倍のテクスチャ詳細を提供するニューラルテクスチャ圧縮が発表されています。ニューラルテクスチャ圧縮は、3Dシーンの臨場感を大幅に向上させることができます。
昨年発表された関連論文は、NeuralVDBとして早期アクセスで利用可能になりました。これは、AIを活用したデータ圧縮技術で、煙、火、雲、水などの体積データを表現するために必要なメモリを100倍減らすことができます。
NVIDIAはまた、直近のNVIDIA GTC基調講演で示されたニューラルマテリアルの研究についての詳細（Real-Time Neural Appearance Models）も発表しました。この論文では、フォトリアルな多層マテリアルから光がどのように反射するかを学習し、これらのアセットの複雑さをリアルタイムで実行される小さなニューラルネットワークにまで減らし、最大10倍高速のシェーディングを可能にするAIシステムについて説明しています。
このニューラルレンダリングされたティーポットでは、陶器、不完全なクリアコートの釉薬、指紋、汚れ、埃まで正確に表現されています。
その他の生成AIとグラフィックスの研究
以上が、SIGGRAPHにおけるNVIDIAの論文のハイライトとなります。
すべての論文リストの確認はこちらから
また、NVIDIAは、パストレーシング、テレプレゼンス、生成AIの拡散モデルなどのトピックで、6つのコース、4つの講演、2つの新技術デモをこのカンファレンスで発表する予定です。
NVIDIA Research Recap 動画が公開
NVIDIAは、SIGGRAPH2023にて発表した最先端のグラフィックス研究の成果のリキャップ動画を公開しました。動画では、従来の手法との比較を交えてその進歩がわかりやく紹介されています。
Latest NVIDIA Graphics Research Advances Generative AI’s Next Frontier
コメント