Nvidia、より高品質なレイトレース画像を作成する新しいAIモデルを搭載した NVIDIA DLSS 3.5 を発表

2023年8月22日（現地時間）- Nvidia は、世界最大のゲームカンファレンスであるgamescomにおいてDLSS 3.5を発表しました。

レイトレーシングの仕組み
従来のノイズ除去の問題点
NVIDIA DLSS 3.5 Ray Reconstruction
DLSS 3.5 は今秋、主要なゲームやアプリに導入

レイトレーシングの仕組み

まず、ゲームエンジンはシーンのジオメトリとマテリアルを生成します。これらのマテリアルはすべて、物理的な属性に基づいており、外観や光との相互作用に影響を与えます。次に、レイ（光線）のサンプルがカメラの視点から照射され、シーン内の光源の特性や、光がマテリアルに当たったときの反応を決定します。例えば、光線が鏡に当たると反射が生じます。

数分から数時間かけてシーンを計算するオフラインレンダラーにとっても、画面上のすべてのピクセルに対して光線を照射するのは計算負荷が高すぎるため、代わりに光線サンプルを使用する必要があります。光線サンプルは、シーンの照明、反射率、影の代表的なサンプルとして、シーン全体のさまざまなポイントで少数の光線を発射します。

出力は、ノイズの多い、隙間のあるまだら模様の画像で、レイトレーシング時にシーンがどのように見えるかを確認するには十分なものとなります。

従来のノイズ除去の問題点

レイトレースされなかった欠落ピクセルを埋めるために、手作業で調整されたノイズ除去では、2つの異なる方法を使用します。複数のフレームにまたがるピクセルを時間的に蓄積し、空間的に補間して隣接するピクセルをブレンドするというプロセスにより、ノイズの多いRAW出力がレイトレース画像に変換されます。

これらのノイズ除去は、シーンに存在するレイトレース照明のタイプごとに手動で調整および処理されるため、開発プロセスに複雑さとコストが追加され、画質を最大化するために複数のノイズ除去が同時に動作する高度にレイトレースされたゲームではフレームレートが低下します。

手作業で調整されたノイズ除去は、複数のフレームからピクセルを集積してディテールを向上させますが、事実上、過去から光線を取得することになり、ゴーストが発生したり、ダイナミックエフェクトが除去されたり、他の画質が低下したりするリスクがあります。

アップスケーリングは、レイトレースされたライティングパイプラインの最後の段階であり、最も詳細で要求の厳しいゲームを高速フレームレートで体験するための鍵です。しかし、ノイズ除去によってエフェクトの品質が低下するため、手作業で調整されたノイズ除去の限界が増幅され、アップスケーラーが鮮明でクリーンな画像を出力するために使用する細かいディテール（高周波数情報と呼ばれる）が除去されます。

NVIDIA DLSS 3.5 Ray Reconstruction

NVIDIA DLSS 3.5 に搭載されたNvidiaの最新のイノベーションであるRay Reconstructionは、強化されたAIを搭載したニューラルレンダラーの一部であり、手作業で調整されたノイズ除去器をNVIDIAスーパーコンピュータで訓練されたAIネットワークに置き換えることで、すべてのGeForce RTX GPUのレイトレース画質を向上させます。

DLSS 3より5倍多いデータで訓練されたDLSS 3.5は、異なるレイトレース効果を認識し、時間的および空間的データの使用についてより賢い決定を下し、優れた品質のアップスケーリングのために高周波数情報を保持します。

Ray Reconstructionは、リアルタイムゲーム中よりもはるかに多くの計算能力を必要とするオフラインレンダリング画像を使用してトレーニングされ、グローバルイルミネーションやアンビエントオクルージョンなどのライティングパターンをトレーニングデータから認識し、プレイ中に次のようにゲーム内で再現します。その結果は、手作業で調整されたノイズ除去を使用するよりも優れています。

また、複数のレイトレース効果を持つゲームでは、1つのRay Reconstructionニューラルネットワークで置き換えられるノイズ除去が複数ある場合があります。このような場合にも、Ray Reconstructionはパフォーマンスを向上させることができます。レイトレーシングの集中度が低く、ノイズ除去装置の数が少ないタイトルでは、Ray Reconstruction は画質を向上させますが、若干の性能コストがかかる場合があります。

以下では、DLSS3.5を採用したいくつかのゲームタイトル、ソフトウェアでの改善を示しています。

RTXを使用したPortalでは、DLSSがオフの場合、ノイズ除去は空間補間に苦戦し、十分なピクセルをブレンドできず、にじみのようなエフェクトが発生します。さらに、前のフレームからの良好なピクセルを十分に蓄積できず、その結果、光の中で沸騰するような効果が生じます。DLSS 3.5では、反射に関連する特定のパターンを認識し、画像を安定させ、正確なピクセルを蓄積しながら、隣接するピクセルをブレンドして高品質の反射を生成します。

Cyberpunk 2077の次のシーンでは、車を囲むヘッドライトの照明が不正確ですが、これは手作業で調整されたノイズ除去が、前のフレームから不正確な照明効果を取り込んだ結果です。DLSS 3.5では正確に照明が生成されるため、ヘッドライトのビームが確認でき、車の前の縁石に光が反射しているのがわかります。

超解像、フレーム生成、Ray Reconstructionを組み合わせたDLSS 3.5は、Cyberpunk 2077のフレームレートをネイティブの4K DLSS OFFレンダリングと比較して合計5倍にします。

クリエイティブなアプリケーションには様々なコンテンツがありますが、シーンごとに手作業で調整する必要があるため、従来のノイズ除去ツールでは困難でした。その結果、コンテンツのプレビュー時に最適な画質が得られません。

DLSS 3.5では、AIニューラルネットワークが様々なシーンを認識し、プレビュー時や最終レンダリングに何時間もかける前に高品質な画像を生成します。D5 Renderは、建築家やデザイナー向けの業界をリードするアプリで、この秋にDLSS 3.5と一緒に提供される予定です。

Ray Reconstructionは、レイトレースされたタイトルの画質を向上させる開発者向けの新しいオプションであり、DLSS 3.5の一部として提供されます。DLSS 3.5を搭載したラスタライズされたゲームには、超解像とDLAAの最新アップデートも含まれますが、レイトレース効果がないため、Ray Reconstructionの恩恵は受けられません。