年2月28日(現地時間) – Nvidia は、Google ChromeおよびMicrosoft Edgeブラウザを介したPCでのストリーミングビデオをアップスケーリングする RTX Video Super Resolution（VSR）のリリースを発表しました。
ストリーミング動画をAIによってアップスケーリング
今日、インターネット帯域幅の80％近くがストリーミングビデオであり、Twitch.tv、YouTube、Netflix、Disney+、Huluなどの人気のあるソースからのコンテンツを含め、その90%は1080p以下でストリーミングされています。
視聴者が1080pより高いディスプレイを使用している場合、ブラウザはディスプレイの解像度に合わせて動画をスケーリングする必要がありますが、ほとんどのブラウザは基本的なアップスケーリング技術を使用しており、結果として最終的な画像はソフトでぼやけたものになります。
RTX VSRを使用すると、GeForce RTX 40および30シリーズのGPUユーザーは、AIを利用して低解像度のコンテンツをディスプレイの解像度に合わせて4Kまでアップスケールすることができます。AIは、ブロック状の圧縮アーチファクトを除去し、ビデオの鮮明さと明瞭さを向上させます。これにより、Twitch、YouTube、Netflix、Huluなどのオンラインコンテンツを、最大4Kの高解像度ディスプレイでネイティブ解像度で視聴できるようになります。
AIアップスケーリングの進化
AIアップスケーリングとは、低解像度の画像をディープラーニングモデルにかけ、高解像度版を予測することで、低解像度のメディアを高解像度に変換するプロセスです。この予測を高い精度で行うには、ニューラルネットワークモデルを異なる解像度の無数の画像で学習させる必要があります。
AIは、低解像度の映像であっても、従来のスケーラーでは再現できないようなシャープネスとディテールの強化を実現します。エッジはよりシャープに、髪はより垢抜けた印象に、風景は印象的な鮮明さでポップに見えます。
この技術の初期バージョンは、2019年にSHIELD TVとともにリリースされ、テレビをターゲットにしたストリームコンテンツを改善したとされています。PCの視聴者は通常、TVの視聴者よりもずっとディスプレイに近い場所に座っているため、アップスケーリングにはより高度な処理と洗練が必要となりますが、GeForce RTX 40および30シリーズGPUによってTensor Coreを備えたパワフルなAIプロセッサにより、RTX VSRを通じて新世代のAIアップスケーリングが可能になりました。
RTX Video Super Resolutionの仕組み
RTX VSRは、AIピクセル処理のブレークスルーとされており、エッジ検出や特徴的なシャープネス処理を超えて、ストリーミングビデオコンテンツの品質を大幅に向上させることができます。
サーバー、クライアント、コンテンツのいずれが原因であれ、ストリーミングビデオの不変の問題であるブロック状の圧縮アーチファクトは、従来のアップスケーリングでは問題が増幅されることが多く、ストリームコンテンツを視聴する人にとって快適ではない視覚体験が残ります。
RTX VSRは、映像の圧縮によって生じるアーティファクト（ブロックノイズ、エッジのリンギングアーチファクト、高周波成分のウォッシュアウト、平面部のバンディングなど）を低減または除去し、失われた質感を低減させ、エッジやディテールをシャープにします。
この技術では、ディープラーニングネットワークを使用して、アップスケーリングと圧縮アーチファクトの低減を1つのパスで実行します。ネットワークは、低解像度のビデオフレームを分析し、ターゲット解像度での残像を予測、この残像を従来のアップスケール画像に重ね合わせ、アーチファクトのエラーを修正し、エッジをシャープにして、出力解像度に一致させます。
このディープラーニングネットワークは、様々な圧縮レベルの幅広いコンテンツで学習されました。低解像度や低品質の動画には存在するのに非圧縮画像には存在しない圧縮アーチファクトの種類を学習し、ネットワーク学習のリファレンスとしています。生成されたモデルには、ほぼすべての実世界およびゲームコンテンツで有効であることを確認するために、広範な視覚的評価が採用されています。
DLSSとの違い
RTX Video Super Resolution は、DLSSの技術を活用したものではなく、全く新しいアルゴリズムが採用されています。全く異なる技術であり、トレーニングやデータ入力も異なります。
VSRは、入力された低解像度のビデオフレームに基づいて高解像度のフレームを推測するものなのでビデオコンテンツにのみ適用されます。一方DLSSは、ゲームエンジンのデータ（モーションベクトル、深度バッファなど）を使用して、ゲーム用の超解像とフレーム生成を行うのでストリーミングビデオでは動作しません。 DLSS 3は、DLSS Super Resolution、DLSS Frame Generation、NVIDIA Reflex low latencyを提供し、モーションベクトル、オプティカルフロー、テンポラル、その他のゲームエンジンデータを使用します。
使用について
RTX VSRは、GeForce RTX 40または30シリーズGPUを必要とし、Google ChromeとMicrosoft Edgeでストリームされるほぼすべてのコンテンツで機能します。
この機能を使用するには、最新のGeForce Game Readyドライバ、または3月にリリースされる予定の新しいNVIDIA Studioドライバに更新する必要があります。また、最新アップデートChrome (バージョン 110.0.5481.105 以降) と Edge (バージョン 110.0.1587.56) で、RTX VSR をサポートするようになっています。
NVIDIAコントロールパネルを起動し、”ビデオイメージ設定の調整 “から有効にすることが可能です。GPUパフォーマンスへの影響が最も少ないものから、アップスケーリング改善のレベルが最も高いものまで、1～4の中から品質を選択することができます。
その他詳しい情報はこちらのFAQページから確認することができます。
最新のGeForce Game Readyドライバは GeForce Experienceか、こちらのドライバのダウンロードページからダウンロードすることができます。
Pixel Perfect: RTX Video Super Resolution Now Available for GeForce RTX 40 and 30 Series GPUs
コメント