2024年6月2日(現地時間) – Nvidia は、GeForce RTX AI PC で実行される AI アシスタントとデジタル ヒューマンを強化する新しいNVIDIA RTX テクノロジを発表しました。
Project G-Assist、GeForce AI アシスタント
NVIDIA は、PC ゲームやアプリにコンテキスト アウェアなヘルプを提供する RTX 搭載の AI アシスタント テクノロジ デモである Project G-Assist を発表しました。
AIアシスタントは、ゲーム戦略の提案やマルチプレイヤーリプレイの分析から、複雑なクリエイティブワークフローの支援まで、ゲームやアプリ内体験を大きく変えることになると考えられており、Project G-Assistは、この未来を垣間見るものとされています。
PCゲームには、探検すべき広大な宇宙と習得すべき複雑なメカニズムがあり、それは熱心なゲーマーにとっても難しく、時間のかかる作業です。Project G-Assistは、生成的なAIを使用して、プレイヤーの指先にゲームの知識を提供することを目指しています。
Project G-Assistは、プレイヤーからの音声またはテキスト入力を、ゲーム画面からの文脈情報とともに受け取り、そのデータをAIの視覚モデルに通します。これらのモデルは、ゲーム知識データベースにリンクされた大規模言語モデル（LLM）の文脈認識とアプリ固有の理解を強化し、テキストまたは音声として配信されるカスタマイズされた応答を生成します。
NVIDIAはStudio Wildcardと協力し、この技術をARK: Survival Ascendedでデモしました。Project G-Assistは、クリーチャー、アイテム、伝承、目的、困難なボスなどに関する質問に答えることができます。Project G-Assistは文脈を認識するため、プレイヤーのゲームセッションに合わせて回答をパーソナライズします。
さらに、Project G-Assistは、プレイヤーのゲームシステムを最適なパフォーマンスと効率のために設定することができます。パフォーマンス指標に関する洞察を提供し、ユーザーのハードウェアに応じてグラフィックス設定を最適化し、安全なオーバークロックを適用し、パフォーマンス目標を維持しながらインテリジェントに消費電力を削減することもできます。
デジタルヒューマンが RTX AI PC に登場
NVIDIA は、次世代のデジタル ヒューマンの実現を加速させるクラウドでのNVIDIA ACE生成 AI マイクロサービスの一般提供を発表しました。カスタマー サービス、ゲーム、ヘルスケア分野の開発者が最初に ACE テクノロジを採用し、リアルなデジタル ヒューマンの作成、アニメーション化、操作を簡素化します。
現在一般に利用可能なNVIDIA ACEデジタルヒューマン生成AI技術群には、以下のものが含まれます：
- NVIDIA Riva ASR, TTS および NMT — 自動音声認識、テキスト音声変換および翻訳
- NVIDIA Nemotron LLM — 言語理解と文脈に応じた応答生成
- NVIDIA Audio2Face — オーディオトラックに基づくリアルなフェイシャルアニメーション
- NVIDIA Omniverse RTX — リアルタイムでパストレースされたリアルな肌や髪を表現
新たに発表された技術は以下の通りです：
- NVIDIA Audio2Gesture — オーディオトラックに基づいてボディジェスチャーを生成、間もなく利用可能になります。
- NVIDIA Nemotron-3 4.5B — 低レイテンシ、オンデバイスRTX AI PC推論を目的とした新しい小型言語モデル（SLM）
これまでNVIDIAは、ACEを開発者がデータセンターで運用するためのNIMマイクロサービスとして提供してきましたが、現在、1億台のRTX AI PCとラップトップのインストールベース全体に展開するために、ACE PC NIMマイクロサービスを構築しています。
これには、NVIDIA初のSLMであるNVIDIA Nemotron-3 4.5Bが含まれ、クラウド上で動作する大規模言語モデル（LLM）と同レベルの精度と正確さでデバイス上で動作するよう専用に構築されています。Nemotron-3 4.5B SLMは現在早期アクセス中です。NVIDIA Audio2FaceとNVIDIA Riva ASRのオンデバイスモデルは、まもなく早期アクセスで利用可能になります。
Inworld AIと共同で開発されたCovert Protocol技術デモの最新版がCOMPUTEXトレードショーで公開されています。このデモでは、GeForce RTX PC上でローカルに動作するAudio2FaceとRiva ASRを使用し、プレイヤーがデジタルヒューマンの非プレイアブルキャラクター（NPC）と対話し、会話言語で影響を与え、ミッションを完了することができます。
また、Aww Inc.、Dell Technologies、Gumption、Hippocratic AI、Inventec、OurPalm、Perfect World Games、Reallusion、ServiceNow、Soulbotix、SoulShell、UneeQといった企業がACEを活用してさまざまなアプリケーションを開発しています。
RivaおよびAudio2Faceを含むサーバデプロイメント用のNVIDIA ACE NIMマイクロサービスが本番稼動し、企業クラスのサポートを受けるための開発者向けNVIDIA AI Enterpriseソフトウェアが追加されました。
RTX AI PC上で動作するACE NIMマイクロサービスへの早期アクセスの登録はこちらから
PC 上のカスタム AI モデル用のRTX AI Toolkit
AIエコシステムは、アプリ開発者が活用できるように何十万ものオープンソースモデルを構築してきましたが、ほとんどのモデルは、一般的な目的のために事前にトレーニングされ、データセンターで実行するように構築されています。
開発者がPC上で動作するアプリケーション固有のAIモデルを構築するのを支援するため、NVIDIAはRTX AI PC上でモデルのカスタマイズ、最適化、デプロイメントを行うためのツールとSDKのスイートである RTX AI Toolkitを発表しました。RTX AI Toolkitは今月末に提供され、開発者がより広くアクセスできるようになります。
開発者は、オープンソースのQLoRaツールを使って事前に学習させたモデルをカスタマイズすることができます。そして、NVIDIA TensorRT™ model optimizerを使用してモデルを量子化し、RAMの消費量を最大3倍削減することができます。その後、NVIDIA TensorRT Cloudは、RTX GPUラインアップ全体でピーク性能を発揮するようにモデルを最適化します。その結果、事前に訓練されたモデルと比較して、パフォーマンスが最大4倍高速化されます。
現在早期アクセスで利用可能な新しいNVIDIA AI Inference Managerソフトウェア開発キットは、ACEのPCへの展開を簡素化します。このSDKにより、PCとクラウド間でAI推論をシームレスに編成しながら、PCに必要なAIモデル、エンジン、依存関係を事前に設定することができるようになります。
Adobe、Blackmagic Design、Topazなどのソフトウェアパートナーは、RTX AI Toolkitのコンポーネントを各社の人気クリエイティブアプリに統合し、RTX PC上でのAIパフォーマンスを加速させています。
AdobeのCreative Cloud製品マーケティング担当バイスプレジデントであるDeepa Subramaniam氏は「AdobeとNVIDIAは、ビデオ、イメージング、デザイン、3D、そしてそれ以上に至るまで、あらゆるクリエイティブ・ワークフローにおいて画期的な顧客体験を提供するために協力し続けます。RTX PC上のTensorRT 10.0は、クリエイター、デザイナー、開発者にかつてないパフォーマンスとAIを搭載した機能を提供し、Photoshopのような業界をリードするクリエイティブツールでコンテンツ制作の新しい可能性を解き放ちます。」と述べています。
また、TensorRT-LLMなどのRTX AI Toolkitのコンポーネントは、Automatic1111、ComfyUI、Jan.AI、LangChain、LlamaIndex、Oobabooga、Sanctum.AIなど、生成AIのための一般的な開発者向けフレームワークやアプリケーションに統合されています。
コンテンツ制作のためのAI
NVIDIAは、RTX AIアクセラレーションをクリエイター、モッダー、ビデオ愛好家向けのアプリにも統合しています。
ComfyUIが高速化
昨年、NVIDIAは、人気の高いStable Diffusionユーザーインターフェースの1つであるAutomatic1111に、TensorRTを使用したRTXアクセラレーションを導入しました。今週から、RTXによって、人気の高いComfyUIも高速化され、現在リリースされているバージョンと比較して最大60%の性能向上、MacBook Pro M3 Maxと比較して7倍の性能向上を実現します。
RTX Remix Toolkitがオープンソース化
NVIDIA RTX Remixは、フルレイトレーシング、NVIDIA DLSS 3.5および物理的に正確なマテリアルで、クラシックなDirectX 8およびDirectX 9ゲームをリマスターするための改造プラットフォームです。RTX Remixには、ランタイム・レンダラーとRTX Remix Toolkitアプリが含まれており、ゲームアセットとマテリアルの改造を容易にします。
昨年、NVIDIAはRTX Remix Runtimeをオープンソース化し、モッダーがゲームの互換性を拡大し、レンダリング機能を向上させることを可能にしました。今年初めにRTX Remix Toolkitがローンチされて以来、20,000人のモッダーがこれを使用してクラシックゲームを改造し、その結果、RTX Remix Showcase Discordで100以上のRTXリマスターが開発されています。
今月、NVIDIAはRTX Remix Toolkitをオープンソース化する予定で、これによりモッダーは、アセットの置き換えやシーンのリライトを効率化し、RTX RemixのAsset ingestorでサポートされるファイル形式を増やし、RTX RemixのAI Texture Toolsを新しいモデルで強化することができるようになります。
さらに、NVIDIAは、RTX Remix Toolkitの機能をREST API経由でアクセスできるようにし、改造者がRTX RemixをBlenderのようなデジタルコンテンツ作成ツール、Hammerのような改造ツール、ComfyUIのような生成AIアプリにライブリンクできるようにします。NVIDIAはまた、RTX RemixのレンダラーをDirectX 8および9のクラシックを超える他のアプリケーションやゲームにデプロイできるように、RTX Remix Runtime用のSDKも提供する予定です。
NVIDIA RTX Video
NVIDIA RTX Videoは、Google Chrome、Microsoft Edge、Mozilla Firefoxブラウザーでサポートされている人気のAI搭載超解像機能です。現在、すべての開発者がSDKとして利用可能で、アップスケーリング、シャープネス、圧縮アーチファクト低減、ハイダイナミックレンジ（HDR）変換のためのAIをネイティブに統合することができます。
ビデオ編集ソフトウェアBlackmagic DesignのDaVinci ResolveとWondershare Filmoraに近日提供されるRTX Videoは、ビデオ編集者が低画質のビデオファイルを4K解像度にアップスケールしたり、標準ダイナミックレンジのソースファイルをHDRに変換したりすることを可能にします。
さらに、無料メディアプレーヤーVLC media Player は、既存の超解像機能にRTX Video HDRを近日中に追加する予定です。
Windows CopilotランタイムにローカルPC SLM用のGPUアクセラレーションが追加
MicrosoftとNVIDIAは、開発者がWindowsネイティブアプリやWebアプリに生成AIの新機能を導入できるよう協力しています。この協力により、アプリケーション開発者は、Windows Copilot Runtimeの一部としてデバイス上で実行される 検索補強型生成（RAG – retrieval-augmented generation）機能を可能にするGPUアクセラレーションによるスモール言語モデル（SLM）へのAPIアクセスが容易になります。
SLMは、コンテンツの要約、コンテンツの生成、タスクの自動化など、Windows開発者に大きな可能性を提供します。RAG機能は、AIモデルにベースモデルでは十分に表現されていない分野固有の情報へのアクセスを与えることで、SLMを補強します。RAG APIにより、開発者はアプリケーション固有のデータソースを利用し、SLMの動作と機能をアプリケーションのニーズに合わせて調整することができます。
これらのAI機能は、NVIDIA RTX GPUや他のハードウェアベンダーのAIアクセラレータによって加速され、Windowsエコシステムの幅広い範囲で、高速で応答性の高いAI体験をエンドユーザーに提供することができます。
このAPIは、今年後半に開発者プレビュー版としてリリースされる予定です。
NVIDIA Brings AI Assistants to Life With GeForce RTX AI PCs
NVIDIA Releases Digital Human Microservices, Paving Way for Future of Generative AI Avatars
コメント