2021年4月12日（現地時間）NVIDIAは、仮想コラボレーションと物理的に正確なリアルタイム シミュレーションのためのオープンプラットフォーム NVIDIA Omniverse 上のプリケーション Machinima、Audio2Face の オープンベータ版を発表しました。これらのアプリは、GTC2021の終わりに提供が開始されます。
また、その他の Omniverse関連情報も合わせて紹介したいと思います。NVIDIA Omniverseの詳しい情報は以下の記事でも確認して頂けます。
https://cginterest.com/2020/10/07/%E3%83%AA%E3%82%A2%E3%83%AB%E3%82%BF%E3%82%A4%E3%83%A0-%E3%82%B3%E3%83%A9%E3%83%9C%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%A8%E3%82%B7%E3%83%9F%E3%83%A5%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7/
Omniverse Machinima
は、ゲームのシーンやキャラクターを使って、リアルなグラフィックやアニメーションをレンダリングできるツールや拡張機能を提供します。
このアプリには、NVIDIAとOffworld Industriesの Squad 、TaleWorlds Entertainmentの Mount & Blade Warband などのゲームから提供されたアセットが含まれており、今後も追加される予定です。
Omniverse Machinimaを通じて、ユーザーは次のことができます。
- NVIDIA MDLライブラリから、またはサードパーティのアセットライブラリからインポートされたマテリアル、サーフェス、テクスチャを使ってシーンをレンダリング
- NVIDIA Audio2Face技術による簡単なボイスレコーディングを使って、キャラクターの顔をアニメーション化
- NVIDIA PhysX 5、BlastおよびFlow拡張機能を使用して、物理的に正確なマテリアルを使ってリアルなビジュアルを作成することができます。
- wrnchのAIポーズ推定技術を用いて、ビデオフィードから人間の動きをキャプチャ
- 内蔵されたOmniverse RTX Rendererを活用して、最高の忠実度を持つ出力を作成
■wrnchのAIポーズ推定技術について
NVIDIAとコンピュータ・ビジョン・ソフトウェアのリーディング・プロバイダーである wrnch Inc.は、Omniverse MachinimaにAIを使った人間のポーズ推定機能を提供するために協力しています。
以下の動画では、wrnch Inc.が提供しているいiOSアプリ wrnch CaptureStream のデモが確認できます。
wrnch Inc.が作成した拡張機能には次のものが含まれます。
- wrnch CaptureStream：作成者がモバイルデバイスのカメラを使用して、アプリケーションで再現したい人間の動きをキャプチャできるようにする無料のダウンロード可能なツールです。
- wrnch AI Pose Estimator：作成者がローカルネットワーク上で実行されているwrnchCaptureStreamアプリケーションを検出して接続できるようにするOmniverse拡張機能です。
Omniverseユーザーは、ビデオフィードから人間の動きを抽出し、ポーズ推定アルゴリズムを使用して骨格関節を追跡し、3Dキャラクターの動きを模倣するレンチエンジンを活用できます。
Audio2Face
は、 は音声ソースだけで豊かな表情のアニメーションを生成する AI 搭載アプリケーションです。
デジタルヒューマンの需要は、ゲーム開発や視覚効果、会話型AIやヘルスケアなど、あらゆる業界で高まっていますが、アニメーションのプロセスは手動では複雑なものであり、さらに既存のツールやテクノロジーは、使用したり、既存のワークフローに導入したりするのが難しい場合があります。
Omniverse Audio2Faceを使えば、誰でもどんなボイスオーバートラックにもマッチするリアルな表情やモーションを作ることができます。この技術は、オリジナルの NVIDIA Research 文書に基づいており、音声入力をトレーニング済みの Deep Neural Network に送り込み、ネットワークの出力により、キャラクターの顔アニメーションをリアルタイムで動作させます。ユーザーには、さまざまな後処理パラメーターを編集して、キャラクターのパフォーマンスを編集するためのオプションがあり、ネットワークの出力によってキャラクター メッシュの 3D 頂点が動き、顔アニメーションが作成されます。
Audio2Face オープンベータ版では、次の機能が利用できます。
- オーディオ・プレーヤー／レコーダー：ボーカル・オーディオ・トラックを録音／再生し、そのファイルをニューラル・ネットワークに入力することで、即座にアニメーションの結果を得ることができます。
- ライブモード：マイクを使ってAudio2Faceをリアルタイムに動かすことができます。
- キャラクター転送：生成されたモーションを、リアルなものからスタイライズされたものまで、あらゆる3Dキャラクターの顔にリターゲットすることができます。
- 複数のインスタンス：同じシーンで複数のキャラクターを使ってAudio2Faceの複数のインスタンスを動かすことができます。
Kaolin
は、NVIDIA Kaolinライブラリのコンパニオンとして機能する、3D Deep Learningに取り組む研究者のためのインタラクティブなアプリケーションです。
このアプリケーションは、Omniverseプラットフォーム、USDフォーマット、RTXレンダリングを活用して、任意のDeep Learningモデルの3D出力を学習中に視覚化したり、3Dデータセットを検査して矛盾を見つけたり直感を得たり、3Dデータのコレクションから大規模な合成データセットをレンダリングしたりできるインタラクティブなツールを提供し、Omniverse Kaolinを使用すると、ユーザーはさまざまな3Dアプリケーション向けのAI研究の開発に必要な時間を短縮できます
このKaolinは以前からオープンベータ版として利用可能でしたが、アップデートされ、次の機能が追加されています。
■Training Visualizer
Omniverse Kaolin Training Visualizerエクステンションは、Kaolin Library python APIを使ってエクスポートされた3Dチェックポイントをインタラクティブに可視化します。イタレーションをスクラブすることで、研究者は時間の経過とともにトレーニングの進行を確認し、各3Dモデルに対して予測される複数のテクスチャーやラベルを視覚化することができます。
3Dチェックポイントには、メッシュ、点群、ボクセルグリッドを任意の数のカテゴリーで含めることができ、メッシュには複数のテクスチャとラベルがサポートされています。また、このエクステンションでは、実験間で一貫して結果を可視化するためのカスタムレイアウトを作成・保存することができます。
■Dataset Visualizer
機械学習モデルの性能は、学習データの特性に大きく依存します。エクステンション「Omniverse Kaolin Dataset Visualizer」は、3Dデータセットからバッチをサンプリングして可視化することで、直感を得て、学習の妨げとなる問題を特定することができます。
■Data Generator
多くの機械学習技術は、学習のために画像やグランドトゥルースのラベルに依存しており、合成データはそのようなアプリケーションをサポートする強力なツールです。Omniverse Kaolin Data Generatorエクステンションは、NVIDIA RTXレイおよびパストレーシングを使用して、3Dデータのコレクションから大量の画像データセットをレンダリングするとともに、さまざまなセンサーからカスタムグラウンドトゥルースラベル(custom ground truth labels)をエクスポートします。
Omniverse コネクタ
Omniverse コネクタは、
ソフトウェア アプリケーションとマイクロサービスを Omniverse に接続するプラグインです。新しくREALLUSION CHARACTER CREATOR、PARAVIEWのコネクターが発表されました。
■Reallusion Character Creatorコネクタ
Reallusion Character Creatorコネクターは、Omniverseベースのアプリケーションに完全なデジタルヒューマン作成パイプラインを追加します。
最新の Character Creator のアップデートについては以下の記事をご覧ください。
Reallusionの発表はこちらから
■ParaViewコネクタ
世界で最も普及している科学的可視化アプリケーションの1つであるParaViewコネクタが発表されました。研究者は、ローカルワークステーションやHPCシステム上でParaViewを使用して、天体物理学、気候・気象、流体力学、構造解析など、さまざまな分野の大規模なデータセットを解析しています。
GTC21で発表されたOmniverse ParaView Connectorを利用することで、研究者は生産性を高め、発見のスピードを上げることができます。また、Omniverseのユーザーは、クラウド上の同じワークスペースで作業できるため、同僚は瞬時にフィードバックを得ることができます。
今回のGTCでは、Autodesk 3ds Max、GRAPHISOFT Archicad、Autodesk Maya、Adobe Photoshop、Autodesk Revit、McNeel & Associates Rhino including Grasshopper、Trimble SketchUp、Substance Designer、Substance Painter、Epic Games Unreal Engine 4などのサードパーティ製アプリケーションのプラグインであるOmniverseコネクタが発表されています。
また、Blender、Reallusion Character Creator 3、SideFX Houdini、Marvelous Designer、Autodesk Motionbuilder、Paraview、OnShape、DS SOLIDWORKS、Substance Sourceなど、数多くの新しいコネクタが準備されてるとのことです。
NVIDIA Omniverse Enterprise
企業向けの有料バージョンNVIDIA Omniverse Enterpriseの価格が発表されました。
NVIDIA Omniverse Enterprise は、USD ベースのコラボレーションを管理する Omniverse Nucleus サーバー、業界をリードするデザイン アプリケーションのプラグインである Omniverse Connector、そしてエンドユーザー アプリケーションの Omniverse Create と Omniverse View が含まれる、新しいプラットフォームです。また、Omniverse Enterprise には NVIDIA RTX 仮想ワークステーション ソフトウェアが含まれているため、世界中のあらゆる場所から、グラフィックス負荷の高い 3D アプリケーションを自由に実行できます。
価格は、中規模および大規模の組織を対象とした2つのパッケージがあります。1つ目は、最大25ユーザーのグループを対象としており、ユーザーあたり年間1,800ドルに加えて、Nucleusサーバーに25,000ドルの費用がかかります。2つ目は、500人以上のユーザーを対象としており、ユーザーあたり年間1,800ドル、さらにサーバーに250,000ドルの費用がかかります。
このプラットフォームは 2021 年夏にパートナー ネットワークから発売予定です。早期アクセス プログラムにお申し込みした方限定で、最新情報が届けられます。
NVIDIA Omniverse Enterpriseページへ
NVIDIA Omniverse のダウンロードはこちらから
NVIDIA Omniverse Machinima Releasing in Open Beta
NVIDIA Omniverse Audio2Face Available Later This Week in Open Beta
NVIDIA Omniverse Kaolin App Now Available for 3D Deep Learning Researchers
Reallusion is Releasing Character Creator Connector for NVIDIA Omniverse
コメント