2023年4月3日 – Luma AI は、Luma Unreal Engine Plugin の alpha版 を発表しました。
Luma Unreal Engine Pluginとは
Luma Unreal Engine Pluginは、3Dキャプチャツール Luma AI のNeRF用UE5（Windows）プラグインです。
このプラグインを使用することで、簡単にLuma NeRFをWindows上のUE 5でリアルタイムに動作させることができます。ローカルで動作する完全なボリューメトリックレンダリングを使用しており、メッシュフォーマット、ジオメトリ、マテリアル、ストリーミングをいじる必要がありません。
ゲームやバーチャル プロダクションにを組み込んだり、従来のグラフィックスコンテンツと合成したり、パワフルなPCを使ったVRコンテンツの作成（DLSS推奨）などの用途で使用することができます。
各キャプチャの「ダウンロード」画面で、UE 5 で動作する Luma Fields ファイルが見つけることができるようになっています。
サンプルプロジェクト
サンプルプロジェクトが提供されています。
- Unreal Engine Starter Project：プラグインを含むスターター（ゲーム）プロジェクト
- cinematic/film starter project：シネマティックな使い方をする場合
手順
- サンプルプロジェクトをダウンロードし、どこかに解凍する。
- Unreal Engine 5 で .uproject ファイルをダブルクリックして開きます。 ※Unreal Engine を初めて開いたり、Unreal のシェーダーの一部をコンパイルしたことがない場合、Unreal がシェーダーをコンパイルするのに時間がかかることがあります。
- キャプチャーから Luma Field ファイルをダウンロードします。
- ダウンロードしたファイルをUnreal EditorのContent Browserにドラッグします。
- 数秒後、NeRFキャプチャ用のブループリントが生成され、これをドラッグしてUnreal Engine内で使用することができます！ ※システムによっては、すべてのブループリントのコンパイルに数秒かかる場合があります。コンパイル中にシーンにドラッグすることは可能で、コンパイルが完了するとレンダリングが開始されます。
- Luma Fieldごとに複数のBlueprintが生成されます。
- Baked： これらのブループリントには、キャプチャしたときの照明が含まれているため、キャプチャにできるだけ近い状態で表示されます。影や照明の影響を受けませんが、他のLuma Field や Unreal Objects とコンポジットすることは可能です。
- Dynamic： これらのブループリントは、Unrealのライティングとシャドウの影響を受けます。
- Cropped： これらのブループリントには、キャプチャの中心オブジェクトが存在する場合、自動的にクロップされたバージョンが含まれています。
現在の制限事項など
- Unrealのいくつかのプロジェクトやレンダリングオプションは動作しない可能性があります。
- 自動露出は現在サポートされていませんので、手動露出をスタータープロジェクトのデフォルトである〜10程度の値に設定することを推奨
- 現在、キャプチャーのクロップはサポートされていませんが、近日中に対応する予定です。
- blueprintsには、デフォルトのコライダーが付属していません。コリジョンが必要な場合（シミュレーション、VRテレポーテーション、物理的な相互作用など）、簡単な近似方法として、不可視の球体や立方体のコライダーを追加することができます。
- スタータープロジェクトでは、Naniteは無効になっていますが（Naniteは新しいGPUとD312 / Vulkan APIでのみサポートされているため）、プロジェクト設定から以下を変更することで有効にできます
Luma AIは、現在Unreal との統合を可能な限り良くすることに注力していますが、それが完了したら、UnityやBlenderなど他の一般的なゲームエンジンやレンダリングフレームワークに統合するためのオプションを検討していく予定としています。
Luma Unreal Engine Plugin のより詳しい情報はこちらから
コメント