2026年9月18日（現地時間）- Niantic SpatialのEmbodied AI Teamは、Gaussianスプラット（Gaussian Splatting）の照明環境を撮影後に変更できる「リライティング」機能をベータ版として発表しました。選定されたデザインパートナー向けに先行提供が開始されており、太陽光や大気効果、時間帯、天候といった照明条件を、撮影時に固定されていた環境から自在に切り替えられるようになります。
撮影時に固定されるGaussianスプラットの照明
Gaussianスプラットは、複数視点から撮影された画像から最適化された数百万個の3Dプリミティブ（ガウス分布）を用いてシーン全体を表現する手法です。
実空間の見た目を極めて高精度かつリアルタイムに再現できる一方で、太陽光の向きや大気の状態、影、天候といった撮影時の照明条件がデータそのものに焼き付けられて（ベイクされて）しまうため、後から編集可能なパラメータとして切り離せない課題がありました。
ロボティクスシミュレーションやEmbodied AI（身体性人工知能）の学習環境として実空間を活用する場合、同じ現場のデータを朝方の清々しい光や曇天、あるいは雨などの悪天候下といった多様な環境条件で再現したい場面が頻繁に生じます。しかし従来の手法では、異なる条件を揃えるために現地での再撮影や再構築を個別に行う必要がありました。
今回のリライティング機能は、こうした運用上の大きなボトルネックを解消することを目的として開発されています。
先行研究を実運用パイプラインに応用
この機能のコアとなっているアプローチは全く新しい技術というわけではなく、コンピュータグラフィックス分野で数十年にわたって研究されてきた「Precomputed Radiance Transfer（事前計算放射輝度伝達、PRT）」の知見に基づいています。2024年に公開された論文「PRTGS」において、このPRT手法をGaussianスプラットに適用することで、柔らかな間接照明やアンビエントオクルージョン、相互反射を正確に再計算できることが示されていました。
Niantic Spatialは、この学術的なアイデアを自社が展開する実用的なreal-to-simパイプラインへと組み込みました。リライティング処理によって生成されるバリエーションでは、空間内の幾何形状（ジオメトリ）自体は一切変更せず、新しい照明条件を反映するために必要な球面調和関数（spherical harmonics: SH）による各Gaussianの視覚パラメータのみを再計算しています。
幾何形状を変更しないため、あらかじめ設定されたコリジョンメッシュ（衝突判定）、ナビゲーションメッシュ（NavMesh）、物体認識用のセマンティックラベルなどはすべてのバリエーション間でそのまま引き継がれます。シミュレーション側の物理ロジックに影響を与えることなく、照明環境のみを安全に変更できる点が大きな強みです。
生成できているバリエーション
現在、パイプラインを通じて以下のような環境バリエーションの生成が実証されています。
- メッシュ経由で物理レンダリングされた、太陽位置と大気光の連動変化
- 早朝の柔らかな斜光線から正午の強い直射光まで、時間帯（Time of Day）に応じた変化
- 霧や空気中の湿度による陰影の拡散など、大気条件の変化
- 曇天や雨模様など、天候変化を想定した環境光の移り変わり
- 濡れた路面や光を反射する水たまりの表現など、表面質感（サーフェス）の見え方の変化
現時点での限界と注意点
Niantic Spatialは、実環境を用いた継続的なテストを通じて、現段階におけるいくつかの注意点と技術的な課題を挙げています。
- メッシュ精度への依存：リライティングの品質は、ベースとなるメッシュの幾何学的精度に直接左右されます。メッシュに形状の破綻や欠損がある場合、遮蔽や影のシミュレーションに誤差が生じ、スプラット側に不自然な影やノイズ（アーティファクト）となって現れることがあります。
- シーン特性による得手不得手：樹木や草地、岩肌といった複雑な自然物は、視覚的な情報量が多いため軽微な誤差が目立ちにくく、良好な結果が得られやすい傾向にあります。一方で、直線の多いハードサーフェス建築や屋内空間、窓ガラス、鋭利なエッジを持つ構造体では、より厳密な検証が求められます。
- シミュレーションの適用範囲：現在のベータ版が担当しているのは、あくまで静的な外観テクスチャと環境光のリライティングです。空間を満たすボリュメトリックな霧パーティクルや、動的に降り注ぐ雨粒のアニメーションといった要素は、本機能とは別のシミュレーションレイヤーとして重ね合わせる設計となっています。
デザインパートナーとの共同開発の流れ
現在本機能は、不特定多数に向けたセルフサービス形式のAPIではなく、選定されたデザインパートナーとの協業プログラム（共同エンゲージメント）として展開されています。実際の導入プロセスは以下の流れで進行します。
- シーンの選定（共同）：対象となる実空間シーンと、再現したい照明・天候条件について双方で目標を合意します。
- ソースアセットの検証（Niantic Spatial）：提供されたスプラットおよびメッシュの精度が、リライティングの品質基準を満たしているか検証します。
- バリエーションの生成（Niantic Spatial）：検証済みのアセットを元に、初期セットとなるリライト済みバリエーション群を生成します。
- 実環境での評価（パートナー）：自社のシミュレーターや開発環境にアセットをインポートし、動作や見た目を検証します。
- フィードバックの共有（パートナー）：視覚的な忠実度や学習データとしての有用性についてフィードバックを共有します。
- パイプラインの改善（共同）：得られた知見をもとにレンダラーの最適化やワークフローの拡張を行い、今後のシーン制作ガイドラインを整備します。
今後の展望
Niantic Spatialは、今回のリライティング機能を「実在する現実の空間データを、ドメインランダマイゼーション（学習データの多様化手法）の素材として活用する」という、より大きな構想に向けた重要な一歩と位置づけています。
1回の現地スキャンデータから多種多様な時間帯や天候環境を後処理で量産できるようになれば、実環境のキャプチャにかかるコストを抑えつつ、AIモデルの汎化性能を効率的に高めることが可能になります。
現在は視覚的な再現性、計算処理の頑健性、そして本番ワークフローへの組み込みやすさのバランスが最も優れた組み合わせを模索している段階です。今回のreal-to-simアプローチを一つの足がかりとし、複数の手法を並行して検証しながら、多様なユースケースに対応できる標準パイプラインの確立を目指すとしています。
利用について
現在このベータ版は、シーンバリエーション生成の実運用ユースケースを持つチームを対象とした、招待制の共同開発プログラムとして提供されています。参加の応募や問い合わせは、Niantic Spatialの公式コンタクトページより受け付けています。
