リエージュ大学、オックスフォード大学、KAUST、トロント大学、Google DeepMindなどの研究者チームによる論文「Triangle Splatting for Real-Time Radiance Field Rendering」の紹介です。
「Triangle Splatting」とは
「Triangle Splatting」は、3D Gaussian Splattingがシーンをガウス関数の集合で表現するのに対し、3Dシーンを多数の学習可能な3D三角形の集合（プリミティブ）として表現し、レンダリングを行う新しい手法です。
このアプローチでは、GPUが最も得意とする三角形を使いつつ、それを固定されたメッシュではなく独立したパーツとして扱います。これにより、AIがシーンの複雑さに応じて三角形の数や配置を自動で最適化できるようになり、結果として高速かつ高精細なレンダリングを実現することが可能になります。
論文で示されているTriangle Splattingの主な利点は以下の通りです。
- 高い視覚的忠実度：本手法は、人気の2Dおよび3D Gaussian Splattingと比較して、より高い視覚的忠実度を達成します。特に屋内のシーンにおいては、最先端技術であるZip-NeRFよりも高い知覚品質を実現します。
- 高速なレンダリングスループット ：三角形は、最新のGPUハードウェアに最適化されたプリミティブです。この特性を活かし、本手法は高速なレンダリングを実現します。論文では、市販のメッシュレンダラーを使用し、1280×720解像度の「Garden」シーンにおいて2,400 FPS以上のレンダリング速度を達成したと報告されています。
- 標準的なグラフィックスパイプラインとの互換性 ： 本手法の出力は三角形の集合（トライアングルスープ）であるため、UnityやUnreal Engineといった既存のゲームエンジンやCGツールとの互換性を持っています。
下の比較画像は、本手法（Triangle Splatting）と既存手法（2D Gaussian Splatting）の結果を示したものです。
Triangle Splattingは、ガウス関数固有のぼけを伴わずにシャープなエッジを維持し、微細なディテールを正確に捉えることができているのがわかります。
手法の概要
この技術の中核は、微分可能なレンダリングパイプラインにあります。
各3D三角形は、学習可能な3つの頂点、色、不透明度、そして滑らかさを制御するパラメータ sigma を持ちます。これらのパラメータは、勾配ベースの学習を通じてエンドツーエンドで最適化されます。
レンダリング時には、各三角形を画像平面に投影し、その影響を「ウィンドウ関数」を用いてピクセルごとに計算します。この関数は、三角形の2D符号付き距離場（SDF）に基づいており、三角形の境界で影響がゼロになり、中心（incenter）で最大になるように設計されています。これにより、ハードなバイナリマスクの代わりにソフトな影響範囲が定義され、微分可能な処理が可能となります。
最終的な画像は、すべての三角形からの寄与を深度順にアルファブレンディングすることで生成されます。このプロセス全体が微分可能であるため、学習データとの誤差を元に三角形のパラメータを最適化することができます。
まとめ
Triangle Splattingは、シーン表現に三角形を用いることで、高い視覚的忠実度と高速なレンダリングを両立する効率的かつ効果的な手法です。
標準的なグラフィックススタックとの互換性も高く、論文では、本手法で生成された三角形メッシュが、追加の最適化なしにゲームエンジンでリアルタイムに動作することが示されおり、ゲームエンジン用デモシーンも公開されています。
研究の詳細は、以下のリンクをご覧ください。
コメント