2024年10月29日（現地時間）- Niantic Labs は、3D Gaussian splats の JPG として新しいファイルフォーマット『.SPZ』をオープンソース化したことを発表しました。
3D Gaussian splats について
3D Gaussian splats は昨年発表された新しいリアルな3Dスキャン技術で、登場以来、建築、VFX、空間コンピューティング、ゲーム開発などの様々な業界で使用されてきています。
新しいファイルフォーマット『.SPZ』
現在、ほとんどのスプラットの出力はPLYファイルで、屋外シーンの詳細なスプラットは250MBを超える大きなファイルとなる場合もあります。このため、特にWi-Fiに接続されていない場合、ダウンロードやアップロードに非常に時間がかかります。
Niantic Labs は、この問題に対処し、ガウシアンスプラットをモバイルデバイスで適度に素早くアップロードおよびダウンロードでき、デバイス上のストレージスペースをあまり占有しないようにするために新しいファイルフォーマット『.SPZ』を開発しました。
JPGが写真を編集するほぼすべてのプログラムでファイルの保存、共有、加工、使用を簡単にするのと同じように、SPZはスプラットのためのユニバーサルフォーマットとして意図されています。(可変圧縮を提供するJPGとは異なり、SPZはファイルサイズと品質のトレードオフのために最適化された単一の圧縮度を持っています)。
.SPZを使用すると、標準的なPLYフォーマットとの視覚的な違いを最小限に抑え、ファイルサイズを約1/10と大幅に小さくすることができます。例えば250MBなリッチなシーンを約25MBにできます。
技術的な詳細
SPZフォーマットは、球面ハーモニクスやメッシュには存在しないスプラットの他の部分に関する情報をキャプチャします。同時に、固定小数点量子化や log エンコーディングのような革新的なテクニックを使用して、画像の忠実度を失うことなくデータを圧縮します。
SPZフォーマットは、各ガウススプラットに関連する異なる値をより効率的な方法で表現することにより、標準的なPLYファイルよりファイルサイズを縮小します。
ガウシアンとして知られる各ポイントには、以下が含まれます：
- 3 つの位置値（position values）
- 4 回転値（rotation values）
- 3つの色値（color values）
- 3 スケール値（scale values）
- 1つの透明度の値（transparency value）
- 45個の球面ハーモニクス値（spherical harmonics values）
PLYフォーマットでは、これらの各値は32ビット（4バイト）の浮動小数点値として格納され、1点あたり236バイトを必要とします。SPZファイルでは、量子化とスケーリングを組み合わせて、各ガウスのパラメータを1点あたり64バイトで保存します。回転値は、例えば、空間の向きを表すために使用される4つの成分であるクォータニオンとして保存されます。PLYでは、これらの4つの成分は32ビット浮動小数点として格納されます。SPZでは、8ビットの符号付き整数として圧縮された3つの成分として保存され、4番目の成分はスペースを節約するために他の3つの成分から計算されます。
SPZフォーマットはまた、データを列ベースのフォーマットで整理し、類似した値をまとめて圧縮率を高める傾向があります。最後に、データはgzipで圧縮されます。これらのテクニックを組み合わせることで、PLYと比較してファイルサイズが90%削減される。
以下は、パラメータタイプ別の削減効果の内訳です：
| 要素 | SPZ形式 | PLY形式 | サイズ削減率 (%) |
|---|---|---|---|
| 位置 | 可変小数点の24ビット固定小数点整数 | 32ビットまたは64ビット浮動小数点 | 25%–62.5% |
| 回転 | 8ビット符号付き整数として格納された四元数の3成分 | 32ビット浮動小数点としての四元数の4成分 | 81.25% |
| 色 (RGB) | 各チャネルごとに8ビット符号なし整数 | 通常は各チャネルごとに8ビットまたは32ビット浮動小数点 | 0%–75% |
| スケール | 8ビットログエンコード整数 | 通常は32ビットまたは64ビット浮動小数点 | 75%–87.5% |
| アルファ (透過性) | 8ビット符号なし整数 | 通常は32ビット浮動小数点 | 75% |
| 球面ハーモニクス | 係数のための8ビット符号付き整数、4〜5ビットの精度 | 精度が高い形式で保存されることが多い（例：32ビット浮動小数点） | 75%–87.5% |
利用について
3D Gaussian splattingの開発と普及を加速するため、SPZフォーマットはMITライセンスの下で自由に利用できるようになりました。
ダウンロード、問題提起、プルリクエストはGitHubページへ
また、SPZは、Niantic Labs の開発するアプリとツールに実装されています。2024年8月に、ScaniverseからのSPZエクスポートと、無料のウェブベースの3DおよびARコンテンツ作成ツールであるNiantic StudioへのSPZインポートが可能になりました。
Open-sourcing .SPZ: it’s .JPG for 3D Gaussian splats
SPZ – The open-source file format optimized for 3D Gaussian Splats
コメント