Polycam、3D Gaussian Splatting を使用した実験的研究ツールをリリース

CGソフト

2023年9月29日(現地時間)- 3Dキャプチャアプリなどの開発で知られるPolycam は、3D Gaussian Splatting を使用した実験的研究ツール Gaussian Splat のリリースを発表しました。

3D Gaussian Splattingは、フランスの国立研究機関 Inria 、コートダジュール大学、MPI Informatikの研究者が、SIGGRAPH 2023で発表した「3D Gaussian Splatting for Real-Time Radiance Field Rendering」に基づく3D再構成とレンダリングのためのラスタライズ技術です。

3D Gaussian Splattingについては以下の記事をごらんください。

複数の写真からリアルタイムレンダリング可能な高品質シーンを生成できる『3D Gaussian Splatting』
最近注目を集めている 3D Gaussian Splatting についての紹介です。 3D Gaussian Splatting とは フランスの国立研究...

Polycam は、この技術を使用した実験的研究ツールを発表しました。

スプラットを作成するには

こちらのページ

で Gaussian Splatting の再構成を作成できます。「Create」ボタンをクリックし、画面の指示に従ってアカウントやプロフィールを設定する必要があります。

データをアップロードすることで、3D再構成(reconstruction)を改善するための研究目的で使用することに同意することになります。このツールで生成されたすべての再構成は公開されます。

画像セットは20枚から200枚の間、PNGかJPG形式で、最良の結果を得るためには、画像にモーションブラーや浅い被写界深度(ボケ)の効果がないことが特に重要とされています。一様に鮮明で、よく照明された画像で、最高品質の再構成を生成できます。ドローン画像も効果的です。また、これまでの実験では、マクロ/クローズアップ画像に問題があったとのことなので被写体に近すぎることに注意してください

3D Gaussian Splattingはどのように機能するか

LiDARや写真測量で生成されたPolycam キャプチャは、対応する画像テクスチャを持つポリゴンメッシュとして3Dデータを表現します。

一方、3D Gaussian Splattingは、3Dシーンを何百万ものパーティクル(3Dガウシアン)として表現します。各3Dガウシアンには、位置/向き/スケール、不透明度、ビュー依存の色があります。
これらのパーティクルは効率的にレンダリングするために、2D空間に変換され(「スプラット」され)、その後、パフォーマンスの高いレンダリングのために整理/ソートされます。

古いPolycamのキャプチャを使用可能

古いPolycamキャプチャのRAWデータが残っている場合、PolycamアプリからRAW画像をエクスポートし、ここにアップロードすることができます。

個々のキャプチャのエクスポートビューで、”raw images “までスクロールダウンして選択してください。これでZIPファイルが生成され、コンピュータに送信できます。

パフォーマンスについて

Polycamアプリのネイティブモバイル対応は近日公開予定です。今のところ、splatレンダラーを表示するにはデスクトップブラウザーを使用することが推奨されています。ChromeはFirefox/Safariより少しパフォーマンスが良いようです。


Polycam Gaussian Splat ウェブサイトへ

コメント

Translate »
タイトルとURLをコピーしました