2024年3月5日（現地時間）- Stability AI は、単一画像から高速で3Dオブジェクト生成する『TripoSR』を発表しました。
単一画像から高速で3Dオブジェクト生成する『TripoSR』
Stability AI は、 Tripo AIと提携し、最近の研究成果 LRM: Large Reconstruction Model For Single Image to 3D にインスパイアされた高速3Dオブジェクト再構成モデルTripoSRを開発しました。この新しいimage-to-3Dモデルは、1枚の画像から高品質な3Dモデルを1秒以内に生成することができ、エンターテインメント、ゲーム、工業デザイン、建築の専門家の高まる需要に応えるように設計されています。
パフォーマンス
TripoSRは、詳細な3Dモデルを他のモデルの数分の一の時間で作成することができます。Nvidia A100でテストしたところ、ドラフト品質の3D出力（テクスチャーメッシュ）を約0.5秒で生成し、 OpenLRMなどの他のオープンな image-to-3D モデルを上回りました。また、スピードだけでなく、このモデルは、TripoSRは低推論バジェット（GPUなしでも可能）で動作するため、幅広いユーザーやアプリケーションにとって利用しやすく、実用的とされています。
TripoSRの3D再構成とOpenLRMの3D再構成の比較。
技術的詳細
TripoSRのトレーニングデータには、実世界で見られる画像の分布をより忠実に再現する多様なデータレンダリング技術が組み込まれており、モデルの汎化能力を大幅に向上させています。学習データには、CC-BYの Objaverse データセットの高品質なサブセットが慎重にキュレーションされました。またモデル側では、チャンネル番号の最適化、マスク監視、より効率的なクロップレンダリング戦略など、ベースのLRMモデルに対する技術的な改善も行われています。
利用について
モデルの重みとソースコードはMITライセンスの下でダウンロード可能で、商業化、個人利用、研究利用が可能です。
TripoSRモデルのコードはTripo AIの GitHub で、モデルの重みは Hugging Face で公開されています。
コメント