Stable Diffusion を利用したテキストから3Dモデル生成をチェック

テキストから3Dへの変換モデル Dreamfusion を、Stable Diffusion の text-to-2D の変換モデルで実現した pytorch の実装 が ashawkey氏によって公開されました。

Dreamfusionは、Google Research の研究者らが公開したテキストから3Dアセットを作成する研究です。

テキストから3Dアセットを作成する Dreamfusion の研究論文が公開される

2022年9月29日（現地時間） - Google Research の研究者とUC Berkeleyの学生らは テキストから3Dアセットを作成する Dream...

cginterest.com

2022.10.01

Google の Imagen モデルは公開されていないため、ashawkey氏は、これをStable Diffusionで代替しました（diffuserからの実装）。以下の動画では、a high quality photo of a pineappleというテキストプロンプトで生成されたパイナップルの3Dモデルを見ることができます。

A implementation of text-to-3D dreamfusion, powered by stable diffusion

github: https://t.co/1GGjtphz8K pic.twitter.com/FaxIBL5WxE

— AK (@_akhaliq) October 6, 2022

このプロジェクトは進行中であり、論文との相違点が多く含まれています。現在では多くの機能が未実装で、生成品質は論文に匹敵しないものであったり、多くのプロンプトはまだ失敗しているとのことです。

また、Imagenとは異なり、Stable-Diffusion は 、latent diffusionモデルであるため学習に余計な時間コストがかかることも指摘されています。

stable-dreamfusion Githubページへ