Igor Aherne氏による、無料ツール『Stable Projectorz』の紹介です。
Stable Projectorz とは
『Stable Projectorz』は、StableDiffusion Automatic1111 webUIを利用してテクスチャを作成することができる無料ツールです。Igor Aherne氏という一人の方によって作成されてます。
このツールを使用すると、次の動画のように3DモデルをUVを保持したまま読み込み、StableDiffusion利用して画像を生成し、それを読み込んだ3Dモデルに投影していくことでテクスチャを作成することができます。
コア機能
3Dモデル用の高品質テクスチャを簡単に作成、結合、微調整できます。主な機能以下の通りです。
- オリジナルのUVを保持できます。
- シーンの［深度（Depth）］を使用して、複数のアートバリエーションを作成できます。アートは自動的に3Dオブジェクトに投影されます。
- 異なるアートの投影をミックスし、それらの間の継ぎ目を取り除くことができます。
- 3Dモデルに直接ペイント／ブラシを使用してブレンドを調整することができます。
- 2D アートの投影の色相、彩度、明度、コントラストを調整できます。
- 実際の3Dオブジェクトをテクスチャリングする際に、StableDiffusionのインスピレーションとなる2D背景を生成して使用することができます。
- アンビエントオクルージョンのシェーディングをベイクし、すべての投影の上に適用することができます。
- 複数のControl Netユニットを使用でき、最初のユニットはDepthです（デフォルトでON）。
- img2img（インペイント）マスキングを使用し、選択した領域のみに投影できます。inpaint-ControlNetユニットでさらに強化することも可能です。
- Style-transfer control netなど、追加のコントロールネットを使用できます。3Dモデル（OBJ）、独自のテクスチャ（PNG、JPG）を開くことができます。txt2imgとimg2imgの両方の機能があります。
ヒント
2Dアート投影
- 2D art projectionタブで、2Dアートのアイコンを左クリックして選択します（周囲に赤い枠が表示されます）。選択できる2Dアートのアイコンは、アイコンのバッチごとに1つだけです（1つの世代には複数のアイコンがあります）。
- CTRLを押しながら2D artアイコンにカーソルを合わせると、3Dモデル上に、投影される位置にチェッカーが表示されます。これは、異なる角度から多くの投影がある場合に役立ちます。
- 2D artタブでは、テクスチャをファイルから読み込むこともできます。これは常に、すべての投影の下で最初に描画されます。2D backgroundsタブも同様です。
- ビューポートでは、AとDを押すことでプロジェクションのPOV（Point of Viewの間をテレポートできます。SまたはWを押すことで、オレンジフレームのアートプロジェクションの優先順位を下げたり上げたりできます（他のものよりも上に表示させる）。
- 3Dモデル上の投影の順番を素早く確認するには、Rを押したままにします。暗い部分が先に描かれ、白い部分が後に描かれます。
マスキング
- 現在の2D art projectionのマスクを微調整するには、2D artのアイコンを左クリックします（金色の枠が表示されます）。次に、マウスで3Dモデル上をペイントすることで、選択した2Dアートプロジェクションをマスクすることができます。
- ‘X’を押すと、マスクブラシがプラスからマイナスに反転します（2Dアートの上にペイントするときに、2Dアートを表示/非表示にします）。
- 3Dモデルにペイントするだけでなく、「Screen Mask」（画面右上）をクリックすることもできます。このモードで、ビューポートを左ドラッグすると、screen-space-2D-maskが描画されます。その後、左のInputパネル（プロンプト、サンプラーなど）を下にスクロールし、下のInpaint設定を調整できます。
- 背景が2Dの場合、Inpaintは常にアクティブになり、img2imgが使われます。この場合、オブジェクト全体が “密かに（Secretly）” オートマスクされるため、stable diffusion はその周囲を参照し、オブジェクト（マスクの内側）をペイントすることができます。ただし、その後に（ブラシを使って）2Dマスクをペイントすると、マスクモードを終了するまで、そのマスクが代わりに使われます。
その他のヒント
- 3D Objパネルでメッシュを選択し、3Dモデルが選択されていることを確認してください。アクティブな3Dモデルがない場合、投影されません。
- モデルのテクスチャ座標（UV）が重なっていないことを確認してください。そうしないと黒い点が見える場合があります。Fキーを押してフォーカスを合わせることが出来ます。
- 少なくとも1つのControl Netユニットが常にアクティブ（緑）で、それがDepth Control-netであることを確認してください。深度（Depth）コントロールネットがアクティブでないと、投影は3Dモデルに投影されませんが、背景には問題ありません。
- ダウンロードしたControl-netによっては、Preprocessorドロップダウンを “none “のままにしておくことができます。通常は、ControlNet Modelドロップダウンで “depth “を指定することが重要です。例えば、control_v11p_sd15_depth。
- CTRL+Zはまだありませんので、テクスチャを頻繁に保存してください。
- Ambient OcclusionはArtタブからベイクできます。他の2D artアイコンと同じように、右クリックしてambient occlusionを微調整できます。
チュートリアル
使用に関するチュートリアル動画がいくつか公開されています。
インストール方法
使用方法
ワークフローの例
ダウンロードとシステム要件
『Stable Projectorz』は、ローカルコンピュータ上で無料で動作します。
StableDiffusionをサポートするNVIDIA GPUが必要です：少なくともGTX 1080またはそれ以降と、12GB以上のRAMを搭載した適切なCPUが必要です。
ダウンロードには、通常版とminimal 版があります。minimal版は高度なユーザ向けの自分のwebUIを使用するオプションのようです。詳しい情報はDiscordで#use-your-own-webui-how-toを確認してください。
ダウンロードはこちらから
インストーラーは必要なPythonとAutomatic 1111リポジトリと重要なControl Netsを自動的にダウンロードします。
ライセンスについて
著作権 (c) 2024 Igor Aherne
StableProjectorz（ソフトウェア）は、Stable Diffusionを補完するツールで、Automatic1111によって作成されたウェブUIツールと相互作用します。Igor Aherne氏は、Stable Diffusionアルゴリズムの作者ではありません。StableDiffusion、ControlNet、およびそれらのWebuiツールとフレームワークは、それぞれの作者に帰属します。
StableProjectorz（ソフトウェア）によって生成されたアートは、あなたのプロジェクトで使用、変更、販売することができます。本ソフトウェアを無料で使用することはできますが、本ソフトウェアをサブライセンスまたは再販することはできません。本ソフトウェアのソースコードのいかなる部分も、あなたが制作したものでない限り、あなた自身のものであると主張することはできません。本ソフトウェアへのリモートアクセスに対してユーザーから金銭を請求するために、本ソフトウェアをサーバー上でホストすることはできません。
コメント