生成AIを使って3Dモデルのテクスチャ生成ができるBlenderアドオン『Auto Painter AI』

必要なファイルのインストールを許可するために、管理者権限でBlenderを実行します。

1. Blenderのショートカットまたは実行ファイルを右クリックします。
2. 「管理者として実行（Run as administrator）」を選択します。

BlenderにAutoPainter Alをインストールします。

1. Blenderを開きます。
2. Edit > Preferencesに移動します。
3. サイドバーのAdd-onsをクリックします。
4. 一番上の「インストール(Install)…」をクリックします。
5. AutoPainter AI ZIPファイルを探して選択します。
6. アドオンのインストールをクリックします。
7. リストのAutoPainter Alの隣にあるチェックボックスをオンにして、アドオンを有効にします。

必要なPythonモジュールをインストールします。

1. AutoPainter Alアドオンの環境設定で、Install Dependenciesボタンをクリックします。
2. Blenderが反応しないように見えるかもしれませんが、これは必要なファイルをインストールする際の正常な状態です。
3. インストールが完了するまで待ちます。

すべてのモジュールが正しくインストールされていることを確認します。

1. Check Module Installation ボタンをクリックします。
2. 「Modules Are Successfully Installed（モジュールは正常にインストールされました）」というメッセージが表示されます。
3. インストールされていない場合は、Blender を管理者として起動し、インターネットに接続していることを確認してください。

１.Stability Matrixをダウンロード

• 公式Stability Matrix GitHubリポジトリにアクセスし、最新リリースをダウンロードします。

２.解凍して実行

• ダウンロードしたZIPファイルを任意の場所に解凍します。
• 解凍したフォルダに移動します。
• install_stability_matrix.batファイルを実行。このスクリプトは、Python、Git、その他の必要な依存関係を自動的にインストールします。

Stability Matrixをインストールしたら、Stable Diffusion WebUIとControlNet extensionをインストールします。

1. Stability Matrixを起動
   • stability_matrix_launcher.exeを実行して、Stability Matrixアプリケーションを開きます。
2. Stable Diffusion WebUIをインストール
   • Stability Matrixインタフェースで、[ Install WebUI (WebUIのインストール)] をクリックします。
   • これにより、Stable Diffusion WebUI (Automatic1111) が自動的にクローンされ、Pythonパッケージやモデル処理ツールなど、必要な依存関係がインストールされます。
   • Stability Matrixは、WebUIをローカルで実行するための正しい環境を設定します。
3. ControlNet Extensionをインストール
   • WebUIがインストールされたら、Stability Matrixの[Extensions]タブに移動します。
   • [Install ControlNet]をクリックすると、Stable Diffusion WebUI用のControlNet拡張機能が自動的にダウンロードおよびインストールされます。
   • これにより、AIガイド付きテクスチャを生成するためのControlNet機能が有効になります。

Stability Matrixでは、必要なControlNetモデルを自動的にダウンロードすることもできます。

1. ControlNetモデルのダウンロード
   • ［Models］ タブで、［Download ControlNet Models］をクリックします。
   • これにより、AutoPainter AIに必要なDepthモデルとNormalモデル（control_sd15_depth.pth、control_sd15_normal.pth）がダウンロードされます。
   • Stability Matrixは、これらのモデルを適切なフォルダ（extensions/sd-webui-controlnet/models）に配置します。
2. モデルを検証
   • ダウンロード後、Stability Matrixは、モデルが適切に配置され、WebUIで使用できる状態になっていることを確認します。

すべてのインストールが完了したらWebUIサーバを起動します。

1. WebUIサーバの起動
   • Stability Matrixのコントロールパネルで、[Launch WebUI]をクリックします。
   • これにより、ローカルマシンでStable Diffusion WebUIサーバーが起動します（通常、http://localhost:7860）。
2. WebUIにアクセス
   • ブラウザを開き、http://localhost:7860 へアクセスします。
   • これでStable Diffusionインターフェースの準備が整い、AutoPainter AIでテクスチャを生成するためのControlNet機能が利用できるようになります。

1. BlenderでAutoPainter AIの設定を開きます。
2. Connection Typeドロップダウンで、Local WebUIを選択します。
3. WebUIのアドレス(http://localhost:7860)を入力します。

1. マルチビューマップをベイク
   • Blenderで3Dモデルを選択します。
   • Generate Multiview Mapsをクリックし、ControlNetを使って深度マップと法線マップを作成します。
2. AIテクスチャを生成
   • 希望のテクスチャプロンプトを入力します。
   • Generate Guided AI Imageをクリックして、マップとプロンプトをStability Matrix経由でローカルのWebUIに送信します。
3. アップスケールとエンハンス（オプション）
   • クラウドのアップスケーリングを使用する場合はこのステップをクラウド処理に切り替え、そうでない場合は標準解像度のためにローカルのControlNetモデルを使用してください。

Blenderプロジェクトを保存します。

• これは深度マップと法線マップをプロジェクトディレクトリに保存するために必要です。

お好みの処理方法を選択してください。

• ローカル処理： Stable Diffusion Web UlとControlNetのインストールが必要です。
• クラウド処理： ローカルにインストールする必要はありません。

(Stable Diffusion Web UlとControlNetのインストールは、Stability Matrixが推奨されています。)

モデルの深度マップと法線マップを作成します。

1. テクスチャを作成したいオブジェクトを選択します。
2. AutoPainter Alパネルで、「Generate Multiview Maps 」をクリックします。
   • これは複数の角度から深度マップと法線マップをベイクします。
   • パッキングアルゴリズムを使用して、オブジェクトを1×1グリッドに効率的にフィットさせます。

Alを使ってテクスチャを生成します。

1. Prompt フィールドに説明的なプロンプトを入力します。
   • 例 「A detailed oak wood texture with intricate grain patterns.」
2. 「Generate Guided Al Image 」をクリックします。
   • アドオンは、プロンプトとマップをAlモデルに送信します。
   • テクスチャ生成が完了するまで待ちます。

テクスチャのモデルへの適用方法を調整します。

• Projection Smoothing（投影スムージング）
  • 異なる角度からのテクスチャ間のスムージングを調整します。
  • これは、テクスチャをシームレスにブレンドするのに役立ちます。
• パラメータ
  • Blend Amount： 投影間の重なりをコントロールします。
  • Sharpness： テクスチャの細部の鮮明度を調整します。

Alアップスケーラーでテクスチャのディテールを強調します。

1. 「Upscale & Enhance Image Details 」をクリックします。
   • 注意：この機能はクラウド処理モードでのみ実行できます。
   • テクスチャの解像度を上げ、より細かいディテールを追加します。
2. アップスケール処理が終了するまで待ちます。

テクスチャをモデルのUVマップに転送します。

モデルにきれいなUVレイアウトがある場合

1. 「Bake Image into Original UV 」をクリックします。
2. アドオンは、生成されたテクスチャをオリジナルのUVマップに投影します。
3. 結果を確認し、必要に応じて調整します。