2024年4月2日(現地時間)- オープンソースのStable Diffusion WebUI InvokeAI 4.0 がリリースされました。
InvokeAIについて
InvokeAIはStable Diffusionモデルのための主要なクリエイティブエンジンのひとつで、AI技術を使用してビジュアルメディアを生成、作成することができます。A1111のようなウェブUIとComfyUIのようなノードUIの両方に対応しているのが特徴です。
InvokeAI の基本的な情報は以下の記事をご覧ください。
https://cginterest.com/2023/07/22/stable-diffusion%e3%83%a2%e3%83%87%e3%83%ab%e3%81%ae%e3%81%9f%e3%82%81%e3%81%ae%e3%82%af%e3%83%aa%e3%82%a8%e3%82%a4%e3%83%86%e3%82%a3%e3%83%96%e3%82%a8%e3%83%b3%e3%82%b8%e3%83%b3-invokeai-3-0/
v4.0 新機能ハイライト
このアップデートには、インストールプロセスの大幅な改善、モデルマネージャの再設計、モデルハッシュ機能の強化、キャンバスの大幅な改善、および多数の修正と機能強化が含まれています。
上記の動画では以下の新機能が紹介されています。
インストール、アップデート、設定の簡素化
インストールが簡素化、合理化され、より速く、より高い信頼性で行えるようになりました。主な変更は以下の通りです。
- 設定スクリプトなし:すべての設定はinvokeai.yamlに含まれるようになりました。
- インストール中にモデルのインストールは行われなくなりました:
- 内部 “コア “モデルは、最初に要求されたときのみダウンロードされます。
- 生成モデルはモデルマネージャーUIでインストールできます。
- アップデーターはなくなりました:各リリースのインストーラーを使用して、新規インストールと更新の両方を行うことができます。同じ場所を選択するとアップデートが実行され、既存のイメージやモデルなどはそのまま残ります。
新しいモデルマネージャー
v4.0.0では、フロントエンドとバックエンドの両方でモデルマネージャーが書き直されました。これは、将来のモデルアーキテクチャのための基盤を構築するために行われ、以下のような機能があります。
- すべてのモデルのインストールは UI 経由で行われるようになりました(configureスクリプトはありません)。
- キューに入れられたモデルのダウンロード。
- モデルごとのプレビュー画像。
- モデルごとのデフォルト設定 – モデルのデフォルトの VAE、スケジューラ、CFG スケールなどを選択できます。
- concepts/LoRAsおよびモデル用のユーザー定義のトリガーフレーズにプロンプト ボックスに
<
キーを入力してアクセスできます。 - モデル マーケットプレイスの API キーのサポート
- 自動インポートは削除されました。代わりに
Scan Folder
使用してください
モデルのハッシュ化
v4.0.0を初めて実行する際、すべてのモデルファイルの1回限りのハッシュを行うようになったため、起動に数分かかることがあります。ハッシュはどのプラットフォームでも同じ、安定したモデルの識別子を提供するためのもので、一般にモデルのセキュリティ、データの整合性の確認、キャッシュ効率のために行われます。
これを無視する場合は、Ctrl+Cキーを押して処理を中断し、invokeai.yamlで hashing_algorithm: random
invokeai.yaml
を設定することで、ハッシュを無効にすることができます。
キャンバスの改善
キャンバスはグラデーションデノイジング(gradient denoising)と呼ばれる新しい合成方法を使用するようになりました。これにより複数の「パス」が不要になり、キャンバスの生成時間が大幅に短縮されました。この方法によって、マスクされた領域と画像の残りの部分の間の視覚的な一貫性も大幅に改善されます。
キャンバスの合成設定(compositing settings)で、グラデーションのノイズ除去(gradient denoising)プロセスを制御することができます。
NVIDIA AI Workbench
InvokeチームはNVIDIAと提携し、Invoke NVIDIA AI Workbenchプロジェクトをリリースすることが発表されました。Nvidia AI Workbenchは、AIプロジェクトのセットアップと使用を合理化するように設計されています。このプロジェクトテンプレートは、AI Workbenchを使用してInvoke環境をインストールおよび管理する簡単な方法をユーザーに提供し、セットアップやメンテナンスに関連する複雑な作業を簡素化することを目的としています。
Invoke NVIDIA AI Workbenchプロジェクトページへ
Invokeトレーニング(ベータ版)
v4.0.0から、コアのinvokeスクリプト内のトレーニングに関するすべての参照は、Invoke Training Repoを指すようになりました。Invoke Trainingは、以下のためのシンプルなユーザーインターフェイスを提供します。
- Textual Inversion トレーニング
- LoRAトレーニング
- Dreamboothトレーニング
- Pivotal チューニングトレーニング
修正と強化
以下のような多くの小さなバグ修正や強化が行われました。
- 一括ダウンロード(画像の選択または全体のボードをダウンロード)
- キャンバスブラシサイズのスクロールが反転できるように。
- キャンバスステージングエリアの画像を個別に破棄できるようになりました
- 多数の修正とUIの向上
- 多数のgreybeardノードに関する修正
- Iterateノードが順番に反復するように
- ワークフローの並べ替えを適切に
- ギャラリーでの画像寸法オーバーレイ
- ローカライゼーションの修正
- 新しい翻訳 B N
-
torch
とdiffusers
の依存関係の更新 - ドキュメントの更新
- LoRA probe の修正
既知の問題
キャンバス上のインペインティングモデルが、ときどきバグる問題が確認されています。この修正は、バージョン4.1.0で行われる予定です。
アップデート情報
v4.1.0
Invoke v4.1.0では多くの修正と機能強化が行われました。その中でも大きなものは、Style and Composition IP Adapterです。
■ Style and Composition IP Adapter (ベータ)
スタイルリファレンスと呼ばれることもある Style and Composition IP Adapter (ベータ)の機能は生成AIプラットフォームで急速に採用されており、入力の構図や意味的な要素を取り込むことなく画像のスタイルをキャプチャするためのツールです。
IP Adapter はプロンプトとして画像を使用します。画像にはスタイルとコンポジションという 2 つの主要な要素があり、IP Adapter を使用する際にはそのどちらか、あるいは両方を選択することができます。新しい IP Adapter Method ドロップダウンでは、Full、Style、Composition のいずれかを選択できます。設定は IP Adapter ごとに適用されます。ドロップダウンを表示するには、アクティブなIP Adapterを削除して再追加する必要があります。
■機能強化リスト
- リージョンプロンプトとリージョンIPアダプターのバックエンドとノードの実装(v4.2.0のUI)。
- グラフをワークフローに変換するシークレットオプションをWorkflow Editorに追加。使い方はこちらを参照。
- UIの細かい問題点の改善。
- ファビコンとページタイトルに生成ステータスを表示。
- 削除のホットキーとボタンがギャラリーの選択と連動するように。
- ワークフローエディターのパフォーマンス改善。
- ワークフローエディターのエッジラベル。
- 翻訳の更新。
- ドキュメントの更新。
- トーチデバイスと精度の取り扱いを改善。
v4.2.0
Invoke 4.2 では、多数の機能強化と修正が行われ、主要な新機能であるコントロール レイヤが追加されました。
■コントロール レイヤー
最新のオープンソース研究の一部を統合することで、クリエイティブはコントロール アダプター、画像プロンプト、リージョナルガイダンスを使用して、1つのパネルから生成プロセスを明確にし、生成の構成やスタイルをコントロールできるようになりました。機能セットは、生成タブの新しいキャンバスに統合されています。
リージョナルガイダンスでは、特定のリージョンを設定して、ポジティブプロンプト、ネガティブプロンプト、またはマスクされたリージョンに適用される任意の数のIPアダプタを適用できます。コントロールアダプタ(ControlNetおよびT2Iアダプタ)と初期イメージは、新しいコントロールレイヤーキャンバスで視覚化されます。
こちらでは、機能、生成に与える影響、コントロールレイヤーをナビゲートして使用する方法について説明されています。
■機能強化リスト
- コントロールレイヤー
- TCDスケジューラーの追加
- Image Viewer の更新 — Z ホットキーをタップするか、ギャラリー内の画像をダブルクリックすることで、Generations タブの Image Viewer に簡単に切り替えることができるようになりました。
■主な変更点
- Image to Image: 初期画像レイヤーを追加することで、コントロールレイヤーを使用してImage to Imageパイプラインを実行できるようになりました。
- Control Adapters と IP Adapters: これらはコントロールレイヤータブに移動し、コントロールアダプタの処理画像を簡単に視覚化できるようになりました
その他すべてのアップデート内容の確認はこちらから
システム要件
InvokeAIは、Linux、Windows、macOSでサポートされています。Linuxユーザーは、Nvidiaベースのカード(CUDAをサポート)またはAMDカード(ROCmドライバを使用)のいずれかを使用できます。
システム – 以下のいずれかが必要です:
- 4GB以上のVRAMメモリを搭載したNVIDIAベースのグラフィックカード。Stable Diffusion XLモデルを使用したレンダリングには、6~8GBのVRAMを強く推奨。
- M1 チップを搭載したAppleコンピュータ。
- 4GB以上のVRAMメモリを搭載したAMDベースのグラフィックカード(Linuxのみ)。
※GTX 1650または1660シリーズや1080 TI などの NVIDIA 10xx シリーズ カードのビデオカードの使用は推奨されていません。半精度モードで動作できず、512×512画像をレンダリングするのに十分なVRAMを搭載していません。
メモリ
– 12GB以上のメインメモリRAM。
ディスク – 機械学習モデル、Python、およびその依存関係すべてのために、少なくとも12 GBの空きディスク容量。
より詳しいシステム要件の確認はこちらから
ダウンロード
このリリースからApache-2.0ライセンスの下で利用することができます。
最新の無料のコミュニティエディション(ローカル版)のダウンロードはこちらから
コメント