テキストから動画、画像、オーディオを生成できる無料 Blender アドオン『Generative AI 』

tin2tin氏による無料 Blender アドオン『 Generative AI 』の紹介です。

テキストから動画、画像、オーディオを生成できる無料 Blender アドオン
インストール方法
ダウンロード

テキストから動画、画像、オーディオを生成できる無料 Blender アドオン

この無料のBlenderアドオンである『 Generative AI 』では、テキストプロンプトからビデオ、イメージ、オーディオを生成することができます。生成には、Modelscope、Animov、Stable Diffusion 1.5 & 2、AudioLMD、Barkといったいくつかのモデルを選択することが可能なようです。

■テキストを動画/画像に変換について

Modelscopeのモデルは、Shutterstockの素材で学習されているため、ウォーターマークがあり、商用利用はできません。
Animovモデルは、アニメ素材で学習されているため、特にAnimov-512xモデルでは、プロンプトに「anime」を追加することが必要です。
画像を生成するためのStable Diffusionモデルは、たくさん使われているので、ググればたくさんのプロンプトが提案されているはずです。

ヒント：レンダリングのイメージが崩れる場合は、環境設定のモデルカードにある解像度を使用してください。

以下は動画の生成例となります。

■テキストからオーディオ

AudioLDM：ドキュメントはこちらから

Bark：ドキュメントはこちらから、Bark Speaker Library

ヒント：音声が途切れる場合は、長い文章を処理してみてください。

次の動画はBarkの使用例です。Barkは日本語音声の生成も可能です。

インストール方法

まず、プラットフォームに git をダウンロードしてインストールする必要があります (PATH 上にある必要があります (そうしないと Bark が失敗します)): https://git-scm.com/downloads
アドオンをダウンロード: https://github.com/tin2tin/text_to_video/archive/refs/heads/main.zip
Windows では、Blender アイコンを右クリックし、管理者として Blender を実行します (そうしないと、書き込み権限エラーが発生します)。
通常どおりアドオンをインストールします: 環境設定 > アドオン > インストール > ファイルを選択 > アドオンを有効にする。
Generative AIアドオンの環境設定で、「Install all Dependencies」ボタンを押します。。
なお、ここで様々なモード（ビデオ、イメージ、オーディオ）で使用されるモデルカードを変更することができます。
完了したら（エラーがある場合は報告してくだい）。
Video Sequence Editor > Sidebar > Generative AI でアドオン UI を開きます。
モデルを初めて実行するときは、何 GB ものデータをダウンロードする必要があるため、コーヒーをたくさん飲みに行きましょう。

アドオンの環境設定で、Dependenciesをインストールし、Movie Model Cardを設定し、Sound Notificationを設定します：