2026年9月22日（現地時間）- Comfy Orgは、ComfyUIで動作する動画生成モデル「MiniMax H3」のビデオVAEを高速化したことを公式ブログで発表しました。
MiniMax H3が高速化
MiniMax H3は、テキスト・画像・動画・音声をまとめて参照し、音声付きの動画を生成する33Bパラメータのマルチモーダルモデルです。ComfyUIは公開当日からネイティブ対応しており、T2V（テキストから動画）、I2V（画像から動画）、R2V（参照素材から動画）のワークフローが用意されていました。
前回の記事では、動画用のVAE「H3-VisualVAE」が空間方向に16倍、時間方向に4倍の圧縮を行うこと、そしてint8 convrot量子化とカスタムカーネルによってメモリ使用量を抑えていることを紹介しました。
今回の変更は、8月にオープンウェイトが公開されたMiniMax H3の、ComfyUI側の実装の改良です。モデル本体ではなく、動画を潜在空間へ変換・復元するVAEの処理が対象で、エンコードは最大約2.2倍、デコードは約1.4〜2.7倍高速化されています。int8 convrot版のVAEファイルも引き続き使われており、今回その上でデコーダーがさらに高速化されています。
発表によると、エンコードとデコードを合わせた時間は、1344×768・129フレームの動画で24.3秒から12.7秒に短縮されたとのことです。動画生成ではサンプリング以外にVAEの処理時間もかかるため、試行回数の多い作業ほど積み重なる部分です。
変更点
高速化は3つの変更で構成されています。
エンコーダーの融合カーネル（既定で有効）
これまでエンコーダーは、畳み込みの合間にフレームごとの正規化、活性化関数の適用、端のパディングを、それぞれ別々の処理として行っていました。1回ごとに数百MB規模のデータを読み書きしていたこれらの処理を1回にまとめ、次の畳み込みが求めるメモリ配置で直接書き出すようにしたとしています。
これだけで約1.5倍高速になり、出力は従来と同一とのことです。設定は不要で、アップデートするだけで有効になります。
畳み込みが --fast fp16_accumulation に対応
PyTorchは畳み込み処理をNVIDIAのライブラリ「cuDNN」に任せていますが、cuDNN経由ではfp16での累積を指定する手段がありません。そのため、このオプションはこれまで行列演算にしか効かず、エンコーダーの高速化にはつながっていませんでした。
今回、独自の畳み込み処理を用意し、バイアスとスキップ接続も同じ処理に組み込んだうえで、このオプションが効くようにしています。融合カーネルと合わせて、エンコーダーは約2.2倍高速になったとしています。
int8デコーダー
int8版のVAEファイルを使う場合、デコーダーの重みは8ビットで扱われます。正規化・活性化関数・スキップ接続を行列演算に組み込むことで、途中の計算結果をメモリに書き出さずに済むようにしたとのことです。アテンションも8ビットで計算されます。
従来のint8 VAEと比べて1.4倍高速になったとしています。
計測結果
計測はRTX 5090、1344×768・129フレームの条件で、各構成をアップデート前の同じ構成と比べたものです。すべて同日に、VAE EncodeノードとVAE Decodeノードを通して計測したとしています。
- 融合カーネル: メモリの読み書きを減らす変更のため、RTX 5090に限らずNVIDIA製GPU全般で効果があるとしています。
--fast fp16_accumulation: fp16累積が倍速で動作するコンシューマー向けGPUで効果があるとのことです。
なお、発表はNVIDIA製GPUを前提としており、AMD製GPUやApple Siliconでの効果には触れられていません。
画質への影響
高速化による画質の変化は、目で見て分かる差はほぼ出ないとしています。
VAEは動画を圧縮して復元する過程で、もともと細部をわずかに失います。高速なint8の処理で上乗せされる誤差は、その損失のさらに約30分の1程度とのことです。
数値で見ると
標準デコーダーとの比較で、int8デコーダーはPSNR 67.7dB、高速化したエンコーダーは約68dB。これに対し、実写映像をVAEで復元したときのPSNRは約38dBとしています。また、int8版のVAEを使う場合でもエンコードはfp16で行われ、融合カーネルは計算の順序が変わるだけで結果は変わらないとのことです。
利用方法
- ComfyUIをv0.36.0以降に更新する: エンコーダーの融合カーネルは、これだけで有効になります。
- 起動オプションに
--fast fp16_accumulationを付ける: エンコーダーとデコーダーをさらに高速化できます。 - int8版のVAEファイルを読み込む: デコードが最も速くなります。標準のVAEファイルとそのまま置き換えて使えるとしています。
ワークフローはComfyUIのテンプレートライブラリからも利用できます。
| I2V | video_minimax_h3_i2v.json |
|---|---|
| R2V | video_minimax_h3_r2v.json |
| T2V | video_minimax_h3_t2v.json |
| int8 VAE | minimax_h3_video_vae_int8_convrot.safetensors |
【Tips】起動オプションについて
--fast fp16_accumulation はComfyUI全体に効く起動オプションです。発表によれば、これまでも行列演算には適用されていたため、MiniMax H3以外のモデルを使う場合にも計算精度の扱いが変わります。他のモデルで出力に違和感がある場合は、オプションを外して比較するとよいでしょう。
今回の発表で対象となっているのはビデオVAEのみで、音声用のVAEについては触れられていません。
