GPUメモリわずか6GBで1分間の動画生成が可能に！ビデオを段階的に生成する次フレーム予測型のニューラルネットワーク構造「FramePack」

GPUメモリわずか6GBで1分間30fpの動画生成を可能にする「FramePack」の紹介です。

FramePackとは
利用について

FramePackとは

FramePackは、スタンフォード大学の研究者による論文「Packing Input Frame Context in Next-Frame Prediction Models for Video Generation」で提案されている新しいビデオ生成のための次フレーム（またはフレームセクション）予測モデルを訓練するための革新的なニューラルネットワーク構造です。

この技術の核心は、入力された複数のフレームを効率的に圧縮し、ビデオの長さに左右されない固定長のTransformerコンテキストを実現することにあります。

これにより、画像拡散モデルと同程度の計算負荷で、ビデオ拡散を用いて大量のフレームを処理することが可能になります。さらに、トレーニング時のビデオバッチサイズを大幅に向上させ、画像拡散モデルのトレーニングに匹敵するサイズでの学習を実現します。

主な特長

13Bモデルを使用し、6GBのラップトップGPUメモリで、フルfps-30の数千のフレームを拡散処理。
個人/研究室の実験用に、単一の8xA100/H100ノード上でバッチサイズ64の13Bビデオモデルをファインチューン。
パーソナルRTX 4090は、速度2.5秒/フレーム（最適化されていない場合）または1.5秒/フレーム（teacache）で生成。
タイムステップ蒸留なし。
ビデオ拡散ですが、画像拡散のように感じられます。

✅GPUメモリレイアウトによる効率的なフレーム処理

FramePackの重要な特徴の一つが、入力フレームを特定のGPUメモリレイアウトにエンコードする手法です。従来のビデオ処理のようにフレーム画像を単純に結合するのではなく、論理的なメモリ配置を利用します。

それぞれのフレームは、異なる「パッチ化カーネル」を用いてエンコードされ、この処理によって各フレームに割り当てるGPUリソースの量、すなわち「コンテキスト長」を調整できます。

例えば、予測対象の次のフレームに時間的に近いフレームほど「重要」とみなし、より多くのGPUリソース（より長いコンテキスト長）を割り当てることで、生成されるビデオの品質を高めることができます。

HunyuanVideoの例では、480pのフレームが（1, 2, 2）のパッチ化カーネルを使用した場合1536トークンであるのに対し、（2, 4, 4）のカーネルでは192トークンに圧縮されます。この柔軟なコンテキスト長の調整により、ストリーミング処理においても一定の計算量（O(1)）で効率的な処理が可能となります。

✅ビデオ品質劣化を防ぐAnti-drifting Sampling

次フレーム予測モデルにおいて課題となるのが、ビデオが長くなるにつれて品質が劣化する「ドリフト」現象です。これは、エラーの蓄積や露出バイアスとも呼ばれ、生成された最後のフレームを次の入力として繰り返し使用するような場合に顕著に現れます。

ドリフトを根本的に解決するには、因果関係を断ち切り、サンプリングを双方向にする必要があることがわかりました。

FramePackでは、このドリフト問題を解決するために「Anti-drifting Sampling」というサンプリング手法を提案しています。

従来の因果的なサンプリング（過去から未来へ順に生成）とは異なり、Anti-drifting Samplingと「Inverted Anti-drifting Sampling」は双方向的なアプローチを採用します。特に「Inverted Anti-drifting Sampling」は、すべての推論において最初のフレームを常に近似のターゲットとして扱うため、Image-to-Videoのようなアプリケーションにおいて非常に有効です。