Runway、言葉や画像を使用して既存の動画から新しい動画を生成する新しいAIモデル Gen-1 を発表

2023年2月6日 – Runwayは、既存の動画から新しい動画を生成する新しいAIモデル Gen-1 を発表しました。

Gen-1とは

Gen-1は、Runwayによって近日公開予定の論文をもとにした、言葉や画像を使用して既存の動画から新しい動画を生成する新しいAIモデルです。

画像やテキストプロンプトの構図やスタイルをソースビデオの構造に適用して、新しいビデオをリアルで整合性の取れた形で生成することができます。

上記の動画で説明されているように、Gen-1には、以下のような動画を生成するための5つのモードがあります。

■スタイライゼーション

あらゆる画像やプロンプトのスタイルを、ビデオのすべてのフレームに転送することができます。

■ストーリーボード

モックアップを、完全にスタイル化され、アニメーション化されたレンダリングに変換することができます。

■マスク

ビデオ内の被写体を分離し、簡単なテキストプロンプトで修正することができます。

■レンダリング

入力画像やプロンプトを適用することで、テクスチャのないレンダリングをリアルな出力に変換することができます。

■カスタマイズ

モデルをカスタマイズすることで、Gen-1の能力を最大限に発揮し、より忠実な結果を得ることができます。

Gen-1が一般に開放され、、こちらから利用することができるようになりました。現在作成できる動画は3秒までとなっていますが、この制限はそのうち増えていくようです。

5つのモードと説明されていましたがそういうの設定するところはなく、スタイルリファレンスとしてimage、Presets、Promptを使用して動画を変換できます。入力動画はBlenderとMixamoで適当に作成し、それぞれ簡単に使用してみました。