2025年6月2日(現地時間)- Luma AI は、動作の動画生成AIであるDream Machineで利用可能な新しい動画編集機能「Modify Video」を発表しました。
Modify Videoとは
従来のワークフローでは、キャラクターの周囲の世界を変更するには、レンダリングのやり直し、再撮影、新しいツールの導入など、膨大な時間とコスト、そして創造性の制約が伴いました。Modify Videoは、このような課題を解決するために開発された新しいツールです。
プロのクリエイターが、パフォーマンス、動き、カメラワーク、キャラクターの完全性を損なうことなく、環境、ライティング、テクスチャを再構築できることを目指しており、重要な要素はそのままに、それ以外のすべてを進化させることができます。これにより、モーションキャプチャスーツ、グリーンバック、複雑な3Dソフトウェアの必要性がなくなるとのことです。
Modify Videoを利用すると以下のことが可能となります。
動きをキャプチャして転送
あらゆるビデオクリップから全身、顔、リップシンクの動きを抽出し、新しいキャラクター、小道具、またはカメラブロックされたパスを完全に同期させて動かすことができます。
俳優の演技をCGクリーチャーに置き換えたり、振り付けられたパスでオブジェクトをアニメーション化したり、元の動きにマッピングされたスタイライズされたキャラクターバリエーションを探求したりすることが可能です。
リスタイル、リテクスチャ、ワールドスワッピング
シーンの動きとフレーミングを維持したまま、見た目を一新することができます。つまり、Modify Videoでは、パフォーマンスを失うことなく、その周りの世界を変えることが可能です。
例えば、ガレージを宇宙船に変えたり、昼から夜へと時間を移行させたり、ローポリゴンの映像を映画のようなリアリズムへと進化させたりすることができます。
特定の要素を編集
ショット全体を変更することなく、衣装、顔、小道具、空などの個々の要素を編集できます。
シーン内でキャラクターを老化させたり、連続性のためにシャツの色を変更したり、空にUFOを追加したりすることが、すべて可能です。グリーンバックも面倒なトラッキングも必要ありません。
主な機能
プロンプトのみのツールや静的なフィルターとは異なり、Modify Videoは、ショットのタイムライン全体にわたって忠実度の高いクリエイティブコントロールを実現するように設計されています。ポーズ、表情、シーン構造などの高度なパフォーマンスシグナルを使用して、何を維持し、何を再構築するかを理解します。
デザインは常にユーザーから始まり、視覚的な参照、最初のフレーム画像、またはプロンプトで出力をガイドできます。
- 動きとアクションの維持： ポーズ、リップシンク、フェイシャルトラッキングなどのパフォーマンスシグナルを使用。
- 複数の出力バリエーション： 同じベースモーションから、迅速なスタイルの探求とクライアントへのフィードバックが可能。
- プロンプトはオプション： 推測ではなく、ビジュアルで出力をコントロール。
- ネイティブ解像度サポート： シームレスな統合のための16:9（720p）フォーマットを含む。
- 構造化プリセット： 変換の度合いを定義するために3つのプリセットから選択。
3つの強度プリセット
素晴らしい結果を得る鍵は、ビジョンに合った正しいModify Videoの強度レベルを選ぶことにあります。
- Adhere（忠実） 出力は元のビデオに非常に近くなります。照明の調整、軽いテクスチャの追加、穏やかなスタイルフィルターの適用など、微妙な変更に最適です。すでにあるものを置き換えるのではなく、強化するものだと考えてください。
- Flex（柔軟） 創造性と認識性のバランスを取ります。中核となる要素を識別可能なまま、大幅なスタイルの変更を行うことができます。このスイートスポットは、顕著な変化を望むが完全な再発明は望まない、ほとんどの変換に適しています。
- Reimagine（再構築） 最大限の創造的な自由を与えます。人をクリーチャーに変えたり、環境を完全に変更したり、シュールなシナリオを作成したりするなど、シーンやキャラクター全体を劇的に変換したり再解釈したりするのに最適です。
競合との比較
外部評価者によるブラインド評価（どの方法で生成されたかを知らずにビデオを評価）では、Luma Modify VideoがRunway V2Vを一貫して主要な基準で上回ったことが示されました。
Lumaは、動き、顔のアニメーション、時間的整合性の維持に優れており、よりスムーズで一貫性のある視聴体験を提供しました。構造的な類似性を維持し、プロンプトに一致させながら動きと表情を維持するLumaの能力は、好ましい選択肢となりました。
- キャラクターの一貫性
- 複数キャラクター
- 動きのあるオブジェクト
- 複雑なデザイン
使用方法
「設定」→「Modify」タブをクリック →「アップロード」ボックスをクリック → あなたのビデオを探す → ビデオをアップロード → 変更したい内容をAIにプロンプトで指示 → 強度バーをクリックしてプロンプトの効果の度合いを設定します。
手順：
- Dream Machineで新しいボードを開きます。
- Modify Videoにアクセスすると、分かりやすいインターフェースが表示されます。
- 出力解像度を選択 → ニーズに合わせて720pまたは1080pを選択します。
- ソースビデオをアップロード → プロンプトフィールドの上の「+」アイコンをクリックして映像を追加します（最大10秒）。
- クリエイティブな指示を追加：
- プロンプト → 見たいものを記述します。
- 変換レベルを設定 → どれだけ劇的に変更したいかを選択します。
- 結果を生成
プロンプトのヒントを見る
Modify Videoは、あなたのビジョンの明確な全体像を描く、具体的で肯定的な記述に最もよく反応します。あなたが監督や脚本家であるかのように考えてください。
あなたの頭の中のビジョンを明確な指示で、クルーに伝えられなければなりません。記述が詳細で視覚的であるほど、結果は良くなるとされています。
- 衣装の変更には： 「A woman in an elegant blue evening gown（エレガントな青いイブニングドレスを着た女性）」と記述すると、彼女の動きを保ちながらカジュアルな服がフォーマルな服装に変わります。
- 環境の交換には： 「A bustling cyberpunk city with neon signs and flying cars（ネオンサインと空飛ぶ車が行き交う賑やかなサイバーパンク都市）」と記述すると、近所の通りが未来的なシーンに変わります。
- エフェクトの追加には： 「Magical sparkles swirling around the dancer’s hands（ダンサーの手の周りを渦巻く魔法の輝き）」と記述すると、パフォーマンスに追従する視覚効果が追加されます。
- 小道具の変更には： 「A glowing lightsaber instead of the stick（棒の代わりに光るライトセーバー）」と記述すると、オブジェクトがどのように使われるかを維持しながら置き換えられます。
注： 避けたいことではなく、望むことを記述してください。否定的なプロンプトよりも肯定的なプロンプトの方が効果的です！
ベストプラクティスを見る
- 入力ビデオと参照画像のアスペクト比を一致させる必要はありません。生成前にプロンプト設定で希望の出力比率を選択できます。
- ソース映像のヒント
- 手ブレのあるショットよりも安定した映像の方がうまく機能します。
- 背景の変更や要素レベルの編集で最良の結果を得るには、被写体を清潔でミニマルな背景の前で撮影してください。無地の壁、グリーンバック、またはサイクロラマは、AIが被写体を正確に分離して維持するのに役立ちます。
- より良い結果を得るために
- 短いクリップから始めてアイデアをテストしましょう。
- 特定の視覚的なスタイルを念頭に置いている場合は、参照画像を使用してください。
- 同じ映像で異なる強度レベルを試して、あなたの特定の変換に最適なものを見つけてください。
- 制限事項への対応
- 非常に速いアクションや複数の動く被写体は難しい場合があります。
- ぼやけている、または低解像度のソースビデオは、変換の品質を制限します。
- 非常に混沌としたシーンでは、一貫性が保たれない場合があります。
既知の制限事項を見る
- 10秒の制限があるため、長いシーケンスはセグメントに分割する必要があります。
- ソースビデオの品質は変換の品質に直接影響します。ぼやけていたり揺れていたりするコンテンツよりも、鮮明で安定した映像の方がはるかにうまく機能します。
- 多くの動く要素を持つ複雑なシーンでは、一貫性のない結果が生じることがあります。
利用について
Modify Videoは、現在Dream Machine: Ray 2で最大10秒の長さで利用可能です。
現在、ウェブ上のすべての有料Dream Machineサブスクリプションで利用可能です。iOS版も近日公開予定とのことです。
コメント