Luma AI、自然言語で動画を編集するDream Machineの新機能「Modify with Instructions」を発表！

2025年8月12日（現地時間）- Luma AI は、Dream Machineの新機能「Modify with Instructions」を発表しました。

「Modify with Instructions」とは
機能の使い方
制限事項
提供状況と今後の展望

「Modify with Instructions」とは

「Modify with Instructions」とは、自然言語で指示するだけで動画を編集できるDream Machineの新機能です。

この機能により、VFX、広告、映画、デザインといった様々な制作ワークフローでオブジェクトの除去や置き換え、バーチャルセットの構築、キャラクターの微調整、スタイルの変更といった高度な編集が直感的に行えるようになります。

Luma Ai – Modify with Instructions (Available Now)

主な活用事例

VFX
広告
映画・物語制作
デザイン

映像から不要なオブジェクトを消したり、背景を拡張（セットエクステンション）したりできます。また、天候を雨に変えたり、季節を夏から冬へ変更したりすることも可能です。

撮影後の映像に商品を自然に配置する「バーチャルプロダクトプレイスメント」や、料理の食材を別のものに差し替える、モデルにバーチャルメイクを施すといった活用ができます。

存在しない風景（バーチャル環境）を作り出したり、撮影セットのデザインを変更したりできます。また、登場人物の服装を自由に変更する「バーチャルファッション」や「バーチャルワードローブ」も実現可能です。

家具のスタイルやテクスチャを変更したり、製品の素材感を金属から木材へ変えたり、任意の色に置き換えたりすることができます。

機能の使い方

基本的な使用方法

まず、動画の中から変更したい要素がはっきりと映っているフレームを1つ選択します。

次に、「change the red dress to a blue suit (赤いドレスを青いスーツに変える)」や「replace the coffee cup with a wine glass (コーヒーカップをワイングラスに置き換える)」のように、変更したい内容を簡単なプロンプトで入力します。この入力に基づき、AIがユーザーの意図を理解し、その変更を動画クリップ全体に適用します。

より詳細な編集方法として、本機能は「新しい開始フレームで動画を修正する方法」と「指示のみで動画を修正する方法」という2つの強力なワークフローを提供します。

新しい開始フレームで動画を修正する

元の開始フレームを編集または置換し、それを新しい視覚的な基準として使用することで、元の入力動画を全く新しいものに変換します。

開始フレームはDream Machine内で直接編集することも、他の画像編集ツールで変更してからアップロードすることも可能です。

設定パネルで「Modify」を選択します。
修正したい動画（現在、最大100MB、10秒まで）をコンポーザーウィンドウにドラッグ＆ドロップまたはアップロードします。
「Modify Frame」を選択し、出力に反映させたい変換内容を簡単な指示で入力します。
修正された開始フレームに満足したら、「Apply」をクリックしてコンポーザーウィンドウに戻し、動画の生成を送信します。

ヒント

修正した開始フレームのプロンプトは現在Dream Machineには保存されないため、外部に保存しておくことをお勧めします。

指示のみで動画を修正する

複雑なルールは不要で、シンプルな指示が最も効果的です。効果的な指示は、通常3つの要素で構成されます。

変形を促す動詞：「add」「remove」「change」「replace」など。
変更したい対象の明確な説明： 何をどうしたいのかを具体的に記述します。
変更後の状態の明確な説明： どのように変えたいのかを記述します。

「球体を様々な色の眼球に変える（Change the spheres to different color eyeballs）」や「球体を野球ボールに変える（change the spheres to baseballs）」は、これらを組み合わせた良い例です。

ヒント

意図しない部分まで変更されてしまう場合は、「keep the lighting unchanged（照明は変更しない）」や「use the same background（背景は同じものを使用する）」といったフレーズを追加することで、維持したい部分を保持しやすくなります。

変更強度の調整

素晴らしい結果を得る鍵は、目的に合った「Modify Video Strength Level」を選択することです。

Adhere (忠実)：元の動画に限りなく近い結果を生成します。照明の調整、軽いテクスチャの追加、穏やかなスタイルフィルターの適用など、微細な変更に最適です。
Flex (柔軟)：創造性と元の要素の認識のバランスを取ります。中心的な要素を維持しつつ、スタイルを大幅に変更したい場合に適しており、ほとんどの変換作業で効果を発揮します。
Reimagine (再創造)：最大限の創造的自由を与えます。人物をクリーチャーに変えたり、環境を完全に作り変えたり、シュールなシナリオを生成したりといった、劇的な変換に適しています。

より詳しい情報については、公式サイトのラーニングハブで確認できます。

制限事項

変更の強度：変更の度合いはスライダーで調整可能です。ディテールを維持したい場合は低めに、より大胆な変更を加えたい場合は高めに設定するなど、試行錯誤が推奨されます。
最初のフレーム：指示を正確に反映させるため、変更したい対象が動画の最初のフレームに映っている必要があります。
アスペクト比：対応しているアスペクト比（9:16, 3:4, 1:1, 4:3, 16:9, 21:9）以外の動画をアップロードした場合、自動的にトリミング・再フォーマットされるため、映像の品質が低下する可能性があります。