Luma AI が Modify with Instructions をリリース 自然言語で動画を編集

Luma AI は7月29日(火)、新機能 Modify with Instructions をリリースした。

自然言語による指示で動画から動画を編集できる機能だ。

Luma AI は 新機能 Modify with Instructions をリリースした。

Modeify with Instructions は、動画から動画 (video-to-video, v2v) 編集機能で、自然言語によるプロンプトでオブジェクトの追加, 削除、VFXの追加、シーンの変更などがより直感的にできるようになった。

6月にリリースされた Modify Video の機能拡張と言え、自然言語によるプロンプトで編集できるようになったという点が、今回のアップデートの注目ポイントだ。

動画全体、または一部分に変更を加えられるようになっている。

* 自然言語とは : 日常的に使っている言語のこと。ここでは、会話のようなスタイルで (例 : 「壁の絵を世界地図に変更して」) 指示を出せることを意味する。

以下に Luma AI 公式のサンプルを紹介していく;

オブジェクトの削除

動画内の一部分だけに変更を加えることができる。

特定のオブジェクト (上の例ではブロッコリー “Remove the broccori”) を指定して削除するような使い方もできるようになっている。

VFX シーンの変更(季節)

シーン全体の雰囲気に変更を加えることができる。

空撮の街の映像を、街自体の構成は変えずに、苔に覆った状態, 雪に覆われた冬のシーンに変えている。

バーチャルメイク

被写体のメイクを変えることも可能だ。

アイライナーを加えたり、ピエロメイクを加えた大胆な変更もできる。

リスタイル & リテクスチャ

3D データに肉付けしてシーンを作り出すような使い方もできる。

服の色の変更

服の色だけをを変えるような編集も可能だ。

服に限らず、特定のオブジェクトの色の変更ができる。

上の動画で、右側の各動画下に表示されている””内の文が自然言語によるプロンプトだ。

短くシンプルな指示で編集できていることが確認できるだろう。

先日 Runway がリリースした、動画から動画の編集モデル Runway Aleph に対抗した形であることが伺える。

Modify with Instructions 機能は、Luma AI の提供するAIプラットフォーム Dream Machine 内にて近日中に実装予定となっている。

<追記 8.13.2025>

Modify with Instruction が実装され、すべての有料サブスクリプションプランユーザーを対象に利用可能となった。

興味のある方は、この機会に Dream Machine を利用してみてはいかがだろうか。

Luma AI では、画像生成AIモデル Photon や動画生成AIモデル RAY2 など、生成AI関連のサービスをリリースしている。

Luma AI の提供する Dream Machine 内で動画生成や画像生成などの機能を利用することができる。

新着記事