Luma AI

Luma AI が Modify with Instructions をリリース 自然言語で動画を編集

Luma AI は7月29日(火)、新機能 Modify with Instructions をリリースした。

自然言語による指示で動画から動画を編集できる機能だ。

Luma AI は 新機能 Modify with Instructions をリリースした。

Modeify with Instructions は、動画から動画 (video-to-video, v2v) 編集機能で、自然言語によるプロンプトでオブジェクトの追加, 削除、VFXの追加、シーンの変更などがより直感的にできるようになった。

Luma AI

6月にリリースされた Modify Video の機能拡張と言え、自然言語によるプロンプトで編集できるようになったという点が、今回のアップデートの注目ポイントだ。

動画全体、または一部分に変更を加えられるようになっている。

* 自然言語とは : 日常的に使っている言語のこと。ここでは、会話のようなスタイルで (例 : 「壁の絵を世界地図に変更して」) 指示を出せることを意味する。

以下に Luma AI 公式のサンプルを紹介していく;

オブジェクトの削除

Luma AI

動画内の一部分だけに変更を加えることができる。

特定のオブジェクト (上の例ではブロッコリー “Remove the broccori”) を指定して削除するような使い方もできるようになっている。

VFX シーンの変更(季節)

Luma AI

シーン全体の雰囲気に変更を加えることができる。

空撮の街の映像を、街自体の構成は変えずに、苔に覆った状態, 雪に覆われた冬のシーンに変えている。

バーチャルメイク

Luma AI

被写体のメイクを変えることも可能だ。

アイライナーを加えたり、ピエロメイクを加えた大胆な変更もできる。

リスタイル & リテクスチャ

Luma AI

3D データに肉付けしてシーンを作り出すような使い方もできる。

服の色の変更

Luma AI

服の色だけをを変えるような編集も可能だ。

服に限らず、特定のオブジェクトの色の変更ができる。

上の動画で、右側の各動画下に表示されている””内の文が自然言語によるプロンプトだ。

短くシンプルな指示で編集できていることが確認できるだろう。

先日 Runway がリリースした、動画から動画の編集モデル Runway Aleph に対抗した形であることが伺える。

Modify with Instructions 機能は、Luma AI の提供するAIプラットフォーム Dream Machine 内にて近日中に実装予定となっている。 

すべての有料サブスクリプションプランユーザーを対象に利用可能。

興味のある方は、この機会に Dream Machine を利用してみてはいかがだろうか。

Luma AI では、画像生成AIモデル Photon や動画生成AIモデル RAY2 など、生成AI関連のサービスをリリースしている。

Luma AI の提供する Dream Machine 内で動画生成や画像生成などの機能を利用することができる。

Luma AI - Dream Machine 公式ページはこちら

https://dream-machine.lumalabs.ai

参考記事 : https://lumalabs.ai/blog/news/modify-with-instructions

新着記事