地面に置いたカメラを飛び越えると、そのまま空中へ。傘が風に飛ばされ、空を移動したあと、まったく別の場所へ着地する。
今回この方法を紹介しているのは、InstagramでAIやVFXを活用した映像制作のチュートリアルを発信しているkeanu.visuals。実写で撮影した2つの映像から静止画を切り出し、Magnific AIの「Spaces」を使って、その間に存在しない映像をAIで生成する方法を紹介している。
制作のポイントは、映像全体を生成AIに任せるのではなく、「ジャンプしている瞬間」と「別の場所を歩いている瞬間」を実写で用意することだ。
それぞれの映像から1枚ずつスクリーンショットを切り出し、ジャンプ中の画像を動画生成の最初のフレーム、歩いている画像を最後のフレームとして設定。その間だけをAIで生成する。
さらに今回の映像では、ジャンプ中に傘が手から離れ、空中を移動し、最後にショッピングモールの前へ自然に着地するところまでプロンプトで細かく調整している。
今回は、その制作の流れを見ていこう。
Step 1：カメラを地面に置き、真上を向けてジャンプする
まず撮影するのは、ジャンプするシーン。
keanu.visualsは、カメラを地面に平らに置き、手持ちの中でもっとも広角なレンズを使って真上へ向け、その上を飛び越えるようにジャンプしたと説明している。
地面から真上へ向けて撮影することで、人物がカメラのすぐ近くを通過し、そのまま空へ飛び出していくような構図を作ることができる。
ここでポイントになるのは、このジャンプ映像そのものをAIへ渡すわけではないということ。後ほど、この中から最も見栄えのいい瞬間を1フレームだけ切り出して使用する。
つまり最初の撮影は、AI生成映像へ入っていくための「入口」を実写で作っているわけだ。
Step 2：別の場所を歩いているシーンを撮影する
続いて2つ目の映像を撮影する。
keanu.visualsが用意したのは、ショッピングモールの前を歩いているシンプルなショットだ。
1つ目は、地面に置かれたカメラをジャンプで飛び越える映像。
2つ目は、別の場所を歩いている映像。
この時点では、2つのシーンに直接的なつながりはない。
そこで後からAIを使い、
ジャンプする
↓
空中を移動する
↓
別の場所へ着地する
↓
そのまま歩き出す
というひと続きの映像へ変えていく。
Step 3：ジャンプ中のベストな瞬間をスクリーンショットする
撮影が終わったら、ジャンプしている映像から1枚の静止画を切り出す。keanu.visualsは、ジャンプ中の「最もカッコよく見える瞬間」をスクリーンショットしたと説明している。 この画像が、AI動画生成の最初のフレームになる。
今回の方法では、立っている状態からジャンプするところまでをAIに作らせるわけではない。人物がすでに空中へ飛び上がっている状態までは実写で用意し、その先をAIに引き継がせる。そのため、どの瞬間を選ぶかも重要だ。身体の向きや手足の位置、画面内での人物の大きさなどを見ながら、その後の動きへつながりやすいフレームを選ぶ。
Step 4：歩いている映像からも1枚を切り出す
続いて、ショッピングモールの前を歩いている映像からもスクリーンショットを作成する。こちらは、AI動画生成の最後のフレームとして使用する。 今回用意するのは、「ジャンプ中の画像」と「ショッピングモール前を歩いている画像」の2枚。
場所も人物の姿勢も異なる2枚だが、その間にAIが新しい動きを生成することで、まるで1本のカメラで連続して撮影したような映像へつなげていく。
Step 5：2枚の画像をMagnific AI「Spaces」へ読み込ませる
2枚のスクリーンショットを用意したら、Magnific AIの「Spaces」へ。
keanu.visualsは、この2枚をSpaces内の動画生成ノードへ読み込ませている。
本人のコメント欄では、MagnificがDesktop Appとしても利用できるようになり、ブラウザとは別に、クリエイティブ作業専用のワークスペースで制作できることにも触れている。
今回のような方法では、テキストだけから動画を作るのではなく、映像の「入口」と「出口」を画像によって固定する。
AIへ、
「この状態から始まり、この状態で終わる映像を作る」
という条件を与えるわけだ。
Step 6：ジャンプ画像を「First Frame」に設定する
続いて、ジャンプ中のスクリーンショットを「First Frame」に設定する。
これによって、AI生成部分は人物がすでに空中にいる状態からスタートする。
今回の演出では、このタイミングが重要だ。
実写からAI生成へ切り替わるのは、人物が静止している場面ではなく、大きくジャンプしている途中。
ジャンプのように人物の位置や背景が大きく変化する瞬間を境界にすることで、実写とAI生成の切り替わりを映像の動きの中へ隠すことができる。
Step 7：歩いている画像を「End Frame」に設定する
次に、ショッピングモールの前を歩いている画像を「End Frame」に設定する。
これで、
ジャンプ中の画像
↓
AIが生成する中間部分
↓
ショッピングモール前を歩いている画像
という映像の始点と終点が決まる。
通常であれば、まったく異なる場所で撮影した2つの映像を自然につなぐには、マスクや合成、3DCGなどを使ったVFX処理も考えられる。
今回の方法では、その「間に存在するはずの映像」自体をAIに生成させている。
Step 8：プロンプトで傘の動きと着地を指定する
ただし、2枚の画像を設定するだけで、最初から理想通りの映像が完成したわけではない。
keanu.visualsは、2つの場所をシームレスにつなぐため、複数のプロンプトを試したと説明している。
動画内では実際に「Prompt 01」から「Prompt 05」まで、表現を少しずつ変えた複数のプロンプトが紹介されている。
たとえばPrompt 01では、男性が傘を持って高くジャンプし、着地直前に傘が風で手から飛ばされ、高いジャンプの衝撃を吸収するように膝を曲げて着地。その直後にスマートフォンを取り出す、という流れを指定している。
“A man jumps high while holding an umbrella. Just before he lands, the umbrella is pulled away by the wind and flies out of his hand.”
というところから始まり、さらに着地時に膝を曲げ、一瞬しゃがみ込むようにして衝撃を吸収するところまで細かく説明されている。そしてPrompt 05では、同じ基本動作をさらに物理的な動きとして詳しく指定。
男性が力強く高くジャンプし、下降の最後の瞬間に傘が風で飛ばされ、手から自然に離れる。その後、「believable weight and momentum」、つまり体重や勢いを感じさせながら両膝を曲げ、身体を一瞬低くして着地。姿勢を安定させてからスマートフォンを取り出す、という流れになっている。
つまり今回プロンプトで細かく指定しているのは、単に「空を飛ぶ」という演出だけではない。
傘がどのタイミングで手から離れるのか。
着地したとき、身体がどう反応するのか。
膝をどのように曲げるのか。
着地後にどう次の動作へ移るのか。
特にAI動画で不自然になりやすい「物体が手から離れる瞬間」と「人物の体重を感じさせる着地」を、文章によって細かくコントロールしている。
Step 9：何度か生成しながら動きとトランジションを調整する
今回の映像は、1回の生成だけで完成したわけではない。本人も、複数回生成を行いながら、最終的に狙った動きとトランジションへたどり着いたと説明している。
特に今回目指したのは、ジャンプ中に傘が自然に浮かび上がって手から離れ、そのまま空中を移動し、最後にショッピングモールの前へリアルに着地する流れだ。
傘の動き。
人物の姿勢。
空中での移動。
着地時の身体の沈み込み。
次の動作へのつながり。
こうした要素を確認しながら、プロンプトを変えて何度か生成を繰り返す。最終的に、別々に撮影された2つのシーンが、ひと続きの動きとしてつながる映像へ仕上がっている。
「始点」と「終点」だけを実写で決める
今回紹介している方法で特に面白いのは、完成映像のすべてをAIに作らせているわけではないことだ。
人間側で撮影するのは、ジャンプする場面と、別の場所を歩く場面。その2つから、AIとの接続に使いやすい瞬間だけを静止画として選択する。
そして、
実写
↓
AI生成
↓
実写
という構成で、現実には存在しない中間部分だけをAIで作る。
人物がジャンプしたあと、そのまま空を飛び、まったく別の場所へ着地する映像を実際に撮影することは難しい。
しかし、「ジャンプ中」と「着地後」という両端だけを実写で用意すれば、その間をAIによって作り出すことができる。
2本の動画ではなく「2枚のフレーム」をAIへ渡す
今回の制作でもうひとつ重要なのが、撮影した2本の動画そのものをAIへ渡しているわけではないこと。使用するのは、それぞれから切り出した2枚の静止画だ。撮影した動画からベストな瞬間を選び、First FrameとEnd Frameとして設定。その2点の間だけを生成する。
つまり撮影した動画は、AI生成用の素材そのものというよりも、「理想的な始点と終点を作るための素材」として利用されている。この方法であれば、一度始点と終点を決めてしまえば、その2枚を固定したまま中間部分だけを何度でも作り直すことができる。
今回のようにPrompt 01、Prompt 02、Prompt 03と表現を変えながら、どの生成結果が最も自然なのかを比較することも可能だ。
プロンプトだけではなく「画像」で映像をコントロールする
今回の事例でもうひとつ興味深いのが、完成映像に必要な情報をすべて文章で説明していないことだ。最初の状態はFirst Frame。最後の状態はEnd Frame。その間で起こる動きはPrompt。という形で役割を分けている。
テキストだけで今回の映像を作ろうとすれば、人物の位置、構図、背景、ジャンプの姿勢、着地点まで、すべてを文章で指定しなければならない。それでも、生成結果が狙った構図になるとは限らない。そこで、確実に固定したい部分は画像としてAIへ渡し、AIに考えさせたい部分だけを言葉で指定する。「画像」と「プロンプト」をそれぞれ得意な部分に使い分けるわけだ。
AIを「実写と実写の間」に使う
今回のスカイジャンプエフェクトは、AI動画の使い方そのものも興味深い。AIを映像制作の中心に置くのではなく、実写素材と実写素材の「間」を作るために利用している。実写で撮れる部分は自分で撮る。撮影することが難しい部分だけをAIに作らせる。そして、再び実写へ戻る。
特にジャンプのように画面内の動きが大きい瞬間は、実写からAIへ切り替えるポイントとして利用しやすい。ジャンプする、人物がカメラの前を横切る、物体が画面いっぱいに近づく、高速でカメラを振る。こうした大きな動きの中へAIとの境界を入れることで、異なる映像同士をひと続きのショットとして見せることができる。
紹介している手順自体はシンプルだ。
地面にカメラを置き、広角レンズで真上を撮影する。その上をジャンプし、別の場所では歩いている映像を撮影する。それぞれからベストな瞬間をスクリーンショットし、Magnific AIのSpacesへ読み込む。ジャンプ画像をFirst Frame、歩いている画像をEnd Frameに設定し、その間で傘が飛び、人物が空中を移動し、リアルに着地するようプロンプトを指定する。あとは複数回生成しながら、動きや物理表現、トランジションを調整していく。
「現実に撮影できるところは実写で作り、存在しない瞬間だけをAIで生成する」。
今回の事例は、生成AIをゼロから映像を作るツールとしてだけでなく、実写と実写の間に新しいカットを生み出すAI VFXツールとして活用する方法がよく分かる事例と言えそうだ。
