元動画のダンスやカメラワークはそのままに、登場人物だけを自分自身や愛犬へ。
今回この方法を紹介しているのは、Instagramで動画編集やAIを活用したクリエイティブのチュートリアルを発信しているSteven Wommack。紹介されているのは、Higgsfieldの「Genjutsu」を使い、既存動画の動きを参照しながら、映像に登場するキャラクターを別の人物やキャラクターへ置き換える方法だ。
彼がモーションの参考として使用しているのは、イーロン・マスクとサム・アルトマンが歌いながらダンスしている動画。その動きをベースに、自分自身と愛犬の写真をHiggsfieldへ読み込ませる。
すると、元動画のダンスやカメラワークを活かしながら、登場するキャラクターを自分と愛犬へ置き換えた映像を生成できる。通常であれば、同じ動きを自分で撮影したり、カメラワークまで再現したりする必要がある。
しかし今回の方法では、すでに存在する動画を「Motion Reference」として利用することで、その動きを新しいキャラクターへ移していく。
今回は、その制作の流れを見ていこう。
Step 1：自分と愛犬の写真を用意する
まず用意するのは、完成映像に登場させたいキャラクターの写真。
Steven Wommackは動画内で、
「この動画には自分自身を登場させたかったので、自分の写真を撮りました。そしていつものようにもう分かりますよね、僕の犬もです」と説明している。
今回は、自分自身と愛犬の2枚の写真をキャラクターの参照画像として使用している。AI動画というと、テキストで人物の見た目を説明し、ゼロから生成する方法も多い。
しかし今回の方法では、実際の写真をAIへ渡すことで、「誰を登場させるのか」を画像で指定する。
一方、「どのように動かすのか」は動画で指定する。
この2種類の素材を組み合わせるのが、今回の制作方法の大きなポイントだ。
Step 2：Higgsfieldで「Genjutsu」を選択する
写真を用意したらHiggsfield.aiを開き、「Genjutsu」を選択する。
Genjutsuは、既存動画の動きを参照しながら新しいキャラクターへモーションを移したり、映像内の特定の要素を別のキャラクターやオブジェクトへ置き換えたりできるHiggsfieldの動画ツールだ。
Steven Wommackは動画内で、
“They have this Genjutsu feature that can reference movement and exchange the character.”
と説明している。
つまり、元動画の動きを参照しながら、そこに登場しているキャラクターを別のキャラクターへ置き換えるといった使い方ができる。
今回使っているのは、その中でも既存動画の動きを利用する「Motion Transfer」の考え方だ。単純なキャラクタースワップでは、人物の顔や外見だけを変更するイメージも強い。一方で今回の方法では、元動画の動きそのものを新しいキャラクターへ引き継ぐ。ダンスやポーズ、身体の動きだけでなく、映像のタイミングやカメラワークまで活かしながら、新しい映像として再構築できる点が特徴だ。
Step 3：元になる動画を「Motion Reference」として追加する
続いて、動きの参考にしたい動画を追加する。
Steven Wommackは、
“For the motion reference, add an existing video.”
と説明している。
今回の元動画では、イーロン・マスクとサム・アルトマンが歌いながらダンスしている映像を使用。この映像が、完成動画の動きを決める「設計図」のような役割を果たす。重要なのは、完成映像にイーロン・マスクやサム・アルトマンをそのまま登場させるわけではないという点だ。参考にするのは、主にその映像の動きやポーズ、タイミング、カメラワーク。そこへ別のキャラクター画像を指定することで、同じような動きを自分自身や愛犬へ移していく。
流れとしては、
元動画
↓
動き・ポーズ・タイミング・カメラワークを参照
↓
別のキャラクターで映像を再構築
という形だ。
自分で同じダンスを撮影しなくても、参考動画さえあれば、そのモーションを新しいキャラクターへ応用できる。
Step 4：登場させたいキャラクターの写真を追加する
Motion Referenceを設定したら、続いてキャラクターの写真を追加する。
今回使うのは、自分自身の写真と愛犬の写真の2枚。
動画内では、
“Then on the right, add the photos of the characters.”
と説明されている。
ここで追加した画像をもとに、Higgsfieldが元動画の動きを新しいキャラクターへ適用していく。面白いのは、人間だけに限定されていないところ。今回のように人間と犬という組み合わせでも、同じモーション動画をベースに新しい映像を作ることができる。当然、犬に人間と同じダンスをさせた映像を実写で撮影するのは難しい。
しかし生成AIでは、「誰が登場するか」と「どんな動きをするか」を別々の素材から持ってくることで、実際には撮影できない組み合わせも映像化できる。生成AIならではの制作方法と言えそうだ。
Step 5：必要に応じてプロンプトで細かく調整する
画像と動画を追加したら、必要に応じてプロンプトを入力する。
次に、
“Once you’ve added this, you can also adjust it with a prompt.”
と説明。
どの画像をどのキャラクターとして使うのか、どのような形で元動画の動きを反映させたいのかなど、細かな部分をプロンプトで調整できる。ただし、今回の方法では長く複雑なプロンプトが必須というわけではない。
プロンプトはあくまで細かな調整のためのもので、参照動画とキャラクター画像だけでも生成でき、さらに細かく指定したい場合にプロンプトを加えるという考え方だ。テキストからゼロから動画を作る場合、プロンプトの内容が完成映像を大きく左右する。
一方、今回の方法では、
動き＝動画
キャラクター＝写真
という形で、重要な情報をすでに視覚素材としてAIへ渡している。
そのため、文章だけですべてを説明する必要がない。
AI動画制作に慣れていない人でも、完成イメージを作りやすい方法と言えそうだ。
Step 6：「Generate」を押して動画を生成する
設定が完了したら、「Generate」を押す。
生成された映像では、元動画のダンスをベースにしながら、登場するキャラクターがSteven Wommack本人と愛犬へ変化。元動画の印象的な動きは残しつつ、まったく別の映像として仕上がっている。今回のような映像では、単に顔だけを入れ替える方法では成立しにくい。身体全体の動きやポーズ、映像のテンポ、カメラの動きまで含めて元動画を参照することで、映像としてのまとまりが生まれている。
「キャラクター」と「モーション」を別々に指定できる
今回のGenjutsuで特に面白いのは、「誰を登場させるか」と「どのように動かすか」を別々の素材で指定できることだ。
通常の動画制作であれば、
出演者を用意する
↓
振り付けを覚える
↓
撮影する
↓
カメラワークを作る
↓
編集する
といった工程が必要になる。
一方、今回の方法では、
好きなモーション動画を用意
↓
登場させたい人物やキャラクターの写真を追加
↓
Generate
という流れで映像を作ることができる。
しかも利用できるのはダンスだけではない。歩く、走る、ジャンプする、商品を持つ、カメラへ振り返る、複数人で同じ振り付けをするといった動きも、参考動画を用意することで別のキャラクターへ応用できる。この点は、単純な「Face Swap」とも少し異なる。顔だけを置き換えるのではなく、元映像の動きやタイミング、カメラワークを活かしながら、新しいキャラクターを使った映像として再構築するからだ。
HiggsfieldではGenjutsuについて、「Motion Transfer」と「Object Swap」という2つの方法を用意している。Motion Transferでは、元映像のモーションやカメラ、タイミングを利用して新しいシーンを構築。一方、Object Swapでは、キャラクターや衣装、商品、ロケーションなど、映像内の特定の要素を変更できる。今回Steven Wommackが紹介しているのは、Motion Transferの特徴が分かりやすく表れた使い方と言える。
動画そのものを「プロンプト」のように使う
今回の事例でもうひとつ興味深いのが、元動画そのものを演出の参考素材としてAIへ渡していることだ。これまで理想の動きをAIに生成させる場合、「2人がリズミカルに踊りながらカメラへ近づく」といった内容を文章で細かく指定する必要があった。
しかし、すでに理想に近い動きの動画があるなら、その映像を直接Motion Referenceとして使うことができる。文章で動きを説明するのではなく、動画そのものをプロンプトのように使うわけだ。
今回の制作では、人物の見た目は「写真」、動きやカメラワークは「動画」、細かな調整は「プロンプト」と、それぞれ別の素材で指定している。
すべてをAIに想像させるのではなく、完成形に必要な情報を、それぞれ適した素材として与える。この考え方は、これからのAI動画制作でさらに重要になってきそうだ。今回Steven Wommackが紹介している手順自体は非常にシンプル。自分と愛犬の写真を用意し、HiggsfieldでGenjutsuを開く。元になる動画をMotion Referenceとして追加し、登場させたいキャラクター画像を設定。必要であればプロンプトで微調整し、「Generate」を押す。これだけで、元動画のダンスやカメラワークを活かしながら、自分自身や愛犬を登場させた新しい映像を作ることができる。
「この動きを、このキャラクターにさせたい」。そんなシンプルな発想を、そのまま映像に落とし込めるのが今回の方法だ。
自分自身を映画のワンシーンへ登場させる。愛犬をダンサーにする。オリジナルキャラクターへ実写の動きを与える。AI動画制作は、テキストだけでゼロから映像を生成するだけでなく、既存の写真や動画を組み合わせながら、新しい映像へ再構築する方向へとさらに広がっている。
