中国発のショート動画クリエイター・@taoagou（陶阿狗君）。

衣装チェンジやトランジション、画面とのインタラクションを取り入れた、作り込まれたショート動画を数多く発信しており、Instagramでは約68.8万人のフォロワーを抱えている。

そんなtaoagouのような、人物の衣装や画面全体のカラーが次々と切り替わっていく映像を、生成AIで再現する方法がkevkevkiwiによって紹介されている。

今回使うのは、Higgsfieldの動画編集機能と「Kling 3.0 Omni Edit」。

この方法の特徴は、AIにゼロから映像を作らせるのではなく、すでに存在する元動画を”動きや構成の設計図”として読み込ませることだ。

さらに複数の衣装写真を参考画像として追加し、プロンプトで「元動画のどこを残し、どこを変更するのか」を細かく指定する。

元動画＝動き・タイミング・構図

参考画像＝人物・衣装・カラー

プロンプト＝変更してよい部分、残す部分のルール

という3つを組み合わせて映像を作っていく。

単純な「AI衣装チェンジ」ではなく、元動画の演出を維持しながら、人物や衣装、グラフィックだけを狙って置き換えるという、かなり精密なAI動画編集だ。

Step 1：元になる動画を撮影する

まずはスマートフォンなどを使って、完成映像のベースとなる動画を撮影する。

今回紹介されているチュートリアルでは、人物がカメラの前で動く動画をあらかじめ用意し、その映像をHiggsfieldへ読み込ませている。

ここで重要なのは、この動画が単なる素材ではなく、AIにとっての「動きの設計図」になること。

人物の動きやポーズ、カメラワーク、衣装が切り替わるタイミングなどを元動画から参照し、それらを維持したまま新しい映像を生成していく。複雑なアニメーションやトランジションをプロンプトだけで一から説明する必要はない。

「この動画と同じ動きで作ってほしい」という情報を、映像そのものでAIへ渡すイメージだ。

Step 2：複数の衣装写真を用意する

続いて、動画内で使用したい衣装の写真を複数用意する。

チュートリアルでは、

「The brighter the better」

つまり、明るくカラフルな衣装ほどおすすめとしている。

今回の手法では、衣装のデザインだけでなく、衣装に使われている色そのものも映像全体のグラフィックへ反映される。

たとえば青い衣装なら青、赤い衣装なら赤といったように、参考画像から色を取得し、背景やパネル、文字、ハイライトなどのカラーにも使用する。

そのため、色の違いがはっきりした衣装を用意すると、切り替わった際の変化もより分かりやすくなる。

Step 3：Higgsfieldで「Video Edit」を選択する

素材を用意したら、higgsfield.aiへアクセスする。

まずは「Create Video」を選択。

続いて設定を「Video Edit」へ変更し、使用するモデルに

「Kling 3.0 Omni Edit」

を選択する。

今回はテキストから新しい動画を生成するのではなく、既存の動画をベースに人物や衣装、カラーなどを編集するため、Video Editを使用する。

Step 4：元動画と衣装写真をアップロードする

続いて素材をアップロードする。

チュートリアルでは、左側に元となる動画をアップロードし、右側に参考となる衣装写真を追加している。

ここでそれぞれの素材に異なる役割を持たせる。

元動画からは、動き、タイミング、ポーズ、カメラワーク、レイアウトなどを参照。衣装写真からは、人物の見た目、衣装、配色などを参照させる。

AIにすべてを自由に生成させるのではなく、映像部分とビジュアル部分を別々の参考素材から与えるのがポイントだ。

Step 5：プロンプトで「残す部分」と「変える部分」を指定する

続いて動画編集用のプロンプトを入力する。

今回の方法では、元動画を読み込ませるだけではなく、何を元動画から維持し、何を参考画像に置き換えるのかをプロンプトでかなり細かく指定している。

公開されているプロンプトの一部には、次のような指示が確認できる。

“Keep the original animation, layout, timing, camera movement, framing, and graphic structure unchanged.”

「元動画のアニメーション、レイアウト、タイミング、カメラワーク、フレーミング、グラフィック構成は変更しない」

という指定だ。

そのうえで、

“Only change the character and recolor the graphics according to the reference outfits.”

とし、人物とグラフィックの配色だけを参考衣装に合わせて変更するよう指示している。

さらに特徴的なのが、映像全体のカラー指定。

公開部分では、「衣装が黒なら黒、青ならその青、赤ならその赤を使用する」といった形で、参考画像の衣装から色を抽出し、それをパネル、背景、テキスト、コード、ハイライト、アクセントなどへ反映するよう設定されている。

しかも、「参考衣装の色だけをグラフィックのカラーパレットとして使用する」「元動画の色を使用したり、AIが別の色を推測したり、補色を加えたりしない」というかなり細かな制限まで設けている。

つまりAIに、「なんとなくこの服っぽい色にして」と任せるのではなく、「この衣装から取得した色以外は使わない」と明確にルールを与えているわけだ。

また、人物のポーズについても興味深い指定がある。

今回確認できるプロンプトでは、元動画の女性キャラクターを男性へ変更することを想定し、女性的なポーズや姿勢、ジェスチャー、腰の位置などをそのままコピーしないよう指示。

さらに、肩幅や立ち方、頭の角度なども調整し、男性的なボディランゲージに変更するよう設定している。元動画を忠実に再現しながらも、人物の属性に合わせて不自然な部分だけを修正するという考え方だ。

今回のプロンプトは、新しい映像をゼロから生み出すためのものというよりも、「元動画の何を絶対に変えず、何だけを変更するか」をAIへ伝える編集指示書として機能している。

Step 6：動画を生成する

元動画、衣装写真、プロンプトの設定が完了したら「Generate」を押して動画を生成する。

AIは元動画のアニメーションや構図、タイミングを参照しながら、人物や衣装、グラフィックカラーなどを参考画像に合わせて変更していく。

これまでAIで似た映像を作る場合、

画像を生成する

↓

それぞれの画像を動画化する

↓

生成した動画を編集ソフトでつなぐ

といった工程が必要になるケースも多かった。

しかし今回の方法では、完成された動画そのものをベースに編集できるため、複雑な動きやトランジションを一から再構築する必要がない。

もちろんAI生成のため、人物の顔や手足、衣装の細部などが毎回完全に一致するとは限らない。

生成結果を確認しながら、参考写真やプロンプトを調整していくことも重要になりそうだ。

「動画＋画像＋プロンプト」でAI動画をコントロールする

今回の方法で特に興味深いのは、プロンプトだけで映像を作っていないことだ。

元動画からは、動き・構図・タイミング・カメラワークを取得。参考画像からは、人物・衣装・カラーを取得。

そしてプロンプトでは、「どこまで元動画を維持し、どこを参考画像へ置き換えるのか」というルールを決めている。

つまり、3種類の情報を組み合わせながらAIをコントロールしている。

特にtaoagouの動画のように、人物の動きと衣装チェンジ、背景グラフィック、色の変化までが連動している映像では、元動画を参照できるメリットは大きい。

これまでなら、「このタイミングでポーズを変える」「背景のパネルを切り替える「衣装と同じ色へグラフィックを変更すると文章で一つひとつ説明しなければならなかった演出も、完成した映像を直接AIに見せることで伝えられる。

一方で今回のプロンプトを見ると、AIへすべてを任せているわけではない。元動画を忠実に再現させつつ、変えたい部分だけを細かく限定する。この組み合わせこそが、再現度を高めるポイントと言えそうだ。

AI動画制作は、単に「文章を入力して動画を作る」という段階から、動画・画像・テキストを組み合わせて既存映像を精密に編集する方向へと進化している。

複雑な映像表現ほど、AIにすべてを考えさせるのではなく、優れた元動画を”設計図”として活用する。

そんなAI動画の作り方が、これからさらに増えていくのかもしれない。