素材生成の準備が整ったので、今回は実験としてショート動画をどこまで自動生成できるかを試してみます。
今回試す動画生成: ショート動画のベース
動画の長さは1分とし、全体で1つのストーリーとして構成します。
まず、ストーリーの雰囲気に合った音楽を生成し、それに合わせて数秒程度の動画クリップを複数作成します。これらを繋ぎ合わせることで、1分程度のショート動画を生成します。
生成結果のばらつき（いわゆる「ガチャ」）を考慮し、ローカル環境で無料で試せる構成を優先します。字幕や音声も欲しくなりますが、バイブコーディングの現実的なラインを踏まえ、今回は次のステップに回します。
Stability Matrixで動画・画像生成AI環境を簡単インストール
今回は手元のWindows環境を利用しました。
VRAMが12GBあるNVIDIAのGPUを搭載しており、ショート動画を前提とした画像生成や動画生成には十分実用的なスペックです。
他社のGPUやMacでも、それぐらいのメモリを生成AIに当てられる環境であれば十分実用的なスピードで動くでしょう。
流れとしては、Stable Diffusion系で静止画を生成、ComfyUIでWAN2.2を利用してImage to Videoで数秒程度の動画を作ります。ComfyUIでSDのチェックポイントを使うワークフローも構築できますが、こちらのほうが汎用性が高い構成になります。
環境構築にはStability Matrixを利用しました。ComfyUIや、好みのSD系のUIを簡単にインストールし管理できます。今回のようなAPI利用では環境を選びませんので、既にインストールされた環境があればそれを利用する方が良いでしょう。
ComfyUIをインストール
ComfyUIは、ここではStability Matrixを使って導入し、APIを利用できる状態にします。
ローカル環境で完結する場合は特に設定は不要ですが、リモートサーバーの場合は–listenオプションを付けましょう。
ComfyUIおよびAPIの概要については、過去記事で紹介しています。
Stable Diffusionインストール
今回は、定番の Stable Diffusion WebUI Forge を利用しました。同様にStability Matrix からインストールします。
現在はより先進的な環境も多いですが、WebUIはStability Matrix を使えば簡単に導入でき、チェックポイント管理用の UI も便利です。API が主な利用のため、SD 系であれば互換性が高く好みのパッケージを利用して問題ありません。
ComfyUI と Forge の両方が稼働している状態を構築できればOKです。
まとめ
今回は、ショート動画自動生成の方向性を整理しました。
字幕や音声の追加も検討していますが、まずは欲張らず、この構成で検証を進めます。
次回は、実際に動画生成を試します。
