前回は、生成AIを使ってショート動画を自動生成するための全体方針を整理しました。
今回はその準備として、動画パーツを生成するための WAN2.2 と ComfyUI の設定を進めます。
パレイド生成AIショート動画自動生成チャレンジ: Stability MatrixでComfyUIとSD WebUIを準備素材生成の準備が整ったので、今回は実験としてショート動画をどこまで自動生成できるかを試してみます。 今回試す動画生成: ショート動画のベース …
ComfyUIとWAN2.2の準備
本記事では、Stability Matrix と ComfyUI の基本的な設定が完了していることを前提とします。
また、ComfyUI 上で ACE-Step の導入を一度試したことがある想定です。
パレイドComfyUI APIでACE-Step音楽生成を自動化する全体像まとめComfyUIとACE-StepをPythonからAPI操作する一連の流れを整理し、生成・進捗確認・ダウンロードまでを迷わず実装できる形でまとめます。
テンプレートの検索と導入
ComfyUIを起動し、Wan2.2に対応したテンプレートを検索します。
Wan2.2は、Alibabaが Apache License 2.0 で公開している動画生成モデルです。Image to Video（I2V）および Text to Video（T2V）に対応し、テキストや静止画から動画を生成できます。動作が軽く商用利用しやすいことで人気を博しています。
複数のモデルやテンプレートが公開されていますが、今回はシンプルに「Wan2.2 5B」の動画生成に対応したテンプレートを利用します。他に14Bなどより大型のモデルも利用可能です。
初回のダウンロード時には、モデルが見つからないという警告が表示される場合があります。
モデル容量が大きいため、空き容量に注意しつつ事前にダウンロードしておきましょう。
テンプレート全体の構成は、下記のとおりです。
Pythonからの呼び出しの前に、ワークフローの動作を確認しておくと良いでしょう。
チェックポイントインストール先の確認
ワークフローを動作させるには、ダウンロードしたモデルを正しい場所に配置する必要があります。
ワークフロー左上には簡単な解説が表示されていますが、ここで示されているフォルダ構成はあくまで一例です。Stability Matrix から導入した場合は、配置手順を一部読み替える必要があります。
手元の環境では、ComfyUI の設定ファイルは...\StabilityMatrix\Data\Packages\ComfyUI\extra_model_paths.yaml
に配置されていました。
テンプレート内の説明ではスネークケースのフォルダ名が使われていますが、Stability Matrix 経由で導入した場合は、キャメルケース（例：diffusion_models → DiffusionModels）に読み替えて配置すれば問題ありませんでした。
なお、今後のバージョンアップや利用環境によって配置方法が変わる可能性があるため、その点には注意してください。
APIで変更するパラメータを確認しておく
APIで動かす場合、画面上のワークフローに相当する入力箇所を、後ほどエクスポートするJSONを利用して値を変更して実行します。
最も重要なのはプロンプトです。ワークフロー上、下記のポジティブプロンプトとネガティブプロンプトの場所をメモしておきましょう”Step3 – Prompt”や、”Positibty Prompt”等を覚えておき、JSON上で当たりをつけられるようにします。
生成AIに慣れていればポジティブプロンプトの英語は馴染みのある方も多いでしょう。
ネガティブプロンプトが中国語で少し戸惑うかもしれませんが、Wanは中国語プロンプトのほうが動作精度が上がるとされています。漢字の雰囲気でなんとなく意味は取れますし、ネガティブプロンプトはあまり変える必要はないので、このままでも良いかもしれません。
この他、デフォルトの設定値では動画の生成にかなり時間がかかる(試した環境では数時間レベル)ので、画像サイズやfps、推論のステップ数など軽く試すためのパラメータを抑えておくとよいでしょう。
たとえば、画像サイズを512*512、fpsを12、ステップを10などに落とすと数分でも生成が可能になります。画質はかなり落ちますが、動作やプロンプトの反応を試す段階ではこれぐらいで「あたり」を付けるのがおすすめです。
JSONエクスポート
Comfyメニューからエクスポートします、手順は以前にACE-Stepで紹介した手順と同様です。
デフォルトでも構いませんが、適当な名前を付けて保存しておきましょう。よく変更するパラメータは予め変更して保存してからエクスポートする手もあります。
まとめ
今回はComfyUIでテンプレートを利用してWan2.2を導入する手順を紹介しました。
次回はStable DiffusionとI2Vの手順を確認します。
パレイド生成AIショート動画自動生成チャレンジ: Stable Diffusion WebUI Forge導入とAPI利用前回まで、生成AIによるショート動画の自動生成を目指し、I2Vを行うための WAN2.2 と ComfyUI の設定を進めました。 今回は、I2Vの元となる画像…
パレイド生成AIショート動画自動生成チャレンジ: Stability Matrix＋Pythonで静止画から動画クリップを作る前回までに、Stable Diffusion WebUI Forgeで静止画を生成し、Wan2.2を用いてI2Vによる短い動画クリップを作成するところまでを確認…
パレイドChatGPTでバイブコーディング: 音楽生成AIの「ガチャ」用GUIを構築前回まで、ACE-StepとComfyUI APIを利用して、AIによる音楽生成の自動化を試してきました。 これで夜間のバッチ処理で大量に生成することができます…