AI動画でBGVを作る(6)｜高画質化パイプラインの構築（アップスケール＋補間）

こんにちは、パレイド技術部です。

前回までの検証で、T2V・I2Vいずれも RTX4070環境で1280×720・3秒程度の生成が安定上限であることが分かりました。BGV素材として実用するには、生成後の高画質化処理が必須です。今回は、生成動画を4K/60fpsのBGV素材に仕上げるパイプラインを構築します。

高画質化の戦略

生成動画をBGV素材に仕上げるには、以下の処理が必要です。

すべて無料ツールで完結します。使用するのは、自作の色補正スクリプト、Real-ESRGAN v0.3.0（Python版）、Flowframes、FFmpegの4つです。

Wan2.2などのAI生成動画では、始点から終点にかけて明度や赤みが徐々にドリフトする現象が起きます。アップスケール前にこれを補正しておかないと、歪んだ色を精細に焼き付けてしまいます。

自作の color_normalize.py で、最初のフレームを基準に全フレームの色調を揃えます。

この前処理を挟むだけで、後段のアップスケール結果が目に見えて安定します。

Wan2.2で生成した夕焼けのビーチ。日没後をプロンプトで支持しても、明滅が激しい。

Wan2.2を含む動画生成モデルでは、フレーム間の一貫性が完全ではないため、時間経過とともに明度や色味がわずかにドリフトすることがあります。このままアップスケールすると、そのズレが強調されてしまうため、事前に色調を揃えておくと安定した結果になります。

アップスケールには Real-ESRGAN v0.3.0 の Python版を使用します。v0.3.0では inference_realesrgan_video.py が追加され、動画ファイルを直接入力できるようになりました。フレーム分解・再結合の手間が不要です。

2つのモデルを試しました。

夕焼けや海など自然風景のBGVには RealESRGAN_x4plus が適していました。まず軽く試したい場合は realesr-general-x4v3 が高速で便利です。

realesr-general-x4v3 モデルでは -dn オプションでノイズ除去強度を指定できます。AI生成動画の場合、0.3〜0.5あたりから試すのがおすすめです。0だと生成時のノイズがそのまま残り、1だとディテールが潰れます。

720p（1280×720）を拡大し、4K（3840×2160）相当の解像度にアップスケールします。実際は大画面のTV表示など限定的な用途でない限り２倍程度で十分な精細さです。処理時間は81フレームで、GPU性能にもよりますが数分程度でした。

Real-ESRGAN v0.3.0 のPython版セットアップではいくつか既知の問題があります。

torchvision.transforms.functional_tensor が見つからない: basicsr の degradations.py を修正する必要がある
Number of processes must be at least 1: PyTorchがCPU版になっている。CUDA版に入れ替えが必要
No module named 'ffmpeg': pip install ffmpeg-python で解決

環境構築にやや手間がかかりますが、一度セットアップすれば安定して動きます。

アップスケール後。波や空の質感がクリア。

フレーム補間には Flowframes を使用しました。GUIベースのツールで、RIFEモデルによる高品質な補間が可能です。

ComfyUI内のRIFEノードで補間する方法もありますが、Flowframesの方が安定しており、補間倍率の自由度も高いためこちらを採用しました。

フレーム補完後のデータ。滑らかに動く

最終的に、今回確立したパイプラインは以下の通りです。