Qwen-Image-Editを使った動画のフレーム置き換え

Wan2.2 Animateだとアニメベースの動画だったりだと置き換えが不安定なのでテストしてみました。

やり方

怒られそうなのでだいぶ簡単に書きます。
一応、自動化してますが1フレームごとにOpenCVで切り取りながら同じ画像じゃないかだけ判定してQwen-Image-Editに飛ばしてry
さらにキャラを固定させるためにプロンプトをある程度細かく長くつくりLoraも強めに当ててます。

テスト動画1(初回テスト)

Youtubeの【未確認で進行形】というアニメOPを360Pで5秒くらいだけ切り取り生成した動画です。

怒られそうなので動画は調べてください。

2期まだか？

ステップ数4で各フレーム生成してます。

このテストの失敗点は360Pで切り取ったという解像度の低さとフレーム取得の不安定とLoraとプロンプト,ステップ数,etc(きりがないですね)

テスト動画2(微調整テスト)

みんな大好きLonely Lonelyのトレース + Lora適用です。

だいぶよくなったのではないかと思いますがフレーム数,解像度,ステップ数,書き出しがバグって解像度がおかしくなった,etc・・・

ステップ数8で各フレーム生成してます。

まぁ、だいぶいいですが私のテストはここで終わります。

結論

やろうと思えばアニメのトレースがいけそう

そして色んな所から怒られそう。

ここでやめておきます。