Qwen-ImageのLora作成方法

一応,メモです。

必要なものと手順

ai-toolkitを使います。
基本的なインストールはGithubを確認してください。
一応以下で問題はないです。

git clone https://github.com/ostris/ai-toolkit.git
cd ai-toolkit
python -m venv venv
.\venv\Scripts\activate
pip install --no-cache-dir torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt

RTX50シリーズの場合はtorchは以下に置き換えてください(私はRTX5090ですが問題なかったです)

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128

Lora作成

初回起動

cd ui
npm run build_and_start

一回,buildしたら以下のほうが起動が早いです。

cd ui
npm run start

New Jobでだいたい以下の設定にしてもらえれば動きます(ai-toolkit公式からのおすすめです。)
Cache Text Embeddingsも囲ってないですがオンを推奨です。

おそらくここら辺は詳しいこと書いてくれている方のを見たほうがいいですが
datasetにはai-toolkit内にdatasetsというフォルダがあるのでそこに画像を入れればここに表示されます。
(途中でいれて表示されない場合はブラウザ更新ボタン)

上みたいな感じでフォルダの追加と学習させたい画像を入れておけば問題はないです。
キャプションも必要がない限りは不要です。

Cache Text Embeddingsについて

こちらは公式的にはオン推奨です。

ですがこれをつけるとTrigger Wordなどを入れるとエラーが出るので設定したい人はオフ必須です。
つけないと生成に少し追加で時間がかかります。(2倍くらいになるかも)

学習開始

上記の設定がおわればあとは右上のCreate Jobを押して開始ボタンを押すだけです。
初回は学習に必要なものを自動でダウンロードしますのでかなり時間がかかります。
20から30GBくらいダウンロードしたはず？

ダウンロード後,特に問題がなければ学習が始まります。
3000ステップとして

5090で3時間から4時間(長くても6時間)程度で終了します。

終了後にはOutputに保存されるのであとはいつものLoraファイルと同じでConfyなりにコピーしてもらえれば終了です。

エラーが出る場合

GPUメモリが24あればとりあえずは動くらしいので4090などで1回エラーで終了しても何度か再開すると動いてくれたりします。

最後に

色々学習させてみましたが今のところ問題はなさそうです。
学習できない場合は何か設定が間違っている可能性があります。
夜,寝る前に学習させれば仕事に行く前には絶対おわっています。(RTX5090なら)