Stable Diffusionの個人的ワークフローメモ

こんにちは、じあです。

今回は普段StableDiffusionで行なっている作業のワークフローをまとめておこうと思います。

完全に個人的なワークフローなので、効率の悪い点もあるかと思いますが何かしら参考になれば。

作業フロー

とにかくガチャを回す

プロンプトを調整しながらとにかく構図ガチャを回します。

特にloraの重みは微調整しています。

ここで数百枚かかることもあるので改善すべきなんですが、controlnetで画像からポーズを抽出するのはバラエティに欠けるので狙って出したいもの以外ではあまり使えず…

致し方ないとしてとにかくガチャを回します。

seedを固定してHires.fix

構図ガチャで当たりを引いたらそのseedを固定してHires.fixでアップスケールします。ここでは2倍程度のアップスケールにしておきましょう。

アップスケーラーが悩みどころですよね。

リアル系の画像の場合は以下の記事を参考にしてください。

アニメ系の場合は4x-ultrasharpなるアップスケーラーがいい感じです。

以下の記事で導入など参考になります。

【Stable Diffusion】4x-UltraSharpの導入方法｜アップスケーラーはこれで決まり | AIペンシル

Stable Diffusionで高画質の画像を生成したいなら、アップスケールは必要不可欠です。 しかし、アップスケールしていると次のような経験をする人も多いはず。 アップスケールしたら全然雰囲気の違う画像になってしまった… 思ったほど綺麗

ai-pencil.com

(必要な場合)inpaintで部分修正

必要な場合(といっても大体ほとんど全部ですが)、img2imgのinpaintタブで部分修正します。

ただし、手や足など細かい造形をここで調整するのはおすすめしません。

おそらく途方もない数を生成することになるかと思います。

手の造形については以下のLycorisを使いましょう。大体1.3~2くらい強い重みでちょうどいいかと思います。

EnvyBetterHands LoCon - beta2 | Stable Diffusion LyCORIS | Civitai

This model is a LoCon. You MUST install the Lycoris extension for it to load. I'm using Lora Block Weight . I believe yo...

civitai.com

本アップスケール

ここまで到達したら本アップスケールとして、Extrasタブで所望のサイズまでアップスケールしましょう。

ここでのアップスケーラーについても、Hires.fixの項でのものを用いるといい感じです。

余談

構図ガチャでの生成スピードがやはりネックなので、作業時間短縮を考えると強いGPUの導入も重要です。

私は真剣にStableDiffusionを活用するようになってからRTX3060を導入しました。

値段を考えるとなかなか素晴らしいGPUだと思います。

おわりに

あまりこういうワークフローの記事をみたことがなかったのでメモがてら執筆してみました。

大体普通のことしかしてませんが、アップスケーラーについては結構試行錯誤したので参考にしてみてください。

それでは、また次の記事でお会いしましょう。