AIお絵描きを再開

11月からアナログ絵を描き始めて、スケッチブック5冊分、だいたい100枚書き貯めた。
これらを学習してLoRAを作成してみる。

以前はKohyaSSを使用していたけど、Stable Diffusion WebUIに組み込める「TrainTrain」を使う。

Stable Diffusion WebUIの「Extentions」から、TrainTrainをインストール。

参考サイト:

https://habanerostudio.net/sd-webui-traintrain-%E3%81%A7%E7%B0%A1%E5%8D%98lora%E4%BD%9C%E3%82%8A%EF%BC%81stable-diffusion-webui%E3%81%A7lora%E3%81%8C%E4%BD%9C%E3%82%8C%E3%82%8B%EF%BC%81traintrain%E3%82%92%E4%BD%BF%E3%81%A3

https://github.com/hako-mikan/sd-webui-traintrain

↑LoRAなし

↑LoRAあり

LoRAには「LoRA Block Weight」という概念があることを知り、学習のウェイトを変更できる模様。

https://sorenuts.jp/751

自動生成とはいえ、望む絵を出力するには相当な試行錯誤がいるようだ。
普通に絵の練習するのと、手を動かす量は変わらないのでは・・?

AIお絵描きは仕切り直し

色々LoRA作成したけど、結局初期の時に作成したのが一番自分の絵に近い。
正直、自分の絵柄は好きなので、AIに出力してもらわなくてもいいかなって。

またアナログお絵かき再開しようかなぁ。

AIで描けた、自分の絵に近いもの:

アイディアとか、モデル用に使うとは思うけど、自分の作品として出すかどうかは別。

過学習を回避する

学習しすぎると、自分の絵が濃くなりすぎて、癖やらなんやら学習させたくない要素まで学習されてしまうので、少し調整

AnyLoRAのみ:

自分で描いた絵をNetwork Rank(Dimension)=16で学習させた場合:

自分で描いた絵をNetwork Rank(Dimension)=128で学習させた場合:

参考

NetworkRank=16がいい感じ。
学習時間の短縮にもなる(128の場合10時間、16の場合は4時間)。RTX 3050とはいえLaptopだしビデオメモリ4GB程度だし。

ネガティブプロンプトと正則性ファイル

Stable Diffusionで画像を生成するにあたってのネガティブプロンプト。
「この表現をしない」というプロンプトで、希望しない画像生成を軽減するもの。

軽減するということであって完全に防止することはできないが、それでも指定したほうが(精神的に)安定する。

参考:

あと、学習させる際の正則性ファイルについて。
これは、学習させる絵にある程度の方向性を持たせるものらしい。
自分の望む絵と離れたものしか用意できない場合は、指定しなくてもいいかもしれない。そっちに結構引っ張られる。

学習元の自分で描いた絵:

正則性ファイルとして使用した絵(Bing Image Creator)

学習結果:

正則性ファイルを使わなかった場合の学習結果:

Stable Diffutionに自分の絵を覚えさせる

LoRAがよく用いられる模様

参考にしたサイト

https://note.com/achiral0319/n/nf8c1bcd955f9

ほかの手法、Dream Artistは一部Pythonコードに変更があったり、モデル生成に100時間かかるため断念

自分で描いた絵

学習元(AnyLoRAで出力)

学習結果

AI絵描きでネタ探し

アプリ開発もバイクもガジェットもやめた(or休止)してブログにするほど日常にネタがない・・・
・・・ので、AI絵描きでもやってみようかと(唐突

最近EdgeブラウザーでBing Image Creatorというものが使えるようになったみたいなので、まずはこれを試してみよう。

なかなかよさげな感じだけど、結構高い確率で「安全でないコンテンツ」が出来上がってしまう。

同じプロンプトでも、ちゃんと描けたり描けなかったり。
つーか何描いたんだよ。

リクエストするたびに、ブーストというコイン的な何かを消費するので無制限に作成できるというわけではない。で、これ、上のみたいに正常に描けなくても消費してしまう。回復方法は不明。

・・・ほかの探すかぁ。


もう一つの方法、Stable DiffusionをローカルPCにインストールして使う。
Bing Image Creatorと違い無制限にリクエストできるが、生成はローカルPCで行うため、それなりのグラフィック性能が必要になる。

Pythonは3.10.6を推奨、あとGitのインストールも必要。

作例:

どんな絵が出来上がるかは、ソシャゲのガチャな気分。
大体はいい感じの絵が出来上がるが、たまにクリーチャーみたいなのができるのは、まぁうん。

GeForce RTX 3050 Laptopで1枚5分程度。

ネタ探しとは言ったけど、これで何をしようか。
色鉛筆でアナログで描いてみる?