AIイラスト生成で作るカスタムリリィ。
ふと「カスタムリリィの顔だけならStable Diffusionのプロンプトで作れるんでないかい？」と思いついたので試しにやってみました。
元々ドールのキャラですし、それこそ顔と髪型だけそれっぽく出来ればいけるんでないかなー、と。
LoRAで学習させる、という手もありますが…8人分作るのめんどくさいですし、教材もほとんどないでしょうしねぇ。
ドールの写真を教材にする、という手は使えるんだろうか…
個人的には案外うまくいったな、と思ったので作成プロンプトとかも含めてまとめてみますよ。
俺のイメージがかーなり入ってますが…
Type-A
Parameters:high quality, best quality, masterpiece, absurdres,high quality face, detailed eyes,1(little girl:0.8),solo,pinkhair,long ponytail,brown eyes,(tareme:1.3),(beam:1.4),(pale skin:1.2),(smile:0.5),denim jacket,body focus,factory
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3606282555, Size: 600×600, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2, Version: v1.6.0
ドールの写真はこんな感じ。
使ってるモデルは個人的によく使う7th_anime_v3_Aに統一してます。
Stable DiffusionにこのparametersとNegative promptいれて設定同じにしてシード値入れれば多分出ると思います。
基本的なサイズはデフォルトの512×512にしてます…この子だけ600で出した方がそれっぽくなったのでそうしてますが。
またサイズはブログにのっけるにあたって400×400にリサイズしてますよ。
因みにTypeA～Cはいつも俺が使ってるうちの子仕様になってますよ。
長い間使ってるせいでこれ以外がピンとこないんですよねぇ。
Type-B
Parameters:high quality, best quality, masterpiece, absurdres, little 1girl,high quality face, detailed eyes,smugness,((dark pink hair,short messy hair,blueyes,smile)),red shirt,(blue miniskirt:1.2),park,hit
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),bad hands, bad fingers, missing fingers, extra fingers
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2003231867, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 1.35, Hires upscaler: Latent, Version: v1.6.0
ドールの写真はこんな感じ。
余談ですがこの子が一番良く出来てる気がします。
Type-C
parameters:high quality, best quality, masterpiece, absurdres,1girl,pinkhair,twintail,blueyes,serious,black coat,prepare a gun,get down on one knee
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1258, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2, Version: v1.6.0
ドールの写真はこんな感じ。
何回か試したんですが、ツインテールの根元にどーしてもリボンとかヘアゴムがつくんですよねぇ。
いっその事ドールそれに寄せるか。
Type-D
parameters:high quality, best quality, masterpiece, absurdres, 1girl,solo,high quality face, detailed eyes,(expressionless:1.75),(sleep:1.3),(scow:1.5)l,pink hair,(braid:1.4),blueyes,black school uniform,squatting,looking back, focus face,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),bad hands, bad fingers, missing fingers, extra fingers
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1102378399, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 1.4, Hires upscaler: Latent, Version: v1.6.0
ドールの写真はこんな感じ。
今気が付きましたが瞳の色紫ですね、この子。
blueeyesをpurpleeyesに変えた方がいいかも。
parameters:high quality, best quality, masterpiece, absurdres, 1girl,solo,high quality face, detailed eyes,(expressionless:1.75),((sleep)),(scow:1.5)l,pink hair,(right side ponytail:1.2),asymmetrical hair,asymmetrical bangs,purple eyes,white school uniform,focus face,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),bad hands, bad fingers, missing fingers, extra fingers
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2457331119, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 1.4, Hires upscaler: Latent, Version: v1.6.0
うちの子仕様。
Type-Bに次いで良く出来た気がします。
Type-E
parameters:high quality, best quality, masterpiece, absurdres,high quality face, detailed eyes,(1little girl:0.4),solo,(pink hair:1.2),long hair,(bangs:1.2),green eyes,(big eyes:1.1),open mouth,smile,hand on hip,finger pointing mouth,pale skin,school uniform,body focus,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2607470490, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2, Version: v1.6.0
ドールの写真はこんな感じ。
何故か高慢ちきなお嬢様、というイメージが強い。
Type-F
parameters:high quality, best quality, masterpiece, absurdres,high quality face, detailed eyes,1girl,solo,pinkhair,side ponytail,hair over one eye,blueyes,(smugness:1.2),closed mouth,pale skin,raincoat,body focus,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2498455870, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2, Version: v1.6.0
ドールの写真はこんな感じ。
この子も目の色間違ってますね…ブルーのイメージが個人的に強かったからなぁ…
右目隠してかつ右サイドポニーというのが非常に出しづらかったので割と妥協してます。
Type-G
parameters:high quality, best quality, masterpiece, absurdres,high quality face, detailed eyes,1girl,solo,pink hair,chignon,blueyes,(pale skin:1.2),school uniform,body focus,from above,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3631805535, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2, Version: v1.6.0
ドールの写真はこんな感じ。
シニヨンがまぁイメージ通りにいかなかったですねぇ…
Type-H
parameters:high quality, best quality, masterpiece, absurdres,high quality face, detailed eyes,1girl,solo,pink hair,drill hair,(wavy hair:1.4),blueyes,(pale skin:1.2),(happy:1.2),peace,(v:1.5), open mouth,big eyes,school uniform,from below,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),bad fingers, missing fingers, extra fingers
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 479590772, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Clip skip: 2, Version: v1.6.0
ドールの写真はこんな感じ。
ドリルヘアーという分かりやすい特徴があるから楽かと思いきや、後髪がそれに影響されやすくて案外難儀する、という。
parameters:high quality, best quality, masterpiece, absurdres,high quality face, detailed eyes,1girl,solo,pink hair,(wavy hair:1.4),midum hair,blunt bangs,blueyes,(pale skin:1.2),(happy:1.2),peace,(v:1.8), open mouth,big eyes,school uniform,city
Negative prompt: (worst quality:1.4), (low quality:1.4) , (monochrome:1.1),bad fingers, missing fingers, extra fingers
Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1933997896, Size: 512×512, Model hash: c330a60ddc, Model: 7th_anime_v3_A, VAE hash: 735e4c3a44, VAE: vae-ft-mse-840000-ema-pruned.safetensors, Denoising strength: 0.7, Clip skip: 2, Hires upscale: 1.4, Hires upscaler: Latent, Version: v1.6.0
うちの子仕様。
ドリルない分出すの楽でした。
しかし何故かこの子はバカ、という印象がある。
適当に精製してみたイラスト色々
個人的に良く出来たかな、と思ってるB～Dでイラスト生成してみました。
プロンプトだけでポーズってつけられるの？というのが気になったので作ってみたやーつ。
ControlNetはイマイチ使いこなせてないんですよねぇ、あれ。
顔の部分のプロンプトは変えてないんですが…なんとなく雰囲気的には似てるけど画風変わる事あるからなぁ。
うまくいったらラッキー、位の感覚で使うのがいいんじゃないですかねぇ、多分。
あとこのサイズで全身出そうとすると基本かなり雰囲気変わります。
そもそも全身出すなら、元の生成サイズでかくした方がいいとは思いますけども。
Latent Couple使って複数人出してみたり。
複数人に違う要素反映させるのどうやるんだろう、と思ってたんですがこういう拡張機能があるんですね。
ただ制御が物凄くめんどい。
3人娘の写真、1枚目はこんな感じでした。
ここから調整しましたが…いや結構難儀しましたね。
また髪と目の色が合わなかった部分はレタッチしてます。
ここ変えるだけで分裂したりするんですよねぇ…
なら元画像書き直した方が早いや、と。
使ってた感覚としてはLatent Couple使って3人出そうとするとミドルクラス未満のグラボだと容量たりなくなるっぽいので、数出したい人はそれ以上のグレードのグラボ使った方がいいと思います、多分。
余談ですが学習するにあたってこの本、結構良いと思います。
Kindle Unlimitedでタダで読めたので参考程度にー、と思って読み始めたんですがローカルとウェブ版の導入から生成、ポーズ付けるところまで解説してくれる上に、プロンプトとその結果の画像がたくさん載ってて非常に参考になりました。
という訳でAIイラスト生成で作るカスタムリリィでした。
色々できて本当に凄いのねぇ、AI。