AI绘画lora模型篇,stablediffusion生成模型基础知识,看完就会
前言
最近一直有粉丝在后台留言,说哪怕有完整的提示词信息,也无法对原始图片进行复原。其实如果想复原一张图片,需要用到的参数和注意事项比较多,另外就是即使你的生成参数完全一致,不同的显卡生成的图片也会有些微差别。不过如果你生成的图片差别太大,那肯定你遗漏了某些关键步骤。
今天我就带大家一步一步用lora生成一幅AI图片,把需要用到的注意事项尽量讲全,希望对大家有所帮助。
1、首先我们来到C站,这里有很多模型和带参数的图片,我们从中挑选一张进行复原。
找到一张图片点击进去,右上方是它用到的 lora ,点击下载,注意下载后保存的 lora名称。为什么要特别注意保存的lora名称呢?因为有时候提示词中的lora名称和你保存的名字称有一些不一样,一定要确保提示词中的名称和你保存名称的完全一致。
lora下载后放置路径为:*\stable-diffusion-webui\models\Lora
2、在参考图片的下方有这个图片的说明信息,要仔细阅读,从中我们能够发现一些有用的信息:
(1)这个图片使用了Ulzzang-6500和 vae-ft-mse-840000文件。
(2)标准版只使用了 1 个 lora 模型,lora推荐权重为 0.45-0.75之间。
(3)提示词中使用yae_sakura,会获得更好的效果。
3、下载Ulzzang-6500和 vae-ft-mse-840000文件
这两个文件的下载方法分别见下图中的红字部分,下载好后,Ulzzang-6500放置路径为:*\stable-diffusion-webui\embeddings\;VAE放置路径为:*\stable-diffusion-webui\models\VAE\。文件放好后,重新启动webUI。
下载UIzzang-6500
下载vae
4、点开这个图片的提示词信息,右下角红框内是它用到的大模型名称,如果你没有这个模型,需要进行下载。
正常情况下需要用到的模型在C站都可以找到,不过这个模型比较例外,我在C站没有找到,好在我在抱脸网上找到了,只是名字有些不同,不知是它在命名时改了名字,还是这个模型有了新版本。
模型下载地址见下图中的红字部分,下载后放置路径为:*\stable-diffusion-webui\models\Stable-diffusion
5、下载参考图片,注意保存格式为png。
6、设置VAE文件
来到webUI工作台,设置-->stable diffusion,选择刚刚下载好的VAE文件,保存后重启。重启后最好再回来检查一下有没有正确设置。
7、将参考图片拖进webUI工作台的图片信息中,会自动识别生成参数,点击下方的文生图,会把所有参数信息自动填充到文生图中。
8、来到文生图界面,这时参考图片中所有的提示词信息全部自动填充好了,这时先要设置正确的大模型(见左上角,这个模型是我们刚刚从抱脸上面下载的),然后点生成按钮。
不过生成的图片和原始参考图差别太大,这并不是我们想要的效果。
9、指定lora。
其实我们仔细查看提示词信息,发现提示词里面并没有指定lora,我们得手动将 lora 添加进来,提示词中还可以添加yae_sakura。
记得我们前面讲过 lora 的推荐权重为 0.45-0.75 之间,自己设置好权重后点击生成按钮出图。
设置lora
最终生成的图片和参考图片已经很接近了,但仍有差别。
小结:影响图片效果的因素
前面我们说过,即使完全相同的参数,不同的显卡生成的图片也会有些微差别,那么除了显卡外,还有哪些因素会对最终出图会有影响呢,我以本图为例跟大家分析一下。
1、大模型。因为C站没找到参考图用的大模型,我们从抱脸网下载的大模型名字有些不同,有可能我们下载是同一系列不同版本的模型,会对最终出图有影响。
2、lora的推荐权重是0.45-0.75之间,我选择的是0.6,不同的权重值也会影响出图效果。
3、本图默认勾选了高清修复,高清修复中的重绘幅度值不同也会影响出图效果。
4、种子数。虽然我们没有对种子数更改,不同种子数对出图影响较大,这点在出图的时候要特别注意。
本文结束,如果你喜欢这篇文章,多谢关注、点赞和评论,你的支持是我最大的动力。
-
上一篇
谷歌的新AI模型植入来了!广告业务、YouTube创作者都将迎来变革
5月17日周三,有媒体报道称,谷歌正在将新的人工智能技术快速添加到其核心产品中,包括其收入的主要来源广告业务和对YouTube创作者进行支持。
-
下一篇
模型: C站上Ahri的模型
prompt:(8k, RAW photo:1.2),best quality, ultra high res, ahri, ahri_(league_of_legends), 1girl, absurdres, animal_ears, black_hair, breasts, detached_sleeves, distr, highres, facial_mark, fox_ears, fox_tail, hand_up, league_of_legends, long_hair, long_sleeves, magic, multiple_tails, orange_eyes, parted_lips, solo, standing, tail, full body lora:Ahri:0.6 lora:KoreanDollLikeness:0.3Negative prompt: (painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), watermark, text, error, blurry, jpeg artifacts, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, artist name, (worst quality, low quality:1.4), bad anatomy
Part3ControlNet
controlNet也是用来引导图片生成的,好处是在文本生成图片的基础上,加上另一张图做引导,可以让生成的图在一些底层特征上看起来相似。可以采用的特征分为以下几种:
AI绘画——webui