今天我们要分享的内容视频版如下,视频已添加进度条及配音,想要原视频以及插件的鹿友后台撩我获取:
视频版稍后单独发送
以下是图文版内容:
正文共:3239字 40图
预计阅读时间:9分钟
今天我们将进入图生图局部重绘部分的学习,写完之后Stable Diffusion新手教程基本就介绍完了,后面可能会对部分遗漏的功能以小知识的方式进行补充。
往期AI内容可通过底部菜单老鹿学AI绘画或者文章顶部合集中查询阅读:
开始学习局部重绘的时候,我们需要有一个概念,局部重绘也是一种图生图。
它同样是让你喂入一张图片,并且输入提示词来对画面进行控制,只不过它控制的是局部。
因此我们学习了图生图以后,只需要再单独了解局部重绘的相关参数就行了。
01
蒙版模糊及蒙版模式
局部重绘的第一个参数是蒙版模糊,这个相当于PS的羽化功能,控制着蒙版边缘的模糊程度。
例如我这里载入图片,先将蒙版模糊数值改为0进行生成,可以明显看到蒙版的边缘:
而当我适当提高蒙版模糊的数值,蒙版的边缘就被羽化掉了,所以如果你想让它融入周围的环境,你可以适当增加这个数值:
蒙版模式很容易理解,用于控制你重绘的是蒙版以内的内容还是蒙版以外的内容:
02
蒙版蒙住的内容
这个参数我觉得需要着重理解一下,以便于我们学习后面的内容,外网对这个参数的介绍也不是特别清楚。
我这里就分享一下自己通过测试后的理解吧,先说结论,蒙版蒙住的内容其实就是局部重绘的四种不同的算法。
为了演示效果,我先把重绘幅度改为0:
我将一张图片的背景颜色换了一下,和原图拼接在一起,然后在SD中使用同一随机种子进行测试:
使用填充模式,可以明显看到黑色背景的图蒙版部分颜色会比白色的颜色深。
由此可以推断出,填充是根据“周围颜色”填充蒙版范围的算法:
而原图模式,当我们重绘幅度为0的时候基本和原图没有区别。
因此我们可以看出它基于的是“原始图像”填充蒙版范围的算法:
潜变量噪声,可以很容易看出它是根据噪声图来生成图像:
而潜变量数值零,可以看出不管是白底还是黑底,蒙版的颜色都很接近。
因此我们可以理解为它和填充模式相反,是根据“蒙版范围内的颜色”来填充蒙版范围的算法。
但和填充模式不同的是,它也是一种潜变量,因此生成的效果同样会出乎意料:
通过以上的对比观察我们可以得出以下不太成熟的小结论。
由于填充模式是根据周围颜色来填充蒙版内容,换一句话说约等于蒙版的内容更容易擦除,因此这种算法适合擦除不需要的部分:
而原图模式适用于在原图基础上进行微调,绝大多数时候我们也是使用这种模式:
潜变量噪声会让AI放飞自我,生成一些不可预测的图像:
第四种我们前面提到了,它是根据蒙版内的颜色来填充的一种潜变量,因此如果你希望AI放飞自我的同时保留原图色调的痕迹,可以选择这种算法:
另外再次提醒大家一点,如果你希望重绘更可控一些是需要配合提示词使用的,我这里只是简单演示所以没有书写提示词:
03
重绘区域及边缘预留像素
这个选项大家不要和上面蒙版模式里的重绘蒙版或非蒙版内容搞混淆,重绘区域其实是选择指定生成图分辨率的模式。
例如在全图模式下,我设置的分辨率与原图不同,和图生图一样,生成的图片会根据你选择的缩放模式进行变化:
而当我选择为仅蒙版的时候,分辨率就仅针对于蒙版区域,不会影响整体出图的尺寸:
那这个到底有什么用处呢,我们以面部修复举例吧。
首先我们要知道生成图,脸部崩坏的主要原因是图片分辨率小,脸部所占图比例更小,AI无法发挥导致的。
例如我们现在要修复这样一张人脸,首先在提示词中输入A man:
这张原图的尺寸是512*768,脸部所占的像素密度就更小了,使用全图模式,我们只能提高整体成图的尺寸才能提高脸部的分辨率:
可以看到现在脸部没有崩坏的情况了,但是这样必然会给显卡增加负担,如果你原图的尺寸更大,那用全图模式修复脸部基本不太现实:
这个时候我们就可以用到仅蒙版模式了,首先仅蒙版模式它只会计算蒙版区域,并且会根据你设置的分辨率来进行绘制。
因此我们可以设置脸以512*512的像素密度来重绘脸部,这样不仅耗时更少,而且修复的效果也挺好:
在仅蒙版模式下,分辨率也不是设置得越高越好,我们拿另外一个换脸的案例举例吧。
这是我用文生图生成的一张图片,然后我要用局部重绘换成Jensen Ackles的脸,提示词中我载入了Jensen Ackles的Lora模型:
分辨率里我故意设置得比较高,重绘区域为仅蒙版:
可以看到换脸的效果并不好,这是由于本来面部的画面占比就不小,高分辨率设置使得像素密度过高,AI就会过度发挥:
要解决这个问题当然是让像素密度不要这么高,第一种方法就是降低分辨率,比如我这里在使用同一随机种子的情况下,降低了分辨率,效果反而好了:
第二种方法就是提高边缘预留像素,这个参数如它的名字所示,只在仅蒙版模式下生效:
提高了边缘预留像素其实也就是变相的降低了像素密度,因此我在保持高分辨率的情况下,提高这个参数,效果也会得到改善:
当然就这张图要换脸而言,你直接使用全图模式,把分辨率调整为和原图一样,效果也是不错的:
04
局部重绘之手涂蒙版
我们再来看一个案例,现在我要把画中的女孩衣服换成红色,在提示词中输入红色的衣服:
你会发现即使我们把提示词顺序放在最前面,也加了权重,还是很难实现,最多会出现一些红色的元素而已。
这是因为我们想要得到的图片颜色与原图差别太大了,当我们学完了局部重绘的四种算法,这点就可以理解了:
例如我现在把蒙版颜色改为红色,同样把衣服涂满,就能很轻松的把衣服颜色换成红色了:
你还可以在红色的衣服上加上黄色的扣子,它也能在一定程度上识别出来:
相比重绘幅度的参数,手涂蒙版还多了一个蒙版透明度,增加这个参数会让手涂蒙版的透明度降低,适当的提高会与原图的颜色进行一定的融合得到意外的效果:
05
局部重绘(上传蒙版)及批量处理
这是图生图的最后两个功能,通过前面的学习我们知道了需要自己手涂一个蒙版,然后进行重绘。
而当你要手涂的细节比较多的时候就会很麻烦,因此就有了局部重绘上传蒙版的功能。
这个功能允许你手动上传一个黑白图当作蒙版进行重绘,这样我们就可以在PS里直接做选区绘制蒙版了:
当然和前面一样,如果你要重绘的颜色和原图差异太大,还是需要手动修改原图才行。
另外使用上传蒙版有两点需要额外注意,第一是和前面局部重绘不同,上传蒙版中的白色代表重绘区域,黑色代表保持原样。
所以例如我这里PS中把衣服弄成了黑色,那么蒙版模式我就需要选择重绘非蒙版内容:
第二,上传的蒙版一定要是黑白图,不要带透明通道,例如我这里上传的是带透明通道的蒙版,那么重绘的区域会呈现方形区域,不会贴合我们想要重绘的衣服:
最后一个功能是批量处理,说实话我自己还没用过,只知道用法,就大概给大家介绍一下吧,输入栏位需要我们填写存放原图的路径:
输出路径的位置就不用赘述了:
输出路径的下面是我们存放蒙版的路径,蒙版图片的名称要和原图的名称一一对应,这样当我们设置好参数之后,就可以一次性重绘多张图了:
最后我们再用一句话来概括Stable Diffusion各个板块的作用吧:
文生图:通过提示词生成图片。
图生图:文生图的基础上添加喂图端口,进一步控制出图。
绘图:图生图加上手绘模式,可编辑输入的原图。
局部重绘:图生图的局部控制。
局部重绘手涂蒙版:局部重绘加上手绘模式,可编辑输入的原图。
局部重绘上传蒙版:对局部重绘蒙版的精准绘制。
批量处理:局部重绘的批量处理。
从上述总结可以看出,Stable Diffusion各个板块的功能其实都是对前一个板块的补充,这样相信大家就能很清晰的了解到每一个板块负责的内容了。
以上就是今天想要分享给大家的所有内容。
本文由“野鹿志”发布
声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:dandanxi6@qq.com