the division是一款强大的ai绘画工具,它可以实现风格转绘。线稿上色,室内线稿转效果图、产品线稿转效果图、毛坯房转效果图、建筑设计图等等。实现这些效果的背后离不开一款重要的插件control net。它就像一把钥匙,解锁了step division更多的潜能。通过这个视频,你将了解control net的使用方法,并且掌握这些边缘的控制。让a i辅助设计真正落地。control net是实现step division精准控制,并且能够成为生产力工具的重要插件。
它让我们通过上传一张图片,经过预处理器提取出control t模型可以理解的信息,再利用这些信息结合大模型对生成的图像进行控制,从而实现更可控的出图效果。进入web u i,在文生图和图生图的下面都可以找到control net插件。点击展开,它和图生图有些类似,需要上传一张图片作为控制条件,拖入一张图片下面,这里就是可以控制出图效果的类型。每种类型下面都有相对应的预处理器和处理模型,切换不同控制类型时,下面也会自动切换对应的预处理器和模型。预处理器在使用时会自动下载,如果预处理器有错误的情况,大概率是因为网络问题,无法自动下载,需要开启魔法上网。模型需要手动安装,我在网盘里已经为无法自动下载预处理器和模型的同学准备好了文件。下载好后解压文件夹,预处理器dan loss文件夹放到web i d目录的插件文件夹的control net的这个文件夹里。
覆盖掉当los文件夹即可。模型文件。放到文件夹根目录的models里的control net文件夹里。放好后回到y b i刷新即可。点击预处理器后面的按钮,可以预览预处理器的效果。这里也会自动勾选允许预览的选项旁边的完美像素,它可以让预览图的像素自动和生成图像的尺寸像素相匹配。通常我们会勾选完美像素,避免影响生图效果。
低显存模式可以减少低显存电脑的压力,勾选后生图速度会变慢,可以根据电脑情况选择。高效子区蒙版,意思是通过添加蒙版控制c r l e t的影响区域,如果有需要可以使用。这里的小按钮是创建新画布,可以用笔刷涂抹控制生图,但并不是很好用,需要点击预览才可以看到画面的内容。旁边这两个按钮是开启摄像头,也几乎不会使用。最后这个按钮点击可以让出图的尺寸,按照这张上传图片的尺寸生成。如果尺寸过大,需要按照比例缩小尺寸。我使用的是s d一点五的模型,可以设置竖屏的五幺二和七六八的尺寸。
如果不按照上传图片的尺寸比例生成的图就会按比例裁剪。在这里和图生图一样,可以设置缩放模式,仅调整大小会变形,缩放后填充会自动扩充多出来的内容。所以这里的尺寸最好按照上传的图片比例尺寸生成,其他参数设置在接下来的实际操作中再详细介绍。control t里提供了很多控制模式,这个视频主要介绍边缘的控制,它是我们最常用的一种控制方式。虽然使用很简单,但它可以做的事却一点也不简单。cani使用它可以检测出画面里的边缘,让模型按照这些边缘来生成图像,可以实现风格重绘的效果。选择cani,点击启用,上传一张图。
开启预览和完美像素。点击预览。这些边缘都是由像素点组成。由于这些线条之间没有过渡,所以叫硬边缘。发送图片的尺寸。到尺寸这里。尺寸过大。
按照竖屏的比例设置成五幺二和七六八的尺寸。选择一个一点五版本的大模型。不输入正向提示词。反向提示词里输入质量词,保证出图质量,其他设置保持默认。先生成一张图,我们可以发现画面里的内容都是按照这些线框轮廓生成的。这些边缘利用大模型或者laura可以生成各种风格效果,换成不同的模型就会变成不同的风格。也可以输入提示词,影响生成的内容,输入微笑。
白色上衣,蓝色裙子,樱花。点击生成。画面在不改变构图的情况下,按照我们输入的提示词改变了画面里的内容。如果觉得生成的画面里元素不准确,可以调节下面这两个参数。low trial的调低可以检测到更多弱的边缘细节会增多。high show的调高会检测到墙的边缘,细节会减少。画面里由于参考图是卡通的,眼睛比较大,导致写实人物的眼袋有点大。
可以调节控制权重,降低ctr l e t的强度。权重越小,模型对生成的效果影响会变大。降到最小就不受c t l n e t控制,由大模型自由发挥了。权重过大画面质量会变差,所以通常我们不会设置超过一的权重。在这个案例中减少权重后,眼睛得到了改善。下面还有一种类似权重的控制模式,默认使用的是均衡,更偏向提示词,画面就会偏向大模型的效果,质量好一些。偏向control t的图像,画面更接近参考图,但质量会低一些。
这里要注意使用不同的大模型,这些参数设置都会有所不同。每个大模型生图的效果有好有坏,是不一样的提示词在整个生图过程中也只是扮演指挥的角色,至于生图的好与坏还是由大模型决定。所以选择大模型时需要多测试,保存自己觉得生图效果好的模型。引导介入时机和终止时机是控制大模型和ctr net之间的介入时机。引导介入时机默认是零代表,从开始生图时就影响大模型。随着介入时机越晚,control e的影响的效果越少,就会由大模型发挥。引导终止时机默认为一代表,一直到最后都受controller的影响。
如果提前结束影响,后面就会有大模型自由发挥。如果我们在生荼时想让卡出来的效果不那么强,可以推迟进入时机,效果会比较明显。或者减少终止时机就相对温和一些,他们也是可以起到控制c t r e e t权重的作用。总的来说控制权重控制模式介入和终止时机都是控制大模型和c r l l e t之间的影响占比,所以根据情况做调整。这里我选择权重和引导时机不变,控制模式偏向提示词,测试效果没有问题后,可以开启高清修复。设置好后点击生成,这样就得到一张满意的图像了。kenny, 这里还有一个预处理器。
但需要使用线稿里的模型才能生效。切换到线稿,这里有两个黑白线稿预处理器。因为它可以将白底黑线的线稿进行黑白颜色反转,变成卡穿戴的模型,可以识别的效果。另一个liner standard也是类似的效果,在边缘上会被增强,可以更好的强调线稿主体。它们的作用是可以给线稿上色,也可以利用例如家装大模型或者产品大模型,使线稿变成效果图。上传一张线稿图。选择这两个黑白线稿与处理器,选择哪个都可以。
开启完美像素,点击预览模型。这里有两个可以选择,一个是通用模型,另一个是更擅长处理动漫风格的模型。使用不同的模型会影响生图的效果,这里我选择通用的模型发送尺寸,选择一个产品设计的大模型,我使用的是麦菊写实模型。正向提示词里可以输入一些内容描述,也可以不输入提示词,让大模型自由发挥。反向提示词里输入质量词。点击生成。效果并不是很理想,需要调节controller的子权重。
使用控制模式的方式,先看一下效果,这里偏向control的效果更好,但产品上线框比较多,可以降低一些权重,减弱control的影响。这里要注意使用不同的大模型设置的参数效果也会不一样。所以需要测试之后找到满意的效果,对图像满意后,想质量更好,固定种子值,开启高清修复。点击生成。这样效果图就做好了。这里还有其他的预处理器,和凯尼类似,都是可以提取出画面里的边缘。写实线稿提取、粗略线稿提取、动漫线稿提取、剧照动漫线稿提取。
虽然这些线稿都有各自适合提取的图片类型,但都是用来固定画面里的构图元素等内容的。区别就是有的提取细节多,有的少而已。可以根据自己的需求做选择。这里写实线稿提取的细节是最多的。使用这些提取出来的边缘除了可以改变风格,也可以用来固定画面的构图,输入不同的提示词,对图像进行重新洗牌,然后抽卡得到你满意的图像。软边缘相比kenly和liners,它对轮廓的控制能力比较强,尤其还原边缘的毛发细节更有优势。它的作用是能够在控制画面构图的基础上,在细节上给大模型更多的发挥空间。
这里的预处理器主要有三种,pernet head和针对x l模型的预处理器分别都有两个版本。pad相比pernet对细节会识别的更多。safe的版本是针对低显存的电脑准备的,在边缘过渡的部分会比较生硬,出图的效果质量上也会有所下降。animal和ted是细节和质量相对更高的新域处理器,但只针对x l模型效果会更好。使用时根据自己的需求做选择。涂鸦这个预处理器比较擅长控制大致的轮廓,也可以使用手绘的涂鸦结合提示词生成出想要的画面。它相比软边缘在细节上给大模型发挥的空间更大。
这里的预处理器和软边缘的pagenet和head是采用同样的算法。head和捕捉更多的细节。internet更注重主体,但涂鸦检测的边缘比较粗,所以细节过多可能会影响画面效果。x d o g的预处理器相比检测出的精度会更高,并且可以通过下面的x d o g的阈值,可以调节检测的精细程度,相对更灵活一些。以上的这些边缘检测,对细节保留最多的是硬边缘,给模型发挥空间最大的是涂鸦。所以我们在使用过程中根据这些预处理器的特性选择合适的即可。最后介绍的是直线,它只能检测出画面里的直线,可以用它来给室内和建筑做效果图。
它只有一个预处理器,上传一张效果图,点击预览,下面有两个阈值,上面的这个阈值可以控制长线段的多和少数值越小检测出的长直线越多,数值越大长直线就会减少。下面的预值可以控制短线段的多和少。数值越小,数量越多。数值越大,数量越少。选择一个室内效果的大模型,我选择的是麦菊写实模型。这里要注意,我选择的是一点五版本的大模型。如果点击发送参考图的尺寸,超过七六八的尺寸,生成的内容就会出现畸形的画面效果。
所以要按照大模型最佳的尺寸设置,正向提示词里先不输入提示词,反向提示词里输入质量词,点击生成可以发现它可以保持线框所识别出来的物体结构,没有识别出来的部分则由大模型自由发挥。按照这个逻辑,可以实现毛坯房转换成室内效果图,上传一张毛坯图。设置好参数。输入一些想要的元素的提示词。反向提示词,输入质量词。点击生成。效果并不是很理想。
输入的内容并没有生成出来。这是因为ctr net的影响较强,给大模型发挥的空间不多。在控制模式选择偏向提示词,给大模型更多的发挥空间,同时在降低ctr net的权重,权重越小大模型发挥的空间越多,生成的画面里的内容也会越多。找到一个合适的权重,毛坯房就变成室内设计的效果图了。通过这个视频应该了解control net和大模型之间的关系,还有基本的使用方法了。ctr net的其他控制,还有更多的神奇功能,在后面的视频里会逐个进行详细的介绍。我是大猫,我们下个视频再见。
我没上车啊。