无论是a i摄影电商产品、电商服装等等,市面上流通的顶级工作流,第一步的功能环节都是对于遮罩蒙版的精细处理。
所以今天我们将和二狗子一起学习,通过不同节点的组合应用,更加高效快速的绘制出我们需要的蒙版。关门放二狗。在康复v i中,遮罩的主要作用是定位,它允许我们精确的定义图像编辑和合成的区域。遮罩在这里扮演的角色就像是图像的定位标签,他告诉康复员哪些部分应该被编辑或显示,哪些部分应该保持原样。废话不多说,我们正式开搞插件安装以及所需的工具模型资源会放在视频末尾,带着大家一次性全部安装。现在先让我们进入中阶篇的学习内容,遮罩艺术。关注我们,带你轻松玩转s v。第一个手图遮罩。
在图像加载节点中,鼠标右键选择遮罩编辑器,可以在康复u i界面中快速编辑遮罩。鼠标左键涂抹,右键擦除coral,可以选择择照部分的显显示示。鼠标滑轮和sick less滑条可以调整画笔插件。第二个快捷缺点是无法绘制出精确的模板,适用于工作流调试和非精度手绘场景。第二个快捷s m遮罩,该功能来自于impact pg节节点,右右键点击图像屠宰节点,选择在s m m检测中打开左键蓝色表表示需要识别的区域,右键点点选选择排除区域,点击dex x则开始生成照照片的是表表示示值值键值识识别部分越精确。最后点击保存的节点,标标标成完毕和impact的节点,还有一个可选设置。首次运行后将在impact park插件目录中自动生成一个文件。我们可以修改其中的s m i d的model,修改为我们指定的s m模型,从而达到更为精确的识别效果。
也可以将disable open c v设置为force,启用g p u加速,从而加速识别速度。当然如果你的显卡比较差,按照默认配置也是没有问题的。第三个,画板遮罩与手图遮罩有着相同的原理,可以进行遮罩遮罩。但是我们可以通过画板调整画布大小以及图像位置,从而进行扩展。遮罩教程中所使用的节点是alec中文翻译节点,可以独立安装项目地址。在最后的安装环节哦也可以直接使用alec的画板节点。缺点仍然是精度不够。适用场景同手图遮罩。
第四个r g b a透明通道加载,如果我们上传的是r g b a图像,则可以直接加载遮罩。可以顺便讲一下二狗图像加载节点的用法。在常规的图像加载节点中,我们只能输出r g b格式的图像。而在二狗图像加载节点中,我们可以选择输出r g b或者r g b a的透明图像。如果我们输入的图像是v b i中生成的图像,同时还可以读取该图像的所有元数据,提示此参数设置。再配合其他功能性节点,比如添加水印节点,我们也可以选择输出透明图像或者非透明图像,得到对应格式的图像结果都是没有问题的。第五个,p s交互节点。如果你更喜欢在p s对图像进行处理,那么我们可以使用加载任意图像节点和p s进行实时交互。
我们只需要输入p s d文件路径。如果你是win幺幺系统,右键选择文件,在p击复制文件地址,输入到加载任意图像的节点中,我们就可以实时读取p s d文件的数据,直接在p s中修改p s d文件,点击保。然后无论是读取遮罩还是读取颜色数据,通通可以实时交互相。对于我们之前讲过的投屏节点操作更加便捷。当然该节点除了可以加载p s d文件外,同样可以加载其他格式的单个文件。而当你输入的是文件夹路径时,该节点则会将整个文件夹的图像整合成一个批次,从而配合其他节点进行批次处理。适用于通过其他图像处理软件进行精细化实时处理交互的应用场景。第六个,三色遮照。
当我们需要在一张图像绘制不同的区域,那么就可以选择三色遮照,通过选择r g b a的类型生成对应的二值遮罩,也就是黑白遮罩。唯一需要注意的是绘制时r g b的值要设置为对应的二五五,适用于多区域或者分区域重绘类场景。除了手动绘制蒙版进行交互之外,在康复u i中还有大量的智能蒙版节点,通过不同的模型自动化识别遮罩蒙版。先让我们来看第一个s m语义分割segment ennis,该节点有grounding dealer s s s组合成,而grounding deal主要用于文本引导的目标检测,而s m则擅长图像分割处理任务,具有更高的灵活性和准确性。所以将它们进行组合后,可以得到精确的语义分割模板。如输入节点有两个参参数,识别识别识别配置提示时表示我们需要识别的区域。一指识别识别的精确度。比如输入face将识别人物的脸部,输入here face将识别人物的头发和脸部,而输入hair face tmt将识别人物的头盔、头发和脸部。
优点是识别精确,缺点是遮罩边缘锯齿较多,适用于需要精确绘制蒙版的场景。第二个,clap语义分割,之前讲过clap的语言。处理功能。而clap语义分割则是在clap基础上训练的clip s e g模型不仅能精确识别我们的语言,还可以从图像中识别出对应的区域。该节点仍然可以直接输入我们需要的识别部分,除此之外还可以调整识别阈值边缘的模糊度以及遮罩的扩展,也就是膨胀。优点是识别精确,缺点是对于大构图识别能力缺乏,适用于大型区域的局部识别场景。第三个面部网格到s e g遮罩,一个专门处理人物面部的遮罩节点。通过面部网格的预处理器识别图像,面部网格再转换为s e g图像分割区域,最后转换为遮罩。
需要注意的是,当我们对裁剪系数,裁剪最小尺寸和最小尺寸进行参数调整的时候,你会发现不会对结果有任何影响。其实是因为这几个参数已经被作者注释掉了,也就是不用参数,所以我们只需要设置是否填充b box,将遮罩填充为方块,膨胀则是对遮罩进行扩展,其他选项则是我们需要得到的面部区域,结果整个面部或者单独识别出嘴唇等等部位。优点是识别精确,缺点是仅针对面部区域,有效适用于人像局部重绘替换。但是由于面部网格对于输入原图大小的识别局限,无法对大构图类进行精确的网格识别生成。所以当我们需要对大构图类的人像进行识别时,需要对流程进行优化。利用遮罩裁剪节点裁剪出大概的区域再进行识别处理,拼接回原图大小模版后,再利用局部重绘采样器节点对小区域进行独立的局部重绘,完成细小部分的重绘任务。等待采样完成后,我们来看一下对比结果。女孩的面部区域已经得到了对应的重绘结果,所以在我们处理大图场景时,也可以通过这套组合完成精确的局部重绘了。
这里我们单独看一下二狗写的局部重绘采样器,原图大小七六八乘幺零二四,而且人物的面部处于完全崩坏的状态。现在我们先利用这张编辑器涂抹人物面部,并同时使用局部重绘采样器与常规采样器对面部区域进行局部重绘,等待采样完成。在我们使用康复u i常规采样器进行局部重绘时会有一个很大的问题。非重绘区域由于编解码的原因也会产生变化,丢失细节。而局部重绘采样器中非重绘区域仍然可以和原图保持一致,仅重绘区域产生变化,同时可以像v b i一样选择仅局部重绘,则会根据我们的遮罩区域进行裁剪,按照设置的扩展大小扩展后进行局部采样,以达到更好的重绘效果。现在除了遍布得到了完美的修复,非重绘区域也仍然和输入的原图保持一致,没有产生任何变化。这样的采样器你喜欢吗?第四个impact park节点套件的a r r a a l r r模型检测该节点应用r r taylor模型进行区域的精确识别,完成图像分割,生成对应的遮罩。如果长期使用v ba的同学应该对这几个模型很熟悉。
在v b u i中的a d羞脸插件,也就是使用这类模型完成遮罩生成进行局部精修的。所以在使用时我们仅需要选择对应的识别模型,通过b box检测生成矩形遮罩,或者通过s e g m检测生成精确遮罩,调整阈值与膨胀数值就可以得到对应的遮罩。模板的优点是识别精确快速,缺点是基因度不足,需要后续优化。第五个b r i a抠图节点。该节点运用的是r m b g v一点四背景去除模型。该模型为非商业用途的开源模型,无需调整参数,快速区分前景背景,生成遮罩完成抠图。优点是简单精确,缺点是无法指定识别区域。第六个y bro写的b i r i f l e t构图节点。
该节点运用的是高分辨率二分图像分割的双边参考官方实现的开源模型b i v e f l e t可商用,也是目前市面上效果最好的开源图像分割模型。与b r i a一样,无需调整参数,快速区分前景背景,生成遮罩完成构图。优点是简单精确确定,同样是无法指定识别区域。而大神周写的byo fa特与微波炉吧,虽然使用了同样的模型,不过分离了模型加载可以更快速的处理图像以及处理批次图像两种插件,同学们选择一种即可。除了以上的蒙版绘制和生成,在康复员中我们还可以组合各种二次处理节点,对遮罩进行二次处理。第一个,图像到遮罩,比如直接将一张黑白字体图利用遮罩转换节点转换为遮罩,进行艺术字体的生成。第二个,遮罩到图像,将遮罩转为黑白图像,以便进行二次处理。第二个,遮罩反转,对黑白区域反转蒙版进行处理定位。
第四个,遮罩羽化,对遮罩边缘进行模糊处理,优化边缘局势。第五个,遮罩扩展收缩,调整边缘范围,进行蒙版精确绘制。第六个,接缝遮罩生成,按照遮罩边缘生成边缘遮罩,用于接缝修复重绘。第七个,边缘检测与填充。首先对输入的遮罩进行边缘检测,再配合遮罩填充。分块节点可以选择是否对遮罩进行内部填充,也可以选择保留最大区域,则会自动识别出整个遮罩区域中的最大遮罩,也可以通过目标标签选择整个遮罩区域中独立的遮罩块,从而完成遮罩的分块与任意切换。第八个,遮罩裁剪。通过两个不同的遮罩进行不同功能的合并处理,裁剪合并相交不相交,完成遮罩的二次组合处理。
接下来我们看一下实例应用,我们用三个抠图工作流进行演示,遮罩的自动识别与二次处理。第一个案例,利用b i v i l l t模型进行批量抠图以及二次处理。这里先讲两个功能节点。第一个顺序加载图像,输入文件夹路径,点击运行。类似于v b i的批量处理。按照文件夹顺序每次加载一张图像。当随机模式选择为固定后,则可以固定当前的加载图像,不会再次进行重新图像打开切换随机输出,则每次随机加载一张文件夹路径的图像。相对于批量加载节点,每次处理单张以最小的算力完成批量图像的处理任务。
第二个节点,指定图像保存路径。现在我们可以通过输入需要保存到的文件夹路径完成批量图像的指定保存。对于需要反复处理的图像或者单独处理图像项目的时候,免去了去输出文件夹。参照图像的痛点。当然如果没有填写输出文件路径,则始终按照原输出文件夹保存图像。好了,回到我们的案例。通过顺序加载图像以及bari f l e t模型进行批量遮罩和抠图处理。最后指定到需要保存的文件目录。
我们可以勾选右边菜单的更多选项,再勾选自动执行选择状态改变模式,点击提示四队列完成整个文件夹图像的批量抠图功能。但是由于b o v e l a t无法指定识别目标,导致部分图像会识别出多余的区域。那么这个时候我们就可以添加一组图像桥接节点以及遮罩裁剪节点,对遮罩进行二次处理。打开二次处理区域,点击提示词队列,将图像传入图像桥接节点,并在该节点中右键选择遮罩编辑器,涂抹掉多出的图片部分,再点击提示词队列,通过遮罩裁剪完成最终的精确遮罩生成。同时我们仍然可以选择不同的颜色,将获取原图的尺寸大小。生成一张纯色画布,通过添加水印节点将抠图结果放置到画布中,完成不同纯色背景的抠图处理结果。第二个案例,我们将barra f a t模型替换为segment eneus语义分割,直接输入指定区域完成图像遮罩的生成。虽然语义分割可以精准识别出我们指定的区域,但是由于s m的模型特性,分割结果中会出现漏洞的情况。
所以我们同样可以像刚才的案例一样,添加一组桥接处理节点,对识别结果进行二次处理,从而完成精准的遮罩生成。但是如果我们不希望再手动进行二次调整,那么我们也可以运用其他的节点组合方式完成全自动的精准识别。第三个案例,运用反向思维,将识别提示词输入为对象,并且调整一直到零点一,让s m识别出所有的可选对象。再利用遮罩分块填充节点,区分出最大主体部分并完成漏洞填充,从而全自动化识别出我们所需要的遮罩区域,完成全自动精准识别,而无需再进行二次手动调整了。在咖啡a中蒙版的实例组合应用还有很多很多,没有做不到,只有想不到,同学们要举一反三哦。接下来我们来看最后一部分插件安装。在教学工作流中我们使用了十二个插件。如果你已经是有一定基础的赛博水电工,那么按照学习资料中的地址或者名称进行安装即可。
但是不要忘记查看每个插件的说明,安装对应的依赖以及对应的模型。本章所有使用的节点。除了学习资料,二狗子同样记录在了林狗笔记本中。同学们也可以在笔记软件中点击下载笔记,搜索遮罩艺术,点击下载,下载成功后重新启动另一个笔记,就可以读取该笔记了。当然如果你仍然不知道该如何装好这些插件及模型依赖,那么就跟着二狗子一起进行操作吧。首先打开我们使用的康复u i,如果以上插件刚好一个都没有装,当我们将教学工作流拖进com y u i时会全部爆红。不过没有关系,接下来就跟狗狗一起进进出出安装环节,让我们一次性安装全部的十二。这个插件第一步,将学习资料中的插件本体里面的十一个文件夹和p y文件直接剪切到康复u i自定义节点目录。
再将学习资料中插件所需要的模型放入ryo u s的模型文件夹中。第二步,打开学习资料中二个python环境依赖安装器。第三步,选择python径。无论我们用的是秋叶整合包,还是铁锅炖,或者是官方的安装包,还是其他的启动器,所有的版本都有一个拍摄环境作为运行环境,而这个运行环境该如何查看呢?只需要打开我们正在运行的康复u i后台窗口,滑动到最上方,第四行就是我们使用的python路径。直接将路径复制粘贴到二个环境依赖安装器中,再根据网络情况选择镜像源,也就是下载站点,再点击选择reconvert,点t x c文件,找到本章学习资料中的reconvert,点t x t文件,点击确认。最后点击开始安装,等待依赖安装完成后再次重启,咖啡y十二个插件通通全部安装完成。好了,我是二狗子,关注我们,带你轻松玩转s d,我们下章再见。