hello, 大家好,我是瑞克,欢迎来到ai绘画小课堂。本期视频我将教会大家如何在微博u i当中使用instant的i d去实现人像摄影和换脸效果。那么这期视频呢也是一期保姆级的零基础教学。我将从零到一带大家去下载整合包搭建环境以及ins i d的插件安装。这期视频完全适用于没有任何绘画经验的a i小白,去实现像我这样的人像写真效果。如果你也想要使用stable division来实现这样的人像写真,那么请跟着我学完本期视频,你就可以轻松的去生成这样的人像艺术写真。在本期教程开始之前,请确保你的显存达到十六g并且内存达到十四g因为instant i d插件它是基于s d x l大模型去做图的。它相比于传统的s d一点五模型,要占用更多的空间和更高的缓存。那么我们开始吧,首先大家需要将我提供的整合包文件以及需要用到的模型文件全部下载下来。
然后我已经下载到本地了,大家可以放在一个空闲的磁盘当中,也就是剩余空间比较多的啊。这个时候如果你是第一次安装我们的微博u i需要去执行一下这个应用程序啊,它是我们的微博ui环境依赖,然后这里我们先去对它进行安装啊,由于我之前已经安装过了,好吧,这里就不再给大家做演示了。安装完依赖环境,我们对weber u i整合包进行解压。我们就解压到当前目录啊,我们稍等它解压完成。ok现在我的微博u i整合包已经解压完成。现在我们先不急着打开微博u i这里先将我提供给大家的instant i d模型文件和它的控制文件啊,以及需要用到的s d x l大模型和它的v i e文件全部放到微博u i对应的目录当中,我们再去启动。那为什么需要给大家提供s d x l的大模型呢?是因为我们的呃instant i d它作者在做开发的时候,目前呢它是只支持s d x l的大模型,对s d点五还不支持。所以说如果小伙伴们还是用的s d点五的话,这里就要对你的模型升一下级了。另外。
呃,大家需要注意的是,s d x l大模型它要比s d一点五占用的显存更多啊。如果你的显存目前来说就已经比较吃紧的话,可能不太适合你去使用这一套呃技术方案。那么现在呢我们先去将s d x l的大模型放在web u i的目录当中。好,我们复制一下,然后在它的根目录下找到models这个文件,进入到step d fusion这个目录下,把我们的大模型粘贴到这个当中啊,接下来返回我们的整合包目录来处理一下s d x l的v a一。啊,要注意的是,我们在使用s d x l大模型的时候啊,必须要用s d x l对应的v i e好吧?啊,s d点五的v i e的话生成出来它的脸可能就是绿的啊,对整个图片的渲染是有问题的。我们把它放在models的v i e目录下,接下来呢呃来处理一下instant i d的两个模型文件啊,我们可以将这个模型文件放到对应的目录下面去。啊,我们需要把它放在control lt插件的这个目录下。因为我们controller在对instant i d去做支持的时候,需要用到这么一堆控制文件。然后这个目录的话我已经打在公屏上了,大家可以看一下。
好,接下来是instant i d这个目录下的东西。这两个呢实际上是对应到一会儿我们要用到的control lor的模型。这个时候我们把instant i d目录复制一下。接下来到models这个目录下的control net进行粘贴。因为因为它是country rate大模型嘛,c t r l的控制模型,所以说我们要把它放在control下面。好的,处理完成之后,我们来启动一下微博u i,双击它的启动器进行启动。第一次启动的时候,它会进行自动检测更新,我们稍等一会儿。好的,启动完成之后,我们按照老规矩,是需要先去对微博u i的内核版本进行更新的啊。当然这里我提供给大家的微博u i已经是最新的一个内核了。
然后这里的插件呢我们需要去进行对应的更新,这里一键更新一下。这个地方我们主要是对country lead这个插件更新。因为只有在新版本的country let当中,它才只是对instant i d去进行控制。好,更新完成之后,我们就可以一键启动了,点击之后稍等一下。ok了,兄弟们,这里我的微博u i就已经启动完成了啊。我发现这个新版本的微博u i启动还挺快的哈,啊比我之前的那个微博u i启动要快得多了。我们来看一下country lad当中,在这个版本当中,它其实是包含一个instant i d的控制的对吧?一会儿我们就要用到instant i d对我们的图像进行人像参考的控制。好,这里我们先来随便输入一个提示词,试用一下s d x o大模型。啊,一方面呢是来测试一下你的电脑显存是否足够。
有有足够的显存去加载这个s d x l的大模型啊。然后这边我们选择一个基础起手式。如果你是微博u i的新用户的话,那么你可以看到选择了这个基础骑手式之后,我们提示词这边并没有对应的添加上需要的正向和反向提示词。这是因为呃这个基础骑手式呢它的那个内容其实是覆盖在那个里面了。虽然你看到是没有的,但实际上它已经把这样的正向和反向提示词内容加进去了。所以说我们在这里直接点击选中之后,我们的提示词就已经应用上了。好,我们这里就可以输入一个简单的e girl对它进行生成。那么呃我们现在测试一下吧,现在测试一下。呃,由于是s d x l的大模型,我们一般是。
常规的分辨率是设置到幺零二四啊。啊,五幺二的话,这个适用于一点五的模型。我们来设置一下分辨率,设置到幺零二十四点。ok现在我们来测试一下。好的,没有问题啊。我这边出图是正常的,然后用到十二秒,因为我的显存实际上是比较小的,然后这边耗时比较多啊。接下来呢我们需要用到instant i d这边的控制单元,去对我们的图像人脸进行一个控制。我们这里首先勾选启用完美像素允许预览。接下来呢我们需要去选择instant i d这边的控制器instance。
i d这边包含两个控制夹,一个是embedding,还有一个是k point。embedding呢是我们的人脸控制控制预处理。这个时候我们需要去选择模型,我们来刷新一下,看一下我们的模型。好ok啊,刷新一下就有了。呃,人脸控制模型呢我们要选择下面这个i p a dot的,好吧?大家记住embedding要对应我们的i p adapter这个模型。接下来我们需要去上传一张需要参考的人脸照片。这里我来选择一下。然后对他的人像面部识别一下,处理完成之后,我们得到了一张和左边一模一样的图片。那么出现这种情况,代表你的那个instant i d模型文件这些配置是没有问题的。
然后在这里我们可以把控制权重调整到零点八五,这也是instant i d官方建议的一个控制权重。如果控制权重过高,比如说到一的话,很有可能在我们生成的图片当中出现水印。这也是instant i d官方在进行模型训练的时候啊导致的一个问题。然后呢我们需要去对第二个controller控制单元进行操作,还是点击勾选启用完美像素以及这边的允许预览。点击这里的instant i d,我们去选择预处理器,这里要选择key point这个预处理器,然后对应的模型呢是country instant i d这个模型,key point要对应control lt instant i d这个模型。大家要记住了。好的,这这个地方我们来上传一张人脸面部朝向参考照片。这里我可以随便选择一张人脸朝向参考。一会儿我们生成出来的图片,人脸的朝向是根据这个图片来确定的。
好,我们同样点击一下预处理,可以看到处理完成之后,他只是得到了一个面部朝向的结果照片。这里呢上面我们需要设置一下尺寸,出图的尺寸最好是跟我们面部朝向参考照片一致,这样才可以保证我们的整个图片的画面占比是正常的。然后接下来再来出图,出图的时候大家要注意,我给到大家的是一个s d x l的trouble模型。什么是trouble模型呢?它在s d x l的官方模型基础上做了加速优化。在这个模型上我们只需要设置迭代步数到八,然后它的出图速度是更快的。我们接下来调整一下提示词的c f g权重,将它调整到二啊,调整到二就可以足够控制我们整个图像的生成了。好,接下来我们来点击一下生成。ok大家可以看到生成出来的一个图片效果,起码和我们人脸的一个还原度是非常像的对吧?但是现在图片它是有一定的问题的,我们可以看到它这个清晰度目前还存在问题,对吧?啊,这个时候我们出图,虽然是已经达到幺零二四的一个分辨率了,但是还是有点模糊,而且画质的话还是有点欠欠缺的。这个时候我们来嗯点开这边,我会提供给大家的一个人像提示词。
我随便来复制一个粘贴到这个正向提示词文本框当中。然后在生成的同时我们去勾选高清修复,这里我把那个重绘幅度调整到零点三左右,放大倍数呢我就调整到一点五就差不多。接下来去选择我们的一个高清修复放大模型。这里呢我可以去选择整合包里面自带的一个s n四x的一个放大模型。这个放大模型呢也是我平时最常用的一个模型。好,选择之后我们再次生成。ok生成完成之后,我们再来看一下本次的出图效果。可以看到这一次的面部还有整个画面的清晰度都有一个质的飞跃和提升。还有我们整个场景的变化已经跟随我的提示词而发生变化了。
这里我们可以再来试一下其他的提示词。这一次他是个人写真的艺术风格。如果大家对一张图片不满意的话,我们这里可以去调整它的总生成批次。我们可以给它调整到四,让他一次性生成四张图片来供我们选择。好,生成完成之后,我们再来看一下本次的出图效果。那么和刚才一样啊,我们也是走的一个人像写真风格啊,可以看到这些图片的人脸朝向都是同一个方向。如果你对当前的面部朝向不满意或者需要调整的话,我们也可以去更换面部参考图片。现在呢我们把纹身图的这种基础控制方式已经演示完成。我们来看一下图生图如何去对我们的人像去进行换脸啊,我们需要结合controller的instant i d模型控制和图生图的局部重绘,来对目标图像的人脸区域进行局部重绘。
首先我们来控制一下controller的开关,我们还是一样打开第一个controller控制单元。这里选择一个instant i d,然后上传我们需要换脸的目标人像脸部。比如说这里我们需要去替换那个赵丽颖的面部,对吧?我们要把赵丽颖的面部换到目标图像当中,接着在预处理器这里选择embedding,然后同样在这个地方要选择i p r dot。接下来我们开启第二个controller对它进行控制。第二个就是我们需要上传一个目标换脸的面部。比如说我需要对这一个吧,比如说我需要对这个目标人脸进行一个替换,我们就上传它。然后这边也是可以点击允许预览,然后开启instant i d。这边我们选择k point这个预处理器,然后这个预处理器对应的是control t instant i d,我们也可以预处理,看一下它的人脸朝向。好的,这边我们计算出来了一个人脸朝向的面部参考图,然后这边是我们需要去换脸的一个原始脸部啊,我们注意把这里的控制权重调到零点八五就差不多了。
好的,接下来我们也是同样需要在图生图的局部重绘当中,去上传我们需要换脸的那个目标照片,这个也就是我们需要换脸的目标照片。这张照片呢需要和我们第二个controller的控制单元上传的照片保持一致。这个时候我们来涂抹一下需要去换脸的区域。好的,这边我涂抹完成了。接下来我们在提示词这里只需要输入one girl,它就可以去实现我们的换脸了。我们不需要额外的提示词啊。接下来我们需要在图生图的蒙版区域这里设置一下它蒙版的模糊程度。我习惯的话一般是调到十五左右差不多。接下来调整一下它的迭代步数。
这边由于我们的目标照片足够清晰,所以说为了提升换脸之后的质量,我把它调到了三十。重绘幅度的话这边调到零点七这个样子。然后我们把那个整个图片的尺寸给它按一下,这个三角尺它可以把上面这张目标图像的尺寸同步到这里来,这就是我们一会儿要重绘的尺寸大小。最后我们还需要对提示词的c f g权重进行一个调整,我们将c f g的引导系数调整到二。因为在这个trap大模型下,它只需要c f g为二的情况下就可以控制出图了。好,这些参数调整完成之后,我们来测试一下生成效果如何。好的,我这边已经生成完了。我们来看一下最终的效果其实还是可以的对吧?但是他这个发丝这个地方衔接的不太好,然后面部这边的一个颜色衔接也还差一点。那么这个时候如果你不满意的话,我们可以适当的去调整一下重绘幅度,将它调小或者调大。
这个要根据实际情况去具体调节,包括这边的步数我们也可以去适当的调整,一般保持在二十五到三十左右就差不多了,我们这边再来重新测试一下吧。好的,再一次出图成功。我们来看一下这个发丝还有面部的融合程度,是不是要比刚才好很多了对吧?可以看到这边的瞳孔、睫毛,还有他的眼神里的这个光啊,还有嘴唇上的这个质感都是非常好的。那么这个instant i d用来换脸,它是非常有优势的,真正的可以达到影楼级别的一个换脸标准。现在我们去选一个面部占比比较小的这种图片情况,instant i d他对这种面部占比较小的情况支持度不是很好,特别容易画糊。这里我要提醒一下大家,如果你的目标图片本身分辨率就不高,而且他的面部占比较小,那么这个时候你再来用instant i d换脸,很可能得到的结果并不理想。现在我这个图片的面部占比虽然小,但是呢图片足够高清。相应的我们需要在control t第二个控制单元当中,把需要参考的目标。图像人脸换成我们的目标图像,然后这里也可以预览一下,让他来计算我们的人脸朝向。
ok这边计算没有问题。当我们更换了目标图片之后,这里的分辨率是不同步的。我们一定要点一下这里的小三角,让他把这里的画面尺寸同步到我们要重绘的尺寸当中。这样你生成出来的图片才能和我们的目标图像尺寸对应的上好,我们再来生成一下,看一下效果如何。ok出图完成。可以看到这个面部的融合程度还是不错的啊,就是有些头发还有面部的衔接处有一些。的问题。这个时候大家也可以通过刚才的方式去调整它的迭代步数啊,或者说它的重绘幅度等等。最后还有一个小技巧可以教给大家,就是当我们的参考人脸这个图片的面部比较小的情况下,它参考的还原程度是比较低的。
我们先来测试一下,找一个面部占比比较小的图片,这里我找了一张热巴的写真照片,我们可以看到他的脸部在整个图像当中的占比是非常小的,对吧?我们先来尝试一下,在这种我们要参考的人脸照片面部占比比较小的情况下,他的还原度如何。构图成功之后,我们再来看一下效果。看到这个效果我们先不做评论,那么我们再将这个图片呢用p s来对他的人脸进行一个框选,只截取出人脸这个部分来对他进行图像生成。打开p s后,我们通过选区工具来框选一下人脸区域的这个部分。我们将它聚焦到这个人脸当中,这样来生成的图片呢,它可以更好参考这个面部的细节。也就是说当你的图像生成还原度不够的时候,或者说你的原始图像它的分辨率不够的时候。这个时候我们可以采取聚焦放大的这种方式,让整个图像聚焦到面部去,让instant的i d作为参考。这样的话生成出来的效果是要好一些的。保存一下截取之后的照片。
然后回到微博u i当中,重新上传一下刚才截取后保存的照片。上传完成之后,我们再次去点击生成。生成完成之后,我会将两次生成的照片放在屏幕上作为对比。大家可以来看一下哪一张的还原度更高,更让你满意。可能这里大家察觉不出来它的差距,是因为我的这个目标参考图像本身分辨率就足够高。然后我的这个目标替换图像它的分辨率也足够高。在这种情况下我们的操作可能就微乎其微了。但是有些情况下是可以解决我们的面部还原度不像的问题的。好的,本期视频要讲到的知识点就是这些了。
我们来回顾一下,在本期视频当中,我带大家手把手的下载安装了部署整合包,然后去安装instant i d的模型文件,然后又通过纹身图加高清修复这种方式去生成了分辨率很高的艺术写真照片。之后呢我们又通过图生图的这种方式来做到了一个人像换脸。好吧,本期视频大概就是这个样子。那么感谢大家的观看,我们下期再见,拜拜。