刺鸟图文助手
hello, 大家好，那今天我们要为大家带来的是a i生成视频，a i视频转会。那这次呢我们选择使用s d web u i中的animated dif插件。那相比起我们之前讲过的luma，a i又是限制生成时长，又是限制生成次数。那在本地部署的i m a t dif插件显然是一个非常不错的选择。而且基于s d web u i的操作也会使得我们操作起来更加方便，也更容易上手。那在讲解视频转会之前，我们会先讲解一些animate diff的相关基础知识。比方说文字生成视频，图片转视频以及一些相关的参数设置。那当然只对视频转会有兴趣的小伙伴也可以直接跳到视频的最后去看视频转会的相关内容。
ok那多的不说了，咱们就直接开始。ok那现在的话我们就来看一下具体的操作。那首先的话还是安装，那安装的话我们这里还是以秋夜启动器为例。那如果说你是最新版本的话，现在打开s d web u i应该就已经是有animate dif插件了。如果没有的话，你可以尝试一下更新s d web u i。那如果说还是没有的话，你可以来到版本管理里面点击安装新拓展，然后搜索animated diff第一个就是它了。然后点击安装，然后再启动你的s d web u i，然后下滑你就能看到animate diff了。展开就能看到里面的详细参数。
展开参数之后，我们可以看到这边有一个模型的animated diff它最核心的其实也就是这个模型了。通过这个模型可以保证画面的一致性和连续性。那这个模型的话呢，你可以到animated diff的官网上面去进行下载。在github和hugging face上面都有，我会把这个链接放出来。当然我也会把下载好的模型上传到网盘里面，有有需要的小伙伴也可以直接到网盘链接里面去下载的那这些链接呢我都会放在视频的简介里面有。有需要的小伙伴直接去下载就ok了。这个时候如果你已经下载好了模型，那你就来到s d web u i的根目录里面，然后看到extensions文件夹，也就是插件文件夹。然后这个时候你就能看到你的animated dif文件夹，双击打开，然后看到这里有个model文件夹，双击打开并且把你下载好的模型全都放到这个里面，然后回到s d web u i界面，然后在这点一下小小的刷新。
然后这个时候你展开就能看到你这边的模型了。那这边有的模型是针对x l的那现在是显示不出来的。如果说你是换成x l的话呢，在这边也可以使用x l的运动模型。这边的话我也对v一、v二、v三不同三个版本的模型做了一些测试。那大家可以看到在v一上面有一些很糟糕的水印会出现。那v二v三模型的话，根据个人不同的喜好，你也可以灵活选择。那有的人说v二的运动效果会比v三更好，或者说色彩效果更好，那这个的话就见仁见智了。咱们在这不去过多的讨论。
ok那把模型安装好之后呢，现在我们的animated def最基本的安装就已经完成了。接下来我们就可以来。正常的使用了。好，那接下来我们就来看一下具体的操作。那我们先来讲一个最基本的animated diff出视频或者说出动图的操作流程。那它的操作流程一开始和纹身图是一模一样的，我们首先需要选择一个大模型，那这里的话我们也提醒一下，并不是所有的模型都适合拿来做animal diff比方说我经常喜欢用的一个手办模型。它生成图片也是完全没有问题的，但是拿来做animate dif就会出现一些非常诡异的效果。如果你后续做出来也是一些这种不可名状的效果的话，那你也可以考虑试着换一下大模型。
那这里的话我就选择使用dream shapers八了。好，然后写上一些相应的提示词和反提示词，再设置一下参数，基本上都是默认的。然后呢我们先不打开animate t diff，先跑出一张正常的图片来，然后再去生成视频或者说动图。好，那这边图片出来了之后，我们就滑到下面，打开any mate diff把它展开，然后勾选上启用，选择一个模型，那这里我就使用v三模型。保存格式我就用g i f，当然你也可以根据需求保存成不同的格式。然后这边的话为了查看方便，我就先不保存编辑了，就光看一个g f就行了。有需要的话也可以勾选上。然后这边的话总帧数的话是十六帧，也就是会有十六张图片，帧率八，也就是说每秒会有八张图片，那么总帧数十六，也就是说现在会生成一个两秒的减f。
好，那这里剩下的参数我们暂且先保持默认，稍后再来说。然后呢直接点一下生成，让它来生成一下。那这边由于图片生成会经过animate dif的控制，所以说这边最终生成出来的动图可能和你现在看到的这张图没有太大的关系。当然这个也没有关系，因为我们还可以使用图片生成动图或者说视频。ok那现在这个视频就已经生成出来。如果你也做出来，那么恭喜你，说明你的安装，你的模型和你的操作都没有任何问题，你也可以继续去进行图像、视频等其他的工作流了。当然在这里我们还是要先说一下，有的小伙伴生成出来的视频是这样子，看似动了好像又没有动，就是这种蠕动的效果。那这个的话给大家提醒一下，你可以在你的提示词里面加上一些运动相关的提示词。
比方说在这里我是加上了hair is blue by the window，也就是头发被风吹动。那视频的效果就从这样变成了这样，还是相当不错的。好，那这就是一个非常简单的纹身动图或纹身视频的工作流。好，那现在的基本操作已经完成了，所以我们来看一下它这里面的参数设置。那首先这个动画模型和保存格式这些我们都说过了，所以不再重复。我们主要看这个上下文单批数量，这也是animate d f插件里面最重要的一个参数。那我们刚才生成的时候，可能有的小伙伴眼睛比较细，已经看到了类似于这样的画面，就是直接出现了一个十六宫格的图片。那它就是根据这个十六直接一口气生成十六张图片。
那因为它这十六张图片是一个批次里生成的，所以说它能保证比较好的连贯性。那这个参数是不是越大越好呢？当然不是。如果说参数给的过大的话，会导致显存增加，甚至你的图直接就出不来了，就直接报显存了。那这个参数如果你把它设置的比较小的话，比方说设置为八，那大家可以看一下上下文，单批数量为八的时候是这样的效果，那就是八张图一个批次。那我们可以看到明显有两个批次，并且这两个批次之间几乎没有什么关联了。当然我们这边就保持十六就行了，因为这也是作者建议的参数。因为作者在训练这些运动模型的时候，他也是用十六真的运模型来进行训练的。当然我也在一些社区和论坛里面看到说，当这边的总帧数是六十四的时候，把这边的上下文单批数量改到十二，会有一些神奇的效果，效果会非常的好。
但是我测试了一下，并没有复现出这个所谓的很好的效果，所以在这里也就不再重复了，有兴趣的小伙伴可以自己尝试一下。那我们这里还是有默认的十六。然后接下来我们就可以看到这边有一个闭环。那在这里我直接保持所有参数一致，只更改闭环参数，测试了这四种模式。那大家可以看到。第一个是完全不闭环，最后一个a是完全闭环。那中间两个其实没有太大的差别，因为它需要配合其他的插件才会有一些实实际的效果产生。那这个我们后续再来说，然后这边的不符合重叠对闭环也会有一些影响。
但是这边的话我们就保持默认的一和四就o k了，这个是默认的参数。那如果说你对这些参数非常感兴趣，想要了解一下的话，那我推荐你去看一下在comp u i上的animate def插件。那这个里面就有一些非常详细和形象的图示。你可以看到这里面也有非常详细的解释，并且下面也有一些案例，你也可以去查看一下。当然咖啡u i的更新也在我们的计划之内，包括咖啡u i加上animate dif，我们后续有机会也会把它做出来。当然现在我们先言归正传，ok那接下来要讲的就是真差值了。那往常大家看这个视频是不是都会觉得稍微有一点卡卡的感觉，而现在我们可以看到它是非常的丝滑的那这个就是用到了真差值，默认它是off关闭的。如果说我们在这里把它flame打开，那它就会用这个模型对视频进行插针，让视频变得更丝滑。
比方说常规情况下我们总共四十八帧，如果真率是八的话，那就每秒只有八张图片呢，自然会感觉有点卡卡的。那如果说我希望让帧率提高的话，把它提高到二十四，这样才是人眼能够将连续播放的图片识别为视频的最低限度。但这样也有一个问题，原本四十八帧八帧率的视频应该是六秒钟，那现在我们把它提到二十四帧，每秒只有二十四张图片了，那这个视频就缩短为两秒钟了，这就不符合我原始的需求了。我希望它依然是一个六秒钟的视频，那这时候怎么办呢？那这个数值你把它原始的理解为是一，它就是在每两帧之间去插入多少张图片进行插帧。那这里的话如果你懒得计算的话，你就记住你的帧率如果提高了多少。想要保持时间不变，那你这里的差值也应该是多少？比方说帧率从八变到了二十四，提高了三倍，那这里的差值我们也应该是三。好，然后再生成出来的视频就会是非常丝滑的那我这边也做了一些测试，大家可以看一下差值和不差值还是有非常大的区别的。当然有的小伙伴会说这个画面已经扭曲的非常诡异，非常恐怖了。
那这个的话你可以通过不同的参数测试和提示词来进行调整。当然也不用太担心，因为我们还有图形视频和视频转会的操作可以来解决这个问题。然后如果说你懒得去自己测试的话呢，我会把我测试的一系列图片和数据都标注好，然后放到网盘里面。有需要的小伙伴也可以自己去下载下来，然后看一下去参考一下不同的参数会对画面产生怎样的影响。ok那接下来我们就可以来说一下图片视频了。那首先我们还是先用纹身图跑出来一张自己满意的图片，然后直接把它发送到图像图里面。然后这边选择合适的大模型，一般就保持一致。然后写上提示词，可以加上一些动态的提示词。
然后接下来还是一样的操作，改一下这样啊改一下这边的步数啊和重绘幅度。比如说这里尽可能的去大一些，让他。去改变画面中更多的内容，这样才能够让我们的图片充分的动起来。然后接下来就是animated diff的操作，那这里的操作和之前是一模一样的，不管是选择模型保存格式还是帧率加榛，这些都是一模一样的操作。这些操作好了之后呢，直接点生成就ok了。那这边原图是这样，然后提示词不变，直接生成的话就是这样的效果。那如果说再加上眼睛相关提示词，比方说让它眨眼就可以产生这样的效果。当然我们这边也可以拖一张写实的图片，比方说一张照片进来，然后去让它进行生成。
默认生成出来的结果是这个样子的。你可以看到画面变化得非常厉害，甚至可以说已经和原图没有什么关系了。那这个是因为我们的图片会经过一次s d web u i的图生图，然后再来到animate dif里面去进行视频或者连续图像的生成。当然你也可以通过参数的调整让它更像原图，不过也会带来一些问题，就是几乎不怎么动了。但是咱们还是说一下吧，如果让它更像原图的话呢，当然也就是这边的重绘幅度可以调低，但是也不能太低，太低的话那就彻底不动了。然后还有就是在animated deep下面，你会看到这里有一个i to v也就是image to video traditional。你把它点开，点开的时候你会看到这里有一个lantern power和一个lantern style。那这两个参数，那这里的power越小，scare越大，就会使我们的视频越贴近原图。
当然我们也说了，它有可能就会几乎不动了，那这个的话就完全根据自己的需求来进行抉择了。好的，那接下来就是今天的重头戏了，也就是我们的视频转会，或者说叫视频转动画。那虽然说是重头戏，其实到目前为止你已经掌握了animate diff相关的各种操作。当然后面有一些进阶操作，比方说镜头的控制和提示词的进阶控制，我们会在以后的视频里面具体给大家去说。ok那咱们言归正传，先看一下咱们的视频转会。那一开始的操作还是一模一样的，就是在咱们的这个纹身图里面选择相应的大模型，然后呢写上你要的画面效果。那这里的话我给它加上了一个直发、金色头发、长发，并且呢还可以给它添加一个laa。那当然如果说你想要一些神奇的效果的话，也可以通过i p adapt来实现。
这个我们后续再来说。好，那现在可以看到这个视频里面其实已经有这个效果了，这是我之前测试的视频。好，那在这边把提示词和常规生图的参数设置好了之后，我们就可以来到animated dif里面选择相应的模型，选择保存格式，然后设置帧数帧率等等。但现在我们是用视频转换成动画，所以说我们直接把我们需要转会的视频直接放到这里来，它就会填上你这个视频的总帧数和帧率。那为了节省一些显存，并且降低一些生成的时长，我是建议你把这个视频呢在剪辑软件里面先把它的帧率和时长降低。然后后续呢可以通过一些插帧的操作，或者说还有一些其他的a i工具，比如说tobes或者说adobe的p r里面也有一些插件可以对视频进行插帧。那这里的话我就是二十四帧，然后十二的帧率，然后准备对它进行生成。那为了尽可能的去控制图面的效果，我们也可以打开c t r n e t。
那在这里的c t r l net和你正常生图的时候使用control net的方法是一模一样的。勾选启用，勾选完美像素，选择相应的预处理器和模型就o k了。当然你也可以开启多个control net，那在这里的话我是只启用了一个open pose。好，那现在的话呢这些设置好了之后，你只需要在这边点一下生成，然后就是静静的等待视频就可以生成出来了。那这边的话大家也可以看一下我目前生成的效果。那这里有一个没有添加c t r l e t，那画面的话还是比较乱的，和原视频几乎没有什么关系。所以一定是要启用c t r e e t的。然后加上ctr l e t之后，你就可以看到哎，我们就可以生成这样的一个效果了。
o k那咱们这次基于s d web u i的animated d f插件，它的纹身视频、图片视频以及视频转会咱们就已经讲的差不多了。包括一些参数解析咱们也尽可能的讲到了。当然还有一些东西，比方说可以通过laura去控制视频的镜头，或者说通过提示词去控制不同帧，产生不同的效果，让画面变得更丰富。这些我们都还没有来得及讲到，包括我们之前稍微提到过一下的conf u i的视频转换流程。这些虽然都是在更新计划内的，但是呢由于时间关系，我们不可能在一个视频内全部讲完。所以说今天的话呢我们也就先讲到这里了。那如果说你做到这里，我相信你也一定能够去做出一个视频转会了。好，然后这次用到的网页以及文件，包括我之前提到的一些测试的文件，那都在我的网盘里面。
我已经把这些网盘上传好，并且把链接放到了视频的简介里面。有需要的小伙伴直接去简介里面找相应的链接就ok了。好，那如果有什么问题，也欢迎大家能够在弹幕和评论区里面咱们一起讨论。
