刺鸟图文助手
在本期视频开始之前，请问能先给个三连吗？啊，你要白嫖啊，那就给个免费的赞呗，谢了，这对我真的很重要。这些都是a i直接生成的动画。从二二年下半年开始，a i g c就不断的冲击c g行业，甚至有些工作已经完全可以被ai取代。本套课程就a i制作动画这一主题给同学们详细讲解。目前a i制作动画的最前沿技术以及技术的具体应用。本次课程分为六节，从易到难逐步拆解s d制作动画的全流程和技术点。第一节课主要学习在stable division中使用tempera k和e b sense重绘动画的流程方法，制作出第一个ai动画。第二节课主要学习把真实视频重绘成二维卡通和三维卡通等多种风格动画的效果，并且实现高精度四k画质的输出。第三节课继续使用图生图的重绘技术，利用不同的提示词，分别将二维动画和三维动画效果重绘成真实实拍的视频效果，实现逆向的重绘，让卡通游戏角色变成真实的人。
前三节组成本套课程的基础部分，第四节课通过复杂图生图拼图方式制作更加稳定的ai动画，同时还提供了更高级的tile控制器加ultimate s d app scale脚本的精度放大技术，大幅提升视频清晰度，是目前最实用和最有商业价值的技术。第五节基于上节课的知识，采用文生图方式制作更加定制化风格和造型的动画，并且提供了更长视频的稳定性问题解决方案，此方法未来商用前景广阔。课程最后一节融合前面学习的技术，使用特殊的normal法线控制器制作更加奇幻的石雕动画效果，并且增加了使用reference参考图控制器增强动态画面稳定性的高端技术。课程包含了你见过的全部ai动画类型的制作方法，全程干货，信息量巨大。九十年代，pixi推出了世界上第一部全电脑三d动画玩具总动员。至今为止。整个动画以及特效后期技术。都是采用相同的技术原理。而这一切。
随着a i技术的应用爆发，正在不断的演变。在step division和mid journey两大主流a i设计系统诞生后。整个设计领域发生了翻天覆地的变化。成熟的应用技术已经迅速改写了电脑绘画、平面u i设计领域。就在这个过程中，a i技术也在不断向动画和视频领域渗透。目前直接文字生成视频的技术已经面世，例如知名的rv公司的真兔和jm开放。而借助stable deduction的开源，很多开发者开发出了基于s d的可以生成动画和视频的应用技术，可以实现各种类型的视频重绘。把实拍的真实视频重绘成二d卡通动画或者三d卡通动画，把二d卡通动画重绘成三d卡通动画或者真人视频动画，把三d卡通动画重绘成真人视频或者二d卡通动画。这其中当下最热门也最有实用价值的首推temple kit和e b sense的组合技术。
另外当下比较流行的。还有使用s d的d four插件生成变形动画。和使用loop back v五脚本生成转场动画。这两种动画也是目前比较有商业实用价值的。会在以后的课程中学习。随着技术的发展，基本上每个月a i设计的技术都会更新一次。a i设计动画的技术也会不断更新换代。保持关注，下一节我们来学习一下基础的ai动画重绘。在第二节的课程里面你就能学会并做出那些火爆网络的ai动画。
更多s d的商业化课程请持续关注。为了便于下一节学习，请同学们安装好s d以及temporary和e b sense两款插件。同学们好，这一节课主要学习在stable division中使用tempera k和e b sense重绘动画的流程方法。我们会制作出第一个a i动画案例。我们先来按照图生图的重绘动画方式，将一段舞蹈的视频重绘为多种风格的动画视频，主要借助的是不同类型的check point大模型的影响力。首先这是我们从一个长的舞蹈视频里面截取出来的一段短的视频，只截取了三秒钟，用来做这个案例的测试，创建一个新的工程文件夹，命名为a零一。进入s d界面，打开tempo kit插件的选项面板，左侧预处理选项是第一步的处理过程。把刚才这段视频拖动到这里，在视频的下方可以看到每个张数的设置，设置成一表示不拼图，每帧产生一个单独的图片高度分辨率是指输出的关键帧图像的高度。因为系统默认比例不变，所以不用设置宽度。
原视频的尺寸。寸是二五六零乘以一四四零，所以这里设置高度分辨率为一四四零，表示使用和原视频相同的精度提取关键帧。图像设置的越高，将来输出的效果越好。每五帧提取一个关键帧。e b sense的主要功能就是帮助计算过渡帧间隔太大，提取的话过渡真会产生错误的虚影。我们看一下这个视频，前面这段动的幅度不大，所以默认五帧提取一帧比较合适。这一段手部的动作幅度比较大一些，用五帧的话会产生明显的过度虚影。先采用默认的捂来看一下效果，真率默认三十。打开一b sense模式，按下保存设置，目标文件夹设置为刚才创建的a零一工程文件夹，把整个文件夹的路径复制过去。
打开批量处理的设置，勾选批量处理。负一的含义是指系统自动计算最大关键帧数边界关键帧是因为e b sense一次只能处理二十。帧图像超过二十帧就会创建一个新的文件夹。两个文件夹之间会增加两个关键帧进行重叠计算，以保证计算处理的连贯性。默认二即可勾选分割视频，按下运行参数，开始进行关键帧拆分的计算。看一下工程文件夹，它会自动创建新的子文件夹。input文件夹放置的是原图的所有关键帧图像，output文件夹放置的是重绘后的所有关键帧图像。零和一的子文件夹就是e b sense自己拆分出来的，每个子文件夹放二十个关键帧图像，依此类推，超过二十张图的话就会再分一个文件夹出来。文件夹里面有很多子文件夹，拆分完成后，input文件夹一共是三十七帧关键帧图像。
接下来的工作主要是在s d里进行这些图片的重绘，使用图征图的重绘技术，拿一张图片来做测试。先打开模型文件的选择框，选择checking大模型。这里是我自己整理的常用模型，并且分了类。关于这些模型的选择和下载，一般推荐去civic a i网站，简称c站。如果你访问不了，可以尝试其他类似的站点。我在视频下面会有提供。在c站上有成千上万的模型可以选择。这里我打开了一个过滤设置，对于一些不方便展示的图片会自动模糊处理。打开筛选器，勾选check point大模型类别，这样就只会显示大模型类型的文件。
选择麦菊写实模型，这是综合排名很高的一个模型，打开它可以看到里面详细的介绍。这十八禁的就不能打开了，它的真实感很强，所以我们先用它来尝试第一次的重绘效果。如果你还没有安装，先把它download下来。把下载好的模型文件复制到对应的stable diffusion的check point模型的指定文件夹下。新安装的模型需要按下刷新纽，加载大模型需要等待一段时间，因为它的文件都比较。通常都有几个g现在麦菊显示模型就加载好了，它的名称已经显示在这里。右侧是一个v a e的调色模型选项，通常我们使用这个八十四万e m a的v a e文件，有些大模型会内含v a e，现在可以把它关掉，节约一些资源。接下来进行一些重绘参数的设置。先设置它的采样方法，选择默认的oiler a方式，这种计算比较快。
这是生成图像的尺寸设置。按一下三角尺按钮，会自动调用上面这张原图的尺寸，二五六零乘以一四四零，这已经超过了二零四八的限制。但是我们可以借助它的比例设置小一些的精度进行测试，选择重绘尺寸倍数，在这里降低它的倍数，可以同步看到它的实际尺寸，设置零点三五的倍数，尺寸八零零乘一五零三提示词引导系数默认七重绘幅度是影响重绘效果的最重要参数。重绘幅度。越高与原图差异就越大。先默认零点七五做一个测试，我们看到这是在没有任何提示词情况下，通过原图重绘产生的效果。目前的重绘值比较高，所以产生的效果与原图的偏差就非常大。我们可以降低重绘幅度，降到零点四左右再来生成测试。可以看到这次零点四的效果对原图的忠诚度比较高，基本上很接近原图了。
另一个影响重绘效果的重要因素是提示词，提示词可以对整个画面重绘的结果进行固定。我把最后修改完的提示词复制到这里，给大家解释一下这组提示词的含义大概分为几个类别，一个是描述性的提示词，比如说多个性感的女孩长发，包括他们的服装，铅笔裙和jacket短上衣。并且权重设置为一点三，加重影响力。这是关于身材的词汇。微笑是指他们的表情，握住麦克风是很重要的动作。比较重要的是背景设置，舞台比较朦胧。的物的背景，否则它会太清晰，会算出很多奇怪的东西来。剩下的都是一些品质词，这个是真实的，这是杰作最好的等等。这是一套常用的品质词，包括细节的眼睛和面部。
这是关于照明的提示词，我专门加了soft lighting，是希望产生柔和的照明，避免产生直射的照明和强烈的阴影。因为阴影太多会闪烁，还有一些电影胶片的照明效果。反向提示词我使用了几个比较简单的embedding模型。我们看一下在这里这个模型文件量很小，但是控制力很强。这是我安装的一些ebenin模型，有一些是专门用来处理错手错脚的，像这个bad hand模型，还有这种easy negative模型，内含了大量反向提示词。只要选择了这个模型，就相当于输入了很多反向的提示词。所以我大概只用了几个这样的模型。在c站下载embedding模型以后，把它装到embedding的文件夹下，刷新后就可以使用了。先把它关掉，再次生成图片。
这次的图像效果比刚才的更准确和细致了。打开文件夹，所有的图像默认是自动保存在s d的outputs文件夹中，图形图的图像保存在image to image的这个子文件夹下。最后一张就是刚才生成的图片，按下键盘上的左箭头键可以切换到前一张图片，所以可以很方便的利用左右箭头键做对比测试。可以看到这些关键词产生的效果影响，细节度和表现力都非常强。但是我们仔细对比这张图和原图，还会发现很多问题。这个手是抬起来的这两个手完全不一样，所以代表着它的控制其实还是很弱的。因为我们在重绘上设置的值是零点四，那如果把这个值设置的更低，就会越接近原图的效果。可以看到这个手就很接近原图了，但是重绘的效果就不是很明显了。虽然有反向提示词，但手部的错误还是很多。
所以在这种情况下。我们必须要引入control net的轮廓线控制。打开control net默认情况下会直接使用上面的图同步进行控制，除非你要用其他的图片进行控制。勾选启用新版本s d的control net会显示为绿色，在这里我们可以选择各种控制类型，点击line out线稿方式，这是系统默认提供的预处理器，把它改成写实线稿提取类型，控制权重默认为一，这是它的处理精度，默认是五幺二。控制模式选择更偏向control net，将刚才调整的重绘幅度恢复到零点四，这是随机种子的设置，可以把当前的随机种子固定一下。选择这个按钮就会把刚才随机生成的图片的种子数提取并固定，再次生成图片。看一下对比效果，我们看到渲染出来的图片旁边多了一个线稿图，我们就是利用这张线稿图对原来的图片进行控制的。可以放大看一下这个线稿图目前设置的是五幺二分辨率，所以效果还不是很清晰，我们可以将这个值提升到一千六左右，再次看一下渲染结果。它的清晰度。
细节比以前多很多。在他的影响下。我们看到这两个的手指效果就会比之前更准确。现在把重绘尺寸的倍数提升到最终渲染的尺寸二零四八乘以幺幺五二零点八的倍数，这是最终尺寸渲染下的结果。手指的效果会很清晰，包括连戒指都可以看到。为了更好的提升图片效果的准确性，我们可以加入第二个control net控制，选择第二个control net勾选启用这一次选择death深度控制。把预处理器改成周一的方式。这种方式运算速度很快，而且比较适合当前的视频。权重设到零点五左右就可以了。
分辨率不用设置，直接选择完美像素模式，让系统自动提供最好的方式。控制的模式还是更偏向c r l n e t。这个深度贴图产生的是这样一张黑白控制图，越白的地方越靠近镜头，越黑的地方就越远离镜头。对比两张结果图，这是加了深度贴图的效果，这是没有加深度贴图控制器的效果。可以看到效果虽然很细微，但是明显可以看到他对一些错误的纠正。如果对当前的图片不满意，还可以通过随机数的改变，多次抽卡来选择一张比较好的图片效果，最后再把种子数固定下来。我们必须利用统一的种子数才能够让序列帧保持稳定性。当前还有一个问题需要重视，看一下目前渲染的图的脸部、眼睛还是有一些问题的。因为我们整个脸部在画面上占的比例较小，导致计算精度达不到要求造成的。
所以可以打开系统提供的面部修复功能，这是渲染完的加入面部修复的效果，可以看到它和左侧的对比，脸部的特征更清晰，眼睛的问题也解决了，可以看到她的嘴部特征比原来的更清晰可见，包括高光，还有清晰的牙齿，包括眼睛瞳孔的细节都比以前更清晰了。在最终生成图片前，还可以适当的增加迭代步数，设置到三十左右，最后选择批量处理。在这里输入文件路径，就是要批量处理的图像来源路径，就是刚才我们新建工程文件夹的input的子目录。把这个文件夹的路径复制到这里。输出文件夹e b sense。刚才已经建好了一个output的子文件夹，把完整的路径复制粘贴到这里。再把control net的批量处理打开，这里不用添加任何内容，图片会跟着上面的路径同步按下生成按钮进行批量生成。这是提示我们可能会花的计算时间，大概需要一个多小时的时间。已经渲染完所有的图片了，先打开一张看一下，效果都很细腻，包括背景也是很稳定的一个模糊效果。
回到tempo k的插件里，进入到e b sense的流程。第一步要把工程文件夹路径复制过来。点击输入原视频文件，但是一定要选择a零一工程文件夹下的may video的视频文件。它其实是和原视频一样的文件，但可以把上一次的设置载入进来。包括三十帧的帧率，每边数量一只不拼图的方式，这是五帧抽一帧关键帧，这是最大序列帧数和边界的关键帧数。因为边界关键帧设置是二五帧抽一帧，所以二乘以五等于十，表示我们需要在重复的边界上有十帧序列帧输出分辨率就是最终生成动画的尺寸，这个可以自己来设置。刚才生成的图片的高度是幺幺五二，所以我们在这里输入幺幺五二，按一下预处理e b sense，它会把刚才我们拆出来的关键帧再重新放回去。主要是把我们刚才生成的output里面所有这些关键帧的新图，重新写到这几个子目录的case文件夹下。它的名称就是每隔五帧一个，所以这就是关键帧，关键帧被拆到了每个文件夹里，最终的一b sense运算一次只能处理二十帧图像，所以二十一就是一个文件夹，接下来就不是在s d里操作。
打开已经安装好的e b sense软件，在第一个零的子文件夹下，把frame文件夹拖到video上，把case文件夹拖到key free上。它会自动产生二十个图，按一下run out进行运算。第二个文件夹也要同样进行计算。我们可以同时再开一个窗口，双击e b sense软件图标，打开第二个e b sense，把这个frames放到video上，case放到k frame上。然后接下来就是等待显示绿色sense，就表示都处理完了。现在进入最后一步，我们只要在s d里面按一下这个重组e b sense就可以了。最终视频生成完后可以下载这个文件已经放在了工程文件夹的目录下，output就是生成的动画文件，打开它就看到生成完的视频了。可以看到这个手在动作比较大的时候容易出现一些虚影，如果想解决这个问题，只能减少插帧的数量，比如把五帧剪成四帧。最终的视频还可以拿到后期合成软件里进行专业的去抖动处理，那样的话效果就会更好。
当然现在的问题也是有的，例如这几个人其实长得都一样，因为作为人脸部的控制control net还不是很容易去识别。例如不同的人脸赋予不同的loa模型，这个还是比较复杂的。下一个练习我们将继续进行重绘，将真人视频转成二维和三维卡通的动画效果。下一节我们将学习把真实视频重绘成二维卡通和三维卡通等多种风格动画的效果，并且实现高精度四k画质的输出。全程干货。
