刺鸟图文助手
分镜在影视行业是一个非常常见的公司，大部分导演都会在开拍之前准备分镜，只能帮助他们理清思路和团队高效的协作。啊，唯一的问题就是这玩意儿你得会画画。那虽然好的导演不一定会画分镜，但是常规流程里面这个环节还是非常重要的。分镜师绘制分镜是目前最为标准的解决方案。那一位经验丰富的分镜师可以把导演的想法准确的转化为具体的视觉图像，随之而来的就是不菲的价格，还有较长的工期。
过去这个问题一直很难找到好的解法，但随着时代的发展，我们就开始发现a i这个技术或许在别的领域还有一点玄乎，难以落地，会有这个那个的版权问题。但是在分镜方面，a i真的有可能发挥巨大的作用。所以我们团队其实在二二年开始就在探索a i帮助化分镜的可能性，之前没有太多进展，但在今年我们受邀参加了英特尔酷睿ultra新品发布会，看到了media lake作为四十年以来最大的c p u架构变革，推出了c p u加g p u加n p u的x p u架构。那其中n p u还是专属的a i芯片。于是我们就和他们一拍即合。
在花了一些时间之后，我们的软件团队真的做出了一些成果，有可能会有一些贝塔版的东西可以测试。今天就来和你分享一下。在介绍我们的方案之前，让我们先来简单了解一下这个概念。就是文生图模型文字生成图片的技术主要依赖于一种被称之为神经网络的人工智能模型，特别是其中一种叫做生成对抗网络的模型有点抽象。那神经网络作为一种模仿人脑工作机制的算法，相信大家已经有所耳闻。
但是这个深层对抗网络听起来就有点奇怪了，对不对？我们尽可能用简单的概念跟你解释一下，我们可以把生成器想象成一个乙方制作公司。鉴别器就像一个甲方爸爸，这两个部分是相互竞争的关系。作为乙方制作公司，生成器尝试制作越来越逼真的图片来满足鉴别器。那作为甲方爸爸的鉴别器，则努力变得越来越聪明，以识别生成器的图片是否真正的符合给定的文字描述。通过这种持续的对抗关系，生成器不断的学习和进步，从而能够根据文字描述创造出越来越逼真和准确的图片。
当然生成对抗网络只是众多生成式模型中的一种。我们还有像flow base v a e或者division扩散模型啊，比如像当今应用最多的stable division就采用了扩散模型。那它和生成对抗网络有着本质的区别。更多是在现有的数据集的基础上加入噪声，再来反向的推算，重新从噪声里面产出新的信息。但用贴近生活一点的方法来比喻的话，就像是你抬头在看云的时候，或者是拿掉眼镜的时候，就模糊的信息就会激发你的想象。
它可以是各种东西，直到一天慢慢变得清晰，你就会得到一个较为确切的结果。这已经是当今非常成熟的方案。那么内部有过自己训练生成对抗网络的尝试。但是炼丹真的很。所以最终在生成图像的模型之上。
我们选择了扩散。我们一开始的想法也就非常简单，我们就像别的a i应用一样，用纹身图模型来生成分镜，理论上就可以了。但是结果你会发现，无论是准确度还是连续性，它都有不少的问题。那在一筹莫展之际，我们突然就想起来，很多导演在描述的时候经常会自己演变它的这个效果给别人来看。那问题在于导演演一遍虽然有一定效果，但是在面对不同性别的角色以及特殊视角，比如俯拍的时候，导演的意图仍然很难传递给团队的成员。
那单独借助a i用纹身图模型这构图，你会发现难以调整。而使用手绘草图来画个火柴人进行图生图，这动作和面部的细节也容易变得非常的不可控。那我们的核心不是替代行业的分镜师，我们希望是能帮助像我这样只会画火柴人的创作者做出一个更具象化辅助创作的分镜，而且有精准度。所以听下来我们需要一个中间步骤，让创作者能够快速映射它的意图，并且能够调节虚拟摄影机的位置和透视，来确保构图的准确性。所以或许最理想的方案就是让导演对着摄像头先演一遍，让ai先看一遍，然后把这些画面转换成我们更理想的分镜，这是不是可以？于是我们开始了研究。
首先接入了m m pose图像识别算法，算法可以记录图像中各个骨骼关节点的位置信息，然后把这些位置信息导入到一个三维坐标轴和模型小人来进行对应的绑定。那我们就得到了一个和照片姿势一模一样的模型小人。那接下来我们可以直接上手，在软件里面自由的调整小人的姿势，还有所需要的摄影机角度、景别等对应的参数，我们就获得了一个大概符。需求的模型小人的分镜。这些功能其实目前在我们的闪电分镜阿尔法内测版本里面都实现了。
如果想的话我们可以立刻上线一个beta的版本了哟。但是拿着这个光秃秃的白模当分镜，总感觉还是有点欠缺，还是有点不够意思，很难传达导演的想法。但是在最近在接受委托给英特尔的a i p c测试大模型升级速度的时候，我们就发现了一个新的东西，也许能够帮助我们让这个分镜更进步。它叫做c t r l net。这个可以精准控制构图的预处理器，或许是优化a i分镜的最好方案。
我们只要将刚刚构图好的画面导入到这个c t r l net，并且让它以这个开始线条模式或者是dept深度模式来运行。这样我们接下来得到的图片，理论上也会是基于所给图的构图，还有人物的动作所生成的这是过去a i比较难以实现的一点。在连耗了软件组老哥们好几天的工作时间之后，我们接入并且自行定制了一套可以精准控制分镜构图的纹身图模型，也可以把图像给集成进去。那接下来导演只需要在之前的白魔分镜的基础之上，再来描述一下他想要的角色，还有背景等具体的需求，他就可以得到一张更加完整的分。那比如说李思维最近迷上了韩舞，想给自己拍摄一支热辣的m v在过去他要花重金雇一位分镜师来给他画画，他得坐在边上不停的描述。
那么现在就不一样了，他只要用自己的镜头前面跳一遍他想要的韩舞，这些动作就会以这个小人的形式被记录下来。他可以自己选择所需要的景别角度，还可以自己描述这个m v的主角的形象。无论是聪明绝顶的经典造型，还是一头乌黑的浓密秀发，你看现在这个软件都可以兢兢业业的把这些图片。可以做出来，而且是基于他身上。非常的精准。
那另外为了方便大家操作，我们还可以定制一些提示词的预设。比如说一键点击就可以选择自己需要的常用场景，不管是室内室外还是山河湖海。当然在这些纹身图模型里面还有很多小技巧，有一些prompt，这很重要。如果感兴趣的话，我们将来可以专门做一期节目分享。但是理论上咱们的闪电分镜里面，现在你就有了这么一套依靠动作还有描述来画分镜的方案。
那以上流程多亏了英特尔酷睿ultra平台的优化，让stable division的纹身图模型可以做到四秒生图，九秒深高清图，让大家都能够轻松的a i那不仅是性能的提升，英特尔在能效控制方面也有很大的提升。根据极客湾续航测试模型，二零二三款u g一五h版本的续航为五小时三十五分钟，相比上一代二零二二款i七幺三六零p版本的三小时四十分钟续航有了很大的提升。现在我们大概算是跑通了这一套a i分镜的逻辑。但是a i生成分镜总像是抽卡一样，在生成的过程之中总会有一些比较抽象离谱的，也会有一些非常不错的。那么公司自己的导演在拍摄冲锋衣广告视频之前，拍了很多的照片，最终生成了这么一套集合的姿态系统，还有纹身图模型制作的分镜，我觉得还是挺不错的那接下来我们就会展示我们依靠这套分镜来做出来的成片。
这应该是我们第一次在真正意义上把a i身分镜这个流程应用到正经的制作之中。我们可以来看一下。不知道你觉得怎么样？最终的这个成果。那其实在这一次过程之中，我还尝试了另外一种a i的形式。我们片场不仅仅想解决前期化分镜的问题，我们更想尝试一些能够在后端结合我们前端化分镜的a i做成一个新的工作流。
那什么地方可以改呢？我们觉得一个最大的痛点就是粗剪。粗剪往往是剪辑是最痛苦的一点。这是一个高度依赖场地单信息去合板，还有去排列的枯燥操作。但这个传统的场地单都是纸质的，有时候送到剪辑师面前已经是一个包心菜一样，完全分不清楚到底什么时候拍了什么。但是现在如果我们用上这个叫做n box来自月流的小盒子，它可以记录每一条拍摄的素材，并且自动同步到云端。
而场地源可以直接看到云端的素材，输入对应的场地信息。同时这套系统也能够和我们的闪电分镜打通，能够识别到我们分镜的对应的信号。那这时候你会发现。分镜我们有了素材在云端了，对应的场地信息也已经登记上去了。那么理论上a i是不是可以做粗剪？所以咱们最终精简之前，我们这次剪辑师会看到这样一条片子，这是完全由a i自动生成的粗剪的画面，根据我们的分镜生成。
那目前这个生成粗剪的过程还比较初级，排列的还是比较粗糙的。但是这并不妨碍我们来畅想未来一个针对影视剪辑的a i大模型的诞生。它能够自动识别素材的入点，还有出点，还可以通过输入提示词，比如剪辑风格、剪辑节奏，还有场景情绪等等来实现纹身剪辑，而且是多种不同粗剪的操作，这个是不是很带劲？但这只是我们的想象，目前我们的公司也只是对a i方面进行了一点小的探索。不知道你觉得怎么样？但是说真的要把ai做起来，我觉得是要全行业一起来做的，我们真的只是做了一小点的探索。目前深圳市的a i在影视行业才刚刚开始应用，但是已经有了非常多的玩法，还有对应的可能性。
我们可以使用大语言模型来为我们的创意添砖加瓦，a来用纹身图模型为美术方案出谋划策，甚至还有像runway皮卡这样可以直接生成成片的方案。在这个由数据和算法编织的时代，a i已经成我们生活还有创造力的一部分。但是我觉得a i同样也不是创造力的替代，它反而是创作的全新开始，这是非常重要的一点。那最后非常感谢酷睿ultra对本期节目的大力支持。从英特尔一九九三年推出奔腾处理器，改变了个人电脑的形态，让个人电脑普及到千家万户，再到今年英特尔推出chery ultra，谁能想到正好三十年过去了。
三十年前推出奔腾的时候，没人能够想象电脑可以装在手提包里面随时出行的时候使用。三十年后的二零二三年被称之为ai元年。尽管我们只是在这次节目里面尝试了ai分镜的一小步，可能再过一零年回看的时候，a i已经彻底融入我们的生活。这还算值得期待。所以这是我们这期节目的全部内容，希望觉得有点意思可以全程闪电分镜试用一下。
目前的这个常规版，将来还有很多有趣的功能会上线。如果你喜欢这期视频的话，也请点赞和三连转发，对我们非常的帮助，那么我们下次见。
