Stable Diffusion｜AE2SD 镜头控制制作AI动画

今天要分享的是一个用AE控制Deforum镜头的教程。

Deforum是一款基于Stable Diffusion的动画生成工具，可以根据文本描述或参考视频生成图像序列帧，并将这些序列帧合成视频。与AnimateDiff不同，Deforum会产生一些闪烁效果，而AnimateDiff则不会。

随着越来越多公司利用AI动画制作宣传广告视频，那么今天就来看看如何利用Deforum和AE来制作动画视频。

在这里插入图片描述

1 插件以及脚本安装

在开始之前，需要先下载安装一个**“AE**”脚本“Motion Bro 4”然后还需要下载一个“AE2SD”的预设，然后SD需要安装“Deforum”的插件。

AE脚本安装

首先需要下载“Motion Bro 4”脚本，可以去官网直接下载，可以选择在“Creative Cloud”安装也可以选择“Manual installation”手动安装。

脚本链接：https://motionbro.com/plugin/

选择“Creative Cloud”安装的直接安装就可以，选择手动安装的，下载完脚本之后，将脚本放到“adobe-CEP-extensions”文件夹里面就可以。

Windows放入：Program Files (x86) > Common Files > Adobe > CEP > extensions

MacOS放入：Library > Application Support > Adobe > CEP > extensions

安装好脚本之后，还需要下载一个“AE2SD”的预设。

预设下载链接：https://motionbro.com/products/ae2sd-export-after-effects-camera-data-to-deforum-stable-diffusion/

（网络不太稳定的小伙伴文末会提供预设下载）

直接点击“GET IY NOW”下载即可

安装好脚本然后下载好预设之后，打开“AE”，点击顶部的“窗口”-“扩展”就可以看到“Motion Bro 4”的脚本来，点击打开即可。

（对了，脚本安装之前记得在“AE”-“首选项”-“脚本和表达式”里面勾选第一个“允许脚本写入文件和访问网络”）

打开“Motion Bro 4”脚本，将“AE2SD”的预设拖到“Motion Bro 4”脚本里面就可以啦。

好啦，AE的脚本到这里就安装完啦，接下来需要在Stable Diffusion中安装“Deforum”插件。

Deforum插件安装

“Deforum”插件跟其他的SD插件一样，可以在“扩展”-“可下载”-输入关键词“Deforum”即可直接安装，也可以通过Github链接安装或者直接去“Github”下载安装包直接安装。

插件链接：https://github.com/deforum-art/sd-webui-deforum

（网络不太稳定的小伙伴在文末会提供插件下载）

“Deforum”插件安装完成之后，前期所需要的插件以及脚本就都安装完成啦，
如果使用“Deforum”有报错的小伙伴，可以在“sd-webui\models\Deforum”看一下有没有“AdaBins_nyu.pt”、“dpt_large-midas-2f21e586.pt”这俩模型，如果没有可以在文末下载，然后放到“models\Deforum”就可以了。

2 AE设置
安装完以上的插件以及脚本之后，就可以开始设置AE啦。

打开“AE”，创建一个新合成，这里的“尺寸”和“帧速率”需要和Deforum插件里面的“高宽”和“帧率”保持一致，然后再设置一下视频时长就可以了。
点击顶部的“窗口”-“扩展”打开“Motion Bro 4”。
这里要创建“2D”的就点击“Add 2D Scene”，要创建“3D”就点击“Add 3D Scene”，我这里要创建的是3D，我就点3D的。创建完之后，它就会自动给我们创建几个图层。

镜头控制是在第一个“图层”的“变换”里面控制，主要需要调的是“X、Y、Z 位置”和“X、Y、Z 轴旋转”。

这里就可以开始打关键帧啦，这里有个点，就是每当中间的“网格图”移出画板时，都需要在“Motion Bro 4”里面添加一个“参考对象”。

比如：我在“第0帧”的时候打一个关键帧，然后在“2S”再打一个关键帧，然后参数改为“600”，让中间的网格图，移出画板，那么这个时候就需要在“2S”处，增加一个“参考对象”（打开“Motion Bro 4”点击添加3D下方的“参考对象”即可添加）

Tips：参考对象可以理解为提示词的画面，“Deforum”会根据你指定的帧数生成相应的画面。例如，在0帧时使用一个提示词，“Deforum”会生成一个画面；而在第90帧时使用另一个提示词，Deforum则会生成另一个画面，而“参考对象”就是用来控制提示词画面的。

6. 打完所有的关键帧后，可以给关键帧增加一个“缓动”效果，然后在调整一下曲线，让画面动的更自然一些，还可以打开“Motion Bro 4”，给画面增加一些“抖动”效果。

好，设置好以上的参数之后就可以打开Stable Diffusion设置“Deforum”插件啦。

2 SD Deforum设置

AE设置完成之后，接下来需要打开Stable Diffusion设置“Deforum”插件。

打开“Stable Diffusion”，在顶部菜单栏点击“Deforum”然后在“运行”中主要是设置“宽高”、“采样方法”、“迭代步数”和“随机种子”，这些参数都根据自己的需求设置即可。
接下来比较关键的就是“关键帧”，在“动画模式”中可以根据刚刚在AE中的设置选择“2D”或者“3D”，然后“边界处理模式”选择“覆盖”，“最大帧数”决定了最后视频的时长，这个可以根据刚刚在AE中设置的每秒帧数视频时长获取。比如我设置的每秒30帧，然后视频时长是9秒，那么就是309=270（最大帧数）。
设置完以上的参数之后，在“关键帧”滑到下方“运动”在这里就可以设置镜头。打开“AE”在“Motion Bro 4”中点击“Copy Data”-点击对应的“3D”或者“2D”。
然后将“Translation X、Y、Z”和“Rotation 3D X、Y、Z”参数复制粘贴到运动参数里面即可。
【“Translation X、Y、Z”对应的是（平移 X、Y、Z），然后“Rotation 3D X、Y、Z”对应的是（3D 翻转 X、Y、Z）】
设置好“关键帧”参数之后，再点击“提示词”，提示词这里前面的数字代表着帧数，后面的就可以输入正向提示词和方向提示词，正向提示词正常写就可以，反向提示词需要输入“- -neg”来写。

这里提示词的帧数不知道该怎么设置的，也可以打开“AE”在“Motion Bro 4”里面点击“Other”-然后再点击“Prompts by Markers”，复制粘贴到“Deforum”插件里面然后改一下后面的提示词即可。
设置完“提示词”之后，点击“输出”，这里只需要设置一下“帧率”就可以，其他的可以保持默认，帧率就根据AE里面的每秒帧率设置就可以，比如在AE设置的是每秒30帧，那么这里改为30即可。
设置完以上参数之后点击“生成”即可，大概需要等待几分钟的时间。