一.前言
你知道吗?能用stable diffusion画不能动的好看小姐姐已经out(落伍)了,现在大家画的小姐姐已经可以动起来了哦。
有人说,之前也可以啊。
是,之前的当然也可以,但是都需要有参考视频,某种意义上,只是把原有的视频换一种滤镜使之风格化,还不能称得上是无中生地创作视频。
而Runway之类的工具,的确是可以创作视频,但是并没有开源,无法本地化,还需要付钱才能使用。
而现在,利用animatediff,作者直接开源了代码并放在github上,我们也可以直接本地就可以从无到有生成一段视频(动图),而无需任何参考视频,只需要提示词就能完成。
Animatediff-github官方参考视频1
)
Animatediff-github官方参考视频2
现在也支持直接使用stable-diffusion-webui通过安装插件的方式即可生成属于你自己的会动的动图。
二.教程
下面我们来教大家,如何使用stable diffusion webui来创建会动的图片。
1.更新sdwebui和controlnet
(1)把你的stable-diffusion-webui 升级到1.60或者以上。版本号在sdwebui网页底部即可看到。(如果版本号满足1.60或者以上则无需升级,如果不满足则可以用git pull之类的方式升级,可以查看我的历史文章)
(2)把controlnet升级到1.1.410以上,这个直接在controlnet小窗的左上角就能看到,如果不满足的话,更新或者下载最新controlnet zip包解压覆盖原有controlnet extension文件夹即可。
2.安装了animatediff插件
可以直接下载 https://github.com/continue-revolution/sd-webui-animatediff 的zip 代码包,再解压到stable-diffusion-webui/extension文件夹下面。
也可以用上述地址在“extensions拓展“-“install from url从网址安装“中输入地址安装。
也可以从拓展extensions-avaliable里面安装。
(插件安装详细教程可以查看历史文章)
安装好后,别忘了启用插件。
现在,你就可以从文生图页面或者图生图页面下方找到并使用animatediff插件了。
3.下载Animatediff模型
在 https://huggingface.co/guoyww/animatediff/tree/main下载mm_sd_v15_v2.ckpt模型。放到stable-diffusion-webui/extensions/sd-webui-animatediff/model文件夹下面。
(Lora模型非必须下载,但下载之后,不同的lora可以控制不同的镜头,比如镜头往左,往下,放大,缩小之类。有需要的同学也可以尝试,像使用普通lora时在正向提示词区域引用即可。)
4.开始生成
基础模型用基于SD1.5的都行,SDXL貌似暂时还不支持。
正负提示词我们按照正常的习惯写就行。分辨率不要太大,第一次先用512x512生成。(后续生成没问题再慢慢放大尺寸)
Animatediff这里,记得选择刚刚下载的mmv15v2模型。其他的参数初次使用不建议动,用默认参数生成一次。
(其他参数说明请参考 https://github.com/continue-revolution/sd-webui-animatediff#webui-parameters)
然后等待生成,大概一分多钟(注意:不同显卡速度可能不同),就能生成一个8帧/秒,总共16帧(2秒)的gif动图了。
图像生成后,会自动保存gif到stable-diffusion-webui\outputs\txt2img-images\AnimateDiff里面。
可以进入文件夹里用支持gif的图片查看器查看。
三.其他说明
1.多次生成短gif比单次生成长gif效果要好
目前也尝试过把总帧数设置较大,比如64帧(8秒)或者以上,但是太长的话就会失去连续性,一般2-4秒的动图连续性保持较好。因此可以用图生图模块控制人物主体或者关键帧去生成一段一段的短视频再拼接起来,其结果比单独生成一段长的视频效果要好。
2.雪花问题
有时候乱改参数有时候会生成很多雪花点无意义的动图,这时候改回默认参数没用,建议是重启sdwebui,即可解决问题。
3.展望
目前生成视频当然还很初级,至于说更长更精致的视频,甚至电影级的长视频距离还远着。
不过由于代码开源,目前已经有一些调教或者参考animatediff后封装的应用网站出现了,比如pika,genmo,moonvalley之类的很多工具做出来的效果已经渐渐越做越好了。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉大厂AIGC实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉12000+AI关键词大合集👈
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】