Bootstrap

【Stable Diffusion】ip-adapter:SD也可以垫图了,一张图复刻lora效果

大家好我是AIGC小王

ip-adapter是Stable Diffusion推出的一项全新功能,它允许用户通过简单的操作,在图片上进行效果叠加,从而实现类似LoRA的效果。无论你是想要改变图片的风格、色调,还是想要添加特殊效果,ip-adapter都能轻松应对。这一功能的出现,为图像编辑和创作带来了极大的便利。

1.ip-adapter是什么?

ip-adapter是腾讯Ai工作室发布的一个controlnet模型,可以通过stable diffusion的webui使用,这个新的功能简单来说,他可以识别参考图的艺术风格和内容,然后生成相似的作品,并且还可以搭配其他控制器使用。可以说SD已经学会临摹大师的绘画并且运用到自己的作品上了。

在这里插入图片描述

2.ip-adapter生成效果

官方对ip-adapter进行了测试,如下图,第一列是输入的图片参考,第二列是输入的其他控制参数。最后一列是使用ip-adapter生成的效果,看测试效果能明显看出,ip-adapter的方法不仅在图像质量方面优于其他方法,而且生成的图像与参考图像更好地对齐。

ip-adapter使用SD1.5的模型效果明显优于SDXL模型的效果,不知道是不是由于官方训练时使用的基本都是SD1.5模型的原因。

在这里插入图片描述

3.ip-adapter如何使用?

首先,我们打开webui界面,在controlnet选择ip-adapter,选择一张参考图,我上传了原神八重神子,然后,我们选择一个和参考图片风格类似的二次元大模型,调整预处理器和图片尺寸,最后点击生成按钮。
在这里插入图片描述

生成效果对比:

从生成图可以看到人物的形象,姿态复刻得很接近了。
在这里插入图片描述

在这里插入图片描述

再使用卡通头像作为试验:受大模型以及提示词影响,相识度略有下降。

在这里插入图片描述

4.如何在SD WEIUI 下载使用ip-adapter呢?

环境要求:

1.将本地的stable diffusion整合包(比如秋叶版本的)webui的版本更新到v1.6。


2.将controlnet更新到v1.1.4之后的版本。

controlnet模型安装:准备好环境之后,需要下载controlnet最新的ip-adapter模型, 放到stable-diffusion-webui根目录\extensions\sd-webui-controlnet\'models。

在这里插入图片描述

ip-adapter插件和模型:(文章下方扫描自行获取)安装好模型再重启webui即可。

5.ip-adapter出现错误,如何解决?

1.检查webui版本是否是v1.6及以后的版本。

2.controlnet的ip-adapter模型是否安装并启用。

在这里插入图片描述

如果未安装,请使用上方的网盘链接进行下载。

检查webui根目录\extensions\sd-webui-controlnet\annotator\downl oads\clip_vision\ 目录里有没有这两个模型:【clip_g.pth】【clip_h.pth】

如果以上都不能解决问题,请更新一下pytorch版本。打开启动器,在“高级选项”-“环境维护”-选择至少torch2.0.0版本及以后的版本安装更新。

在这里插入图片描述

总结,在人物形象和画风复刻的2个层面上,ip-adapter的效果可圈可点。优势就是不需要训练lora,能达到基本的一致性效果。在商业应用层面,可以精准捕捉客户对整体氛围的需求,快速生成AI效果图供客户选择。

最后,如果这篇文章对你有帮助,请不要忘记点赞、关注、收藏。

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

悦读

道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。

;