大家好呀!我是程序员晓晓
收到一张图片或找到一张图片以后,冥冥之中就听到一个声音 “对!就要这个感觉,具体怎么做你想想“ 不知道这是不是各位设计师们都经常遇到的一个场景?
那么有一个好消息和一个坏消息:“坏消息”是目前的各个主流AIGC已初步具备了这个能力,距离工作被AI取代好像又进了一步。“好消息”是目前的这个能力还比较初级,还可以再安心一段时间
以上只是个玩笑,那么现在我们非正式的测试一下在Stable Diffusion生态中已因为人物“换脸”而大杀四方的 “IP-Adapte” 在室内空间表现如何吧。本次测试均基于ComfyUI,
如需要ComfyUI的整合包请看文末扫描获取哦~
老规矩先上结论,致敬大师+牛刀小试:
Prompt:Interior design,luxurious and modern,Sunlightshines into the room from outside the window,Best quality,masterpiece,high-definition,super details,
Negativeprompt:Worst quality,low quality,poor proportion,blurry,horror,(nude,naked,nsfw),lowres,badanatomy,badhands,text,error,missingfingers,extradigit,fewerdigits,cropped,worstquality,lowquality,normalquality,jpegartifacts,signature,watermark,username,blurry,Ugly,zombie,horror,
CFGscale:1.5
Steps:5
Sampler:dpm++_sde
Size: 1536x688
Seed:78771417550297
Model:juggernautXL_v9Rdphoto2Lightning
Controlnet0:LineArtPreprocessor+t2i-adapter_diffusers_xl_lineart
Controlnet0 Weight:0.2
Controlnet1:Zoe_DepthAnythingPreprocessor+t2i-adapter_diffusers_xl_depth_midas
Controlnet1 Weight:0.8
粗测完这感受怎么说呢?只能说“好消息”好像也没有那么好
整个图面在结构控制层面继承了AIGC一贯的我行我素,但在风格和氛围层面算是很好的完成了转换。配合SDXL Lightning版本模型的加持,实现了6-7秒一张图的快乐(RTX A4500)不废话了测试开始,我们将重点测试IP-Adapte的参数影响及风格适用性。
01、IP-Adapte的参数组合测试
weight权重 | noise噪波增强 | weight_type权重类型
参数测试以前文的设置为基准进行,整个跑下来个人比较喜欢的是original模式下的效果。具体结论如下:
-
weight_type权重类型,对图片的锐度有比较明显的影响,整体来说锐度从高往低是channel penalty>linear>original。也就是说希望图片更柔和时优先考虑original,希望更锐利时优先考虑channel penalty。
-
weight权重,权重高低和权重类型有交明显的对应关系。original建议优先考虑0.6,0.8以上容易出现过多细节;linearoriginal建议优先考虑0.6,0.7以上容易出现过多细节;channel penalty建议优先考虑0.4,0.5以上容易出现过多细节
-
noise噪波增强,在低权重时对图片影响非常小,当权重拉高时会增加图片细节,但从测试来看增加的细节可控性不强
original 测试详情 | weight权重0.4-0.6表现较好
linear 测试详情 | weight权重0.4-0.6表现较好
channel penalty 测试详情 | weight权重0.2-0.4表现较好
02、IP-Adapte的风格适用性测试
在original模式下进行多风格与不同权重的测试
这个测试没有啥技巧输出,总结下来就是两个字 “真香” 风格适应性非常强,可以用几乎任何图片来尝试,用来发散思路非常适合。
03、IP-Adapte安装简介
基于ComfyUI版本的IP-Adapte安装
官方GitHub链接:https://github.com/cubiq/ComfyUI_IPAdapter_plus?tab=readme-ov-file
注意:此方法需要科学上网,如无法下载,请看文末获取本地插件安装包
1、直接在ComfyUI界面内安装插件本体。
PS:第4步因为我这里已经安装了,所以右侧没有显示安装按钮。如没安装过直接点安装即可。
2、安装配套模型、Lora、CLIP解码器。
2.1、CLIP解码器,在GitHub官网的位置如下图,当然也可以在ComfyUI管理器中通过安装模型来安装
PS:直接下载的两个文件是重名的,需要自行重命名
下载后需要存入ComfyUI/models/clip_vision/
2.2、模型和Lora在GitHub官网的位置如下图,左边的两列是模型,右边的两列是Lora
下载后模型需要存入ComfyUI/models/ipadapter/
下载后Lora需要存入ComfyUI/models/loras/
结束语
整体测试下来,IP-Adapte在室内风格迁移中的表现算是非常惊艳的。在参数精调后基本可以达到直出图的效果。祝大家玩得愉快!后续我们会基于室内设计从业者得视角进行对此更多的探索!
IP-Adapte的几个配套模型、Lora、CLIP解码器文件都很大,需要的朋友可看下方扫描获取哦
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。