IPAdapter是用于图像到图像调节的非常强大的型号。在给定一个或多个参考图像的情况下，您可以通过文本提示、controlnet 和蒙版来增加变化。可以把它想象成一幅图像的 lora 。
针对预先训练好的文本到图像扩散模型，提出了一种高效的轻量级适配器IP-Adapter来实现图像提示功能。
一个只有22M参数的IP-Adapter可以达到与微调图像提示模型相当甚至更好的性能。
IP-Adapter不仅可以推广到从同一基本模型微调的其他定制模型，还可以推广到使用现有可控工具的可控生成。
此外，图像提示还可以与文本提示很好地配合，完成多模式图像生成。
安装
===
进入 custom_nodes 目录
git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git
重启 comfyui
相关模型
Models
Image Encoder
-
models/image_encoder: OpenCLIP-ViT-H-14 with 632.08M parameter
-
sdxl_models/image_encoder: OpenCLIP-ViT-bigG-14 with 1844.9M parameter
IP-Adapter for SD 1.5
-
ip-adapter_sd15.bin: use global image embedding from OpenCLIP-ViT-H-14 as condition
-
ip-adapter_sd15_light.bin: same as ip-adapter_sd15, but more compatible with text prompt
-
ip-adapter-plus_sd15.bin: use patch image embeddings from OpenCLIP-ViT-H-14 as condition, closer to the reference image than ip-adapter_sd15
-
ip-adapter-plus-face_sd15.bin: same as ip-adapter-plus_sd15, but use cropped face image as condition
IP-Adapter for SDXL 1.0
-
ip-adapter_sdxl.bin: use global image embedding from OpenCLIP-ViT-bigG-14 as condition
-
ip-adapter_sdxl_vit-h.bin: same as ip-adapter_sdxl, but use OpenCLIP-ViT-H-14
-
ip-adapter-plus_sdxl_vit-h.bin: use patch image embeddings from OpenCLIP-ViT-H-14 as condition, closer to the reference image than ip-adapter_xl and ip-adapter_sdxl_vit-h
-
ip-adapter-plus-face_sdxl_vit-h.bin: same as ip-adapter-plus_sdxl_vit-h, but use cropped face image as condition
工作流测试
===
===
这里实现的功能为根据一张人物图像，生成一幅相关风景的图画
基本思路：
-
输入一张我们想要的风格人物照片
-
使用 Ipadpter 作为风格迁移工具，通过参数配置，生成一副相关的风景图，实现风格lora功能
工作流如下
这里采用了两次采样器进行图像的风格迁移，第一个采样器 IPA 的权重没有给太高，防止图像中出现人物，主要是生成图像的基本结构使其不包含人物，第二次采样为在第一生成的图像噪点图上进行精炼，所以该阶段的IPA权重给的较高，有更好的风格迁移效果；
这里为什么要采样两部采样精炼，因为在测试的过程中，如果想要一次性生成的话，即使IPA权重给的很高，也没法生成较好的风景，要不就是图像中出现了人物。
具体的结果对比放在下面了大家可以自行对比；
第一张为参考图；第二张为二次精炼出的图，第三张为二次精炼后通过放大得到的图，第四张为1步采样出的图。
可以明显的看到，经过二次精炼和放大后的图像比一次性生成的效果好很多，而且和风格参考图也更加接近。
以上就是对 IPA 的初步使用了，当然，IPA 的功能还有很多，比如说换脸，高级使用等，后续的话会继续更新学习的过程吧，如果喜欢此系列的小伙伴可以关注下后续IPA系列的继续分享。
模型和工作流已上传分享，扫下图 领取
写在最后
常用工作流已经给各位小伙伴打包好了，可以按需自取，无偿分享。
这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
若有侵权，请联系删除