【模型介绍】这个可以让你玩出花儿来的模型：IP-Adapter

所有的AI设计工具，模型和插件，都已经整理好了，文末扫码即可免费获取噢~

StableDiffusion因为它的出现，能力再次上了一个台阶。那就是ControlNet的1.1.4版本新发布的预处理器IP-Adapter，因为有了这新的预处理器及其模型，为SD提供了更多便捷的玩法。他可以识别参考图的艺术风格和内容，然后生成相似的作品。如果再搭配CN的其他控制器组合使用，可以玩出更多的花样。

可以说，SD因为IP-Adapter的出现，可以更好地学会临摹大师的绘画并且运用到自己的作品上，让你的创造力发挥到极致。‍

IP-Adapter控制器介绍

【1】模型介绍

在IP-Adapter刚发布阶段，就分支持SD1.5和SDXL两个版本的预处理器和对应的模型，大家在调用预处理器和模型的时候要注意与基础模型都要匹配好。

陆续有相关的模型推出，特别是针对脸部处理的IP-Adapter模型，这就为我们进行参考图的人脸进行更完整地契合提供了更多可能。

到现阶段为止，尤其是SDXL版本的，有2个预处理器和对应的4个模型，在使用上注意预处理器与模型的匹配，带“plus”的预处理器，就需要调用同样带“plus”的模型来使用。

SD1.5的则只有一个预处理器“ip-adapter_clip_sd15”和与之对应可用的5个模型。

模型在篇末提供了下载地址，相同名的模型，只需要下载一个即可，推荐是safetensors格式的。

【2】模型存放路径

模型文件存放路径则有2处，一般我是将SD1.5的存放在SD安装目录下的\extensions\sd-webui-controlnet\models文件夹中，与SD1.5版本支持的CN模型放一起。将SDXL的存放在SD安装目录下的\models\controlnet文件夹中。

【3】一般使用方式

一般用到IP-Adapter较多的是用于风格转换和艺术加工。例如：

风格转换（写实转为二次元）

用 xxmix9realistic_v40模型将风格转换为写实

用meinamix_meinaV9模型将风格转换为二次元

艺术加工（添加元素）

【4】可以的更多玩法

在调用IP-Adapter控制器的同时，我们还可以开启其他控制器用不同的预处理器和模型通过不同的参考图，调节权重值，来配合成图，比如下图，这只是用到了Canny控制器来配合出图。因此我们在学习使用一个工具的时候，需要结合实际需求，调用什么类型的预处理器，可以有怎样的组合，调节多大的权重值，实现自己想要画面的控制，是我们可以多尝试的：

作跑图测试比对模型效果

从上面的示例，可以看出我们借助IP-Adapter这个控制器可以很好地实现风格迁移和艺术加工。此外，我们借助这些名称中带有face的模型，我们可以很好地实现将参考图的人像进行风格转换为我们想要的风格仍能保留参考图人像的面部特征。

接下来我们对SD1.5和SDXL的不同脸部特征的风格转移进行一个比对，个人感觉，SD1.5的模型表现能力似乎更优于SDXL的。

我们所用到的测图模型

二次元的SDXL模型是：kohakuXL_alpha7；

SD1.5的是：meinamix_meinaV9

2.5D的SDXL模型是：MR 3DQ _SDXL V0.2；

SD1.5的是：disneyPixarCartoon_v10

写实的SDXL模型是：nightvisionXL；

SD1.5的是：photon_v1

我们用我们的“虎妞”来给大家做个演示，看看用IP-Adapter后，进行风格转换后的人物特征在哪个模型下能够做到很好的迁移。

【1】ip-adapter_sdxl模型

可以看出，用通用的模型对成图的画面构图和色彩等分配还是有起到了影响作用，但对人物的面部特征并不能很好的做到一致性。

成图的风格会跟随着我们所使用的基础模型的风格展现。

【2】plus_sdxl_vit-h模型

【3】plus-face_sdxl_vit-h模型

使用了带face的模型来IP-Adapter，可以看出对人物的面部特征是有一定的迁移，但即便权重调到最大为1，也不是能完全达到我们想要的预期效果。但可以通过这种方式来实现我们想要固定人物面部特征的绘画。

【4】plus_sd15模型

全身照

大头照

【5】plus_face_sd15模型

全身照

大头照

【6】full-face_sd15模型

全身照

大头照

【7】小结：

用IP-Adapter来作人像的风格迁移，如果是全身照，可能人物的面部特征依然还是不能很好地得到相似的效果。但如果是用大头照，特写的画面来做风格迁移，则通过带“face”的模型可以得到一个相对不错的效果，尤其是转换成不同风格的情况下，更可以做到模糊的相似的人物大头像。

此外，为了让转换后的成图与参考原图更接近，建议多开一个控制器用canny或是lineart这类预处理器来控制下画面，效果会更好。

如果还可以再配合用上人物本身的lora或提示词，那么成图的相似度会再次提高。

注意：不要开ADtailer修脸，似乎会有更相似的效果~！！可以开高清修复，但重回幅度建议在0.3左右。如果要开启ADetailer，也是在有特定人物LoRA可调用的情况下开启后，将LoRA写入其提示词框内使用。

文章使用的IP-Adapter模型、AI绘画SD整合包、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。