面向小白的ControlNet全面教学！如何安装和使用ControlNet？_如何安装controlnet

大家好我是AIGC阿道夫

一、引言

二、什么是ControlNet

三、ControlNet的安装步骤

四、ControlNet的使用步骤

五、总结

引言

如果你已经使用AI绘图一段时间了，那么对于生成图片的随机性肯定有所了解。由于Stable Diffusion 模型生成的图片具有极高的随机性，微小的变化，无论是在提示词（prompt）中添加一个关键词，还是调整生成的图片尺寸，都可能导致生成的图片产生显著的变化。这种情况下，控制图片生成的结果就像在玩一个数字游戏：随机生成一个数字，然后试图选出一个更大的数字，无法预测，也无法精确控制。

然而，ControlNet 的出现，为这个问题提供了解决方案。ControlNet 可以使你更精细地控制生成图片的各个方面，包括构图、人物姿势甚至图片色彩等，从而大幅提升了生成结果的精确性和可控性

接下来，我将详细介绍ControlNet的功能以及使用方法。

什么是ControlNet？

ControlNet是一种强大的SD webui插件，它通过神经网络模型来实现对生成图像的精确控制。当然，它本身的应用远不止与此，ControlNet 在许多领域中都具有广泛的应用，包括艺术创作、图像修复、虚拟场景生成等等。

在传统的图像生成任务中，我们通常使用提示词（prompt）来引导模型生成特定类型的图像。通过输入适当的提示词，我们可以约束模型生成与提示词相关的图像内容。然而，只使用提示词来引导模型生成图片仍然太过随机，而ControlNet则刚好提供了一种更精确的限制图像生成范围的方法。

ControlNet插件通过复制参考图的构图或人物姿势等多种参考图信息来辅助stable diffusion生成与参考图在某些方面非常相似的图像。它使用了预处理器模型和ControlNet****模型的组合来实现这一目标。

使用ControlNet插件辅助SD生成图片的第一步是将输入的图像进行预处理，例如转换为边缘图、深度图或人物姿势图等特定形式。预处理器模型在生成过程中起到了重要的作用，为ControlNet模型提供了合适的输入。

除了随机洗牌之外，预处理器的处理结果仅与选择的处理器类型有关，而与其它参数如提示词或图片参数等均无关。

ControlNet模型是ControlNet插件的核心。第二步是它接收经过预处理的图像，并根据参考图的构图或人物姿势引导SD模型生成相似的图像。这样，我们可以通过控制参考图的选择以及配合相关的参数设置来实现更可控的图像生成。

在整个过程中，预处理器生成的图像经过ControlNet模型的处理，然后输入到stable diffusion中进行最终的图像生成。因此，通过选择合适的参考图、预处理器、ControlNet模型以及参数，我们能够获得更符合预期的图像。

ControlNet插件和模型的安装

下面介绍 ControlNet 的安装和更新步骤，如果你已经安装了这个插件，那么可以直接跳过第1和2节的内容。更新 ControlNet 的方法看本章的第3节内容。第4节内容介绍了预处理器模型下载报错的解决办法。

1、ControlNet 安装步骤：

①　打开sd webui，点击 extension（扩展）

②　点击 install from URL（从网址安装）

③　在 URL for extension’s git repository （扩展的 git 仓库网址）输入：

https://github.com/Mikubill/sd-webui-controlnet

④　点击 install（安装）

⑤　显示安装成功后，重启 SD webui，如果安装成功，你应该可以在如下界面找到 ControlNet 插件。

2、模型安装步骤：

只有 ControlNet 插件还无法正常运行，还需要另外下载搭配使用的 ControlNet 模型。

①　进入网址：

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

②　下载 [.pth] 结尾的文件，可以全部下载，也可以按需要下载

③　把下载的模型移动到 stable-diffusion-webui\extensions\sd-webui-controlnet\models 路径下

3、ControlNet 更新步骤

目前 ControlNet 的最新版本为V1.1.224，如果还没升级到该版本，那么按以下步骤进行升级。

①　进入 \stable-diffusion-webui\extensions\sd-webui-controlnet 路径

②　在路径框内输入 cmd，打开 cmd 面板

③　在 cmd 内输入 git pull 即可

4、预处理器模型安装

预处理器模型一般会在你使用的时候触发自动下载，但是有时候由于网络原因经常导致下载报错，这时候就需要进行手动下载了。

①　因为下载的报错信息格式都差不多，因此只以下面报错为例

②　在报错信息中已经写明了下载的地址以及需要保存的路径，因此只需要按住Ctrl键再单击红色框内的网址即可自动打开浏览器，跳转到下载地址

③　将下载的模移动到报错信息中指定的路径下即可。

④ 另外，如果你想一次性下载所有的预处理器模型，这是所有模型的下载链接：

https://huggingface.co/lllyasviel/Annotators/tree/main

ControlNet 操作步骤

现在，你应该已经安装好 ControlNet 插件了，那么下面我以一个简单的例子来介绍如何使用这个插件。

我将以下面这张图片为例介绍使用 ControlNet 生成图片的具体步骤。

1、txt2img界面下的设置

①　选择一个模型。你可以选择你自己喜欢的模型，在这里我是用的是 Realistic vision V2.0

②　写正向提示词（prompt）和反向提示词（negative prompt）

Prompt: raw photo, 1girl, beautiful, detailed eyes, pink hair, pink dress, collarbone

Negative prompt: ugly, deformed, distorted, bad

③　设置其它参数。在这里，图像的宽和高设置为512x512，CFG = 7，seed = -1

2、ControlNet 设置

①　点击右上角的三角形符号即可展开 ControlNet 的参数设置

②　上传图片

③　点击 Enable（启用），勾选 Pixel Perfect（完美像素模式）就不用手动设置预处理器分辨率了，当生成图片过程报显存不足的错误时勾选 Low VRAM（低显存模式）

④　选择一个 Control Type（控制类型），这里我使用的是 Depth（深度）。这里需要注意，老版本的 ControlNet 是没有控制类型这个选项的，只能直接选择预处理器和模型。另外，点击预处理器和模型中间的💥图标，可以提前预览预处理器的生成效果。实际操作过程都建议先点击💥图标，提前查看预处理效果，满意之后再进行图片生成的操作。