使用StableDiffusion入坑AI绘画

最近使用stable diffusion软件生成ai图片，完全是一个小白在瞎摸索，想把了解到的一些东西记录下来。一方面自己当做笔记记录，另一方面分享给有需要的朋友，减少踩坑。

Stable Diffusion简单介绍

stable diffusion 稳定扩散，通常被缩写成SD。它的一个主要功能是根据文字生成图片，sd首先要根据人输入的文本提示词理解人的意图，然后根据ai理解的这个意图来随机生成图片。

sd的安装可以参考这里(需要电脑满足一些硬件配置)，链接里指导安装的是一个整合包，整合包可以理解为在安装了sd之外，还同时安装了一些常用的插件。

安装后运行软件，会在本地打开一个网页，界面长这个样子。页面上有两个输入提示词的地方(提示词和反向提示词)，提示词就是你希望ai绘制什么，反向词就是你希望ai避免绘制什么。（下文用sdwebui来指代这个页面）

现在来做一个实验，提示词输入Basketball，ai会绘制出什么图形呢？会是一张篮球的照片吗？来看结果

结果是这样的，有没有一点离谱。

练习书写提示词prompt

所以第一个问题就来了，怎么让ai理解自己的意思，也就是要怎么获取合适的提示词。（你可以把提示词理解为ai自己的方言，而你需要使用这种方言才能和ai正常沟通）（sdxl模型对自然语言的支持更好一些，后面会提到）

所以开始使用sd的时候，需要想办法写出准确的提示词prompts，获取提示词有这样几个方法
1）最基本的是使用翻译工具，直接翻译词汇，我习惯使用有道翻译
1）sd的图生图页面有一个提示词插件，上面有很多提示词可以参考
1）让sd根据图片反推提示词。
在sdwebui(上面的网页)中切换到图生图界面，点击上传图片，页面上有两个反推按钮，点击后sd会根据图片生成一些提示词，可以用来参考。

1）参考其他人的提示词
另外，ai生成的图片中是包含提示词信息的，在sdwebui中切换到png图片信息，点击上传图片后就会在右边显示出绘图时候使用的提示词信息。例如我们刚才的图片，提示词是basketball

sdwebui的功能很多，有文生图，图生图，多点点，熟悉它的使用。

总之，AI绘画真正用起来还是需要掌握一些知识和技巧的，离人躺着啥都不干AI自动能把工作全部做好的时代还很遥远。sd是目前非常好用并且前景光明的一个工具了。如果大家对这方面的东西感兴趣，可以自己平时多积累知识，也或者找一些课程来看，跟课程学相对来说是比较轻松的把。
正好我最近听了知乎知学堂的「AI绘画训练营」，真的非常推荐大家来听一听。课程都是知名设计师直播，教你使用Midjourney、Stable diffusion等专业的AI绘画工具，还总结了关键词技巧，让AI“听你的指令”出图！

下载使用lora

之后第二个问题就来了，怎么画出风格比较好看的图片。

可以下载一些lora，lora是一种小模型，你可以理解为在sd中使用的一个插件，这个插件会影响最终生成出来的图片。我习惯从bulibuli上下载lora，

在sd中添加和使用lora的方法如图（运行中添加新的模型或者lora，需要在sdwebui页面上点对应的刷新按钮即可，不需要重启软件）。（这时候本地lora是没有封面的，后面会提到，lora需要配合对应的sd模型版本）

Stable Diffusion软件目录介绍

models/ControlNet 控制器模型存放路径
models\Stable-diffusion sd大模型存放路径（常用的sd大模型分两个版本，sd1.5和sdxl，其中sdxl对自然语言的理解更好一些）
models\Lora lora模型存放路径（你在上面给sd添加的lora会自动放在这个路径里，你可以下载lora蜂封面保存成和lora模型名字相同的png文件，就能在sdwebui中显示lora封面了）

控制器，一致性扩散

sd生成图片有很大的随机性，怎么让sd生成的图片满足特定条件呢？你可以使用控制器controlnet。使用controlnet通常涉及两个部分，预处理器和模型（controlnet模型），还有一些其他参数，每个控制器的参数不尽相同。
控制器分类型和版本。版本和lora一样，1.5的控制器只能在sd1.5的模型上使用，xl的控制器只能在sdxl上使用。
控制器分类型。比如openpose控制器是控制图片中人物的姿态，canny、lineart可以控制轮廓，segmentation可以控制图案在图片中的位置分布等等。