Bootstrap

stable diffusion实践操作-VAE

系列文章总目录

stable diffusion实践操作



一、 前言

1 定义功能全局介绍

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调 ,名字中带有vae,后缀ckpt,pt
有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。

大部分底模有VAE,但是部分底模没有VAE,需要专门下载VAE才能使用。
最常用的VAE:vae-ft-mse-840000-ema-pruned
功能:用来饱和度和细节提升

色彩饱和度提高

图片细节增强

SD webUI位置

2 模型全局介绍

2.1 后缀以及存放位置

下载后存放地址:sd-webui-aki-v4.2\models\VAE

2.2 查看大模型是否有VAE

具体加不加VAE,需要详细看大模型说明,如果没有说明,那么就先不要加看看结果,如果结果比较灰蒙蒙的,那么就需要加。


二、正文

1 原理

首先贴出知乎文档,后期慢慢研究

1.1 基础原理

VAE其中包括了编码器和解码器,

在VAE的训练过程中,利用VAE的编码器对图片进行压缩,提取图片的潜在表征使得训练加速。

还原过程,将图片解压使其还原成一个清晰的图片:

SD将我们的文字集以及大模型的图像集,通过编码器(CLIP),转化成机器可以识别的代码,然后将这些代码迭代到符合我们描述的图像代码中,这些代码发送给了VAE进行解码,输出为图像。就这样SD通过我们的文字提示词,生成了基于大量图片训练的大模型的风格。

下面是一张比较严谨的流程

2 使用

2.1 增加饱和度

2.2 增加细节

3 下载

3.1 自动下载

3.2 手动下载

下载地址:(后期补充)
下载后存放地址:sd-webui-aki-v4.2\models\VAE


三 、总结

例如:以上就是今天要讲的内容,本文仅仅简单介绍了VAE的原理和使用。

;