系列文章总目录
文章目录
一、 前言
1 定义功能全局介绍
VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调 ,名字中带有vae,后缀ckpt,pt
有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。
大部分底模有VAE,但是部分底模没有VAE,需要专门下载VAE才能使用。
最常用的VAE:vae-ft-mse-840000-ema-pruned
功能:用来饱和度和细节提升
色彩饱和度提高
图片细节增强
SD webUI位置
2 模型全局介绍
2.1 后缀以及存放位置
下载后存放地址:sd-webui-aki-v4.2\models\VAE
2.2 查看大模型是否有VAE
具体加不加VAE,需要详细看大模型说明,如果没有说明,那么就先不要加看看结果,如果结果比较灰蒙蒙的,那么就需要加。
二、正文
1 原理
首先贴出知乎文档,后期慢慢研究
1.1 基础原理
VAE其中包括了编码器和解码器,
在VAE的训练过程中,利用VAE的编码器对图片进行压缩,提取图片的潜在表征使得训练加速。
还原过程,将图片解压使其还原成一个清晰的图片:
SD将我们的文字集以及大模型的图像集,通过编码器(CLIP),转化成机器可以识别的代码,然后将这些代码迭代到符合我们描述的图像代码中,这些代码发送给了VAE进行解码,输出为图像。就这样SD通过我们的文字提示词,生成了基于大量图片训练的大模型的风格。
下面是一张比较严谨的流程
2 使用
2.1 增加饱和度
2.2 增加细节
3 下载
3.1 自动下载
3.2 手动下载
下载地址:(后期补充)
下载后存放地址:sd-webui-aki-v4.2\models\VAE
三 、总结
例如:以上就是今天要讲的内容,本文仅仅简单介绍了VAE的原理和使用。