VAE

VAE包括一下几部分:

1）一个encoder网络，对后验分布 q(z|x) 进行参数化，z 是离散隐随机变量，x 为输入数据；

2）先验分布 p(z)；

3）一个decoder网络，它的输入数据分布是 p(x|z)。

VQ-VAE

使用离散隐变量，受向量量化的启发用一种新的方式进行训练。后验和先验分布是明确分类的，从这些分布中提取的样本可通过嵌入表进行索引。然后将这些嵌入作为解码器网络的输入。

网络结构如下:

首先输入x图像encoder得到特征$z_e(x)$,之后查找Embedding Space中与特征 ze(x)