@[toc](GAN学习笔记-KL散度(Kullback-Leibler Divergence)、JS散度(Jensen–Shannon divergence)、Wasserstein Distance)

参考
相对熵（KL散度）
JS散度）
GAN：两者分布不重合JS散度为log2的数学证明
【数学】Wasserstein Distance

1.KL散度(Kullback-Leibler Divergence)

相对熵，又被称为KL散度或信息散度，是两个概率分布间差异的非对称性度量 。在信息论中，相对熵等价于两个概率分布的信息熵的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布的信息熵之差，表示使用理论分布拟合真实分布时产生的信息损耗 。

上面的p(x_i)为真实事件的概率分布&