1.6.3 散度

KL 散度

散度又被称为相对熵（Relative Entropy），是被用来衡量两个随机分布之间的距离，当两个随机分布完全相同时，它们的相对熵为0，当两个随机分布的差别增大时，它们的相对熵也会相应的增大。所以相对熵（KL散度）可以用于比较文本的相似度，先统计出词的频率，然后计算KL散度就行了。

$$ D(p||q)=\sum_{i=1}^n p(x)log\dfrac {p(x)} {q(x)} $$

JS散度

由于KL散度两个分布是非对称的，我们希望把p和q的分布变成对称的，因此找了$$ r=\frac 1 2 (p+q) $$作为中间值，计算跟中间值的散度

$$ JS(P_1||P_2)= \dfrac 1 2 KL(P_1||\dfrac {P_1+P_2} 2) + \dfrac 1 2 KL(P_2||\dfrac {P_1+P_2} 2) $$

这两个概念在GAN及WGAN的一系列理论公式推导中会用到。