熵和概率十分相近，但又不同。概率是真实反映变化到某状态的确信度。而熵反映的是从某时刻到另一时刻的状态有多难以确定，即熵反应的事物的不确定性。一个系统越有序，它的信息熵就越低。

散度又被称为相对熵（Relative Entropy），是被用来衡量两个随机分布之间的距离，当两个随机分布完全相同时，它们的相对熵为0，当两个随机分布的差别增大时，它们的相对熵也会相应的增大。