首先介绍了相对熵(KL分集)的概念，知道它可以表示两种概率分布的差异，但由于存在不对称的缺点，用它训练神经网络，可能会得到顺序不同的训练结果为了克服这个问题，提出了一种新的测量公式J S JS JS分集。 公式如下。
js(p1(p2 )=1) 2kL ) p1 )1) 2kL ) p2 ) p1p2) js(left ) p _ {1}|p _ {2} (right ) ) frac {1} left (p ) ) ) ) ) 652 right ) js(p1(p2 )=21KL(p1 ) 2p1p2) 21kl (p2 (2p1p2) ) ) ) ) ) ) )。
如果是有一点数学基础的人，这个公式对P 1 P _ { 1 } P1和P 2 P _ { 2 } P2对称，而且是两个K L KL KL的叠加，所以从相对熵的文章中可以看出K L KL KL的值一定在0以上
现在只剩下一个重要的问题。 是什么时候变成0的问题。 同样，参考相对熵的文章，我们知道如果两个分布相同，则为0。 那么，转到这里。 也就是说：
P2=2P1 P2且p2=p1p2p _ {1}=frac { p _ {1} p _ {2} {3}且QQ_adp_{4}=_FRAC{5}p_{6}1}
点击简单可见，J S JS JS分散度为0时与K L KL KL分散度相同，P 1 P _ { 1 } P1和P 2 P _ { 2 } P2完全相同。 那么，按到这里，用J S JS JS的分散度来表现两个概率分布的差异并不是什么问题。
其实本人在看相对熵和J S JS JS分集时一直抱有疑问。 也就是说，当两个概率分布不同时，它们的值会不会随着距离的增大而增大。 也就是说，这两个公式和概率分布的距离是不是单调的关系，但我从没见过别人说这件事。 我自己思考了半天，结果得出的结论并不一定，可能会根据概率分布的公式而变化。
当然没有人谈论这件事，所以我现在也不知道这么想是否正确，所以我哥哥想理解麻烦就对我说。