名词解释-3-KL离散度、JS散度、EM距离
1.KL散度
KL散度是用于衡量分布之间的差异程度的，又称为相对熵、信息增益。
- 等于一个交叉熵减去一个信息熵（交叉熵损失函数的由来）
性质：非负、不对称
正是由于KL散度的不对称性问题使得在训练过程中可能存在一些问题，因此在KL散度基础上引入了JS散度
2.JS散度
JS散度是对称的，其取值是 0 到 1 之间。如果两个分布 P,Q 离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而JS散度值是一个常数。这在学习算法中是比较致命的，这就意味这这一点的梯度为 0。梯度消失了。
3、EM距离
Wasserstein 距离又叫Earth-Mover距离（EM距离），用于衡量两个分布之间的距离，可以是点云
点云这种数据结构，距离度量需要对点的排布具有不变性。EM距离可以，有了距离度量方式，我们就能够通过实现反向传播，来实现深度学习任务中必需的loss function设计，有了loss function，我们就可以将其应用到点云上采样、补全、重建等多种生成式任务中，来实现形状和几何的约束。
参考：点云距离度量：完全解析EMD距离(Earth Mover's Distance) - 知乎
原文地址：https://blog.csdn.net/weixin_43899239/article/details/143752367
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！