自学内容网 自学内容网

多分类交叉熵与稀疏分类交叉熵

总结:

  • 标签为 One-hot 编码的多分类问题,用分类交叉熵
  • 对于标签为整数的多分类问题,用稀疏分类交叉熵

稀疏分类交叉熵内部会将整数标签转换为 One-hot 编码,而如果标签已经是 One-hot 编码的形式,再使用稀疏分类交叉熵就会多此一举。

算例

假设我们有三个类别:A、B 和 C。对于某个样本,其真实标签为 B。

   使用 One-hot 编码,标签表示为:

  • A: [1, 0, 0]
  • B: [0, 1, 0]
  • C: [0, 0, 1]

   设模型输出的预测概率为:

  • A: 0.1
  • B: 0.7
  • C: 0.2

   则预测概率的向量为 [0.1, 0.7, 0.2]

--分类交叉熵

其中p是真实分布(One-hot 编码),q是预测分布,

H=−[0,1,0]⋅l


原文地址:https://blog.csdn.net/qq_41413211/article/details/144426047

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!