自学内容网 自学内容网

深度学习调优:选对正确的loss函数,再超参数调优真的很重要!!!

本人亲测:模型不变,用别人代码中自定义的loss函数和test_smooth_l1函数真的天差地别!

选择适合的损失函数

  • MSE:适用于需要显著惩罚大偏差的情况。
  • MAE:适用于数据中存在异常值,并且你希望对异常值不那么敏感的情况。
  • Smooth L1 Loss:适用于既有一定抗噪声能力又能对大偏差适当惩罚的情况。

最终选择Smooth L1 Loss这个损失函数

然后反向传播和optuna时,都以这个测试集中的Smooth L1 Loss作为参数,经过optuna调优,即可得到好的结果。

不合适的loss函数(自定义的myloss)预测结果:

合适的loss函数预测结果(通过下面的information开可以看出不是一个数据):


原文地址:https://blog.csdn.net/weixin_44162814/article/details/140528847

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!