跟李沐学AI：权重衰退
深度学习中的正则化技术是一种预防模型过拟合的策略。过拟合发生在模型在训练数据上表现得过于优秀，以至于它学习到了训练数据中的噪声和细节，而不能很好地泛化到未见过的新数据上。正则化通过向损失函数（或目标函数）中添加一个正则项来工作，这个正则项通常是模型参数的函数，目的是惩罚复杂的模型，鼓励模型学习到更简单、更泛化的特征。
正则项是正则化过程中添加到损失函数（或成本函数）中的额外部分。
权重衰退
使用均方范数作硬性限制
通过限制模型参数值的选择范围以控制模型容量。如限制参数W和的平方小于θ，通常不限制偏移量b。小的θ意味着更强的正则项。最强的正则项为θ=0，即所有参数都为0，只能调整偏移量b。
使用均方范数作柔性限制
在原始损失函数min loss(W, b)的基础上，加入新的参数：罚(penalty)使得W不会过大。λ为超参数，控制了正则项的重要程度。若λ=0，则无作用。若λ趋于无穷，W的最优解逐渐趋于0。若想控制模型容量，可通过增大λ实现需求。
参数更新法则
1. 计算梯度
2. 时间t更新参数
，等价于
。
通常，在深度学习中通常叫做权重衰退。可以理解为先把值变小一点后，再沿梯度反方向走一点点。权重衰退，意味着每次更新前，把权重的值进行了一定地减小。
权重衰退总结
权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度。
正则项权重λ是控制模型复杂度的超参数。
原文地址：https://blog.csdn.net/Landy_Jay/article/details/140501774
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！