【machine learning-15-如何判定梯度下降是否在收敛】
我们在运行梯度下降的时候，如何判定梯度下降是否在收敛呢？
梯度下降的时候，权重和偏置根据如下的公式同时更新：
程序要做的就是更新w 和 b，让梯度下降尽快的收敛，但是如何判定正在收敛呢？
方法一：绘制损失函数的曲线
这个是最通常的做法，绘制损失函数的曲线：
注意此时横轴不再是w权重，而是迭代次数，这个迭代是指w和b同时更新为一个迭代。
这个曲线的每一个点就表示，执行横轴的迭代次数后，损失是纵轴的数值。
真正梯度收敛的曲线应该就是上图这样的。损失成下降趋势，到某一个阈值的时候，损失几乎不再变化，像是一条直线，比如上图示例中300到400迭代。
另外需要注意的是，具体需要迭代多少次才能达到收敛，这个是不确定的，需要看具体的应用。
方法二：自动收敛测试
这种方法是先指定一个阈值，比如0.001，当损失到达这个值，我们就认为此时收敛了。但是通常情况下这个值很难确定。
原文地址：https://blog.csdn.net/zishuijing_dd/article/details/142437991
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！