【深度学习基础】模型优化
深度学习之优化
基本概念
Batch
所有样本一起训练。
Epoch
所有样本一起训练一次叫一个epoch
miniBatch
一次训练的不是全部的样本。
SGD
一次只训练一个样本，然后用这个样本来更新梯度。我们通常说的SGD是指miniSGD
鞍点
如下图所示：
鞍点是一个平的点，在该点处梯度为0，但是并不是我们想要的点。
梯度爆炸
对于复杂的模型，某个点的梯度非常大，以至于下一步不知道往哪走。
对于梯度爆炸通常采用梯度裁剪的方式，即设定一个值，当梯度超过这个值的时候就把梯度设定为该值。
动量
可以理解为惯性。
总结
提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
原文地址：https://blog.csdn.net/Small___ming/article/details/120613884
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！