SGD学习器和Adam学习器之间的区别与关系
SGD（随机梯度下降）和Adam（Adaptive Moment Estimation）是两种常用的优化算法，在训练神经网络时，它们都用来最小化损失函数并更新模型参数。尽管它们有相似的目标，但在更新规则和效率上有所不同。下面是它们之间的主要区别：
1. 更新规则（更新步骤）
SGD（随机梯度下降）
-
更新公式：
θ t + 1 = θ t − η ∇ θ L ( θ t ) \theta_{t+1} = \theta_t - \eta \nabla_\theta L(\theta_t) θt+1=θt−η∇θL(θt)
其中：- θ t \theta_t θt 是第 t t t 步的模型参数。
- η \eta η 是学习率。
- ∇ θ L ( θ t ) \nabla_\theta L(\theta_t) ∇θL(θt) 是损失函数相对于参数的梯度。
-
特点：
- 每次更新仅基于当前批次（batch）的梯度信息。
- 在处理大规模数据时，SGD可以加速训练，因为它不是对整个数据集进行梯度计算（不像批量梯度下降那样），而是对一个小的随机样本集（mini-batch）进行梯度计算。
-
缺点：
- 学习率是常数，并且对于很多问题来说固定的学习率可能会导致优化过程停滞，尤其是在接近最优解时。
- 梯度更新的方向波动较大，可能导致训练过程不稳定，特别是在复杂的非凸优化问题中。
Adam（自适应矩估计）
-
更新公式：
Adam结合了Momentum（动量法）和RMSProp（自适应学习率法），其更新规则如下：
m t = β 1 m t − 1 + ( 1 − β 1 ) ∇ θ L ( θ t ) m_t = \beta_1 m_{t-1} + (1 - \beta_1) \nabla_\theta L(\theta_t) mt=β1mt−1+(1−β1)∇θL(θt)
v t = β 2 v t − 1 + ( 1 − β 2 ) ∇ θ L ( θ t ) 2 v_t = \beta_2 v_{t-1} + (1 - \beta_2) \nabla_\theta L(\theta_t)^2 vt=β2vt−1+(1−β2)∇θL(θt)2
m ^ t = m t 1 − β 1 t , v ^ t = v t 1 − β 2 t \hat{m}_t = \frac{m_t}{1 - \beta_1^t}, \quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t} m^t=1−β1tmt,v^t=1−β2tvt
θ t + 1 = θ t − η m ^ t v ^ t + ϵ \theta_{t+1} = \theta_t - \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} θt+1=θt−ηv^t+ϵm^t
其中：- m t m_t mt 是梯度的一阶矩估计（即梯度的平均值）。
- v t v_t vt 是梯度的二阶矩估计（即梯度的平方的平均值）。
- β 1 \beta_1 β1 和 β 2 \beta_2 β2 分别是动量和自适应学习率的衰减因子。
- ϵ \epsilon ϵ 是一个小常数，避免除零错误。
-
特点：
- 动量：通过 m t m_t mt （梯度的滑动平均）来减少梯度更新的振荡，使得优化过程更加平滑。
- 自适应学习率：通过 v t v_t vt （梯度平方的滑动平均）来调整每个参数的学习率，不同参数有不同的学习率。
- 相比SGD，Adam自动调整学习率，这使得它在很多情况下表现出色，尤其是在复杂的神经网络中。
-
优点：
- 自适应学习率：每个参数都可以有独立的学习率，这有助于优化复杂的损失函数。
- 加速收敛：由于动量和自适应学习率的引入，Adam通常比SGD收敛速度更快，尤其在训练深度网络时。
- 更少的手动调节：Adam通常需要较少的超参数调整，默认的超参数设置在大多数问题中表现良好。
2. 主要区别
| 特性 | SGD | Adam |
|---|---|---|
| 更新方式 | 直接使用当前梯度，参数更新的方向和大小取决于梯度的波动。 | 使用梯度的一阶和二阶矩估计，结合动量和自适应学习率调整更新。 |
| 学习率 | 固定的学习率（可能需要手动调整或衰减）。 | 每个参数都有自适应学习率。 |
| 动量 | 无动量，更新直接受当前梯度的影响。 | 使用动量（ β 1 \beta_1 β1）来平滑梯度更新。 |
| 计算开销 | 计算开销较低，只需要计算当前梯度。 | 相比SGD，计算开销稍高，需要计算梯度的一阶和二阶矩。 |
| 收敛速度 | 收敛较慢，尤其在复杂的损失面或非凸优化中。 | 通常收敛较快，特别是在深度学习中。 |
| 适应性 | 不具备自适应能力，学习率需要手动调整。 | 自动调整每个参数的学习率，适应不同的梯度大小和方向。 |
| 超参数调节 | 需要对学习率和可能的动量进行细致调节。 | 默认超参数（ β 1 = 0.9 , β 2 = 0.999 \beta_1 = 0.9, \beta_2 = 0.999 β1=0.9,β2=0.999）通常适用，但也可以根据需要调整。 |
3. 总结
- SGD 是一种简单且经典的优化算法，适合许多传统的机器学习问题，但在深度学习中可能需要更多的调节（例如学习率衰减、动量等）以获得良好的性能。
- Adam 结合了动量法和自适应学习率的优点，通常能更快地收敛，并且需要更少的手动调整超参数。因此，它在大多数深度学习问题中表现出色，尤其是当处理复杂、非凸的损失函数时。
在实际应用中，Adam通常是默认的选择，特别是在深度学习中，但在某些特定场景下，SGD仍然是一个非常有效的优化方法。
原文地址：https://blog.csdn.net/m0_75015083/article/details/143555460
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！