自学内容网 自学内容网
自学内容网 > 正文

【西瓜书】神经网络-BP算法（反向传播算法）

🕗 发布于 2024-11-28 16:01 深度学习  人工智能  神经网络  机器学习  笔记  

系列文章目录

【西瓜书】神经网络-MP神经元、感知机和多层网络icon-default.png?t=O83Ahttps://blog.csdn.net/jiangshuiy/article/details/144070587

目录

系列文章目录

误差逆传播算法（BP算法、反向传播算法）

累积误差逆传播算法

BP训练

最小值与极小值

误差逆传播算法（BP算法、反向传播算法）

  • 误差逆传播（error BackPropagation，简称BP）算法，也叫反向传播算法，是解决多层网络的杰出代表。
  • 值得指出的是，BP算法不仅可用于多层前馈神经网络，还可以用于其他类型的神经网络。
来自西瓜书-P102
  • 约定记号：
    • 神经网络的输出：\hat y_j^k = f(\beta _j-\theta _j)
    • 均方误差为：E_k = \frac{1}{2}\sum_{j=1}^l (\hat y_j^k-y_j^k)^2
  • BP算法是一个迭代学习算法。在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计，任意参数v的更新估计算式为：v\gets v+\Delta v
  • BP算法基于梯度下降（gradient descent）策略，以目标的负梯度方向对参数进行调整。对误差E_k，给定学习率η，有\Delta w_{hj} = -\eta\frac{\partial E_k}{\partial w_{hj}}
    • 根据“链式法则”，有\frac{\partial E_k}{\partial w_{hj}} = \frac{\partial E_k}{\partial \hat{y_{j}}^k}\cdot \frac{\partial \hat{y_{j}}^k}{\partial \beta_j}\cdot \frac{​{\partial \beta_j}}{\partial w_{hj}}
    • 根据定义（见图）：\frac{​{\partial \beta_j}}{\partial w_{hj}}=b_h
    • Sigmoid函数的性质：f'(x)=f(x)(1-f(x)
    • 因此：g_j=-\frac{\partial E_k}{\partial \hat{y_{j}}^k}\cdot \frac{\partial \hat{y_{j}}^k}{\partial \beta_j} =-(\hat y_j^k-y_j^k)f'(\beta_j-\theta_j)=\hat y_j^k(1-\hat y_j^k)(y_j^k-\hat y_j^k)
    • 可得：\Delta w_{hj} = \eta g_jb_h
  • 类似可得：\Delta \theta_{j} = \eta g_j
  • \Delta v_{ih} = \eta e_h x_i
  • \Delta \gamma_{h} = \eta e_h
  • 其中，e_h=-\frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial \alpha_h} =-\sum_{j=1}^l\frac{\partial E_k}{\partial \beta_j}\cdot \frac{\partial \beta_j}{\partial b_h}f'(\alpha_h - \gamma _h)\\=\sum_{j=1}^lw_{hj}g_jf'(\alpha_h - \gamma_h) = b_h(1-b_h)\sum_{j=1}^lw_{hj}g_j

  • 学习率 η∈(0, 1) 控制着算法每一轮迭代中的更新步长，若太大则容易震荡，太小则收敛速度又会过慢。
  • BP算法的目标是要最小化训练集D上的累计误差:E=\frac{1}{m}\sum_{k=1}^mE_k
  • “标准BP算法”每次仅针对一个训练样例更新连接权和阈值。

累积误差逆传播算法

  • 如果推导出基于累积误差最小化的更新规则，就是累积误差逆传播（accumulated error backpropagation）算法。两种算法都很常用。

BP训练

  • 读取训练集一遍，称为进行了“一轮”（one round，也叫 one epoch）学习。
  • 标准BP算法和累积BP算法的区别类似于随机梯度下降与标准梯度下降之间的区别。
  • 如何设置隐藏神经元的个数，是个未决问题。实际应用中通常用“试错法”（trial-by-error）调整。
  • 由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练误差持续降低，但测试误差却可能上升。有两种策略常用来缓解BP网络的过拟合：
    • 第1种：“早停”（early stop），将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。
    • 第2种：“正则化”（regularization），基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分。例如连接权与阈值的平方和。增加连接权与阈值平方和这一项后，训练过程将会偏好比较小的连接权和阈值，使网络输出更加“光滑”，从而对过拟合有所缓解。
  • 神经网络的训练过程可看作一个参数寻优过程，即在参数空间中寻找一组最优参数，使得E最小。

最小值与极小值

  • 两种最优：“局部极小”（local minimum）和“全局最小”（global minimum）。直观的看，
    • 局部极小点，是参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值；
    • 全局最小解，则是指参数空间中所有点的误差函数值均不小于该点的误差函数值。
    • 全局最小一定是局部极小，反之则不成立。
  • 在参数寻优过程中，希望找到全局最小。
  • 基于梯度的搜索是使用最为广泛的参数寻优方法。
    • 从某些初始解出发，迭代寻找最优参数值。
    • 每次迭代中，先计算误差函数在当前的梯度，然后根据梯度确定搜索方向。例如由于负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点的梯度为0，则已达到局部极小，更新量降为0，这意味着参数的迭代更新将因此停止。
  • 如果有多个极小值，就称参数寻优陷入局部极小。
  • 现实任务中常使用以下策略来跳出局部极小：
    • 以多种不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数。这相当于从多个不同的初始点开始搜索。
    • 使用“模拟退火”（simulated annealing）技术。模拟退火在每一步都有一定概率接受比当前解更差的结果，从而有助于“跳出”局部极小。但是也会造成跳出全局最小。
    • 使用梯随机梯度下降（stochastic gradient descent，简称SGD），随机梯度下降法在计算梯度时加入了随机因素，因此即便陷入局部极小点，计算出来的梯度仍然可能不为零，这就有机会跳出。
    • 遗传算法（genetic algorithms）也常用来训练神经网络，以更好的逼近全局最小。
    • 上述跳出局部极小的技术大多是启发式，理论上常缺乏保障。

原文地址：https://blog.csdn.net/jiangshuiy/article/details/144090498

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024