pytorch基础-前向传播与反向传播

目录

• • @[TOC](目录)
• 1 简单神经网络的前向传播与反向传播详解 [2,3,2,1]
• • 1.1 网络结构
  • 1.2 前向传播推导
  • • 1.2.1 第一层隐藏层计算
    • 1.2.2 第二层隐藏层计算
    • 1.2.3 输出层计算
  • 1.3 反向传播推导
  • • 1.3.1 损失函数
    • 1.3.2 输出层梯度
    • 1.3.3 第二隐藏层梯度
    • 1.3.4 第一隐藏层梯度
    • 1.3.5 权重更新
  • 1.4 小结
• 2 带偏置项的神经网络结构与计算
• • 2.1 网络结构
  • 2.2 前向传播推导
  • • 2.2.1 第一层隐藏层计算
    • 2.2.2 第二层隐藏层计算
    • 2.2.3 输出层计算
  • 2.3 反向传播推导
  • • 2.3.1损失函数
    • 2.3.2 输出层梯度
    • 2.3.3 第二隐藏层梯度
    • 2.3.4 第一隐藏层梯度
  • 2.4 参数更新规则
  • 2.5 总结
• 3 带激活函数的神经网络结构与计算
• • 3.1 前向传播计算
  • • 3.1.1第一隐藏层
    • 3.1.2 第二隐藏层
    • 3.1.3 输出层
  • 3.2 反向传播计算
  • • 3.2.1 输出层梯度
    • 3.2.2 第二隐藏层梯度
    • 3.3 第一隐藏层梯度
    • 参数更新
• 4 实战演练
• • 4.1 代码说明
  • 4.2 结果展示：

1 简单神经网络的前向传播与反向传播详解 [2,3,2,1]

1.1 网络结构

首先，让我们看看这个神经网络的结构：

1.2 前向传播推导

1.2.1 第一层隐藏层计算

$h_1^{(1)}=w_{11}^{(1)}{x}_1+w_{21}^{(1)}{x}_2$

$h_2^{(1)}=w_{12}^{(1)}{x}_1+w_{22}^{(1)}{x}_2$

$h_3^{(1)}=w_{13}^{(1)}{x}_1+w_{23}^{(1)}{x}_2$

矩阵形式：
$\left[\begin{array}{c}{h}_1^{(1)}\\ h_2^{(1)}\\ h_3^{(1)}\end{array}\right]=\left[\begin{array}{cc}{w}_{11}^{(1)}& w_{21}^{(1)}\\ w_{12}^{(1)}& w_{22}^{(1)}\\ w_{13}^{(1)}& w_{23}^{(1)}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$

1.2.2 第二层隐藏层计算

$h_1^{(2)}=w_{11}^{(2)}{h}_1^{(1)}+w_{21}^{(2)}{h}_2^{(1)}+w_{31}^{(2)}{h}_3^{(1)}$

$h_2^{(2)}=w_{12}^{(2)}{h}_1^{(1)}+w_{22}^{(2)}{h}_2^{(1)}+w_{32}^{(2)}{h}_3^{(1)}$

矩阵形式：
$\left[\begin{array}{c}{h}_1^{(2)}\\ h_2^{(2)}\end{array}\right]=\left[\begin{array}{ccc}{w}_{11}^{(2)}& w_{21}^{(2)}& w_{31}^{(2)}\\ w_{12}^{(2)}& w_{22}^{(2)}& w_{32}^{(2)}\end{array}\right]\left[\begin{array}{c}{h}_1^{(1)}\\ h_2^{(1)}\\ h_3^{(1)}\end{array}\right]$

1.2.3 输出层计算

$y=w_1^{(3)}{h}_1^{(2)}+$

原文地址：https://blog.csdn.net/gudao07/article/details/143832597

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！