深度学习：（七）梯度下降法在神经网络中的应用
梯度下降法在神经网络中的应用
事先规定：
用 n n n 表示个数（维度）:
n [ 0 ] = n x n^{[0]}=n_x n[0]=nx ，表示单个训练样本 x x x 的元素个数；
n [ 1 ] n^{[1]} n[1] 表示隐藏层 1 1 1 的单元（节点）个数；
n [ 1 ] n^{[1]} n[1] 表示……
梯度下降法公式：
① w w w 和 b b b 参数随机初始化；
②计算预测值
③求导： d w [ 1 ] dw^{[1]} dw[1] 、 d b [ 1 ] db^{[1]} db[1] 、 d w [ 2 ] dw^{[2]} dw[2] 、 d b [ 2 ] db^{[2]} db[2] 。
④更新参数：
W
[
1
]
=
W
[
1
]
−
α
⋅
d
W
[
1
]
b
[
1
]
=
b
[
1
]
−
α
⋅
d
b
[
1
]
W
[
2
]
=
W
[
2
]
−
α
⋅
d
W
[
2
]
b
[
2
]
=
b
[
2
]
−
α
⋅
d
b
[
2
]
\begin{align*} &W^{[1]}=W^{[1]}-\alpha·dW^{[1]}\\ &b^{[1]}=b^{[1]}-\alpha·db^{[1]}\\ &W^{[2]}=W^{[2]}-\alpha·dW^{[2]}\\ &b^{[2]}=b^{[2]}-\alpha·db^{[2]} \end{align*}
W[1]=W[1]−α⋅dW[1]b[1]=b[1]−α⋅db[1]W[2]=W[2]−α⋅dW[2]b[2]=b[2]−α⋅db[2]
第三部反向传播求导的详细步骤：
d
Z
[
2
]
=
A
[
2
]
−
Y
d
W
[
2
]
=
1
m
d
Z
[
2
]
A
[
1
]
T
d
b
[
2
]
=
1
m
n
p
.
s
u
m
(
d
Z
[
2
]
,
a
x
i
s
=
1
,
k
e
e
p
d
i
m
s
=
T
r
u
e
)
d
Z
[
1
]
=
W
[
2
]
T
d
Z
[
2
]
∗
g
[
1
]
′
(
Z
[
1
]
)
/
/
这里的
∗
是元素对应相乘
d
W
[
1
]
=
1
m
d
Z
[
1
]
X
T
/
/
这里的转置是因为
W
[
1
]
是由
w
i
[
1
]
T
组成的
d
b
[
1
]
=
1
m
n
p
.
s
u
m
(
d
Z
[
1
]
,
a
x
i
s
=
1
,
k
e
e
p
d
i
m
s
=
T
r
u
e
)
\begin{align*} &dZ^{[2]}=A^{[2]}-Y\\ &dW^{[2]}=\frac{1}{m}dZ^{[2]}A^{[1]T}\\ &db^{[2]}=\frac{1}{m}np.sum(dZ^{[2]},axis=1,keepdims=True)\\ &dZ^{[1]}=W^{[2]T}dZ^{[2]}*g^{[1]'}(Z^{[1]})//这里的*是元素对应相乘\\ &dW^{[1]}=\frac{1}{m}dZ^{[1]}X^{T}//这里的转置是因为W^{[1]}是由w_i^{[1]T}组成的\\ &db^{[1]}=\frac{1}{m}np.sum(dZ^{[1]},axis=1,keepdims=True)\\ \end{align*}
dZ[2]=A[2]−YdW[2]=m1dZ[2]A[1]Tdb[2]=m1np.sum(dZ[2],axis=1,keepdims=True)dZ[1]=W[2]TdZ[2]∗g[1]′(Z[1])//这里的∗是元素对应相乘dW[1]=m1dZ[1]XT//这里的转置是因为W[1]是由wi[1]T组成的db[1]=m1np.sum(dZ[1],axis=1,keepdims=True)
参数随机初始化
神经网络的参数 w i [ l ] w_i^{[l]} wi[l] 和不能像逻辑回归一样，初始化为零，否则梯度下降算法就会无效。
也不要将隐藏层中的所有节点参数都初始化成一样的，否则每个节点都在做相同的运算，毫无意义。
W [ 1 ] = n p . r a n d o m . r a n d n ( ( n [ 1 ] , n [ 0 ] ) ) ⋅ 0.01 / / 高斯分布随机变量再乘以 0.01 b [ 1 ] = n p . z e r o s ( ( n [ 1 ] , 1 ) ) W [ 2 ] = . . . b [ 2 ] = . . . \begin{align*} &W^{[1]}=np.random.randn((n^{[1]},n^{[0]}))·0.01~//高斯分布随机变量再乘以0.01\\ &b^{[1]}=np.zeros((n^{[1]},1))\\ &W^{[2]}=...\\ &b^{[2]}=... \end{align*} W[1]=np.random.randn((n[1],n[0]))⋅0.01 //高斯分布随机变量再乘以0.01b[1]=np.zeros((n[1],1))W[2]=...b[2]=...
通常情况下，会把参数随机初始化成很小很小的值，这也是乘以 0.01 0.01 0.01 的原因。
因为参数大的话， z z z 计算出来就会大， a a a 也会大，就会落在激活函数 σ ( z ) \sigma(z) σ(z) 或 t a n h ( z ) tanh(z) tanh(z) 的平缓区域，就会降低梯度下降法的速度，甚至形成梯度消失问题。
原文地址：https://blog.csdn.net/qq_51409113/article/details/142463520
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！