神经网络的初始化
目录
初始化神经网络中的权重和偏置是深度学习模型训练中非常重要的一步，虽然在某些情况下不进行初始化也能训练出模型，但正确的初始化方法能够显著提高训练效率并帮助模型更好地收敛。
为什么需要初始化？
防止梯度消失或爆炸：神经网络如果不进行适当的初始化，神经网络可能会遇到梯度消失或梯度爆炸的问题，导致训练无法有效进行；合理的初始化可以确保在反向传播过程中梯度的流动正常，避免这些问题。
加速收敛：使网络在训练的早期阶段就具备良好的起点，从而加速优化过程；没有初始化或者初始化不当可能导致模型训练非常缓慢，甚至收敛到不好的局部最优解。
确保非线性激活函数正常工作：在深度网络中，很多激活函数（如 ReLU、Sigmoid 等）依赖于输入的大小。如果权重初始化不当，激活函数可能会“饱和”或“死亡”，导致学习过程受阻。
初始化的常用方法：
Kaiming (He) 初始化：适用于 ReLU 等非线性激活函数，能够避免梯度消失问题。它通过计算输出层的大小来调整权重的标准差，使得每一层的输出方差稳定。
卷积层权重的 Kaiming 初始化 代码展示：
import torch
import torch.nn as nn
import torch.nn.init as init
# 创建一个卷积层
# fan_out：适用于输出激活值的方差一致。
conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3)
init.kaiming_normal_(conv_layer.weight, mode='fan_out', nonlinearity='relu')
# 如果卷积层包含偏置（通常建议设置为 False），可以将其初始化为零
if conv_layer.bias is not None:
init.constant_(conv_layer.bias, 0)全连接层权重的 Kaiming 初始化
# 创建一个全连接层
fc_layer = nn.Linear(in_features=128, out_features=64)
# 使用 Kaiming 均匀分布初始化权重
# fan_in：适用于输入激活值的方差一致（默认值）
init.kaiming_uniform_(fc_layer.weight, mode='fan_in', nonlinearity='relu')
# 偏置初始化为零
if fc_layer.bias is not None:
init.constant_(fc_layer.bias, 0)
Xavier (Glorot) 初始化：适用于 Sigmoid 或 Tanh 激活函数，旨在保持每一层输入和输出的方差一致，减少梯度消失问题。
正态分布初始化 代码展示：
import torch
import torch.nn as nn
import torch.nn.init as init
# 创建一个全连接层
fc_layer = nn.Linear(in_features=128, out_features=64)
# 使用 Xavier 正态分布初始化权重
init.xavier_normal_(fc_layer.weight)
# 均匀分布初始化
init.xavier_uniform_(fc_layer.weight)
# 如果层包含偏置，可以将偏置初始化为零
if fc_layer.bias is not None:
init.constant_(fc_layer.bias, 0)
是否必须初始化？
不进行初始化的情况：PyTorch 默认会为大多数层（如 nn.Conv2d, nn.Linear 等）进行随机初始化，但这些默认初始化并不一定是最优的，尤其是当网络较深时。没有显式初始化时，训练仍然可以开始，但可能会遇到效率低、收敛慢等问题。
初始化的影响：通过手动指定初始化方法（如 Kaiming 初始化），可以确保网络的训练从合理的起点开始，避免一些常见的训练问题（如梯度消失、爆炸等）。
原文地址：https://blog.csdn.net/qq_40671063/article/details/143953018
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！