反向传播和优化 pytorch
**前置知识：
优化器：optim=torch.optim.SGD(xigua1.parameters(),lr=0.01) 传入模型的参数、学习速率
计算损失：result_loss=loss(outputs,targets)
梯度清零：optim.zero_grad()
计算梯度并反向传播：result_loss.backward()
更新参数：optim.step()
-
optim.zero_grad(): 在每次训练迭代之前清除所有优化器（如SGD、Adam等）维护的梯度信息。在神经网络中，每个参数（如权重和偏置）都有一个与之关联的梯度，这个梯度表示参数对损失函数的贡献程度。随着训练的进行，这些梯度会被累积，如果不加以重置，会导致梯度累加，从而影响模型的学习效果。因此，
zero_grad()函数通过将这些梯度重置为零，确保了每次迭代都是在无偏见的情况下开始。 -
result_loss.backward(): 执行反向传播算法，计算损失函数相对于模型参数的梯度。在神经网络前向传播过程中，网络输出与实际标签之间的差异被量化为损失函数。
backward()函数通过链式法则自动计算损失函数对每个参数的梯度，这些梯度随后被存储在相应的参数的.grad属性中。这一步是优化过程的核心，因为它直接关系到参数如何被调整以最小化损失。 -
optim.step(): 在计算出损失函数的梯度后，
step()函数根据这些梯度来更新模型参数。优化器使用特定的算法（如梯度下降、Adam等）来决定如何更新每个参数，以便在下一次迭代中减少损失。简而言之，step()函数实现了从当前参数状态向更优参数状态的“跳跃”。
总的来说，这三个函数协同工作，形成了深度学习中参数优化的基本流程：首先清除旧的梯度信息，然后计算新的梯度，最后根据这些梯度更新参数。这一过程在每次训练迭代中重复进行，直到模型的性能满足要求或达到预设的停止条件。
**代码：
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
#以CIFAR10的分类检测为例
test_set=torchvision.datasets.CIFAR10(root="./dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(test_set,batch_size=1)
class Xigua(nn.Module):
def __init__(self):
super().__init__()
self.model1=Sequential(
Conv2d(3,32,5,padding=2),
MaxPool2d(2),
Conv2d(32,32,5,padding=2),
MaxPool2d(2),
Conv2d(32,64,5,padding=2),
MaxPool2d(2),
Flatten(),
Linear(1024,64),
Linear(64,10),
)
def forward(self,x):
x=self.model1(x)
return x
xigua1=Xigua()
loss=nn.CrossEntropyLoss()
optim=torch.optim.SGD(xigua1.parameters(),lr=0.01)
#为了节省时间，这里能显示出优化的效果即可，就只训练5轮，每轮都只是计算前10个数据
for epoch in range(5): #训练5轮
running_loss=0.0 #每轮都计算出一个所有数据损失的总和
step=0
for data in dataloader:
imgs,targets=data
outputs=xigua1(imgs)
result_loss=loss(outputs,targets)
optim.zero_grad() #将梯度清零
result_loss.backward() #计算损失对应的梯度，并将其反向传播
optim.step() #更新模型参数
#loss函数在其中只是起到了一个提供梯度的作用，而这个梯度就藏在optim中
running_loss+=result_loss
step+=1
if step>=10:
break
print(running_loss)原文地址：https://blog.csdn.net/2302_79795489/article/details/142960078
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！