3.线性神经网络
文章目录
3.1.线性回归
3.2.线性回归的从零开始实现
-
生成数据集迭代器：Python中，yield关键字用于定义一个生成器（generator）函数。生成器函数是一种特殊的函数，它允许你逐个生成值，而不是一次性返回一个完整的列表或集合。这样做的好处是可以节省内存，特别是在处理大量数据时，因为你可以按需生成数据，而不是一次性将所有数据加载到内存中。
import random def data_iter(batch_size, features, labels): num_examples = len(features) indices = list(range(num_examples)) # 这些样本是随机读取的，没有特定的顺序 random.shuffle(indices) for i in range(0, num_examples, batch_size): batch_indices = torch.tensor( indices[i: min(i + batch_size, num_examples)]) yield features[batch_indices], labels[batch_indices] batch_size = 10 for X, y in data_iter(batch_size, features, labels): print(X, '\n', y) break由于yield的使用，data_iter函数不会一次性执行完毕并返回一个结果，而是每次调用时返回一个批次的数据，并在下次调用时从上次停止的地方继续执行。这使得函数能够按需生成数据批次，非常适合于迭代训练过程。
使用生成器的好处之一是它们允许你以一种懒加载（lazy loading）的方式处理数据，即只在需要时才生成数据。这对于处理大型数据集或流数据特别有用，因为它可以显著减少内存的使用。
-
定义SDG优化算法
def sgd(params, lr, batch_size): #@save
"""小批量随机梯度下降"""
with torch.no_grad():
for param in params:
param -= lr * param.grad / batch_size
param.grad.zero_()
3.3.线性回归的简洁实现
- 读取纯数据形式的数据集
import numpy as np import torch from torch.utils import data def load_array(data_arrays, batch_size, is_train=True): #@save """构造一个PyTorch数据迭代器""" dataset = data.TensorDataset(*data_arrays) return data.DataLoader(dataset, batch_size, shuffle=is_train) batch_size = 10 data_iter = load_array((features, labels), batch_size) # 使用iter构造Python迭代器，并使用next从迭代器中获取第一项 next(iter(data_iter))
3.4.softmax回归
3.5.图像分类数据集
3.6.softmax回归的从零开始实现
- 实现 softmax 函数：
def softmax(X): X_exp = torch.exp(X) partition = X_exp.sum(1, keepdim=True) return X_exp / partition # 这里应用了广播机制 - 实现交叉熵损失函数：y_hat: (B, C) = (batch_size, class_num)， y: （C,） 表示每个样本的真值类别
def cross_entropy(y_hat, y): return - torch.log(y_hat[range(len(y_hat)), y]) cross_entropy(y_hat, y) - 计算预测时的分类精度
def accuracy(y_hat, y): #@save """计算预测正确的数量""" if len(y_hat.shape) > 1 and y_hat.shape[1] > 1: y_hat = y_hat.argmax(axis=1) cmp = y_hat.type(y.dtype) == y return float(cmp.type(y.dtype).sum()) def evaluate_accuracy(net, data_iter): #@save """计算在指定数据集上模型的精度""" if isinstance(net, torch.nn.Module): net.eval() # 将模型设置为评估模式 metric = Accumulator(2) # 正确预测数、预测总数 with torch.no_grad(): for X, y in data_iter: metric.add(accuracy(net(X), y), y.numel()) return metric[0] / metric[1]
3.7.softmax回归的简洁实现
- CrossEntropyLoss：传入 reduction 模式的不同，输出结果也不同（可能是张量，也可能是对张量求和之后的标量）
loss = nn.CrossEntropyLoss(reduction='none')
原文地址：https://blog.csdn.net/qq_42731705/article/details/143872262
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！