AI学习指南深度学习篇-权重正则化Python实践

🕗 发布于 2024-10-04 09:15 ai

AI学习指南深度学习篇 - 权重正则化Python实践

引言

在深度学习的研究与应用中，如何提高模型的泛化能力是一个永恒的话题。权重正则化是一种常见且有效的方法，它可防止模型在训练集上过拟合。本文将深入探讨权重正则化的概念，并通过Python中的 TensorFlow 和 PyTorch 深度学习库提供示例，演示如何使用权重正则化技术。

什么是权重正则化？

权重正则化（Weight Regularization）是通过在损失函数中加入一个惩罚项，以限制模型权重的大小。最常见的权重正则化方法有：

L1 正则化：通过对权重的绝对值加和进行惩罚，促进稀疏性。

$\text{ Loss} = \text{Loss} + \lambda \sum |w_i|$

L2 正则化：通过对权重的平方和进行惩罚，限制权重的大小。

$\text{ Loss} = \text{Loss} + \lambda \sum w_i^2$

其中， $\lambda$ 是正则化强度的超参数。

权重正则化在 TensorFlow 中的实现

1. 安装 TensorFlow

首先，确保你的环境中已经安装了 TensorFlow。如果未安装，可以使用以下命令：

pip install tensorflow

2. 数据集准备

在本示例中，我们将使用经典的 MNIST 手写数字数据集。

import tensorflow as tf
from tensorflow.keras import layers, models
from tensorflow.keras.datasets import mnist

# 加载数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

# 数据检查
print("Training data shape:", x_train.shape)
print("Test data shape:", x_test.shape)

3. 构建模型

以下是一个简单的包含 L2 正则化的全连接网络。

from tensorflow.keras.regularizers import l2

def build_model():
    model = models.Sequential()
    model.add(layers.Flatten(input_shape=(28, 28)))
    model.add(layers.Dense(128, activation="relu", kernel_regularizer=l2(0.01)))
    model.add(layers.Dense(10, activation="softmax"))
    return model

model = build_model()
model.compile(optimizer="adam",
              loss="sparse_categorical_crossentropy",
              metrics=["accuracy"])

4. 模型训练与评估

接下来，我们将训练模型并评估其性能。

# 训练模型
model.fit(x_train, y_train, epochs=5)

# 评估模型
test_loss, test_acc = model.evaluate(x_test, y_test, verbose=2)
print("\nTest accuracy:", test_acc)

5. 调整正则化参数

通过调整 L2 正则化的超参数来观察不同的效果。

def build_model_with_param(lambda_value):
    model = models.Sequential()
    model.add(layers.Flatten(input_shape=(28, 28)))
    model.add(layers.Dense(128, activation="relu", kernel_regularizer=l2(lambda_value)))
    model.add(layers.Dense(10, activation="softmax"))
    return model

# 测试不同的正则化参数
for lambda_value in [0.001, 0.01, 0.1]:
    print(f"Training with L2 Regularization: λ = {lambda_value}")
    model = build_model_with_param(lambda_value)
    model.compile(optimizer="adam",
                  loss="sparse_categorical_crossentropy",
                  metrics=["accuracy"])
    model.fit(x_train, y_train, epochs=5, verbose=0)
    test_loss, test_acc = model.evaluate(x_test, y_test, verbose=0)
    print("Test accuracy:", test_acc)

权重正则化在 PyTorch 中的实现

1. 安装 PyTorch

确保已经安装 PyTorch。可以在 PyTorch 官网获取安装命令。

2. 数据集准备

与 TensorFlow 相似，我们使用 MNIST 数据集。

import torch
from torch import nn
from torchvision import datasets, transforms

# 数据转换
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])

# 加载数据集
trainset = datasets.MNIST(root="./data", train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

testset = datasets.MNIST(root="./data", train=False, download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False)

3. 构建模型

我们编写一个模型并添加 L2 正则化。

class Net(nn.Module):
    def __init__(self, lambda_value):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(28 * 28, 128)
        self.fc2 = nn.Linear(128, 10)
        self.lambda_value = lambda_value

    def forward(self, x):
        x = x.view(-1, 28*28)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 创建模型
lambda_value = 0.01
model = Net(lambda_value)

4. 定义损失函数与优化器

在 PyTorch 中，您可以通过自定义损失函数来实现权重正则化。

criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 自定义损失函数，加入 L2 正则化
def loss_with_l2_regularization(model, data, target):
    loss = criterion(data, target)
    l2_reg = sum(param.pow(2).sum() for param in model.parameters())
    return loss + lambda_value * l2_reg

5. 模型训练

def train_model(model, trainloader):
    model.train()
    for epoch in range(5):  # 训练 5 个周期
        for images, labels in trainloader:
            optimizer.zero_grad()
            outputs = model(images)
            loss = loss_with_l2_regularization(model, outputs, labels)
            loss.backward()
            optimizer.step()


train_model(model, trainloader)

6. 模型评估

我们在测试集上评估模型的性能。

def evaluate_model(model, testloader):
    model.eval()
    correct = 0
    with torch.no_grad():
        for images, labels in testloader:
            outputs = model(images)
            _, predicted = torch.max(outputs.data, 1)
            correct += (predicted == labels).sum().item()

    print("Test accuracy: {:.2f}%".format(100 * correct / len(testloader.dataset)))

evaluate_model(model, testloader)

7. 调整正则化参数

与 TensorFlow 类似，我们可以在 PyTorch 中测试不同的 L2 正则化参数。

for lambda_value in [0.001, 0.01, 0.1]:
    print(f"Training with L2 Regularization: λ = {lambda_value}")
    model = Net(lambda_value)
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    train_model(model, trainloader)
    evaluate_model(model, testloader)

权重正则化的调参过程

在实际深度学习应用中，超参数的选择对模型最终性能具有重要影响。以下是一些建议的调参步骤：

选择超参数范围：如 L2 正则化的 (\lambda) 取值，可从 0.0001 开始，尝试 10 个数量级的变化。
交叉验证：对于小型数据集，使用 k-fold 交叉验证来评估模型的泛化性能。
监控模型性能：使用训练和验证损失曲线监控模型的训练过程，以防止过拟合。
早停法：在验证集上监控模型性能，如果验证损失连续几次未改善，则停止训练。
可视化结果：使用工具（如 TensorBoard）可视化模型训练过程及其效果。

结论

权重正则化是强化深度学习模型泛化能力的一项基本技术。使用 Python 深度学习库 TensorFlow 和 PyTorch 我们分别演示了如何在模型中实现 L2 正则化，并探索了超参数调整的过程。希望本文能够帮助你更好地理解和应用权重正则化，提升你在深度学习项目中的实践能力。

原文地址：https://blog.csdn.net/zhaopeng_yu/article/details/142456706

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：物联网智能项目探究和方案设计
下一篇：C++——list

P3792 由乃与大母神原型和偶像崇拜
这里有一个常用的 trick，我们可以维护每个数前驱（一个数的前驱就是与它相等的最近的那个位置），然后只需要查询区间中前驱最大值即可。若前驱最大值在左端点外，则区间内无重复数字，你可以画图手玩一下，原
阅读更多2024-10-06
计算机组成原理之浮点数的表示和运算
例如，单精度浮点数（float）使用32位，其中1位符号位，8位阶码（偏置值为127），23位尾数（隐含最高位1）；双精度浮点数（double）使用64位，其中1位符号位，11位阶码（偏置值为1023
阅读更多2024-10-06
Rust 快速入门(一)
cargo：Rust的编译管理器、包管理器、通用工具。可以用Cargo启动新的项目，构建和运行程序，并管理代码所依赖的所有外部库。Rustc：Rust的编译器。通常Cargo会替我们调用此编译器。Ru
阅读更多2024-10-06
github项目——系统设计入门
今天的github趋势，有几个项目印象感觉很有意思，之后可能会用的上，记录一下。
阅读更多2024-10-06
OpenGL ES 顶点缓冲区和布局(3)
顶点缓冲区的本质就是一段GPU上的显存，我们通过绑定顶点缓冲区的方式来将数据从CPU传到GPU。我们之前在绘制三角形的例子中，我们往顶点缓冲区只传入了坐标，但是其实顶点是可以包含很多数据的，比如纹理索
阅读更多2024-10-06
羊城杯2024WP
羊城杯-2024webweb2进题信息搜集一下，dirsearch发现了login路由可访问，先随便点一下，发现了一个文件读取：http://139.155.126.78:30148/lyrics?l
阅读更多2024-10-06
【Linux】wsl虚拟机时间和实际时间不符合
显示最新commit的提交时间是明天，给我吓一跳，然后才发现原来是wsl里面的时间不对。，本文写于12月12日，但wsl中的时间是12月10日，肯定是不对。执行后，在windows的命令行里面执行如下
阅读更多2024-10-06
【Springboot入门- Actuator监控-线程池】
要在Spring Boot中监控线程池，可以利用Spring Boot Actuator的监控功能。
阅读更多2024-10-06
Qt源码阅读——事件循环
源码版本：Qt 6.5.0下面来跟踪一下它的实现。
阅读更多2024-10-06
国庆期间不停歇—学习ROS2第四天
在终端中创建pkg， ros2 pkg create demo_python_topic --build-type ament_python --dependencies rclpy example
阅读更多2024-10-06

AI学习指南深度学习篇-权重正则化Python实践