昇思25天学习打卡营第19天 | ResNet50迁移学习再续

🕗 发布于 2024-07-09 06:36 学习

训练模型部分代码解析

构建Resnet50网络

两行初始化代码

weight_init = Normal(mean=0, sigma=0.02)

这行代码定义了一个初始化器weight_init，它将使用均值为0，标准差为0.02的正态分布来初始化网络中的权重。这种初始化策略有助于在网络的初始阶段避免梯度消失或爆炸的问题，因为权重被初始化为接近于0但又不至于太小的值。

gamma_init = Normal(mean=1, sigma=0.02)

这行代码定义了一个初始化器gamma_init，通常用于初始化批量归一化（Batch Normalization）层中的尺度参数（gamma）。批量归一化是一种常用的技术，用于加速神经网络的训练过程，并通过提高稳定性来改善性能。在这种情况下，gamma参数的初始化通常设置为接近1的值，因为它们在批量归一化层中起到缩放的作用，初始化为1意味着在初始阶段不会改变激活的尺度。

class ResidualBlockBase(nn.Cell):
    expansion: int = 1  # 最后一个卷积核数量与第一个卷积核数量相等

    def __init__(self, in_channel: int, out_channel: int,
                 stride: int = 1, norm: Optional[nn.Cell] = None,
                 down_sample: Optional[nn.Cell] = None) -> None:
        super(ResidualBlockBase, self).__init__()
        if not norm:
            self.norm = nn.BatchNorm2d(out_channel)
        else:
            self.norm = norm

        self.conv1 = nn.Conv2d(in_channel, out_channel,
                               kernel_size=3, stride=stride,
                               weight_init=weight_init)
        self.conv2 = nn.Conv2d(in_channel, out_channel,
                               kernel_size=3, weight_init=weight_init)
        self.relu = nn.ReLU()
        self.down_sample = down_sample

    def construct(self, x):
        """ResidualBlockBase construct."""
        identity = x  # shortcuts分支

        out = self.conv1(x)  # 主分支第一层：3*3卷积层
        out = self.norm(out)
        out = self.relu(out)
        out = self.conv2(out)  # 主分支第二层：3*3卷积层
        out = self.norm(out)

        if self.down_sample is not None:
            identity = self.down_sample(x)
        out += identity  # 输出为主分支与shortcuts之和
        out = self.relu(out)

        return out

这段代码定义了一个名为ResidualBlockBase的类，它是一个残差块（Residual Block）的基础实现。残差块是残差网络的基本构建块，它允许网络在增加层数的同时，仍然能够通过反向传播有效地训练。

函数解析：

__init__:
- 作用：这是一个构造函数，用于初始化残差块。它定义了残差块的基本结构和操作，包括卷积层、批量归一化层和ReLU激活函数。
- 参数：
  - in_channel：输入通道数。
  - out_channel：输出通道数。
  - stride：卷积层的步幅。
  - norm：可选的规范化层，默认为None，此时会使用批量归一化。
  - down_sample：可选的下采样层，用于匹配输入和输出的维度，默认为None。
- 代码逻辑：
  - 调用父类的构造函数：super(ResidualBlockBase, self).__init__()。
  - 判断是否提供了自定义的规范化层，如果没有，则使用批量归一化：nn.BatchNorm2d(out_channel)。
  - 定义两个卷积层conv1和conv2，其中conv1可能包含步幅stride用于降采样。
  - 定义ReLU激活函数relu。
  - 保存可选的下采样层down_sample。
construct:
- 作用：这是执行前向传播的函数，用于定义输入数据通过残差块的流程。
- 参数：
  - x：输入数据，通常是特征图。
- 代码逻辑：
  - 保存输入数据x作为身份映射（shortcuts分支）。
  - 通过第一个卷积层conv1处理输入数据，然后进行规范化、ReLU激活。
  - 通过第二个卷积层conv2处理激活后的数据，然后进行规范化。
  - 判断是否存在下采样层down_sample，如果存在，则对身份映射进行下采样以匹配输出的维度。
  - 将主分支的输出out与身份映射identity相加，实现跳跃连接（skip connection）。
  - 对相加的结果应用ReLU激活函数。
  - 返回最终的输出out。
    残差块通过跳跃连接允许梯度直接流过身份映射，这有助于解决深度网络中的梯度消失问题，并允许网络学习更复杂的函数。

class ResidualBlockBase(nn.Cell):
    expansion: int = 1  # 最后一个卷积核数量与第一个卷积核数量相等

    def __init__(self, in_channel: int, out_channel: int,
                 stride: int = 1, norm: Optional[nn.Cell] = None,
                 down_sample: Optional[nn.Cell] = None) -> None:
        super(ResidualBlockBase, self).__init__()
        if not norm:
            self.norm = nn.BatchNorm2d(out_channel)
        else:
            self.norm = norm

        self.conv1 = nn.Conv2d(in_channel, out_channel,
                               kernel_size=3, stride=stride,
                               weight_init=weight_init)
        self.conv2 = nn.Conv2d(in_channel, out_channel,
                               kernel_size=3, weight_init=weight_init)
        self.relu = nn.ReLU()
        self.down_sample = down_sample

    def construct(self, x):
        """ResidualBlockBase construct."""
        identity = x  # shortcuts分支

        out = self.conv1(x)  # 主分支第一层：3*3卷积层
        out = self.norm(out)
        out = self.relu(out)
        out = self.conv2(out)  # 主分支第二层：3*3卷积层
        out = self.norm(out)

        if self.down_sample is not None:
            identity = self.down_sample(x)
        out += identity  # 输出为主分支与shortcuts之和
        out = self.relu(out)

        return out

---------------------------------------------------------------------------

NameError                                 Traceback (most recent call last)

Cell In[3], line 1
----> 1 class ResidualBlockBase(nn.Cell):
      2     expansion: int = 1  # 最后一个卷积核数量与第一个卷积核数量相等
      4     def __init__(self, in_channel: int, out_channel: int,
      5                  stride: int = 1, norm: Optional[nn.Cell] = None,
      6                  down_sample: Optional[nn.Cell] = None) -> None:


NameError: name 'nn' is not defined

这段代码定义了一个名为ResidualBlock的类，它也是残差网络（ResNet）中的一个残差块，但是与之前的基础版残差块相比，这个类实现了更复杂的残差学习结构，这个残差块包含了三个卷积层，其中第一个和第三个卷积层是1x1的，用于降维和升维，第二个卷积层是3x3的，用于提取特征。

函数解析

__init__:
- 作用：这是一个构造函数，用于初始化残差块。它定义了残差块的基本结构和操作，包括三个卷积层、三个批量归一化层和ReLU激活函数。
- 参数：
  - in_channel：输入通道数。
  - out_channel：输出通道数，这里的输出通道数是指第一个卷积层之后的通道数，最终的输出通道数将是这个数的4倍，由expansion变量控制。
  - stride：第二个卷积层的步幅，用于降采样。
  - down_sample：可选的下采样层，用于匹配输入和输出的维度，默认为None。
- 代码逻辑：
  - 调用父类的构造函数：super(ResidualBlock, self).__init__()。
  - 定义三个卷积层conv1、conv2和conv3，其中conv1和conv3是1x1卷积，conv2是3x3卷积，conv2可能包含步幅stride用于降采样。
  - 定义三个对应的批量归一化层norm1、norm2和norm3。
  - 定义ReLU激活函数relu。
  - 保存可选的下采样层down_sample。
construct:
- 作用：这是执行前向传播的函数，用于定义输入数据通过残差块的流程。
- 参数：
  - x：输入数据，通常是特征图。
- 代码逻辑：
  - 保存输入数据x作为身份映射（shortcuts分支）。
  - 通过第一个卷积层conv1处理输入数据，然后进行规范化、ReLU激活。
  - 通过第二个卷积层conv2处理激活后的数据，然后进行规范化、ReLU激活。
  - 通过第三个卷积层conv3处理激活后的数据，然后进行规范化。
  - 判断是否存在下采样层down_sample，如果存在，则对身份映射进行下采样以匹配输出的维度。
  - 将主分支的输出out与身份映射identity相加，实现跳跃连接（skip connection）。
  - 对相加的结果应用ReLU激活函数。
  - 返回最终的输出out。
    这个残差块通过跳跃连接允许梯度直接流过身份映射，这有助于解决深度网络中的梯度消失问题，并允许网络学习更复杂的函数。这种结构在许多图像识别任务中表现出色，并且是现代深度学习架构的重要组成部分。

def make_layer(last_out_channel, block: Type[Union[ResidualBlockBase, ResidualBlock]],
               channel: int, block_nums: int, stride: int = 1):
    down_sample = None  # shortcuts分支


    if stride != 1 or last_out_channel != channel * block.expansion:

        down_sample = nn.SequentialCell([
            nn.Conv2d(last_out_channel, channel * block.expansion,
                      kernel_size=1, stride=stride, weight_init=weight_init),
            nn.BatchNorm2d(channel * block.expansion, gamma_init=gamma_init)
        ])

    layers = []
    layers.append(block(last_out_channel, channel, stride=stride, down_sample=down_sample))

    in_channel = channel * block.expansion
    # 堆叠残差网络
    for _ in range(1, block_nums):

        layers.append(block(in_channel, channel))

    return nn.SequentialCell(layers)

这段代码定义了一个名为make_layer的函数，它的作用是创建并堆叠多个残差块（Residual Blocks），形成残差网络（ResNet）中的一个层。这个函数可以根据给定的参数生成不同数量的残差块，并且可以处理不同层的输入和输出通道数不匹配的情况。

函数解析

函数参数:
- last_out_channel：前一个层的输出通道数。
- block：残差块类型，可以是ResidualBlockBase或ResidualBlock。
- channel：当前层的输入通道数（对于第一个残差块）。
- block_nums：要堆叠的残差块数量。
- stride：第一个残差块的步幅，用于降采样。
函数逻辑:
- 首先定义一个down_sample变量，用于可能需要的下采样操作。
- 检查是否需要下采样，即如果stride不等于1或者last_out_channel不等于channel * block.expansion，则创建一个下采样层，包括一个1x1的卷积层和一个批量归一化层。
- 初始化一个layers列表，并将第一个残差块添加到列表中，这个残差块使用down_sample作为其下采样层。
- 然后使用一个循环，将剩余的残差块添加到layers列表中，每个残差块的输入通道数是前一个残差块的输出通道数。
- 最后，使用nn.SequentialCell(layers)将堆叠的残差块封装为一个顺序层（Sequential Layer），并返回这个层。
  这个函数是构建残差网络的关键部分，因为它允许开发者通过简单地指定残差块的数量和配置来创建复杂的网络结构。通过这种方式，可以很容易地增加网络的深度，而不会遇到梯度消失问题，因为残差块的结构允许梯度直接流过身份映射。

from mindspore import load_checkpoint, load_param_into_net


class ResNet(nn.Cell):
    def __init__(self, block: Type[Union[ResidualBlockBase, ResidualBlock]],
                 layer_nums: List[int], num_classes: int, input_channel: int) -> None:
        super(ResNet, self).__init__()

        self.relu = nn.ReLU()
        # 第一个卷积层，输入channel为3（彩色图像），输出channel为64
        self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, weight_init=weight_init)
        self.norm = nn.BatchNorm2d(64)
        # 最大池化层，缩小图片的尺寸
        self.max_pool = nn.MaxPool2d(kernel_size=3, stride=2, pad_mode='same')
        # 各个残差网络结构块定义，
        self.layer1 = make_layer(64, block, 64, layer_nums[0])
        self.layer2 = make_layer(64 * block.expansion, block, 128, layer_nums[1], stride=2)
        self.layer3 = make_layer(128 * block.expansion, block, 256, layer_nums[2], stride=2)
        self.layer4 = make_layer(256 * block.expansion, block, 512, layer_nums[3], stride=2)
        # 平均池化层
        self.avg_pool = nn.AvgPool2d()
        # flattern层
        self.flatten = nn.Flatten()
        # 全连接层
        self.fc = nn.Dense(in_channels=input_channel, out_channels=num_classes)

    def construct(self, x):

        x = self.conv1(x)
        x = self.norm(x)
        x = self.relu(x)
        x = self.max_pool(x)

        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        x = self.layer4(x)

        x = self.avg_pool(x)
        x = self.flatten(x)
        x = self.fc(x)

        return x


def _resnet(model_url: str, block: Type[Union[ResidualBlockBase, ResidualBlock]],
            layers: List[int], num_classes: int, pretrained: bool, pretrianed_ckpt: str,
            input_channel: int):
    model = ResNet(block, layers, num_classes, input_channel)

    if pretrained:
        # 加载预训练模型
        download(url=model_url, path=pretrianed_ckpt, replace=True)
        param_dict = load_checkpoint(pretrianed_ckpt)
        load_param_into_net(model, param_dict)

    return model


def resnet50(num_classes: int = 1000, pretrained: bool = False):
    "ResNet50模型"
    resnet50_url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/models/application/resnet50_224_new.ckpt"
    resnet50_ckpt = "./LoadPretrainedModel/resnet50_224_new.ckpt"
    return _resnet(resnet50_url, ResidualBlock, [3, 4, 6, 3], num_classes,
                   pretrained, resnet50_ckpt, 2048)

函数部分解析：

__init__:
- 作用：这是一个构造函数，用于初始化ResNet模型。它定义了模型的所有层和操作。
- 参数：
  - block：残差块类型，可以是ResidualBlockBase或ResidualBlock。
  - layer_nums：一个列表，指定每个残差网络结构块中残差块的数量。
  - num_classes：输出类别数，用于全连接层的输出尺寸。
  - input_channel：全连接层的输入通道数。
- 代码逻辑：
  - 调用父类的构造函数：super(ResNet, self).__init__()。
  - 定义ReLU激活函数relu。
  - 定义第一个卷积层conv1，用于处理输入图像。
  - 定义批量归一化层norm。
  - 定义最大池化层max_pool，用于缩小图像尺寸。
  - 定义四个残差网络结构块layer1到layer4，每个块由make_layer函数创建。
  - 定义平均池化层avg_pool。
  - 定义Flatten层flatten，用于将特征图展平为一维向量。
  - 定义全连接层fc，用于最终分类。
construct:
- 作用：这是执行前向传播的函数，用于定义输入数据通过整个ResNet模型的流程。
- 参数：
  - x：输入数据，通常是特征图。
- 代码逻辑：
  - 通过第一个卷积层conv1处理输入数据，然后进行批量归一化和ReLU激活。
  - 通过最大池化层max_pool处理激活后的数据。
  - 通过四个残差网络结构块layer1到layer4处理数据。
  - 通过平均池化层avg_pool处理数据。
  - 通过Flatten层flatten将特征图展平为一维向量。
  - 通过全连接层fc进行最终的分类。
  - 返回最终的输出。
_resnet:
- 作用：这是一个辅助函数，用于创建并初始化ResNet模型，可以选择是否加载预训练的权重。
- 参数：
  - model_url：预训练模型的URL。
  - block：残差块类型。
  - layers：残差块的数量列表。
  - num_classes：输出类别数。
  - pretrained：一个布尔值，指示是否加载预训练模型。
  - pretrianed_ckpt：预训练模型的本地路径。
  - input_channel：全连接层的输入通道数。
- 代码逻辑：
  - 创建ResNet模型model。
  - 如果pretrained为True，则从model_url下载预训练模型并将其加载到model中。
resnet50:
- 作用：这是一个工厂函数，用于创建ResNet50模型。
- 参数：
  - num_classes：输出类别数，默认为1000。
  - pretrained：一个布尔值，指示是否加载预训练模型，默认为False。
- 代码逻辑：
  - 定义ResNet50模型的URL和本地检查点路径。
  - 调用_resnet函数创建并返回ResNet50模型，可以选择是否加载预训练的权重。

固定特征进行训练

这部分代码附有注释，看代码即可

import mindspore as ms
import matplotlib.pyplot as plt
import os
import time

net_work = resnet50(pretrained=True)

# 全连接层输入层的大小
in_channels = net_work.fc.in_channels
# 输出通道数大小为狼狗分类数2
head = nn.Dense(in_channels, 2)
# 重置全连接层
net_work.fc = head

# 平均池化层kernel size为7
avg_pool = nn.AvgPool2d(kernel_size=7)
# 重置平均池化层
net_work.avg_pool = avg_pool

# 冻结除最后一层外的所有参数
for param in net_work.get_parameters():
    if param.name not in ["fc.weight", "fc.bias"]:
        param.requires_grad = False

# 定义优化器和损失函数
opt = nn.Momentum(params=net_work.trainable_params(), learning_rate=lr, momentum=0.5)
loss_fn = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')


def forward_fn(inputs, targets):
    logits = net_work(inputs)
    loss = loss_fn(logits, targets)

    return loss

grad_fn = ms.value_and_grad(forward_fn, None, opt.parameters)

def train_step(inputs, targets):
    loss, grads = grad_fn(inputs, targets)
    opt(grads)
    return loss

# 实例化模型
model1 = train.Model(net_work, loss_fn, opt, metrics={"Accuracy": train.Accuracy()})

训练和评估

训练这块之前有做过类似操作，不过多赘述

import mindspore as ms
import matplotlib.pyplot as plt
import os
import time
dataset_train = create_dataset_canidae(data_path_train, "train")
step_size_train = dataset_train.get_dataset_size()

dataset_val = create_dataset_canidae(data_path_val, "val")
step_size_val = dataset_val.get_dataset_size()

num_epochs = 5

# 创建迭代器
data_loader_train = dataset_train.create_tuple_iterator(num_epochs=num_epochs)
data_loader_val = dataset_val.create_tuple_iterator(num_epochs=num_epochs)
best_ckpt_dir = "./BestCheckpoint"
best_ckpt_path = "./BestCheckpoint/resnet50-best-freezing-param.ckpt"

import mindspore as ms
import matplotlib.pyplot as plt
import os
import time
# 开始循环训练
print("Start Training Loop ...")

best_acc = 0

for epoch in range(num_epochs):
    losses = []
    net_work.set_train()

    epoch_start = time.time()

    # 为每轮训练读入数据
    for i, (images, labels) in enumerate(data_loader_train):
        labels = labels.astype(ms.int32)
        loss = train_step(images, labels)
        losses.append(loss)

    # 每个epoch结束后，验证准确率

    acc = model1.eval(dataset_val)['Accuracy']

    epoch_end = time.time()
    epoch_seconds = (epoch_end - epoch_start) * 1000
    step_seconds = epoch_seconds/step_size_train

    print("-" * 20)
    print("Epoch: [%3d/%3d], Average Train Loss: [%5.3f], Accuracy: [%5.3f]" % (
        epoch+1, num_epochs, sum(losses)/len(losses), acc
    ))
    print("epoch time: %5.3f ms, per step time: %5.3f ms" % (
        epoch_seconds, step_seconds
    ))

    if acc > best_acc:
        best_acc = acc
        if not os.path.exists(best_ckpt_dir):
            os.mkdir(best_ckpt_dir)
        ms.save_checkpoint(net_work, best_ckpt_path)

print("=" * 80)
print(f"End of validation the best Accuracy is: {best_acc: 5.3f}, "
      f"save the best ckpt file in {best_ckpt_path}", flush=True)

可视化模型预测

看代码注释即可

import matplotlib.pyplot as plt
import mindspore as ms

def visualize_model(best_ckpt_path, val_ds):
    net = resnet50()
    # 全连接层输入层的大小
    in_channels = net.fc.in_channels
    # 输出通道数大小为狼狗分类数2
    head = nn.Dense(in_channels, 2)
    # 重置全连接层
    net.fc = head
    # 平均池化层kernel size为7
    avg_pool = nn.AvgPool2d(kernel_size=7)
    # 重置平均池化层
    net.avg_pool = avg_pool
    # 加载模型参数
    param_dict = ms.load_checkpoint(best_ckpt_path)
    ms.load_param_into_net(net, param_dict)
    model = train.Model(net)
    # 加载验证集的数据进行验证
    data = next(val_ds.create_dict_iterator())
    images = data["image"].asnumpy()
    labels = data["label"].asnumpy()
    class_name = {0: "dogs", 1: "wolves"}
    # 预测图像类别
    output = model.predict(ms.Tensor(data['image']))
    pred = np.argmax(output.asnumpy(), axis=1)

    # 显示图像及图像的预测值
    plt.figure(figsize=(5, 5))
    for i in range(4):
        plt.subplot(2, 2, i + 1)
        # 若预测正确，显示为蓝色；若预测错误，显示为红色
        color = 'blue' if pred[i] == labels[i] else 'red'
        plt.title('predict:{}'.format(class_name[pred[i]]), color=color)
        picture_show = np.transpose(images[i], (1, 2, 0))
        mean = np.array([0.485, 0.456, 0.406])
        std = np.array([0.229, 0.224, 0.225])
        picture_show = std * picture_show + mean
        picture_show = np.clip(picture_show, 0, 1)
        plt.imshow(picture_show)
        plt.axis('off')

    plt.show()

2024-07-07 23:39:40 Mindstorm

原文地址：https://blog.csdn.net/m0_55944995/article/details/140257464

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：基于AI的3D场景重建技术新突破！破局自动驾驶端到端仿真
下一篇：warning: GOPATH set to GOROOT (D:\go) has no effect

FPGA 第7讲简单组合逻辑译码器
经过验证对比发现两种方法虽然最后实现的功能是一样的，而所得到的 RTL 视图差别较大，但最后的逻辑资源使用却是相同的（时序逻辑中不一定相同），说明综合器进行了适当的优化。if-else 的这种写法是存
阅读更多2024-11-16
梧桐杯初赛入围（人工智能赛道） 15 / 100
本项目开发了一套先进的医疗问答系统，该系统融合了 Reinforced Attention Generator (RAG) 技术与大模型，旨在通过精确的知识检索和问答生成技术，显著提升心理健康咨询系统
阅读更多2024-11-16
faiss 提供了多种索引类型
faiss 多种索引类型
阅读更多2024-11-16
物联网低功耗广域网LoRa开发(二)：LoRa开发环境搭建及驱动移植
【代码】物联网低功耗广域网LoRa开发(二)：LoRa开发环境搭建及驱动移植。
阅读更多2024-11-16
【隐私计算】隐私计算的应用场景探索(大模型隐私计算、隐私数据存储计算、Web3、隐私物联网等)
隐私计算、隐私保护、大模型安全、大模型隐私推理、数据安全、数据隐私、web3、分布式网络、去中心化网络、隐私数据存储、大厂数据保护、隐私计算应用探索
阅读更多2024-11-16
EHOME视频平台EasyCVR多品牌摄像机视频平台监控视频编码H.265与Smart 265的区别？
Smart 265和Smart 264的区别是一个是在H.264编码基础上，一个是在H.265编码基础上，其作用都是在当前码率参数下进一步节省码流，如果你摄像头图像上运动画面越少，静止画面越多，则码率
阅读更多2024-11-16
软件测试基础二十九（接口测试 mock）
软件测试基础之接口测试 mock
阅读更多2024-11-16
《FreeRTOS任务基础知识以及任务创建相关函数》
FreeRTOS学习日志（4）--FreeRTOS任务基础知识以及任务创建相关函数
阅读更多2024-11-16
dlopen: cannot load any more object with static TLS & sklearn, HPOBench, smac3
成功解决：升级glibc版本到2.23。
阅读更多2024-11-16
2024年11月15日Github流行趋势
项目名称：MinerU项目名称：exo项目名称：nvm项目名称：kotaemon项目名称：VideoLingo项目名称：motion项目名称：primeng项目名称：bbot项目名称：es-toolk
阅读更多2024-11-16