人工智能算法工程师(中级)课程9-PyTorch神经网络之全连接神经网络实战与代码详解

大家好，我是微学AI，今天给大家介绍一下人工智能算法工程师(中级)课程9-PyTorch神经网络之全连接神经网络实战与代码详解。本文将给大家展示全连接神经网络与代码详解，包括全连接模型的设计、数学原理介绍，并从手写数字识别到猫狗识别实战演练。

一、引言

全连接神经网络（Fully Connected Neural Network，FCNN）是一种经典的神经网络结构，它在众多领域都有着广泛的应用。本文将详细介绍全连接神经网络的设计、参数计算及其在图像识别任务中的应用。通过本文的学习，读者将掌握全连接神经网络的基本原理，并能够实现手写数字识别和猫狗识别等实战项目。

二、全连接模型的设计

1. 神经元模型

全连接神经网络的基本单元是神经元，其数学表达式为：
$$f(x)=\sigma (\sum _{i=1}^n{w}_i{x}_i+b)$$
其中，$x$ 为输入向量，$w$ 为权重向量，$b$ 为偏置，$\sigma$ 为激活函数。

2. 网络结构

全连接神经网络由输入层、隐藏层和输出层组成。每一层的神经元都与上一层的所有神经元相连，如图1所示。

三、全连接模型的参数计算

1. 前向传播

假设一个全连接神经网络共有$l$层，第$k$层的输入为$X^{(k)}$，输出为$Y^{(k)}$，则有：
$$Y^{(k)}=\sigma (W^{(k)}{X}^{(k)}+b^{(k)})$$
其中，$W^{(k)}$ 和 $b^{(k)}$ 分别为第$k$层的权重和偏置。

2. 反向传播

全连接神经网络的参数更新通过反向传播算法实现。对于输出层，损失函数为：
$$L=\frac{1}{2}(Y_{true}-Y_{pred}{)}^2$$
其中，$Y_{true}$ 为真实标签，$Y_{pred}$ 为预测值。
根据链式法则，输出层的权重梯度为：
$$\frac{\partial L}{\partial W^{(l)}}=\frac{\partial L}{\partial Y^{(l)}}\cdot \frac{\partial Y^{(l)}}{\partial Z^{(l)}}\cdot \frac{\partial Z^{(l)}}{\partial W^{(l)}}$$
其中，$Z^{(l)}=W^{(l)}{X}^{(l)}+b^{(l)}$。
同理，可求得输出层的偏置梯度、隐藏层的权重梯度和偏置梯度。

四、全连接模型实现手写数字识别

1. 数据准备

使用MNIST数据集，包含60000个训练样本和10000个测试样本。

2. 模型构建

构建一个简单的全连接神经网络，包含一个输入层（784个神经元）、两个隐藏层（128个神经元）和一个输出层（10个神经元）。

3. 代码实现

import numpy as np
import tensorflow as tf
from tensorflow.keras.datasets import mnist
# 加载数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
# 构建模型
model = tf.keras.models.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])
# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
# 训练模型
model.fit(x_train, y_train, epochs=5)
# 评估模型
model.evaluate(x_test, y_test)

五、阶段实战：猫狗识别

1. 数据准备

使用猫狗数据集，包含25000张猫和狗的图片。我们将猫和狗的照片放在目录’data/train’下。

2. 模型构建

构建一个全连接神经网络，包含一个输入层（64643个神经元）、三个隐藏层（256、128、64个神经元）和一个输出层（2个神经元）。

3. 代码实现

import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator
# 数据增强
train_datagen = ImageDataGenerator(rescale=1./255,
                                   rotation_range=40,
                                   width_shift_range=0.2,
                                   height_shift_range=0.2,
                                   shear_range=0.2,
                                   zoom_range=0.2,
                                   horizontal_flip=True,
                                   fill_mode='nearest')
# 加载数据
train_generator = train_datagen.flow_from_directory(
        'data/train',
        target_size=(64, 64),
        batch_size=32,
        class_mode='binary')
# 构建模型
model = tf.keras.models.Sequential([
    tf.keras.layers.Flatten(input_shape=(64, 64, 3)),
    tf.keras.layers.Dense(256, activation='relu'),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])
# 编译模型
model.compile(loss='binary_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])
# 训练模型
model.fit(
    train_generator,
    steps_per_epoch=100,  # 每轮训练的步数
    epochs=15  # 训练轮数
)
# 评估模型
# 这里我们假设有一个测试数据集的生成器叫做 validation_generator
# model.evaluate(validation_generator)

六、数学原理详解

1. 激活函数

激活函数用于引入非线性因素，使得神经网络能够学习和模拟复杂函数。常用的激活函数有：

• Sigmoid函数：$\sigma (x)=\frac{1}{1+e^{-x}}$
• ReLU函数：$ReLU(x)=\max (0,x)$
• Softmax函数：$softmax(x{)}_i=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$

2. 损失函数

损失函数用于衡量模型预测值与真实值之间的差异。常用的损失函数有：

• 均方误差（MSE）：$MSE(y,\hat{y})=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$
• 交叉熵损失：对于二分类问题，$CE(y,\hat{y})=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$

3. 优化算法

优化算法用于更新网络的权重和偏置，以最小化损失函数。常用的优化算法有：

• 梯度下降（Gradient Descent）：$w:=w-\alpha \frac{\partial L}{\partial w}$
• Adam优化器：结合了动量（Momentum）和自适应学习率（Adagrad）的优点。

七、总结

本篇文章从全连接神经网络的基本原理出发，介绍了全连接模型的设计、参数计算以及如何实现手写数字识别和猫狗识别。通过配套的完整可运行代码，读者可以更好地理解全连接神经网络的实现过程。在实际应用中，全连接神经网络虽然已被卷积神经网络（CNN）等更先进的网络结构所取代，但其基本原理仍然是深度学习领域的重要基石。希望本文能帮助读者深入掌握全连接神经网络，并为后续学习打下坚实的基础。

原文地址：https://blog.csdn.net/weixin_42878111/article/details/140354510

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！