深度学习知识的粗略框架

机器学习知识体系比较庞杂，先建立概貌性知识地图，提纲挈领地把握知识系统的脉络框架，有助于快速入门。因为各技术分支的开发迭代遵循着一定的逻辑演变路径，了解各技术分支的特点优缺点，粗略框架性地了解再进入细节，对快速入门有帮助的。个人粗略地整理了一下，供大家参阅。

深度学习常用的经典神经网络模型：
1、神经网络可以分为三种主要类型：前馈神经网络、反馈神经网络和图神经网络
2、前馈神经网络常⽤的模型结构有：感知机、BP神经⽹络、全连接神经⽹络、卷积神经⽹络、RBF神经⽹络等；
3、反馈神经网络常⽤的模型结构有：循环神经网络RNN、Hopfield神经网络、受限玻尔兹曼机（一大类的神经网络模型，使用最多受限玻尔兹曼机RBM随机神经网络）、LSTM长短期记忆网络（RNN的变体）等；
4、图神经网络常⽤的模型结构有：图卷积网络GCN、图自编码器GAE（基于自编码器的GNN ）、图生成网络GGN（一类生成图数据的GNN）、图时空网络（由V、E、A组成，增加X属性时间维度，GCN结合CNN或RNN）、图注意力网络GAT（GNN中引入注意力机制）；
5、神经网络模型优化：计算密集，实时分析，要求更快的性能、减少计算要求、优化空间使用；
6、神经网络是所有 AI 算法的核心；

在深度学习领域中，神经网络模型的发展经历了从简单到复杂、从特定任务到通用框架的演变过程。以下是几种神经网络模型之间的发展脉络和谱系的梳理：
一、前馈神经网络（Feedforward Neural Networks, FNN）
1、感知机（Perceptron）
    感知机是最简单的神经网络模型，它只能处理线性可分问题。
     它是多层感知机（MLP）的前身，也是现代神经网络的基础。
2、BP神经网络（Backpropagation Neural Network）
   BP神经网络引入了反向传播算法，使得神经网络能够处理非线性问题。
   它通过计算误差的梯度并反向传播来调整权重，从而优化模型。
   BP神经网络是多层感知机的一种实现方式。
3、全连接神经网络（Fully Connected Neural Network, FCNN）
   全连接神经网络是BP神经网络的一种特例，其中每一层的每个神经元都与下一层的每个神经元相连。  它适用于处理结构化的数据，如图像和文本。
4、卷积神经网络（Convolutional Neural Network, CNN）
   卷积神经网络是在全连接神经网络的基础上发展而来的，它引入了卷积层和池化层。
   卷积层用于提取局部特征，池化层用于降低数据维度和防止过拟合。
   CNN特别适用于处理图像和视频数据。
5、RBF神经网络（Radial Basis Function Neural Network）
     RBF神经网络使用径向基函数作为激活函数，它通常用于处理高维数据。
    RBF神经网络在函数逼近、分类和时间序列预测等方面具有优势。

二、反馈神经网络（Feedback Neural Networks）
1、循环神经网络（Recurrent Neural Network, RNN）
   RNN是反馈神经网络的一种，它能够处理序列数据。
   RNN通过引入循环连接来捕捉序列中的时间依赖性。
   然而，传统的RNN存在梯度消失和梯度爆炸的问题，限制了其处理长序列的能力。
2、LSTM长短期记忆网络（Long Short-Term Memory, LSTM）
   LSTM是RNN的一种变体，它引入了特殊的记忆单元来存储和更新信息。
   LSTM通过门控机制来避免梯度消失和梯度爆炸的问题，从而能够处理更长的序列。
3、Hopfield神经网络
   Hopfield神经网络是一种联想记忆网络，它使用二值神经元和对称连接。
   Hopfield神经网络在模式识别和联想记忆中具有应用。
4、受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）
   RBM是一种无向图模型，它使用二值神经元和层间连接。
   RBM在图像生成和特征提取等方面具有应用。
   RBM也是深度信念网络（DBN）的基础组件之一。
   RBM的发明是为了解决Hopfield神经网络的伪吸引子（即局部最优解）问题，克服Hopfield神经网络的这一局限性，引入退火算法和玻尔兹曼分布，形成了受限玻尔兹曼机（RBM）；
   RBM是在Hopfield神经网络的基础上发展而来的，继承了Hopfield神经网络在模式识别和联想记忆方面的优势，并通过引入概率分布和随机采样操作来克服其局限性；

三、图神经网络（Graph Neural Networks, GNN）
1、图卷积网络（Graph Convolutional Network, GCN）
  GCN是在图数据上应用卷积运算的神经网络模型。
  GCN通过聚合邻居节点的信息来更新节点表示。
  GCN在图分类、节点分类和图嵌入等方面具有应用。
2、图自编码器（Graph Autoencoder, GAE）
  GAE是基于自编码器的图神经网络模型，它用于学习图数据的低维表示。
  GAE通过重构输入图来优化模型。
  GAE在图嵌入和链接预测等方面具有应用。
3、图生成网络（Graph Generative Network, GGN）
  GGN是一类生成图数据的神经网络模型。
  GGN通过学习图数据的分布来生成新的图。
  GGN在图生成和图修复等方面具有应用。
4、图时空网络
  图时空网络是在图数据上引入时间维度的神经网络模型。
  它结合了GCN和CNN或RNN来处理图数据中的时空信息。
  图时空网络在交通预测、社交网络分析等方面具有应用。
5、图注意力网络（Graph Attention Network, GAT）
  GAT是在GNN中引入注意力机制的神经网络模型。
  它通过计算节点之间的注意力权重来更新节点表示。
  GAT在图分类、节点分类和链接预测等方面具有应用。
6、总结：从感知机到BP神经网络，再到全连接神经网络和卷积神经网络，前馈神经网络的发展主要聚焦于提高模型的表达能力和处理复杂数据的能力。反馈神经网络则通过引入循环连接和记忆单元来处理序列数据。图神经网络则是在图数据上应用神经网络模型，以捕捉节点之间的复杂关系。这些神经网络模型在各自的应用领域中都取得了显著的成果，推动了深度学习的发展。

神经网络模型之间的发展路径关系紧密且复杂，以下是对这些网络模型之间发展路径的梳理：
1、感知机（Perceptron）：
  由美国心理学家Frank Rosenblatt于1957年提出，是最早的人工神经元模型。
  感知机通过输入特征的加权求和，经过激活函数后产生输出，可以实现简单的二分类任务。
2、多层感知机（Multi-Layer Perceptron, MLP）：
  在感知机的基础上增加了隐藏层，能够逐层学习更加复杂的特征表示。
  多层感知机能够解决更加复杂的非线性问题。
3、前馈神经网络（Feedforward Neural Network, FNN）：
  是一种最基础的神经网络，包含一个输入层、若干隐藏层和一个输出层。
  信息从输入层流向输出层，每个神经元只与前一层的神经元相连。
  多层感知机可以被视为前馈神经网络的一种。
4、BP神经网络（Back Propagation Neural Network, BPNN）：
  是一种通过反向传播算法训练的多层前馈神经网络。
  BPNN通过调整权重和偏置参数使得输出值与目标值之间的误差最小化。
  可以看作是前馈神经网络的一种扩展，通过反向传播算法优化权重和偏置参数，提高了网络的训练效率和精度。
5、卷积神经网络（Convolutional Neural Network, CNN）：
  是一种特殊的神经网络，尤其适用于处理图像数据。
  CNN通过局部连接和共享权重的策略，有效地减少了网络的参数数量，提高了训练效率。
  CNN的前身是BP神经网络，它继承了BP神经网络的一些特性，并在处理图像数据时具有出色的效果。
6、循环神经网络（Recurrent Neural Network, RNN）：
  是一种反馈神经网络，能够对序列数据进行建模。
  RNN引入了隐藏状态的概念，能够捕捉序列数据中的时间依赖关系。
  在自然语言处理等时序任务中表现出色。
7、长短期记忆（Long Short-Term Memory, LSTM）：
  是循环神经网络的一种改进版本，通过引入门控机制，可以更好地捕捉长期依赖关系。
  克服了标准RNN对长程依赖的建模能力弱的问题。
8、注意力机制（Attention Mechanism）：
  是一种让神经网络选择性关注输入序列中的重要部分的技术。
  在机器翻译、文本摘要等任务中取得了显著的性能提升。
  注意力机制可以与多种神经网络模型结合，如RNN、CNN等。
9、生成对抗网络（Generative Adversarial Network, GAN）：
  通过生成器和判别器两个网络的对抗训练，能够生成逼真的人工样本。
  在图像生成、文本生成等领域有广泛应用。
10、其他深度学习推荐模型：
  如AutoRec、Deep Crossing、NCF、PNN、Wide&Deep、NFM、FNN、AFM、DIN、DIEN、DRN等，这些模型在深度学习推荐系统中有着广泛的应用。
  它们的发展主要基于改变神经网络的复杂程度、改变特征交叉方式、组合模型、FM模型的深度学习演化版本、注意力机制与推荐模型的结合、序列模型与推荐模型的结合以及强化学习与推荐模型的结合等思路。
11、综上所述，神经网络模型之间的发展路径关系呈现出一种递进和扩展的趋势。从简单的感知机到复杂的多层感知机、前馈神经网络和BP神经网络，再到专门处理图像数据的卷积神经网络和处理序列数据的循环神经网络及其变种LSTM，以及注意力机制和生成对抗网络等技术的引入，都推动了神经网络技术的不断发展和创新。

神经网络模型之间的发展路径关系：
初始阶段：单层与多层感知机
1、感知机（Perceptron）：
   由Frank Rosenblatt提出，是最早的人工神经元模型。
   仅包含一层神经元，用于二分类任务。
   权重和偏置通过手动调整来最小化误差。
2、多层感知机（Multi-Layer Perceptron, MLP）：
   在感知机的基础上增加了隐藏层，形成多层结构。
   能够学习更加复杂的非线性特征表示。
   权重和偏置通过反向传播算法（BP）进行自动调整。
前馈神经网络的发展
3、前馈神经网络（Feedforward Neural Network, FNN）：
   包含输入层、若干隐藏层和输出层。
   信息单向流动，每个神经元只与前一层的神经元相连。
   可以视为多层感知机的一种。
4、BP神经网络（Back Propagation Neural Network, BPNN）：
   特指使用反向传播算法训练的前馈神经网络。
   通过计算误差的梯度并反向传播来调整权重和偏置。
   提高了网络的训练效率和精度。
特定任务专用网络
5、卷积神经网络（Convolutional Neural Network, CNN）：
   在前馈神经网络的基础上，引入了卷积层和池化层。
   专门用于处理图像数据，能够提取局部特征并降低数据维度。
   在图像分类、目标检测等领域取得了显著效果。
6、循环神经网络（Recurrent Neural Network, RNN）：
   引入了隐藏状态，能够捕捉序列数据中的时间依赖关系。
   适用于自然语言处理、时间序列预测等任务。
   但由于梯度消失和梯度爆炸问题，对长序列的建模能力有限。
7、长短期记忆（Long Short-Term Memory, LSTM）：
   RNN的改进版本，引入了门控机制。
   克服了RNN对长程依赖的建模能力弱的问题。
   在自然语言处理、语音识别等领域取得了广泛应用。
注意力机制与生成模型
8、注意力机制（Attention Mechanism）：
   让神经网络能够选择性关注输入序列中的重要部分。
   可以与多种神经网络模型结合，如RNN、CNN等。
   在自然语言处理、计算机视觉等领域取得了显著的性能提升。
9、生成对抗网络（Generative Adversarial Network, GAN）：
   通过生成器和判别器两个网络的对抗训练，能够生成逼真的人工样本。
   在图像生成、视频生成、风格迁移等领域有广泛应用。
   GAN的发展也推动了其他生成模型（如VAE、Flow-based模型）的研究。
图神经网络与深度推荐系统
10、图神经网络（Graph Neural Network, GNN）：
   针对图结构数据进行建模的神经网络。
   包括图卷积网络（GCN）、图注意力网络（GAT）等。
   在社交网络分析、推荐系统等领域有广泛应用。
11、深度推荐系统模型：
   如AutoRec、Deep Crossing、NCF（Neural Collaborative Filtering）等。
   这些模型结合了深度学习技术和推荐系统的特点。
   通过学习用户和物品的潜在特征来进行精准推荐。
总结：神经网络模型之间的发展路径关系呈现出一种递进和扩展的趋势。从简单的感知机到复杂的多层感知机、前馈神经网络和BP神经网络，再到专门处理图像数据的卷积神经网络和处理序列数据的循环神经网络及其变种LSTM，以及注意力机制和生成对抗网络等技术的引入，都推动了神经网络技术的不断发展和创新。同时，随着图神经网络和深度推荐系统模型等新兴领域的出现，神经网络的应用范围也在不断扩大。

杰弗里·辛顿的主要贡献：
1、多层感知器（MLP）与反向传播算法：辛顿在多层感知器（MLP）的研究中起到了关键作用，推动了反向传播算法在这些网络中的应用。反向传播算法最初由辛顿、David Rumelhart和Ronald Williams共同提出，极大地提高了神经网络的训练效率，奠定了深度学习的基础。
2、Dropout技术：辛顿及其团队（包括Geoffrey E. Hinton、Nitish Srivastava、Alex Krizhevsky、Ilya Sutskever和Ruslan Salakhutdinov）在2012年提出了Dropout技术，这是一种有效的正则化方法，用于减少深度学习模型的过拟合现象，提高了模型的泛化能力。
3、深度信念网络（DBN）：辛顿在2006年提出了深度信念网络（DBN），这是一种利用无监督学习进行预训练的深度学习模型。DBN的提出极大地促进了深度学习的发展，为后续的深度学习研究提供了重要思路。
4、卷积神经网络（CNN）的成功应用：辛顿的团队（特别是Alex Krizhevsky在辛顿的指导下）在2012年使用深度卷积神经网络（如AlexNet）在ImageNet竞赛上取得了巨大成功，推动了计算机视觉领域的进步。这一成果展示了深度学习在图像识别任务中的巨大潜力。
5、受限玻尔兹曼机（RBM）：辛顿在无监督学习和特征学习方面的研究，特别是受限玻尔兹曼机（RBM）的提出，为深度学习奠定了基础。RBM是辛顿和他的同事在1986年提出的，为后续的深度学习模型提供了重要的理论支持。
6、胶囊网络（Capsule Networks）：辛顿在2017年提出了胶囊网络，旨在改进卷积网络在空间关系建模方面的不足。胶囊网络通过引入胶囊单元来捕捉数据的空间层次结构，提高了模型的性能和鲁棒性。
7、自监督学习的基础研究：辛顿在无监督学习和特征学习方面的研究为自监督学习领域的发展奠定了基础。虽然自监督学习的概念较早，但辛顿的研究为这一领域提供了新的思路和方法。
8、学术领导与工业界影响：辛顿不仅在学术界取得了卓越成就，还积极推动深度学习技术的商业应用。他在谷歌、苹果等科技巨头担任重要职务，推动了深度学习技术的广泛应用，对工业界产生了深远影响。

原文地址：https://blog.csdn.net/liron71/article/details/142900867

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！