自学内容网 自学内容网

【MAMSA】基于多注意力的多模态情感分析

abstract:

首先,该方法利用自适应注意交互模块动态确定文本和图像特征在多模态融合中贡献的信息量,并通过跨模态注意提取多模态共同表征,提高各模态特征表征的性能。其次,以情感信息为导向,提取与情感相关的文本和图像特征。最后,采用分层方式,充分学习情感-文本关联表示、情感-图像关联表示、多模态公共信息之间的内在相关性,提高模型的性能。

intro:

(情感融合到特征中的方法)

Zhou等人(2023a)使用SenticeNet对每个单词进行评分,然后将情感特征添加到多模态融合特征中。Xiao等人(2022)利用多头自注意机制将情感知识整合到多模态特征表示中。Zhu等人(2023)提出了情感知识增强注意融合网络(SKEAFN),该网络通过添加来自外部知识库的额外情感知识来增强多模态融合。这些方法已经证明,将情感信息纳入模型已被证明有效地提高了情感分析的准确性,为我们的模型设计提供了新的见解。

(区分情感共性与个性的重要性)

为了处理公共信息,一些研究人员在MSA中开发了创新的方法。Hazarika等人(2020)提出了一种称为多模态情感分析的情态不变和特定表示的模型。它利用情态不变表示来捕捉共同情绪,最大限度地减少跨模态差异。类似地,Yang等人(2022)提出了一种名为FDMER的方法来学习每个模态公共和私人的特征表示,通过自定义损失函数实现模态一致性和差异约束。Chen等人(2023)提出了一种基于信息相关性的联合多模态情感析方法。对模态之间的相关性进行量化和建模,以评估情感层面上的跨模态特征匹配。在取得显著结果的同时,这些方法静态地识别公共信息。事实上,每个图像-文本对中包含的共同信息是不同的,提取固定数量的共同信息并不适用于所有帖子。

(存在问题)

综上所述,目前的研究存在一个问题,即提取固定数量的共同信息不能有效适应所有帖子,导致某些情况下关键信息提取不准确

(解决问题)

因此,我们提出了一种基于多重关注的多模态情感分析方法。

它不是直接使用提取的图像-文本特征进行情感分析,而是设计了一个自适应的注意力交互网络。

(创新1,宏观上的创新)

该网络为特征分配不同的可学习参数,自适应地确定多模态融合中的文本和图像贡献,并通过跨模态注意提取共享的多模态表示,增强每个模态的特征表示。

(创新2,细节创新)

同时,为了充分识别情感、文本和图像之间的相关性,我们还使用注意机制对情感-文本关联表征和情感-图像关联表征进行建模。

(创新3)

最后,采用层次融合的方法,以层次的方式充分学习情感-文本关联表征、情感-图像关联表征和多模态公共信息之间的内在相关性,从而提高模型的性能。

•我们提出了一个基于多重关注的多模态情感分析框架。该模型采用自适应交互模块来动态确定共同信息的数量,并学习跨模态共性。该模块解决了现有研究中因提取固定数量的公共信息而导致性能下降的问题
•我们使用情感关注来关注文本和图像中与情感相关的信息。同时设计一个层次融合模块,使用分层方法充分交互三种模式,以获得它们之间的内部相关性。
•在两个公开可用的多模态数据集上进行的大量实验表明,我们的模型可以更好地关注图像和文本之间的共同和互补信息。与之前的基线模型相比,我们的模型已经显示出了显著的改进。

related work:

(现存问题)

首先,模态之间的关系对于多模态情感分析至关重要。然而,现有的多模态情感分析方法大多只是将多个模态的特征拼接在一起,无法充分挖掘它们之间的相互作用,结果并不理想。此外,在多模态特征的学习中,忽略了多模态数据之间的共同信息和互补信息,导致了情感分析的偏差。因此,大量研究者将注意力集中在了这两个问题上。

(举例,在以上问题上的进展)

Zhou等人(2023b)为了实现情态之间充分的交互和融合,提出了一种交叉关注混合特征加权网络,充分利用图像和上下文特征之间的互补信息,实现准确的情感识别。

Zhang等人(2021)使用两个记忆网络来挖掘图像和文本的模态内信息,然后设计一个判别矩阵来监督模态间信息的融合。

Li等人(2022)提出了一种用于对齐和融合文本和图像的标记级特征的多层融合模型,并设计了两个比较学习任务来帮助模型学习多模态数据中的情感相关特征。为了更有效地融合图像和文本的局部特征,他们提出了从细粒度标记级执行多模态特征融合的MLF模块。

Huang等人(2023)提出了一种具有交叉模态注意(TeFNA)的文本中心融合网络。

Liu等人(2023b)提出了一种基于级联多通道分层融合(CMC-HF)的多模态情感识别框架,利用分层融合有效学习多模态信息交互。

类似地,Yang等人(2021a)使用堆叠注意记忆网络使文本特征与图像特征相互作用,并使用多层感知器和堆叠池模块构建了多模态特征融合模块。

基于注意力机制的最新进展,Zhao等人(2023)提出了一种称为SPMN的共享私有记忆网络,将私有视角和共享视角的多模态表示解耦。

Le et al.(2023)提出了一种基于transformer的融合和表征学习方法,将原始视频帧、音频信号和文本字幕作为输入,通过统一的transformer架构传输这些多模态的信息,以学习联合多模态表征。

Zeng等人(2023)提出了一个多模态交互式和融合图卷积网络。引入image -age标题作为辅助,与图像对齐,增强语义传递。然后,使用生成的句子和图像作为节点来构建图。不同的模态以不同的方式表达情感,但它们都共享说话者的动机和目标。因此,利用模态之间的共性信息将有助于分析帖子的情绪。

例如,He等人(2022)提出了一种动态不变的特定表示融合网络,通过改进的联合域分离网络获得了所有模态的联合域分离表示,有效地利用了融合信息。

Liu等人(2023a)提出了一种基于跨模态一致性建模的知识蒸馏框架,通过设计混合课程学习策略来度量多模态数据的语义一致性。

Xu等人(2022)提出了多模态情感分析框架(CMJRT),该框架通过模态之间的层次交互将联合表征从双峰转化为单峰,以获得模态之间的一致性和互补性。

Sun等人(2023)提出的门控跨模态注意机制以自适应方式执行模态交互,过滤掉多个模态之间的不一致性,同时也使用平行结构以配对方式学习更全面的情感信息。

Liu等人(2023a)设计了一种混合课程学习策略来测量多模态数据中的语义不一致,并从易到难逐步训练所有图像文本对,可以有效处理社交媒体上图像和文本不一致所带来的大量噪声。

Quan等人(2022)提出了一种新的模型框架MICS,它对每一种模态都采用了合适的策略,为融合提供了更好的表征。

Zhao等人(2022)提出了一种多层多模态对齐和交互式网络增强的BERT。该模型引入了一个记忆网络来对齐不同的多模态表示,并使用模态更新方法来解决异步问题。

Lin等人(2023)提出了一种双向风格增强模块来捕获模式之间的相关语义信息。

Xiao等人(2023)提出了一种跨模态细粒度对齐和融合网络,将图像转换为文本标题和图形结构,动态对齐文本标题和输入文本的语义和句法信息。

(总结)

综上所述,尽管这些方法取得了很好的效果,但现有的研究忽略了动态提取情态之间的共同和互补信息的重要性,导致情感分析存在偏差。因此,我们提出了一种基于多注意的多模态情感分析模型,该模型设计了一个自适应注意交互网络,将不同的可学习参数作为不同特征的符号,并进行自适应加权特征注意交互操作来提取多模态共同信息。同时,为了充分识别情感、文本和图像之间的相关性,该模型利用注意机制对情感-文本关联表征和情感-图像关联表征进行建模。最后,以分层的方式进行多模态融合。

method:

分为五个模块,特征编码模块、自适应注意交互模块(AAI)、情感关联表示模块(SA)、层次融合模块(HF)和情感预测模块。

MSA任务定义,文本T和图像P的多模态信号来获取情感,输入文本TI和图像PI,输出一个情感标签LI。

特征编码

这样就完成了文本和图像的初步特征表示,分别为 。

自适应交互模块

编码得到的文本特征与图像特征仅包含单一模态的信息。论文认为,每个模态都能为另一模态提供辅助信息,但到底“提供多少”需要动态调节,而简单拼接或者累加会引入噪声。为此,设计了 AAI 模块来实现“自适应加权”的多模态交互:

Q:什么叫提供多少?

A:

这里所谓的“提供多少”,指的是 在多模态融合中,不同模态(文本、图像)对最终表示所贡献的比例或权重。举个简单的例子:

  • 如果一段文本和它对应的图片息息相关,那么图像信息对分析结果的贡献就会相对大一些,也就是“提供较多”图像特征给整体的多模态表征;
  • 如果图片和文本关联度较弱,那就应该“提供较少”的图像特征,而主要依靠文本本身去做情感判断。

因此,模型需要一种“自适应”的机制来决定:

  • 在融合时,文本向量要保留多少“原本的文本信息”;
  • 从图像向量中采纳多少“能增益文本理解的视觉信息”;
  • 同理,也要决定从文本向量中为图像特征提供多少辅助信息。

“简单拼接/累加会引入噪声”就是因为,如果无差别地把两种模态的所有信息硬拼起来,可能会把一些无关或冲突的信息也混进最终表示里,反而影响分类效果。所以论文要通过自适应注意力权重或者门控机制之类的方法,让模型自己学会:我应该吸收多少文本信息、吸收多少图像信息,这就是“提供多少”的含义。

经过CLIP编码后,图像和文本特征仅包含其各自的信息。本文假设,来自一种模态的信息可以增强另一种模态的表示,但对于相反模态的有用信息的程度仍然未知。因此,需要设计一个网络来动态地确定这一信息量。同时,在多个模态之间进行简单的连接会带来更多的噪声。为了解决这个问题,我们设计了一个自适应注意交互网络,为不同的特征分配不同的可学习参数,并进行自适应加权特征注意交互操作,提取共同信息。

首先,前期对Transformer编码的文本和图像特征进行融合,利用融合后的特征动态获取自适应分数;分数代表融合过程中文本和图像的贡献程度,有助于提高特征表示的性能。

初步融合

将文本特征和图像特征在维度上做concat,得到一个简单的融合表示:

自适应注意力权重

用一个可学习的参数和偏执通过sigmoid输出一个权重

其中表示“文本对多模态融合的贡献度”,则1-对应“图像对多模态融合的贡献度”

加权融合

将自适应分数与文本特征相乘,进一步确定了文本特征在多模态融合中贡献的信息,同样,通过将图像特征乘以1−θi,可以得到图像在融合过程中的贡献。具体过程如下:

这样就动态地控制了文本与图像在多模态表示中的占比。

跨模态注意力CA

为了加强文字贡献信息与图片之间的交互,以及图片贡献信息与文字之间的交互,采用了跨模态关注模块来实现这一过程。它可以计算文本之间的关注得分贡献信息和图像,以及图像-贡献信息和文本之间。

 以文本特征为例,跨模态关注的查询Q为图像贡献信息,键K和值V均为文本特征

其中是点积相似度函数,而是衡量图像贡献信息对文本特征重要性的权重分数函数,是文本表示T与图像贡献信息相关,表示文本共同特征,表示为图像共同特征。

最后将两种模式的公共信息进行拼接,得到多模态公共信息:

情感关联表示

在多模态信息与文本图像相互对齐之后,作者还希望利用 情感先验 来增强模型对情感相关特征的关注,为此,在SA模块中引入情感嵌入矩阵(Yang et al., 2021b)Sentiment Embedding Matrix作为情感文本关注(STA)的查询Q,分别与文本和图像进行注意力交互。即在K = V的情况下,以情感为导向,从语义信息中动态选择最能表达情感的词部分,并生成情感-文本关联表示。

 原文描述:

将情感嵌入矩阵作为情感文本关注(STA)的查询Q,将文本特征作为STA的K和V。即在K=V的情况下,以情感为导向,从语义信息中动态选择最能表达情感的词部分,并生成情感-文本关联表示。

对于情感嵌入矩阵的建立,我们使用GLOVE模型。对于MVSA-Single数据集,Li∈{positive,negative,neutral};对于TumEmo数据集,Li∈{anger,bored,clam,fear,happy,love,sad};首先,利用GLOVE算法对不同的词进行编码,得到词嵌入向量,并将其填充到指定的长度,然后将不同的嵌入向量组合成一个情感嵌入矩阵。

得到

Ms是情感嵌入矩阵,Ms属于3×d是极性三分类,Ms属于7×d是强度七分类,代表第i个文本-图片对的情感-文本关联。

同样,将情感嵌入矩阵作为情感图像关注(SIA)的查询Q,将图像特征作为SIA的K和V。在K=V的情况下,在情感的引导下,对图像信息中最能表达情感的区域进行动态关注,生成一种情感图像相关表示。

其中代表第i对文本-图像对的情感-图像关联。

分层融合模块

经过AAI和SA处理,得到情感-文本关联表示、情感-图像关联表示和多模态公共信息。为了进一步整合三者,我们引入了分层融合模块。

分层融合的设计是将三种模态进行统一和组合,以获得三者之间的内部相关性。早期融合和晚期融合无法学习异质模态之间的内部相关性。受混合融合策略的启发,分层融合以分层的方式充分利用了三种模态之间的内部相关性。

层次融合(HF)由两层注意力组成。

第一层:

(描述)在第一层注意中,Q是情感-文本关联表征,而K和V是情感-图像关联表征。

(目的)这种设置允许模型在处理文本时专注于与其相关的图像区域,使模型能够更准确地理解图像内容,并生成与图像密切相关的文本输出。

(结果)在第一层注意之后,我们得到了一个情感-多模态关联表示XS。

第二层:

(描述)在第二层注意中,Q是情感-多模态关联表示XS,而K和V是多模态公共信息XC。

(目的)这种设置可以更好地关注多模态公共信息中的情感信息,这个过程得到情感共同的多模态表示,从而提高我们的预测精度。

att()为注意力机制,linear为线性层

情感分类

最后用一个softmax分类器对上一步得到的Xi做情感极性或情感强度的分类预测

experiment

为了验证模型预测情绪的准确性,我们在两个公开可用的多模态情绪分析数据集上进行了实验,MVSA-Single (Niu等人,2016)和TumEmo (Yang等人,2021b)。并将该模型与一些单模态和多模态方法进行了比较。其中,在MVSA-Single上执行积极、中性、消极3类情绪极性预测任务,在TumEmo上执行角度、无聊、平静、恐惧、快乐、爱、悲伤7类情绪极性预测任务。进行了一系列消融实验来验证每个模块的有效性,随后进行了层次融合顺序的实验,最后将情绪在图像上的表征可视化。

数据集

MVSA-Single包含5129个图像-文本对,每个数据包含一个情感注释。TumEmo是一个多模态弱监督情感数据集,包含从Tumblr抓取的190,000对图像-文本对,每个图像-文本对标记为不同的情感。为了进行公平的比较,我们按照Yang等人(2021b)的方法对两个数据集进行处理,随机划分训练数据集、验证数据集和测试数据集按8:1:1的比例,如表1所示。各类别在数据集中的分布如图3所示。如图所示,数据在数据集中不同类别之间的分布是不平衡的。因此,我们对最小的类别进行
随机过采样,以减少数据集不平衡对实验的影响。

参数设置以及评价指标

我们使用Adam对pytorch实现的模型进行优化。MVSA-Single和TumEmo的Batch Size设置为32,64。初始学习率设置为1e−4,学习率调度器的设置根据数据集的不同而不同。在MVSA-Single数据集上,步长= 1,gamma = 0.8;在TumEmo数据集上,步长= 2,gamma = 0.8。所有模型都在NVIDI 3090 gpu上进行了测试。

最常用的情感分析评价指标是准确率(ACC)和F1值。ACC和F1值用来衡量情感分析系统的有效性和性能。ACC为模型正确预测的样本占总样本量的比例,F1值用于综合评价模型的性能。该值越大,说明模型的性能越好。

其中TP是正确预测的样本数量,N为样本总数,P为准确率,即预测的真实类的比例,R为召回率,即正确预测的正类与真正类的比例,F1为准确率与召回率的调和平均值。

基线模型

本文将基线模型分为三类,分别是文本模型、图像模型和多模态模型。将CIGNN模型的结果与基线模型进行比较。

文本模型:CNN (Kim, 2014)和BiLSTM (Wang和Yang, 2020)是著名的文本分类模型。TGNN (Huang et al., 2019)是一种用于文本分类的文本级图神经网络。BiACNN (Lai et al., 2015)是将CNN和BiLSTM结合起来,采用注意机制进行文本情感分类。

图像模型:ResNet (He et al., 2016)只对图像进行预训练和微调。OSDA (Yang等人,2021a)是一种基于多视角的图像情感分类模型。

多模态模型: MultiSentiNet (Xu and Mao, 2017)是一个专注于文本-图像情感分析的深度语义网络。HSAN (Xu, 2017)是一种基于图像标题的分层多模态情感关注网络。MGNNS (Yang等,2021b)是一种用于多模态情感检测的带有情感感知的多通道图神经网络。CLMLF (Li et al., 2022)使用多层变压器进行融合,并使用对比学习的思想进行文本-图像情感检测。CIGNN (Wang等,2024)利用属性信息表示图像,构建两个图神经网络对数据集的全局特征进行建模,然后进行情感分析。

对比实验

为了测试新建立的模型在多模态情感识别中的准确性,我们在两个公共数据集上进行了验证,并将模型与单模态和多模态基线模型进行了比较,实验结果如表2所示。黑体显示的结果是MAMSA模型的结果,下划线显示的结果是基线模型中最好的表示。

定量分析:

(将提高的部分进行表述)从表2可以看出,与TGNN相比,我们的模型在MVSA-Single上的实验结果提高了7.29%和10.9%,在TumEmo上的实验结果提高了4.27%和4.7%。可以看出,与OSDA相比,我们的模型在MVSA-Single上的实验结果提高了10.86%和10.33%,在TumEmo上的实验结果提高了20.36%和33.54%。可以看出,与最优基线模型相比,我们的模型在MVSA-Single上的实验结果提高了2.28%和3.38%,在TumEmo上的实验结果提高了0.68%和0.86%。

(说原因,这个部分的原因说的是特征编码器的优势)这表明该模型在三类和七类情感分析中都能达到最佳性能。MAMSA (VIT-B /32)和MAMSA (VIT-B /16)表明特征编码模块使用的模型是VIT-B /32和VIT-B /16。与VIT-B /32相比,VIT-B /16在MVSA-Single和TumEmo数据集上分别提高了0.23%和0.62%,表明VIT-B /16在特征提取方面具有更好的性能。

定性分析:

与单模态模型相比,我们的模型通过整合文本和图像信息,可以更全面地捕捉情感表达,在处理复杂的情感表达方面具有优势。

(图像的信息最稀疏)从表2中可以发现,图像模型对于情感分析是最差的,这是因为图像中的情感特征过于稀疏,导致更多的噪声,使得模型难以获取用于情感分析的有效特征。

(本模型的优势)相比基线多模态模型相比,我们的模型动态提取模态间的共同信息,提高了模型的特征表达能力。此外,情感关注可以使文本和图像专注于自身的情感特征,提高情感分析的准确性。最后,层次-化学融合结合语境信息来理解情感表达,比如通过文本中的语境和图像中的场景来推断用户的真实情感。

消融实验

为了进一步分析模型不同组成部分对整个模型性能的影响,我们在MVSA-Single和tumemo数据集上设计了四组消融实验。实验结果如表3所示。随着我们逐步引入提出的模块,我们可以清楚地观察到它们对实验结果的显著贡献,这进一步验证了每个模块设计的有效性和必要性。

(现象描述)与文本-图像相比,+AAI在两个数据集上的实验结果分别提高了7.08%和4.03%。

(原因分解)其中,自适应注意力交互模块(+AAI)通过其动态可调的特征,从早期融合特征中灵活捕获当前任务最关键的信息片段,提高了模型的性能。

(进一步增加模块)随后,在AAI的基础上,我们进一步增加了情感嵌入矩阵来增强情感关注机制(+SA)。与仅使用AAI相比,+SA在两个数据集上的实验结果分别提高了0.67%和3.98%。

(原因分解)这一改进不仅证明了情感嵌入矩阵的有效性,也揭示了它如何协助注意力机制更准确地聚焦于能够深度表达情感的文本单词和图像区域。情感嵌入矩阵的引入使得模型更加敏感和深入理解情感内容,从而提高情感分析的整体性能。

(进一步增加模块)最后,为了最大化多模态之间的互补性,我们在+SA之上添加了一个分层化学融合模块(+HF)。

(原因分解)实验结果表明,+HF的加入进一步提高了模型在两个数据集上的性能,充分证明了层次融合策略在提高多模态情感分析任务性能方面的有效性。

(大总结)通过这一系列的模块添加和验证过程,我们不仅展示了每个模块对提高模型性能的独立贡献,还揭示了它们如何协同工作以构建更高效、更强大的多模态情感分析模型。

层次融合实验

为了分析层次化学聚变模块中聚变顺序对模型性能的影响,我们设计了6组不同聚变顺序的实验。使用的数据集仍然是MVSA-Single和TumEmo,实验结果如表4所示。

(结论)

从表4中可以发现,改变融合顺序会导致性能变差。

(分别阐述原因)

与(2)相比,(1)表现更好,因为文本在多模态融合中起主导作用,从而更好地关注与文本相关的图像区域。在第一层注意中,文本占主导地位,注意机制可以关注图像中与文本相关的区域,从而提高模型的性能。

与(1)和(2)相比,(3)-(6)的性能明显降低。这是因为CATis处于不合理的位置。例如,在cat-text-image中,在第一层注意中,Q是多模态公共信息表示,而K和V是情感-文本关联表示。这种设置会导致情感-文本关联表示中情感信息的丢失,最终导致模型的性能下降。综上所述,合理的融合序列将提高模型的性能。

自适应注意交互分析

如公式(4)所示,由 AAI(自适应注意交互)学习得到的标量 θ 表示文本和图像在融合过程中的贡献度。从直觉上看,θ 的取值可能会影响 MAMSA 模型的性能。因此,为了验证所设计的自适应注意交互机制的有效性,我们将 AAI 与不同预先设定的 θ 进行了比较,并分析了四组文本-图像对所学到的 θ。预定义 θ 与 MAMSA 的对比结果见表 5。

(实验设置、实验现象描述)

我们设计了十个实验,将预设的 θ 参数设定为从 0.1 到 0.9 逐渐递增的一系列九个不同取值。这样的细化划分能够全面地考察 θ 取值变化对情感分析结果所产生的具体影响。正如表 5 所示,每一个固定的 θ 值都会对应不同的情感分析结果。此外,与这些预先设定的 θ 相比,模型自适应学习得到的 θ 值在性能上表现更佳。尤其值得注意的是,与这些静态、固定的 θ 值相比,模型通过自适应注意力机制得到的自适应 θ 值表现出了更优的性能。

(案例分析)

图 4 对这一结论提供了有力佐证,图中清晰展示了不同的文本-图像对与其所学习到的 θ 值之间的一对一对应关系。正是这种对应关系深刻地表明,AAI(自适应注意交互)模块能够针对每个文本-图像对自适应地学习最优的 θ 值。例如,对于编号为 484 的文本-图像对,模型学习到的 θ=0.308;相对地,对于编号为 3970 的文本-图像对,则学习到 θ=0.743。

(结论,论证了动态调整的必要性)

这一自适应学习方法突破了传统方法中固定权重设置的局限性,使得模型能够更灵活地适应多样化的情感表达场景。如果仅仅依赖某个预定义的 θ(如 θ=0.5),尽管能提供一个基本的融合框架,但往往无法精准地捕捉每个文本-图像对所独有的情感特征,导致次优的分析结果。

情感可视化实验

为了深入分析注意力机制能否在情感嵌入矩阵的指导下,有效地聚焦于最能表达情感的图像区域。我们对SIA的注意力权重进行了可视化处理,注意力可视化的结果如图5所示。从图5中可以观察到,在情感嵌入矩阵的指导下,模型准确地聚焦了对情感表达有决定性影响的区域,并相应地为这些区域分配了更高的关注权重。例如,在图5a中,模型将更多的注意力集中在有文字的食物和纸张这两个关键元素上。食物作为图像中的核心元素之一,往往表达博主的情绪;而纸上有文字的文字,则很可能直接透露出图片的情绪倾向。在图5b中,人物的笑脸无疑是传达积极情绪最直接、最
有力的方式。该模型通过注意机制成功锁定了这一关键区域,并给予了高度关注。这种精确的情感定位能力不仅展示了该模型在图像情感分析领域的深厚基础,也为其在多模态情感分析中的更广泛应用提供了强有力的支持。


原文地址:https://blog.csdn.net/weixin_45962681/article/details/145267742

免责声明:本站文章内容转载自网络资源,如侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!