超容易出创新点的方向：GNN+Transformer！

翻阅了很多图神经网络的论文，终于找到了一个非常好“水”论文的方向：GNN+Transformer！

在近年的研究中，其一直是热门，且在各种图数据处理的任务中性能显著！比如NeurIPS上的SGFormer模型，便实现了推理时间快114倍的效果！模型GCFormer则准确率高达95.65％……

想往这方向发论文的伙伴，可以多考虑：引入对比学习、强化学习；与多模态数据融合结合；开发能根据图的拓扑结构和节点属性自动调整权重的注意力机制；设计新的位置编码和结构编码等方向。

为方便大家研究的进行，早点发出自己的顶会，我给大家准备了11种前沿创新思路和源码，一起来看！

论文原文+开源代码需要的同学看文末

GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation

内容：本文提出了GTC，这是一种新颖的自监督异构图表示学习框架。GTC通过结合GNN和Transformer的优势，利用GNN强大的局部信息聚合能力和Transformer的全局信息建模能力，有效解决了GNN中的过平滑问题，并能够捕获多跳邻居信息。框架中，GNN和Transformer分别编码节点信息，基于编码后的跨视图信息建立对比学习任务，实现自监督学习。

TextGT: A Double-View Graph Transformer on Text for Aspect-Based Sentiment Analysis

内容：本文提出了TextGT，这是一种用于基于方面的 sentiment 分析的双视图图 Transformer 模型。TextGT 结合了图神经网络和 Transformer 的优势，通过 GNN 层处理文本的图视图，Transformer 层处理序列视图，并紧密耦合这两个过程以缓解过平滑问题。此外，文章还提出了一种名为 TextGINConv 的算法，用于实现密集消息传递图卷积，以利用图中的边特征。

Gradformer: Graph Transformer with Exponential Decay

内容：本文提出了Gradformer，这是一种新型的图Transformer模型，通过引入指数衰减掩码来整合图的内在归纳偏差。Gradformer在自注意力机制中应用了基于图结构信息的指数衰减掩码，使模型在捕获远距离节点信息的同时，更加关注图的局部细节。此外，Gradformer还引入了可学习的约束，使不同的注意力头能够学习不同的衰减掩码，从而更有效地融合图中的多样化结构信息。

Graph External Attention Enhanced Transformer

内容：本文提出了GEAET，这是一种新型的图表示学习架构，旨在通过引入Graph External Attention（GEA）机制来利用图之间的外部信息，特别是图之间的相关性。GEAET结合了局部结构和全局交互信息，以获得更全面的图表示。通过在多个基准数据集上的广泛实验，GEAET展示了其在图预测和节点预测任务上的最先进性能，证明了图之间相关性的重要性。

码字不易，欢迎大家点赞评论收藏！

关注下方《AI科研技术派》

回复【GT结合】获取完整论文

👇

原文地址：https://blog.csdn.net/2401_82426425/article/details/145167155

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！