自学内容网 自学内容网

论文略读:ASurvey of Large Language Models for Graphs

2024 KDD

  • 归纳了四种主要的graph+大模型
    • GNNs as Prefix
    • LLMs as Prefix
    • LLMs-Graphs Integration
    • LLMs-Only

1 GNNs as Prefix

1.1 节点级 Token 化

  • 将图结构中的每个节点单独输入到 LLM 中
  • 使 LLM 能够深入理解细粒度的节点级结构信息,并准确辨别不同节点间的关联与差异
  • 最大限度地保留每个节点的特有结构特征

1.2 图级 Token 化

  • 将graph综合成一个统一的图表示,喂给大模型

2 LLMs as Prefix

2.1 LLM作为嵌入器

  • 借助大模型在语言总结和建模方面的卓越能力,为 GNNs 生成富有意义和效果的嵌入,从而提升其训练效果

2.2 LLM作为label

  • LLM生成的信息不直接作为 GNNs 的输入数据,而是构成了更为精细的优化监督信号

3 LLMs-Graphs Intergration

3.1 GNNs 与 LLMs 的融合

  • 通常 GNNs 专注于处理结构化数据,而 LLMs 则擅长处理文本数据,这导致两者具有不同的特征空间
  • 为了解决这一问题,并促进两种数据模态对 GNNs 和 LLMs 学习的共同增益,一些方法采用对比学习或期望最大化(EM)迭代训练等技术,以对齐两个模型的特征空间

3.2 GNNs 与 LLMs 之间的对齐

  • 尽管表示对齐实现了两个模型的共同优化和嵌入级别的对齐,但在推理阶段它们仍是独立的
  • 为了实现 LLMs 和 GNNs 之间更紧密的集成,一些研究聚焦于设计更深层次的模块架构融合,例如将 LLMs 中的变换器层与 GNNs 中的图神经层相结合
  • 通过共同训练 GNNs 和 LLMs,可以在图任务中为两个模块带来双向的增益

3.3 基于LLM的图agent

  • 构建基于 LLMs 的自主智能体,以处理人类给出的或与研究相关的任

4 LLMs-only

4.1 无需微调的方法

设计 LLMs 能够理解的prompt

4.2 需要微调的方法

将图转换为特定方式的序列,并通过微调方法对齐图 token 序列和自然语言 token 序列

5 未来研究方向

5.1 多模态图与大型语言模型(LLMs)的融合

5.2 提升效率与降低计算成本

5.3 应对多样化的图任务

5.4 构建用户友好的图智能体


原文地址:https://blog.csdn.net/qq_40206371/article/details/145170159

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!