【GOOD】DeGEM

ICLR2025 under review
看到不错的想法，学习一下

Decoupled Graph Energy-based Model for Node Out-of-Distribution Detection on Heterophilic Graphs

🐱🐶图上的OOD检测的工作是比较少的，相比于图像数据，图结构数据不满足i.i.d.假设，每个节点的OOD得分取决于其自身以及图中其他节点提供的关系上下文。也就是节点间的依赖关系使得图OOD检测需要额外的研究，而不是照搬CV领域等的OOD检测方法。

0x01 摘要

本文提出独属于graph领域的挑战未被考虑：异配问题。

GNNSafe存在问题：

1. 从分类logits中获取节点能量值，而没有专门为数据分布建模进行训练，因此在识别OOD数据方面效果不佳；
2. 高度依赖能量传播，而能量传播是基于同配假设（homophily assumption），在异配图上会导致性能严重下降，因为在异配图上在这种情况下，节点与其邻居的分布往往不尽相同。

GNNSafe是一种利用能量传播原则进行图OOD检测的代表性方法（基于能量的方法），发表于ICLR’23（上海交大）。
🐶依赖图拓扑进行传播的方式往往是该方法不能拓展至异配环境的主要原因。

为了解决上述问题，本文建议通过最大似然估计（MLE）来训练基于能量的模型（EBM），以增强数据分布建模，并消除能量传播以克服heterophily issues。
但是存在挑战：节点的相互依赖性和离散的图拓扑结构

为了解决挑战，本文提出了解耦图基于能量模型（DeGEM），它将学习过程分解为两个部分——利用节点表示的拓扑信息的图形编码器和在潜在空间中（进行MCMC采样）操作的能量头。

在没有OOD泄露的情况下，DeGEM方法在homophilic和heterophilic图的OOD检测中均实现SOTA。

0x02 Methodology

Revisiting Graph EBM for OOD Detection
使用图对比技术DGI进行节点表征，DGI的学习可以被理解为通过噪声对比估计来学习具有全局条件的EBM。
EBM中，不使用最大条件似然而是使用最大似然估计（MLE）来训练能量函数，从而提高了模型的表达能力。

Multi-Hop (MH) Graph Feature Encoder.
简单地使用单层GCN，如DGI（Deep Graph Infomax, 2018），无法从原始图特征中完全提取信息表示。另外，由于异配图中相似节点往往位于远距离，因此结合long-range信息对解决异配问题具有积极的作用。
因此，本文提出的方法采用L=5层GNN来学习图的节点特征。此外，加权selfloops技术被用作图过滤器的简单增强方法。最后，融合所有中间特征（所有图层的输出）以获得最终表示。

去掉能量传播，使用多跳来缓解异配问题

Conditional Energy (CE).
分布内数据集的读出summary$s$可以用作能量函数$f_{\omega }$中的监督信息，以在计算能量时比较节点表示和全局表示。
所提出的CE引入的全局信息的好处是双重的：①它可以指导MCMC采样（步长20），降低采样难度；
②它可以作为全局先验信息时，检测OOD节点。

结合全局和局部信息，同时适应同配和异配两种环境，并提高效率

Energy Readout (ERo).
由于每个节点的重要性是不同的，因此我们对能量读出时进行加权，权重是由softmax得到的。

加权融合

0x03 实验（未开源）

同配实验

异配实验

训练样本比率变化实验

Backbone

可以看到图对比算法（DGI）起了很大作用

---

🐶我会将其归类至Enhancement-based methods：权重$\times$(5层GNN+Self-loop+MLP)$\times$能量

正如rebuttal中公开的，该文不同于Heterophilic Graph Invariant Learning for Out-of-Distribution of Fraud Detection, MM'24.在欺诈检测背景下考虑OOD泛化任务中的异配问题的工作。但，我认为可以将HGIF归类为一种OOD检测的方法。

❓另外，题中的"decoupled"不清楚作者是想表达哪里的设计。

原文地址：https://blog.csdn.net/bocaiaichila/article/details/144352545

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！