【TMM2024】Frequency-Guided Spatial Adaptation for Camouflaged Object Detection
论文链接：https://arxiv.org/abs/2409.12421
这个论文研究 Camouflaged Object Detection （COD）问题，作者认为，使用 pretrained foundation model 可以改进COD的准确率，但是当前的 adaptor 大多学习空间特征，对于纹理的细节变化缺乏适应性。因此，作者考虑在 adaptor 中加入频率域信息，论文的主要工作为设计了一个频率引导的空间注意模块（ frequency-guided spatial attention module），使预训练的基础模型从空间域适应，同时由自适应调整的频率分量引导，更多地关注伪装区域。
模型的总体框架如下图所示，骨干是预训练的VIT模型，同时有两个模块做为adaptor进行微调（1）frequencybased nuances mining (FBNM)；（2） frequency-based feature enhancement (FBFE)。
从图中可以看出，FBNM模块用于patch embedding之后，多使用卷积，获取目标与背景的细微差别。FBFE模块中使用很多cross-attention，作者解释可以获取一般知识和与任务相关的知识。
两个模块中都使用了Frequency-Guided Spatial Attention (FGSAttn)，结构如下图所示。核心思路是把FFT变换以后的频率特征，拆分为一个个独立的 patch，给各个 patch 添加注意力。作者认为这样可以更好的关注目标。
其它部分可以参考作者论文，这里不过多介绍。
原文地址：https://blog.csdn.net/gaopursuit/article/details/143612243
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！