YOLO11改进-模块-引入可学习局部显著核模块(Learnable Local Saliency Kernel Module) 增加局部特征
红外小目标检测(ISTD)在民用和军事领域应用广泛,但面临诸多挑战。传统方法分为模型驱动和数据驱动两类,各有优缺点。受局部显著核 “中心减邻域” 模式启发,结合卷积神经网络和注意力方法提出了可学习局部显著核模块(LLSKM)。其旨在将传统显著模型融入神经网络,提升网络对红外目标显著特征的捕获能力,增强深度 ISTD 方法的局部敏感性,同时在特征提取和参数效率间取得平衡,推动 ISTD 技术发展。
上面是原模型,下面是改进模型
1. LLSKM介绍
1. 红外小目标检测的重要性与挑战:ISTD 在海事监控、火灾报警、泄漏测量等众多领域至关重要。然而,红外目标具有小(占比小于 0.15% 图像像素)、暗(低信噪比和局部对比度)、尺寸多变(缺乏纹理和颜色信息)等特性,在复杂红外场景下检测难度极大,始终是研究热点与难点。
2. 传统 ISTD 方法的分类与局限
模型驱动方法:基于人类视觉系统(HVS)的方法利用红外目标在背景中呈现的圆形高斯强度模式及局部显著特征(如 “中心减邻域” 原理的局部微分核)识别目标,但单一强度特征不足以区分所有小目标,且参数调整复杂影响性能。
数据驱动方法:利用神经网络学习标签与原始图像映射关系,虽在提取目标特定特征上有进展,但多数未重视目标显著方面,部分方法虽融合不同驱动特征,但计算成本高,轻量化策略又难以保留目标显著特征。
3. 模型启发的深度核研究进展与启发:深度核在图像领域应用广泛,已有研究在模拟传统核、调整核权重等方面取得成果,为在 ISTD 中实现显著核提供思路,促使研究者探索如何以显式且轻量方式检测红外目标并提取显著特征,进而引出 LLSKM 的研究。
从下面图我们可以清晰的看到,他是将中心权重特征与卷积达到的特征相结合,让模型能够自动学习到适合的核参数,从而更精准地捕捉图像中的显著特征,提升图像处理任务的性能。
2. YOLOv11与LLSKM的结合
可以在YOLOv11原有的局部特征基础上,增加对局部特征的关注,使特征表达更加丰富和准确。
3. LLSKM代码部分
YOLOv8_improve/YOLOv11.md at master · tgf123/YOLOv8_improve · GitHub
YOLOv11全部代码,现有几十种改进机制。
4. 将LLSKM引入到YOLOv11中
第一: 将下面的核心代码复制到D:\model\yolov11\ultralytics\change_model路径下,如下图所示。
第二:在task.py中导入包
第三:在task.py中的模型配置部分下面代码
第四:将模型配置文件复制到YOLOV11.YAMY文件中
第五:运行成功
from ultralytics.models import NAS, RTDETR, SAM, YOLO, FastSAM, YOLOWorld
if __name__=="__main__":
# 使用自己的YOLOv8.yamy文件搭建模型并加载预训练权重训练模型
model = YOLO(r"D:\model\yolov11\ultralytics\cfg\models\11\yolo11_LLSKM.yaml")\
.load(r'D:\model\yolov11\yolo11n.pt') # build from YAML and transfer weights
results = model.train(data=r'D:\model\yolov11\ultralytics\cfg\datasets\VOC_my.yaml',
epochs=300,
imgsz=640,
batch=64,
# cache = False,
# single_cls = False, # 是否是单类别检测
# workers = 0,
# resume=r'D:/model/yolov8/runs/detect/train/weights/last.pt',
# amp = True
)
原文地址:https://blog.csdn.net/qq_64693987/article/details/145010979
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!