基于RK3576/RK3588+FPGA+AI深度学习的轨道异物检测技术研究
随着高速飞车技术的快速发展，轨道异物入侵已经成为影响列车安全行驶的重 要因素，急需对轨道异物快速识别，保证列车运行安全。传统的轨道异物检测存在 着检测结果不够准确和检测效率低下等问题，本文在综合分析国内外铁轨异物侵入 研究的基础上，提出一种新的轨道异物检测方法，完成了图像预处理、轨道区域提 取以及检测模型设计等关键技术任务，提高轨道异物检测的速度和精度。本文的主
要工作内容如下：
为解决图像或视频受噪声、雾气遮挡等因素影响导致细节损失和特征模糊等问
题，本文开展了图像预处理工作，包括融合多尺度σ值的双边滤波算法去噪、改进 ω值的暗通道先验算法去雾以及直方图均衡算法图像增强，通过实验对比不同算法 表明改进算法有效提升了图像质量。
针对轨道区域提取问题，提出了多算法融合的轨道区域提取算法。该算法综合
灰度变换、Canny边缘检测、优化霍夫变换直线检测和ROI轨道区域选取算法，实
现了轨道区域的精准分割和提取，并在实验中验证了其分割提取效果。针对数据量
匮乏的难题，本文运用了随机数据增强、Hide-and-Seek和CutMix多种数据增强策 略，丰富了数据的多样性，进而提升了模型训练的泛化能力。
为了提高轨道异物检测模型的检测精度和速度，在YOLOv8网络中引入EMA 注意力机制和优化YOLOv8网络的损失函数，提高模型特征提取能力，加速模型收
敛并提升边框定位精度，从而解决了遮挡目标和小目标易漏检造成的精度损失问题。
同时将模型主干网络替换为EfficientNetV2，将Neck层的C2f结构改为VoV-GSCSP 结构，简化了网络结构，解决了模型复杂度过高导致的检测速度下降问题。
最后对所提出的改进模型进行实验验证与消融分析。实验表明，该模型在轨道
异物检测中表现优越，mAP达到0.984，FPS达到77帧，证实改进措施的有效性。 相较于Faster R-CNN、YOLOv5s及YOLOv7等主流算法，本文提出算法在检测精 度和速度上均有提升。本文基于该模型设计了轨道异物检测软件，同时在RK3588S 芯片板卡上的部署实验表明，模型可实现45帧的检测速度，充分展现了其在边缘 计算领域的实际应用价值。
2.3 轨道异物入侵检测方案框架
本文的主要目标是设计和实现一种轨道异物检测系统，该系统以改进的
YOLOv8[ 47]目标检测算法为核心，辅以轨道异物入侵区域的图像预处理算法，用于铁 路轨道上的异物入侵检测，本文的工作可以分为三个阶段。
第一阶段是对输入的图像进行预处理操作和构建轨道异物数据集。为提升图像 质量并确保异物检测的准确性，运用图像去噪、图像去雾及图像增强算法，优化图像 的对比度，显著改善图像的质量。为了实现对铁路内轨道危险区域的精确识别与划
分，设计轨道区域划分算法，该算法紧密结合铁路场景的特点，利用Canny边缘检
测算法提取铁路边缘信息，确保边缘轮廓的准确性和连续性，通过霍夫变换进一步识
别这些区域之间的直线特征，从而勾勒出铁路轨道的走向。采用ROI（感兴趣区域）
方法，确定需要关注的轨道区域，最后通过算法对图像中的铁路部分进行涂色处理与 分割，使轨道区域更加醒目，便于后续的监测与分析工作。为了提升模型的泛化能力
和鲁棒性，本文对图像数据实施了多种数据增强操作。
第二阶段为基于YOLOv8算法的目标检测模型的改进。在综合检测精确度和实 时性的情况下，选择了YOLOv8目标检测网络框架进行优化。在YOLOv8中引入注
意力机制，使模型能够更专注于异物特征，同时忽略无关特征，避免因小目标或被遮 挡目标未被检测到而导致的遗漏情况。对传统损失函数在不同图像上可能产生相同
结果的问题，引入了Shape-IoU损失函数替换原本损失函数，旨在降低网络损耗，加 快收敛速度。最后，通过引入轻量化网络结构和轻量化卷积，对YOLOv8的主干网 络进行了优化，有效减少了网络参数和计算量，提升了检测效率。
第三阶段主要为模型实验和结果分析，对改进模型的深入实验验证。通过消融实 验，分析改进模型中各个模块对性能的具体作用。将改进模型与主流目标检测网络进 行对比，全面评估其在检测精度和速度方面的表现。基于模型设计轨道异物检测软 件，并在该软件上进行实验验证，进一步验证模型的实用性。最后将模型部署在边缘 计算芯片上，进行推理测试，记录最终帧数和精度，以全面评估模型在实际应用中的
性能表现。铁路轨道异物入侵检测研究方案框架图如图2-18所示。
3 轨道图像预处理及数据集构建
本章主要实现轨道图像的预处理和轨道异物数据集构建，其过程如图3-1所示，
其中图像预处理包括图像去噪、图像去雾、图像增强、轨道区域提取等操作。数据集
构建主要包括图像标注和数据增强等操作。
3.1 轨道图像去噪
在现实场景中，由于设备和系统不完善或存在弱光环境导致采集的图像存在噪 声，图像在压缩和传输过程中也会受到额外噪声的影响，给后续的异物识别等处理造 成干扰。为了得到去噪效果更好的算法，在原图像的基础上随机添加一些噪声，然后
选择算法进行对比试验，噪声图像如图3-2所示。
3.4 轨道区域提取
铁路场景涵盖站台、轨道、接触网等多个关键部分，其中，轨道区域作为核心组 成部分，由钢轨、枕木、路基或高铁轨道板等要素构成。为确保火车及高铁在铁道与 车站内的安全运行，必须在铁道沿线设置合理的限界，并维持必要的安全距离。本文 的主题为轨道异物检测，目的在于及时发现并应对侵入轨道的异物，因此要明确轨道
危险区域的具体范围。
本文采取以下步骤识别铁路轨道的危险区域，先通过灰度转换将彩色图像转换 为灰度图像，简化了图像处理过程并保留了关键信息，再结合边缘检测算法和霍夫直
线检测算法，精确描绘出轨道区域的轮廓，接着通过ROI区域判定，设定了轨道区
域的具体范围。为了保障安全，加入了适当的安全系数，从而最终确定了轨道入侵区
域的边界。
3.5 轨道异物数据集构建 3.5.1 有监督数据增强
鉴于轨道采集设备获取的轨道图像存在样本稀缺、异物种类繁多且图像特征模 糊等挑战，直接使用这些图像进行检测难以保证高精准度。同时，由于深度神经网络 参数庞大，需依赖大量数据进行有效训练以规避过拟合问题。因此，需要使用高效的 数据处理优化策略以提升检测精度。数据增强是解决过拟合问题的有效方法之一，可 以通过增加原始数据集来提取更多的信息，增强后的数据集能更全面地代表原始数
据集，从而减少训练集和验证集之间的差距[53]。
数据增强技术主要可分为两个类别：有监督学习数据增强和无监督数据增强。有 监督学习利用标签化数据进行模型训练，预测准确且目标导向明确，所以本章节选择
采用有监督的数据增强方法来对轨道异物数据集进行增强处理。
=================RK3576+FPGA+AI=================
搭载新一代八核 AIOT RK3576，采用先进工艺制程，内置 ARM Mali G52 MC3 GPU，集成 6 TOPS 算力 NPU，支持主流大模型的私有化部署。具备强大的高清高帧率显示能力，支持外部看门狗，拥有工业级的稳定性，广泛适用于 AI 本地部署应用场景。
八核 64 位 AIOT 处理器 RK3576
新一代八核 64 位高性能 AIOT 处理器 RK3576，采用大小核构架（4×A72 +4×A53），先进工艺制程，主频高达 2.2GHz，为高性能计算和多任务处理提供了强大支持。搭载 Mali - G52 MC3 GPU，145G FLOPS 的 GPU 可以支持有效的异构计算，满足图形密集型应用的需求。
更多的工业新特性
相对上一代芯片，RK3576更新多种工业新特性，包括：实时网络、信号输入、MCU、DSMC、Flexbus、资源隔离。
全面的AI私有化部署
内置强劲 NPU，算力可达 6 TOPS；能够进行更智能的数据处理、语音识别、图像分析，满足大多数终端设备边缘计算 AI 应用需求。支持 Transformer 架构下大规模参数模型，如 Gemma-2B、Qwen1.5-1.8B、Llama2-7B、ChatGLM3-6B 等大模型的私有化部署。
4K@120 fps 高帧率视频解码
支持 8K@30fps / 4K@120fps 解码(H.265 / HEVC、VP9、AVS2、AV1 ) 和 4K@60fps 解码(H.264 / AVC)，4K@60fps 编码(H.265 / HEVC、H.264 / AVC)。支持 HDMI2.1(4K@120fps)、DP1.4(4K@120fps0)
丰富的扩展接口
拥有 HDMI2.1、千兆以太网、百兆以太网、USB 3.0、USB2.0 、type-c（OTG / DP1.4）RS232、RS485、CAN、光耦隔离输入、继电器输出等接口，配置工业级全金属外壳，高效散热。
广泛的应用场景
RK3576可广泛适用于：边缘计算、大模型本地化、智慧商显、云终端产品、工控主机、汽车电子等行业领域。
原文地址：https://blog.csdn.net/ARM_FPGA_AI/article/details/145295286
免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！