视觉雷达融合的多目标跟踪论文汇总
2021
Joint Multi-Object Detection and Tracking with Camera-LiDAR Fusion for Autonomous Driving
code: https://paperswithcode.com/paper/joint-multi-object-detection-and-tracking
摘要：采用相机-激光雷达融合的多目标跟踪（MOT）需要准确的目标检测、亲和性计算和数据关联的实时结果。本文提出了一种有效的多模态MOT框架，具有在线联合检测和跟踪方案和鲁棒数据关联。这项工作的新颖之处包括： (1)开发一个端到端深度神经网络，用于联合目标的二维检测和相关；(2)开发一个鲁棒的亲和计算模块来计算三维空间的遮挡感知外观和运动亲和度；(3)开发一个综合数据关联模块，用于检测置信度、亲和力和起止概率之间的联合优化。在KITTI跟踪基准上的实验结果表明，该方法在跟踪精度和处理速度方面都具有优越的性能。
论文的贡献：
- 开发一个端到端网络，可以同时从摄像机和激光雷达测量中生成3D边界框和关联评分，用于实时联合检测和跟踪。
- 开发一个鲁棒的亲和度计算模块，结合多模态特征和三维运动预测与鲁棒的亲和度量。
- 开发一个综合的数据关联模块，同时考虑检测不确定性和对象相关置信度。
- 在KITTI跟踪基准[1]上进行实验。我们的方法在跟踪精度和处理速度方面都优于基线。
2022
DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on Camera-LiDAR Fusion with Deep Association
code: https://paperswithcode.com/paper/deepfusionmot-a-3d-multi-object-tracking#code
摘要：在最近的文献中，一方面，许多三维多目标跟踪（MOT）的工作都集中在跟踪精度和忽略计算速度上，通常是通过设计相当复杂的代价函数和特征提取器。另一方面，一些方法过于关注计算速度，而牺牲了跟踪精度。针对这些问题，本文提出了一种鲁棒的、快速的基于摄像机-激光雷达融合的MOT方法，该方法在精度和速度之间实现了良好的权衡。基于照相机和激光雷达传感器的特点，设计了一种有效的深度关联机制，并嵌入到所提出的MOT方法中。这种关联机制实现跟踪的对象在二维域当对象很遥远，只有发现相机，和更新的2D轨迹与三维信息获得当对象出现在激光雷达视场实现平滑融合的2D和3D轨迹。基于典型数据集的大量实验表明，我们提出的方法在跟踪精度和处理速度方面都比目前最先进的MOT方法具有明显的优势。
论文贡献
- 提出了一种基于摄像机-激光雷达融合的三维实时跟踪框架，在典型的跟踪数据集上实现了优越的MOT性能。
- 提出了一种充分利用摄像机和激光雷达特性的新的深度关联机制。这种机制不涉及任何复杂的成本函数或特征提取网络，同时有效地融合了二维和三维轨迹。
- 所提出的跟踪框架具有快速的计算速度，并易于实时实现。
- 所提出的跟踪框架可以与任意的二维和三维检测器结合使用，这使得它广泛适用于各种场景，无需额外的训练。
2024
Tightly Coupled Integration of LiDAR and Vision for 3D Multiobject Tracking
摘要：三维（3D）多目标跟踪（MOT）在新兴的智能交通系统（ITS）应用中发挥着关键作用，为周围物体提供准确可靠的运动信息，用于安全导航和运动规划。然而，基于视觉的方法容易受到遮挡的影响，而基于激光雷达的方法由于缺乏纹理信息而在目标识别方面遇到了困难，这给目标跟踪带来了挑战。为了克服这些传感器本身固有的局限性，我们提出了一种基于融合的3D MOT系统，该系统将激光雷达和视觉测量紧密结合。具体来说，我们首先设计一个聚合关联度量，融合来自激光雷达和图像域的检测和几何特征，以有效地跟踪对象。在此基础上，将所有相关的多模态测量值进一步集成到一个统一的因子图优化框架中，以细化所跟踪的二维和三维轨迹。在公共数据集上进行的大量实验表明，我们的系统在目标定位精度和MOT性能方面都显著优于最先进的基于融合的MOT方法。
论文的贡献：
- 我们开发了一种新的聚合关联度量，它融合了多模态检测和几何特征，以有效地关联检测与轨道。
- 提出了一种在统一因子图优化框架内的多模态对象束调整（BA），通过紧密集成激光雷达和视觉测量值来优化跟踪轨迹。
- 提出了一种激光雷达-视觉的三维多目标跟踪系统，并在公共数据集上进行了广泛的验证，实现了最先进的MOT性能。
Multi-Object Tracking with Camera-LiDAR Fusion for Autonomous Driving
摘要： 本文提出了一种结合照相机和激光雷达数据的自动驾驶汽车多模态多目标跟踪（MOT）算法。相机帧使用最先进的三维物体探测器进行处理，而经典的聚类技术被用于处理激光雷达的观测结果。所提出的MOT算法包括一个三步进关联过程、一个用于估计每个被检测到的动态障碍的运动的扩展卡尔曼滤波器和一个轨迹管理阶段。EKF运动模型需要当前测量的被观测物体的相对位置和方向，以及自我车辆的纵向和角速度作为输入。与大多数最先进的多模态MOT方法不同，所提出的算法不依赖于地图或自我全局姿态的知识。此外，它使用了一个专门用于相机的3D探测器，并且不知道所使用的激光雷达传感器的类型。本文提出了一种结合照相机和激光雷达数据的自动驾驶汽车多模态多目标跟踪（MOT）算法。相机帧使用最先进的三维物体探测器进行处理，而经典的聚类技术被用于处理激光雷达的观测结果。所提出的MOT算法包括一个三步进关联过程、一个用于估计每个被检测到的动态障碍的运动的扩展卡尔曼滤波器和一个轨迹管理阶段。EKF运动模型需要当前测量的被观测物体的相对位置和方向，以及自我车辆的纵向和角速度作为输入。与大多数最先进的多模态MOT方法不同，所提出的算法不依赖于地图或自我全局姿态的知识。此外，它使用了一个专门用于相机的3D探测器，并且不知道所使用的激光雷达传感器的类型。
论文的贡献：
- 我们的方法使用了一个EKF来跟踪每个物体和一个新的运动模型来估计一个物体的绝对纵向和角速度。EKF运动模型只需要被观测物体的当前测量的相对位置和方向以及自我载体的纵向和角速度作为输入，而不依赖于地图或自我全局姿态的知识。
- 扩展的卡尔曼滤波器接受一个可以具有不同维数的测量向量。具体来说，激光雷达提供的测量值被处理并用于校正位置（x，y），而方向(ψ)则通过利用相机提供的测量值进行校正。根据在每个时刻可用的测量值，EKF可以校正所有三个值（x、y、ψ）或它们的一个子集。
- 提出的方法使用3D探测器[12]专门用于相机，不像文献中大多数多模态方法，后者使用3D探测器用于激光雷达和相机测量。激光雷达质心的计算采用了欧氏聚类算法，该算法加速了整个算法管道的执行，并确保了快速执行。此外，基于激光雷达的探测器往往强烈依赖于点云的结构，点云的结构根据所使用的激光雷达的类型而有显著差异。相反，所提出的方法是不知道所使用的激光雷达传感器的类型。
原文地址：https://blog.csdn.net/weixin_42990464/article/details/142936236
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！