论文速读：动态再训练-更新用于无源目标检测的Mean Teacher(ECCV2024)

原文标题：Dynamic Retraining-Updating Mean Teacher for Source-Free Object Detection

中文标题：动态再训练-更新用于无源目标检测的Mean Teacher

本篇文章为论文速读，以帮助大家快速了解大意，具体详解可以看这篇分享。ECCV2024新鲜出炉！动态再训练-更新用于无源目标检测的Mean Teacher-CSDN博客本文重点研究了在源域不可用的情况下，域自适应目标检测所面临的挑战。本文探讨了自训练均值教师框架恶化的原因，并提出了相应的改进措施。具体来说，我们引入了动态再训练更新机制来促进学生和教师模型的共同进化。在各种SFOD基准测试中，我们的方法显著提高了自训练范式的稳定性和适应性，实现了甚至可与先进的UDA方法相媲美的最先进性能。https://blog.csdn.net/m0_63294504/article/details/143581604

1、Abstract

在目标检测中，无监督域自适应（UDA）的目的是将知识从标记的源域转移到未标记的目标域。 然而，UDA对标记源数据的依赖限制了它在与隐私相关的场景中的适应性。本研究的重点是无源目标检测（SFOD），它使源训练的检测器适应于未标记的目标域，而不使用标记的源数据。最近在自训练方面的进展，特别是Mean Teacher(MT)框架，为SFOD的应用带来了希望。然而，缺乏有源的监督严重损害了这些方法的稳定性。我们确定了两个主要问题，(1)由于来自学生模型的不合时宜的更新而导致教师模型的不可控退化，以及(2)学生模型倾向于在不正确的伪标签上重复犯错，导致其陷入局部最优。这两个因素都造成了有害的循环依赖，导致最近的自训练框架的性能迅速下降。为了应对这些挑战，我们提出了动态再训练更新（DRU）机制，该机制主动管理学生训练和教师更新过程，以实现协同进化训练。此外，我们引入历史学生损失，以减轻不正确伪标签的影响。我们的方法在多个域自适应基准的SFOD设置中实现了最先进的性能，可与先进的UDA方法相媲美甚至超越。

2、Introduction

2.1、无监督域适应面临的挑战

无监督域自适应（Unsupervised Domain Adaptation，UDA）在目标检测中得到了广泛关注，其重点是将知识从源域转移到目标域。UDA方法通常需要同时访问已标记的源数据和未标记的目标数据，以实现跨域的特征对齐。然而，实际场景通常涉及隐私问题，限制对源域数据的访问，从而给UDA带来新的挑战。因此，无源目标检测（Source-Free Object Detection，SFOD）最近成为一个很有前途的研究方向。SFOD旨在使源训练的模型适应未标记的目标域，而不需要访问标记的源数据。

2.2、无源目标检测的瓶颈

在SFOD中，在缺乏有源监督的情况下使用伪标签进行自训练成为惯例。利用Mean Teacher（MT）进行自训练的最新进展显示出了巨大的潜力。这些基于mt的方法采用教师模型来指导学生模型。迭代过程包括通过学生模型的指数移动平均（EMA）权重来更新教师模型，然后使用经过更新的教师模型生成的伪标签来训练学生模型。尽管取得了一些进展，但由于缺乏标记的源数据和域转移引起的噪声伪标签，迭代自训练方法仍然遇到衰退问题。

2.3、自训练退化的原因

我们研究了导致 SFOD 中 MT 框架内自训练恶化的两个因素：（1）教师模型不恰当的更新可能会导致错误累积，因为它不断地从未进化完全的学

生模型中聚合不正确的知识；（2）当教师模型出错并提供不正确的信息时，学生模型会重现这些错误而不进行任何纠正，从而导致陷入局部最优。这两个因素形成了一种有害的循环关系，即教师模型为学生模型提供了不良的指导，而学生模型为教师模型提供了有偏差的知识。由于缺乏有目的的进化，这个循环最终导致自训练范式的毁灭。如图1所示，调整EMA权重或更新间隔并不能完全解决自训练MT框架中的不可控退化问题。此外，寻找用于模型更新的最佳 EMA 超参数非常耗时。

2.4、本文提出的方法

在本研究中，我们提出了动态再训练更新（DRU）方法来解决上述不稳定性.DRU 的概述如图 2 所示。DRU 积极管理学生训练和教师更新流程，以克服当前自训练 MT 范式中固有的有害相互依赖性。

图 2：传统 Mean Teacher (MT) 框架（左）和动态再训练更新 (DRU) 方法（右）的比较。左：在 MT 中，教师模型以固定间隔 m（m >=1）持续更新。右图：在 DRU 中，学生模型会动态重新训练，教师模型会根据预测反馈动态更新。此外，当前学生模型还受到历史学生模型的进一步监督。

具体而言，在学生进化状态反馈的指导下，如果学生陷入局部最优，则动态地对其进行再训练，而教师模型则根据进化和再训练的学生动态更新。

通过这种机制，学生可以摆脱因不准确的伪标签而产生偏差的次优状态，教师可以从进化的学生那里积累有价值的见解，促进训练中的共同进化。此外，我们引入了一个额外的历史学生损失，以减轻由不正确的伪标签引起的快速性能下降。这种损失利用了历史学生模型中的知识，为当前学生提供进一步的监督。在这种损失的额外指导下，学生模型可以减少恶化的教师模型产生的错误伪标签的影响，从而使训练更加稳定。

2.5、本文贡献

通过努力，DRU在各种SFOD场景中实现了最先进的（SOTA）结果，可与先进的UDA方法相媲美甚至超越。大量实验表明，DRU有效地解决了MT框架自训练固有的退化问题，在训练过程中具有显著的稳定性和适应性。我们的贡献可以概括为：

（1）我们探索了MT框架中自训练的退化问题，特别是当与基于transformer的检测器一起使用时，它容易受到域移位的影响。据我们所知，这是第一个基于transformer检测器对SFOD问题的有效性研究。

（2）我们引入动态再训练更新（DRU）方法来解决 MT 框架中观察到的退化问题。DRU主动控制学生训练和教师更新，促进协同进化训练。

（3）我们提出历史学生损失（Historical Student Loss），以防止由噪音伪标签引起的严重性能下降。

（4）在多个基准测试中，与最近的 SFOD 方法相比，我们的 DRU 实现了 SOTA 性能，并超越了几种先进的 UDA 方法。

3、Related Works

3.1、Object Detection

目标检测是计算机视觉中的一项基本任务。多年来，基于 CNN 的检测器引起了广泛的关注。然而，他们依赖于手工设计组件，例如非极大值抑制限制了它们端到端训练的能力。基于 Transformer 的检测器最近出现作为端到端目标检测的替代方案。虽然这些检测器在与训练数据分布一致的数据上表现出鲁棒性，但在面对域转移时它们会出现退化。我们的目标是增强模型对新领域的适应性，而无需注释。在本研究中，我们采用 Deformable DETR 作为我们的基线检测器，因为它的流线型简单性和对迁移学习有适应能力的注意力机制。

3.2、Source-Free Object Detection

引入无源目标检测（Source-Free Object Detection，SFOD）是为了解决涉及隐私问题的适配场景。如果没有源域监督，将现有的UDA方法应用于SFOD可能会导致不理想的结果，在训练过程中容易出现明显的不稳定性。SED代表了通过自熵下降引入伪标签自训练的开创性尝试。A2SFOD将对抗组件集成到MT框架中，以对齐源相似和源不相似图像的特征空间。IRG引入了一种新的由实例关系图网络引导的对比损失来增强目标域表示。为了确保稳定的自我训练，HCL约束当前模型优先考虑与历史模型一致的知识。PETS 提出了一个由静态教师、动态教师和学生模型组成的多教师框架，以解决自训练不稳定性问题。虽然大多数SFOD方法利用MT框架，但它们忽略了学生和教师模型之间必不可少的共同进化，这对于稳定自我训练范式至关重要。 在观察的基础上，我们引入了动态再训练更新方法，通过训练过程来促进学生模型和教师模型的改进。

3.3、Selective Retraining

基于transformer的模型由于参数较多，容易在小的训练集上过度拟合，陷入局部最优。在SFOD中，由于错误的伪标签，这个问题变得更糟。最近的研究表明，再训练为解决这个问题提供了有效的解决方案。MRT 采用MT框架内的周期性再训练，以减轻UDA任务中错误伪标签的影响。然而，它们依赖于标记的源数据来生成最佳的初始化权重。我们提出了一种新的方法，动态地重新训练学生模型，使其在源数据不可用时收敛到更好的局部最小值。

4、Problem Definition

在本节中，我们定义了SFOD的问题形式。令Ds = {(xs, ys)}表示已标记的源域数据，Dt = {xt}表示未标记的目标域数据。其中，x表示图像，y = (b, c)表示包含边界框b和类别c的注释。UDA方法需要标记源数据Ds和未标记目标数据Dt进行适配。相比之下，SFOD设置仅利用源训练模型G（在标记的源数据Ds上训练）和未标记的目标数据Dt进行适应。

5、Conclusion

本文重点研究了在源域不可用的情况下，域自适应目标检测所面临的挑战。本文探讨了自训练均值教师框架恶化的原因，并提出了相应的改进措施。具体来说，我们引入了动态再训练更新机制来促进学生和教师模型的共同进化。此外，我们提出了历史学生损失来减轻噪声伪标签的影响。在各种SFOD基准测试中，我们的方法显著提高了自训练范式的稳定性和适应性，实现了甚至可与先进的UDA方法相媲美的最先进性能。我们希望我们的研究能够提供新的见解，并提高自训练方法在更复杂情况下的有效性。