等变即插即用图像重建

大家读完觉得有帮助记得关注和点赞！！！

摘要

        即插即用算法为解决反问题成像问题提供了一个流行的框架，该框架依赖于通过降噪器隐式定义图像先验。这些算法可以利用强大的预训练降噪器来解决各种成像任务，从而避免了在每个任务的基础上训练模型的必要性。不幸的是，即插即用方法通常表现出不稳定的行为，阻碍了它们的多功能性承诺，并导致重建图像质量不佳。在这项工作中，我们表明，对去噪器强制执行对某些变换群（旋转、反射和/或平移）的等变性，可以显著提高算法的稳定性和重建质量。我们提供了一个理论分析，阐明了等变性在提高性能和稳定性方面的作用。我们提出了一种简单的算法，通过在算法的每次迭代中对去噪器的输入应用随机变换，对输出应用逆变换，来强制对任何现有去噪器进行等变。对多种成像模态和去噪网络的实验表明，等变即插即用算法与非等变算法相比，在重建性能和稳定性方面都有所提高。

1. 引言

线性逆问题在成像科学中无处不在，其著名实例包括图像恢复、磁共振成像 (MRI)、计算机断层扫描和天文成像等等。在这种情况下，目标是从通过以下方式获取的测量值 y ∈ Rm 中恢复图像 x ∈ Rn：

其中 A : Rn → Rm 是一个线性算子，ϵ 是某种随机噪声的实现。文献中提出了许多解决类似 (1) 问题的方法，从变分方法 [6, 12]（解决成本函数最小化问题）到使用深度神经网络的端到端重建 [19, 22, 50]，以及最近的扩散算法 [9, 14, 21, 52]。

在这项工作中，我们专注于依赖于隐式去噪先验的方法。例如，即插即用 (PnP) 算法 [20, 34, 43, 48] 提议用一个对隐式图像先验进行建模的去噪器来替换变分方法（通过近端算法求解）中涉及的近端算子。类似地，正则化降噪 (RED) 方法建议用降噪器 [32] 替换先验项上的梯度步骤。虽然降噪器通常被训练为使用灰度或彩色自然图像的 Gaussian 降噪器，但它可以被插入到旨在解决各种图像相关问题的算法中，而不受输入图像性质的限制（例如 MRI 图像、CT 扫描等）[1, 26, 38, 41]。

然而，尽管这些算法在各种应用中取得了成功，但它们往往存在稳定性问题，这使得它们难以在成像任务之间转移或从重建中推导出统计估计。特别是，RED 和 PnP 算法通常需要仔细的微调 [27, 31]，或者偏离原始优化算法以实现高效应用 [10, 48]。因此，一些工作被提出以恢复PnP和RED算法的收敛性，同时建立与相关代价函数的明确联系 [10, 17, 29, 34, 40]。然而，这些努力对去噪器引入了显著的约束，导致稳定性和重建性能之间的权衡。通常，收敛 PnP 和 RED 算法易于迁移到新问题，但性能不如其经过微调和提前停止的非收敛对应算法。

在这项工作中，我们提出从理论和实证上研究等变性对依赖于隐式去噪先验的算法的影响。更准确地说，我们证明了对去噪器强制执行等变性可以提高所得 PnP 算法的稳定性，并在隐式先验的雅可比矩阵上发挥对称化作用。我们的实验表明，所提出的等变方法可以显著提高使用 PnP 算法以及 RED 或 Langevin 算法等流行算法框架重建的图像质量。我们在图 1 中概述了所提出的方法在依赖于隐式去噪先验的流行算法中提供的可能性。

图 1. 通过结合等变性可以解决依赖于隐式去噪先验的算法的不稳定性。在测试时强制执行去噪器的近似等变性，可以同时稳定算法并提高重建质量，而无需重新训练隐式先验。左：应用于加速 MRI 问题的 PnP 算法。中：针对运动模糊问题的未调整 Langevin 采样算法；显示了相关马尔可夫链的估计均值和方差。右：4 倍超分辨率问题的 RED 算法。

2. 相关工作

稳定的即插即用算法 近期，大量工作致力于提供稳定的 PnP 算法。该方向的一个流行研究方向是限制去噪器的架构，以确保其在插入 PnP 方案时保持稳定。一些方法建议用惩罚去噪器 Lipschitz 常数的项来正则化去噪器的训练损失 [29, 34]，这可以与架构约束相结合 [17, 40]。其他工作建议改变优化算法本身以确保其稳定性 [10, 18, 27, 48]。反过来，确保算法收敛可以确保更好的迁移到新的成像任务 [41]，但也能够执行迭代密集型任务，例如从后验分布中采样 [23]。然而，所有上述方法都以算法修改或对降噪器设计强加约束为代价，这与原始的、降噪器无关的方法 [32, 43] 形成对比。

图像反问题中的等变性 在设计手工制作的变分先验时，等变性，例如对旋转或平移的等变性，通常是一个期望的属性 [13, 35, 36]。 几何集成技术在计算机视觉文献中是已知的，它已被证明可以提高图像超分辨率的重建质量 [42]。在线性去噪器的情况下，雅可比矩阵的对称化已被证明可以提高线性去噪器的性能 [? ]。然而，除了 [41, 48] 的显著例外，这种策略在 PnP 文献中被忽视，据我们所知，等变性的作用尚未在依赖于隐式去噪先验的算法中得到探索。在另一条研究线上，但仍然是在图像逆问题的背景下，最近的工作利用等变性来设计展开网络架构 [5]，或构建自监督学习损失 [7]（例如，参见最近的综述 [8]）。

等变神经网络 更一般地，底层先验的不变性在许多应用中被认为是一个自然的假设，并且存在大量关于构建等变神经网络架构的文献 [4, 11, 45]。典型的应用包括球面流形上的分割、机器人学、点云分析、数据增强等等 [7, 15, 28, 33, 44, 51]。然而，这些网络通常无法与其他最先进的架构相媲美。此外，在不破坏所得网络的等变性的情况下，将复杂层（例如，上采样/下采样，注意力层等）纳入其中可能具有挑战性。在这项工作中，我们提供了一种简单的方法，可以使任何去噪器等变，而没有任何架构约束。

3. PnP 算法

求解 (1) 的传统变分方法是将其重新表述为一个最小化问题。 遵循最大后验方法，可以推导出估计值 xb 为 Note: The text "1" is not translated as it is marked with .

其中 f 是一个数据保真度约束项，r 是一个正则化项，用于强制执行关于解的先验知识，λ > 0 是一个正则化参数。

PnP 方法提出用去噪器 D [43] 来替换求解 (2) 算法中出现的 r [2]（隐式梯度步）的邻近算子。对于二次数据保真项 f (x) = 1 2 ∥Ax − y∥2 2 的标准情况，经典的 PnP 算法如下：

(PnP)

where γ > 0 is a stepsize.

其中 γ > 0 是步长。

类似地，去噪正则化 (RED) 算法使用 Tweedie 公式 [32] 将 r 的梯度近似为 ∇r(x) ∝ x − D(x)。基于此定义的简单显式梯度下降优化得到：

.

我们还考虑了未调整的 Langevin 算法 (ULA) [23]，其目标是获得与负对数后验密度 − log p(x|y) ∝ f (x) + λr(x) 相关的样本，并要求在 (RED) 中对迭代进行加噪，即，

其中 ϵk ∼ N (0, I) 是一个标准高斯向量。

尽管存在许多不同的 (PnP)、(RED) 和 (ULA) 变体，但我们在此关注其最标准的公式。有趣的是，这些算法在各种成像任务中表现出令人印象深刻的性能，同时依赖于对目标成像模式无关的 Gaussian 去噪器。然而，这些算法存在稳定性不足和潜在发散效应的问题，影响了它们的通用性。

3.1. 提出的等变方法

直观地，成像先验应该对某些变换群具有某种不变性，例如旋转、平移和反射。我们将与群 G 相关的变换表示为 {Tg}g∈G，其中 Tg ∈ Rn×n 是一个酉矩阵 1。我们说 D 对群作用 {Tg}g∈G 是等变的，如果 D(Tgx) = Tg D(x) 对所有 x 和 g ∈ G 成立。在算法层面上，此要求转化为去噪器相对于感兴趣变换的等变性：如果 r(x) 是一个 G-不变函数，它的近端算子和梯度（如果存在）必然是 G-等变函数 [5]。

将任何函数渲染为 G-等变的一种简单方法是对群进行平均。相应的平均去噪器

根据构造，它是等变的。对于大型群组，或在大型去噪架构 D 的情况下，计算平均去噪器可能过于计算量大。然而，在这项工作中，我们建议使用简单的蒙特卡罗近似，在算法的每个步骤中采样一个单一的变换，即，

因此，(PnP)、(RED) 和 (ULA) 算法的等变对应物只需将去噪器 D 替换为算法每次迭代时蒙特卡罗估计 (4) 的样本即可。这些算法的显式版本可以在补充材料 (SM) 中找到。

4. 理论分析

在本节中，我们将对等变去噪器相较于非等变去噪器在性能和稳定性方面的优势进行理论分析。在本节中，我们将去噪器的雅可比矩阵记为 Jx def= δδDx (x)。

等变去噪器的最优性 我们首先证明，如果信号分布是G-不变的，那么对于任何去噪器D，其平均版本(3) 都会获得相同或更好的去噪性能。这可以通过计算关于信号和噪声分布的预期ℓ2误差来证明，即：

其中期望值是关于 x 和 ε 取的，第二行使用三角不等式，第三行使用以下事实：(i) 对于群作用中的任意函数 h : Rn 7→ R 和 Tg，如果 x 和 ε 的分布是 G-不变的，则 Eh(x) = Eh(Tg−1x)；以及 (ii) 变换 Tg 是等距变换。

显式先验的存在 一个去噪器与显式（PnP 或 RED）先验相关联的必要条件是具有对称雅可比矩阵，即 Jx = Jx⊤，参见 [30，定理 1]。不幸的是，大多数最先进的去噪器不具备此特性。对一个足够大的组进行去噪器平均可以导致对称雅可比矩阵。特别地，如果去噪器是线性的，并且 G 包含平移和反射，那么去噪器保证具有对称雅可比矩阵：

命题 1. 任何对二维平移、垂直和水平反射具有等变性的线性去噪器 D 都有一个对称的雅可比矩阵。

证明。令 DG(x) = M x 具有雅可比矩阵 M ∈ Rn×n。一个对二维作用等变的矩阵 M 具有循环形式，即 M = circ(d)，其中 d ∈ Rn 是一个滤波器。因此，转置雅可比矩阵也是一个循环矩阵 M ⊤ = circ(d′)，其中 d′ ∈ Rn 是转置滤波器。由于 D 也对垂直和水平反射等变，因此我们有 d 是偶数且实数，因此 M = M ⊤。

虽然该结果仅适用于线性去噪器，但当结合等变性时，非线性去噪器的对称性也会得到改善：表 1 显示了 10 个不同 64×64 像素图像块的平均值，这些图像块是流行的非线性去噪器的相对对称误差 ∥Jx − Jx⊤∥2 F/∥Jx∥2 F。G-等变去噪器DG的误差明显小于其非等变对应物。

表 1. 平均雅可比对称误差 ∥Jx − Jx⊤∥2 F /∥Jx∥2 F。 等变去噪器通过对 90 度旋转和反射群进行平均获得。

去噪器的 Lipschitz 常数 PnP 算法的稳定性很大程度上取决于去噪器的 Lipschitz 常数 [20, 34]。例如，如果去噪器的 Lipschitz 常数小于 1，则在合适的步长选择下，(PnP) 和 (RED) 迭代都会收敛。由于两个映射之和的 Lipschitz 常数小于或等于它们各自 Lipschitz 常数之和，因此平均等变去噪器的 Lipschitz 常数必然等于或低于非等变去噪器的 Lipschitz 常数。如果我们限制使用线性去噪器，我们可以证明，只要主奇异向量不是等变的，等变去噪器将具有严格更小的常数：

命题 2. 令 D(x) = M x 为一个线性去噪器，其奇异值分解为 M = Pn i=1 λiuivi⊤ 和 λ1 > λ2 ≥ · · · ≥ λn ≥ 0。如果主成分 u1v1⊤ 不是 G-等变的，则平均去噪器 DG 的 Lipschitz 常数严格小于 D。

证明。对于任意 p 矩阵 A1, . . . , Ap，我们有 ∥ p1 Pp g=1 Ag∥ = p1 Pp g=1 ∥Ag∥ 当且仅当所有矩阵共享相同的领先左奇异向量和右奇异向量。G-平均去噪器可以写成 DG = |G1| P|G g=1| Ag 其中 Ag := TgM Tg−1。我们有 Ag 与 M 具有相同的奇异值，因为奇异向量定义为 u′ i = Tgui 和 v′ = Tgvi，其中 i = 1, . . . , n。由于 u1v1⊤ 不是等变的，我们有 Tgu1v1⊤Tg−1 = u1v1 对于某些 g ∈ G。因此，在和 Pg TgM Tg−1 中至少存在 2 个项不共享相同的领先奇异向量，因此 ∥M ∥ > ∥ |G1| Pg TgM Tg−1∥。

在实践中，我们观察到大多数流行的非线性降噪器的常数明显更小。表 2 显示了各种降噪器的局部 Lipschitz 常数（即雅可比矩阵的谱范数），这些常数是在 10 个不同的 64 × 64 像素的图像块上平均得到的。平均降噪器可以具有明显更小的常数。

表 2. 对 16 个图像块平均的去噪器局部 Lipschitz 常数。 等变去噪器是通过对 90 度旋转和平移群进行平均得到的。

组操作与前向算子的相互作用 到目前为止，我们一直关注与等变去噪器相关的性质，但是，A的（不）等变性在 PnP 算法的收敛中也起着重要作用。即使对于 Lipschitz 常数大于 1 的去噪器，(PnP) 中的迭代也能收敛，只要组合的 Lipschitz 常数

如果矩阵 A⊤A 和 D 的谱是不相干的，即 A⊤A 且去噪器的雅可比矩阵在不同的基上被对角化，则 (5) 的 Lipschitz 常数可能小于 D 的 Lipschitz 常数。由于正向算子的谱和等变去噪器的谱之间的不相干性，(RED) 和 (ULA) 迭代也会出现类似的稳定现象。以下命题将这种直觉形式化，针对线性去噪器的情况：

命题 3. 令 x 为灰度图像，{Tg}g∈G 为包含二维平移的一组变换，DG 为线性 G-等变去噪器。如果 A⊤A 不是 G-等变的，那么它与 D 的雅可比矩阵不共享相同的奇异向量。

证明。令 D(x) = M x，其中雅可比矩阵 M ∈ Rn×n。矩阵 B ∈ Rn×n 对二维平移的 G-等变当且仅当它可以分解为对角形式 B = F diag(d)F ∗，其中 F 是二维傅里叶变换，参见例如 [39，第 4.1 节]。因此，如果 D 是 G-等变的，那么 M 在傅里叶域中是对角的，而非等变的 A⊤A 矩阵则不能进行这样的对角化。

表 3 展示了各种流行的非线性去噪器在 (5) 中映射的局部 Lipschitz 常数，其中 A 是一个随机修复算子，它不具有平移、旋转或反射的等变性。这些常数小于表 2 中所示的常数，并且低于 1，确保了针对特定算子的 PnP 迭代收缩。等变去噪器比非等变去噪器具有更小的常数。

表 3. PnP 迭代 ∥Jx(I − A⊤A)∥ 的局部 Lipschitz 常数，其中 A 是一个随机修复算子。等变去噪器是通过对 90 个旋转和反射组进行平均得到的。

4.1. 非线性示例

我们展示了前一小节中分析的一些性质，在一个具有单隐藏层的非线性神经网络降噪器设置中。更准确地说，我们考虑 D 是一个邻近算子的微小扰动的情况，即：

其中 B1 ∈ Rn×n 满足 B1B1⊤ = B1⊤B1 = I，并且其中 B2 = (B1⊤+P )，其中 P ∈ Rn×n 是一个小的随机扰动。特别地，如果 P = 0，则去噪器是一个定义良好的近端算子，即 D(x) = proxγλ∥B1·∥1(x)，具有一个定义良好的先验 r(x) = ∥B1x∥1。我们强调，对于 P = 0，与 (6) 中去噪器相关的 (PnP) 迭代先验不存在损失函数 g。此外，我们假设 B1 是 G-等变的。

利用 B1 和 proxγλ∥·∥1 是 G-等变函数这一事实，我们可以将 G-等变去噪器写成（详细推导见补充材料）：

其中 PG = |G1| Pg∈G Tg−1P Tg 是 G 平均扰动。如果原始扰动不是等变的，我们有 0 ≤ ∥PG∥2 F < ∥P ∥2 F，并且等变去噪器将更接近于近端算子 proxγλ∥B1·∥1(x)。

图 2 展示了在二维玩具示例中，对于 A 的两种特定选择，(PnP) 序列在有和没有组平均的情况下 (3) 的行为，其中 G 是翻转组（更多细节请参见补充材料）。在这两种情况下，涉及等变去噪器的算法都收敛到与 相关的全局最小值附近的点。

图 2. 使用近似邻近算子（蓝色曲线）和其等变对应物（红色曲线）的 (PnP) 算法的行为。等高线显示了 (2) 中的损失，其中 r(x) = ∥B1x∥1。星号表示每个序列的极限点（如果存在），绿色点表示初始化点。

prior λr(x) = λ∥B1x∥1, whereas sequence generated by the non-equivariant algorithm diverges.

先前 λr(x) = λ∥B1x∥1，而由非等变算法生成的序列发散。

5. 实验结果

在本节中，我们评估了所提出的等变方法对不同算法和线性逆成像问题的影響。我们的实现3依赖于 DeepInverse 库 [? ]。

5.1. 考虑的问题

图像去模糊和图像超分辨率 在这种情况下，我们在 (1) 中设置 y = h ∗ x + ε，其中 h 是卷积核，∗ 是循环卷积。我们考虑高斯去模糊，在这种情况下，h 是标准差为 1 的高斯核，以及运动去模糊，在这种情况下，h 是 [24] 中的第一个核。除非另有说明，ϵ 是标准差为 0.01 的高斯噪声。在图像超分辨率 (SR) 设置中，(1) 写作 y = (h ∗ x)⇓S + ϵ，其中 h 是标准差为 1 的高斯核，S 表示欠采样因子。当 S = 2（分别为 S = 4）时，ϵ 是一个标准差为 0.01（分别为 0.05）的高斯噪声。我们在 Set3C 数据集以及 BSD10 数据集（BSD68 数据集的 10 张图像子集）上测试了所提出的方法。

MRI 在这种情况下，我们考虑 y = M F x 在 (1) 中，其中 M 是一个二进制掩码，F 是二维傅里叶变换。遵循 [46]，我们考虑 ×4 和 ×8 的加速因子。与之前的问题不同，在这种情况下，没有噪声添加到测量值中。我们在 [46] 的完整采集 k 空间数据验证集的 10 张图像子集上测试了该方法。

算法和主干去噪器 我们考虑几种预训练的主干去噪器，即 DRUNet [48]、SCUNet [49]、SwinIR [25]、DiffUNet [16]、DnCNN [47] 以及其来自 [29] 的 1-Lipschitz 版本 (LipDnCNN) 和梯度步去噪器 GSNet [17]。这些架构代表了最先进的图像重建架构，涉及卷积层和注意力层。我们强调，除 DnCNN 显示出近似平移等变性外，这些网络都不等变于平移或旋转。主干去噪器的选择可能会影响所选算法。例如，本文依赖的 DnCNN 和 SwinIR 降噪器针对固定噪声水平进行训练，限制了算法的微调能力。此外，DiffUNet 和 SCUNet 架构只能应用于彩色图像，无法用于 MRI 问题。除非另有说明，每个算法都运行 104 次迭代。

表 4. 使用不同主干去噪器 (PnP) 算法解决各种图像恢复问题的平均重建 PSNR。第一、第三和第五行展示了非等变去噪器 (LipDnCNN、DnCNN 和 DRUNet) 的结果，而其等变对应物 (Eq. LipDnCNN、Eq. DnCNN 和 Eq. DRUNet) 则显示在第二、第四和第六行。最后四行提供了标准重建方法的基准。符号“div.”表示方法发散的情况。

基线 在本文中，我们主要研究等变先验对PnP算法稳定性的影响。因此，我们将提出的方法与可视为一类收敛PnP算法的变分方法进行比较。特别地，我们使用小波去噪器（即D(x) = proxλ∥Ψ·∥1(x)用于Ψ冗余小波字典），以及总广义变分（TGV）去噪器[3]。具有 Lipschitz 降噪器的 (PnP) 算法对应于 [29] 中的方法，该方法确保了 (PnP) 算法的收敛性。我们还将我们的方法与最先进的 DPIR 算法 [48] 进行了比较，该算法运行了少量步的半二次分裂算法，并具有微调的衰减步长。因此，DPIR 可以被视为非收敛、微调 PnP 算法的代表。我们还将我们的结果与梯度步 PnP 算法 [17] 进行比较，该算法利用非凸隐式先验和回溯，代表了最先进的收敛 PnP 算法。

5.2. PnP 和 RED 算法的稳定性

PnP 算法的不稳定性通常会导致重建图像中出现不切实际的伪影。图 3 说明了这种现象，并表明我们提出的方法可以克服这一缺点。

图 4 显示了不同问题和主干架构上的 PSNR 和收敛准则 ∥xk+1 − xk∥/∥xk∥。对于每个问题，去噪级别 σ 在 (PnP) 中分别针对 DnCNN (resp. DRUNet) 主干架构设置为 σ = 0.01 (resp. σ = 0.015)。我们注意到，具有等变去噪器的 (PnP) 算法在迭代过程中显示出比其非等变对应物更稳定的 PSNR。特别地，我们在图4的右面板中观察到，具有 G-等变 DnCNN 的 (PnP) 算法的收敛速度与具有 Lipschitz 降噪器的算法的行为相匹配。最后，我们注意到，所提出的等变方法也有利于依赖于 Lipschitz 主干降噪器的收敛 (PnP) 算法。我们进一步强调，使用等变蒙特卡罗估计得到的重建结果与使用确定性雷诺平均得到的重建结果一致（见表 5）。

图 3. 基于 DRUNet 主干去噪器的 (PnP) 在 Set3C 样本上的运动去模糊。

在 (RED) 算法的情况下，我们观察到类似的行为。图 6 展示了 ×2 超分辨率问题的重建结果，相应的收敛曲线可以在图 7 中找到。在非等变 DRUNet 主干网络的情况下，重建图像显示出重要的几何伪影，这些伪影在等变情况下消失。

然而，我们强调，所提出的方法在某些情况下可能无法稳定算法。例如，在使用 SCUNet 主干去噪器的情况下，从第 50 次迭代开始，经典和等变版本的 (PnP) 算法的重建中都出现了明显的伪影，如图 5 所示。类似地，我们没有观察到 (RED) 算法与 DiffUNet 主干网络的收敛，因此需要提前停止算法以获得良好的重建结果。

图 4. 针对 3 种不同的成像问题，使用不同主干去噪器嵌入 (PnP) 算法，迭代次数与平均 PSNR（左）和收敛准则 ∥xk+1 − xk∥/∥xk∥（右）的关系。顶行：DnCNN，中行：DRUNet，底行：1-Lipschitz DnCNN。

图 5. 在 BSD10 样本（细节）上使用标准差 σ = 0.02 的高斯去模糊，针对 (PnP) 算法中插入的不同降噪主干。

图 6. (RED) 算法在 ×2 SR 问题上的结果，使用不同的骨干去噪器。中间列：DiffUNet；右列：DRUNet。顶行：标准算法；底行：等变算法。

最后，一些研究表明噪声水平 σ 在 PnP 算法的稳定性中起着重要作用。增加 σ 可能有助于解决不稳定问题，但代价是过度平滑的重建。

5.3. 与 A 内核的交互

在上一节中，我们已经看到等变去噪器可以防止在 (PnP) 的迭代过程中出现伪影。尽管这些伪影看起来不自然，但它们并不与良好的数据保真度度量相冲突。事实上，PnP 算法无法控制 ker(A)，而 ker(A) 本质上是非平凡的，这是由于病态逆问题 (1) 的性质；因此，在重建过程中出现的伪影很可能属于 ker(A)。

图 7. 不同骨干去噪器在 (RED) 算法下 PSNR 的演变，与图 6 中所示重建结果相关。

这种现象可以在 MRI 的情况下得到说明，其中 ker(A) 对应于傅里叶域的未采样子空间。在这种情况下，A 不是旋转等变的，命题 3 表明强制先验的等变性可以提高稳定性。如图 8 所示，该图展示了使用和不使用提出的等变算法更新的重建结果。在标准（非等变）设置中，在迭代 i = 103 和 j = 104 之间出现轻微的伪影。这些伪影在 xj; 中可能不易察觉，但当绘制差异 xj − xi 时，它们会清晰地显现。有趣的是，这些伪影的傅里叶频谱在未采样频率处显示出明显更多的能量。用等变算法进行的相同实验没有显示出这种伪影，并且具有更均匀的傅里叶频谱。

5.4. 从 RED 先验中采样

所提出的方法带来的稳定性提升为更强大的基于隐式去噪先验的采样算法打开了大门，例如 (ULA)，其中需要足够多的迭代次数才能获得良好的估计量。我们在图 9 中展示了使用 (ULA) 算法获得的估计均值和方差，分别使用等变和非等变 DRUNet 主干去噪器。在非等变情况下，我们在估计均值和方差中观察到与确定性情况下类似的伪影；这些伪影在等变情况下消失。

坚持阅读，收获满满！免费翻译额度剩余约30%

图 8. 使用 (非 1-Lipschitz) DnCNN 主干网络的 (PnP) 迭代过程中重建的演变。顶行显示了真实值、反投影数据和傅里叶掩模。第二行（分别为第三行）从左到右显示：迭代 j = 104; 处的重建，迭代 j = 104 处的重建与迭代 i = 103; 处的重建之间的差异 |xj − xi|，以及傅里叶域中的差异（以对数刻度显示）。

图 9. 在 BSD10 样本上，对于接入 (ULA) 算法的 DRUNet 主干网络，运动去模糊问题的后验均值和方差采样。

图10的最左侧图进一步说明了这种现象。我们注意到，在几百次迭代之后，使用非等变（ULA）算法的重建质量崩溃，导致无关的MCMC链。虽然强制等变性改善了这种情况，但在（PnP）中增加去噪器的噪声水平可以显著改善这种情况，参见图10的最右侧图。

图 10. 在标准和等变情况下，使用 (ULA) 算法对运动去模糊和 DRUNet 先验进行采样。左：Set3C 数据集样本的 MCMC 链样本的 PSNR。右：去噪先验中，Set3C 数据集的平均 PSNR 作为 σ 的函数。

6. 局限性

虽然我们的实验表明，所提出的方法在算法方案的稳定性和重建图像质量方面都优于其非等变对应方法，但我们强调它仍然容易出现发散和/或幻觉伪影。例如，在图4中，DRUNet主干网络在一定迭代次数后平均PSNR下降，或者在图5中，SCUNet主干网络显示出重要的重建伪影，就可以看出这一点。特别地，当使用 SCUNet 主干网络时，所提出的等变方法并没有明显优于其非等变对应方法。

7. 结论

在这项工作中，我们提出了一种简单而有效的方法，用于确保隐式去噪先验的近似等变性。本质上，该方法相当于在算法的每一步随机采样并应用群作用。尽管它很简单，但这种方法展现出有趣的理论性质。例如，在线性去噪器的情况下，它允许我们强制雅可比矩阵的对称性，这是从隐式去噪先验推导出显式先验时的基石属性。此外，可以证明，等变线性去噪器的 Lipschitz 常数只能低于其非等变对应物的 Lipschitz 常数，从而提高了所得 PnP 算法的稳定性。我们展示了等变性对几种架构雅可比矩阵的对称化效应，并说明了它对 PnP、RED 和 ULA 三种成像算法族的稳定化效应。重要的是，这种稳定化过程不会损害重建质量，这在文献中经常被观察到。然而，尽管等变性在稳定性和图像重建质量方面带来了显著改进，但所提出的方法在重建中仍然容易出现发散和伪影污染。

原文地址：https://blog.csdn.net/hao_wujing/article/details/145311740

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！