【图像压缩感知】论文阅读：Self-supervised Scalable Deep Compressed Sensing
tips：本文为个人阅读论文的笔记，仅作为学习记录所用。
Title：Self-supervised Scalable Deep Compressed Sensing
Journal：IJCV 2024
https://github.com/Guaishou74851/SCNet问题动机：
压缩感知（CS）是一种很有前途的降低采样成本的工具。当前基于深度神经网络（NN）的CS方法面临着收集标记测量 Ground Truth 数据并将其推广到实际应用中的挑战，特别是CS在医学成像领域的应用，如MRI成像等，这些领域的 Ground Truth 数据的获取更为困难。
解决方法：
提出了一种新的自监督可扩展深度CS方法，该方法包括一个名为SCL的深度学习方案和一个名为SCNet的网络家族，该方法不需要 Ground Truth 数据，并且一旦在部分测量集上训练就可以处理任意采样比率和矩阵。SCL包含双域损失和四阶段恢复策略。前者鼓励两个测量部分的交叉一致性和对任意比率和矩阵的采样-重构周期一致性，以最大限度地利用数据。后者可以逐步利用外部测量中的公共信号和测试样本的内部特性以及学习的神经网络来提高精度。SCNet结合了优化算法的显式指导和高级神经网络块的隐式正则化来学习协作信号表示。
相关工作：
现有的自监督学习压缩感知存在的不足，
1、表现不佳
现有的自监督CS对不同CS任务之间的数据和共享知识的利用不足，导致正则化弱，并且对不完整的测量结果进行过拟合的风险很高。其次，大多数方法只关注神经网络架构和学习方案设计的一部分（例如损失函数），由于其过时的组件和训练技术，导致不平衡的发展和欠拟合。
2、缺乏灵活性和可扩展性
现有的自监督CS将替换不同采样矩阵或采样率等视为独立问题，虽可以进行更换，但往往需要进行重新训练模型，费时费力，导致灵活性、可扩展性较差。
主要贡献：
1、基于双域损失函数和四阶段深度递进重建策略，提出了一种新的自监督可扩展CS学习方案SCL
2、一种被称为 SCNet 的新 NN 家族，它结合了传统近端梯度下降 (PGD) 算法 的显式指导和来自高级 NN 组件的隐式正则化。
3、在一维、二维和三维信号的模拟和真实数据上进行的大量实验表明，我们的方法在提高恢复质量和泛化能力方面具有显著的优势和有效性
整体架构：
自监督可扩展重构学习（SCL）
双域损失函数（Dual-Domain Loss Function）
DMC（Division-based Measurement-domain Consistency loss）
面对传统CS方法的损失函数存在的问题：（1）噪声的存在；（2）解决方法模糊，输出不稳定
为了缓解这些问题，并使NN适应采样矩阵和采样率的变化，设计了DMC loss，其使用y中的测量元素的组合来构建数千个互补的矩阵和比例对的新任务，以增强数据多样性。其中隐含的假设是训练集是足够大的，可以划分出足够的任务组合。
其中存在两个约束：
如此设计的神经网络损失函数是免于噪声影响的，这是在N2N和S2S（2020，CVPR）的先验基础上的发展。
DMC的定义如下，本文的p范数设置为1范数：
DOC（matrixnetwork Disentanglement-based Original-domain Consistency loss）
为了让训练后的NN可以突破内部数据的限制，达到真正的泛化，如采样率（0 - 1），推广到整个矩阵空间。对原始图像进行几何变换，并添加随机生成的噪声、矩阵、采样率。
DOC约束：
DOC定义：
四阶段渐进恢复策略（Four-Stage Progressive Reconstruction Strategy）
核心：从粗到细（coarse-to-fine）
stage-1 —— 使用外部数据集离线学习，获得一个通用的模型。
stage-2 —— 使用测试数据集学习，获得一个使用于当前数据集的模型。
stage-3 —— 使用单个图片进行学习，模型精确到单张图片。
stage-4 —— 对单张图片进行self-ensemble，使用蒙特卡洛来近似估计。
在实践中，可以根据具体需求灵活地实现对策略的几种定制，例如对于最佳恢复质量，表示为（1→2→3→4）的完全激活策略，对于训练资源受限的设备，表示为（1→4），对于无数据集的部署，表示为（3→4）。在每个配置的第一阶段随机初始化NN参数，并在逐步学习完成后保存到下一阶段。
SCNet（基于协同表示的图像重建网络，Collaborative Representation-Based Reconstruction Network）
基于协同表示的图像重建网络——SCNet，结合了迭代优化算法（PGD）的显式结构设计启发与神经网络模块的隐式正则化约束
PGD展开 --> 提高可解释性
隐式正则化 --> 防止模型过拟合
浅层特征初始化（Shallow Feature Initialization）
使用A的伪逆将测量值y变换到图像域，并域采样率比例图R连接，然后使用卷积层提取浅层特征。
图像嵌入和位置嵌入（IE & PE）
图像嵌入将图像转成向量，方便后续处理；位置嵌入为数据提供位置编码。可学习的嵌入，增加优化自由度，防止欠拟合
深度特征细化（Deep Feature Refinement）
将PGD算法展开，从传统的图像级优化扩展到特征级优化，
PGD模块后，使用RB/SCB模块，隐式正则化，防止过拟合。
最终图像重建（Final Image Reconstruction）
将深化后的特征层通过卷积生成精化图像，最后通过额外的GD（梯度下降）操作获得最终恢复结果，最后一个GD操作目的是去除噪声（2017，TIP）
本文的NN family
实验部分
一维合成稀疏信号和二维MNIST数字图像的CS重构
二维自然图像上的CS重构——PSNR对比
二维自然图像上的CS重构——PSNR和参数数对比、从DIV2K重建效果对比
二维自然图像上的CS重构——可扩展性实验
本文小结
本文提出了一种新的自监督可扩展的神经网络方法，由一个名为SCL的学习方案和一个名为SCNet的深度神经网络家族组成。
SCL通过增强和鼓励随机交叉一致性和任意采样重建周期一致性，采用双域损失来学习可推广的图像、比率和矩阵自适应映射，而不是来自固定部分测量的特定映射。四阶段策略进一步提高了准确性。
SCNet是基于PGD灵感设计的，并通过神经网络机制进行了良好的正则化。SCL和SCNet的结合和相互促进有效地利用了可用的数据和信息，推动深度重建朝着有效的方向发展，甚至可以超越监督神经网络的预测结果。实验证明了该方法在成像质量、灵活性、可扩展性、复杂性和可解释性之间取得了更好的平衡。
读者小结
这篇文章是北大VILLA实验室联合清华团队、哈工大团队最新提出的基于深度网络的CS方法。这篇文章的工作非常饱满，篇幅有30多页，其中实验部分做的扎实，我在上面放的实验部分只是作者在正文部分的内容，在附录中还有很多的实验细节内容，比如具体的消融实验、更多尺度的对比实验等。
这篇文章阅读后给我的启发最大的还是SCL学习策略部分，使用的双域函数以及四阶段渐进重建策略可以将CS扩展到整个矩阵空间，以及从粗到细的重建策略。这样的策略无疑是能达到更好的效果，但问题也是很明显的，就是时间、能耗问题，这方面作者在最后的讨论部分也提出了。对于这个问题，作者提供了神经网络家族（NN family）的方法，可以让用户来根据现实情况来自行选择。
原文地址：https://blog.csdn.net/qq_51975055/article/details/143588907
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！