解读CVPR2024-3DGS论文分享|DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with .....
论文标题
DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization
DNGaussian：使用全局-局部深度归一化优化稀疏视图3D高斯辐射场
论文链接：
https://arxiv.org/abs/2403.06912
论文作者
Jiahe Li, Jiawei Zhang, Xiao Bai, Jin Zheng, Xin Ning, Jun Zhou, Lin Gu
内容简介
这篇论文介绍了DNGaussian，这是一个基于3D高斯辐射场的深度正则化框架，用于实现实时、高质量的少样本新视角合成，同时降低成本。
DNGaussian通过深度约束来解决输入视图减少时场景几何退化的问题，并提出了硬深度和软深度正则化以及全局-局部深度归一化技术，以在粗略的单目深度监督下恢复准确的场景几何，同时保持精细的颜色表现。通过在LLFF、DTU和Blender数据集上的广泛实验，DNGaussian在显著降低内存成本、减少训练时间25倍、渲染速度提升3000倍以上的同时，超越了现有最先进方法，实现了可比或更好的结果。
方法
1.3D Gaussian Splatting:
该方法使用一组3D高斯原语来表示场景，并利用可微分的splatting进行渲染。尽管在输入视图较少时仍能部分保留重建一些清晰和详细的局部特征的能力，但视图约束的减少会导致场景几何的大部分错误学习，从而在新视角合成中失败。
2.深度正则化:
论文探索了从预训练的单目深度估计器中提取深度信息，以纠正高斯场中错误学习的几何形状，并提出了深度归一化正则化的稀疏视图3D高斯辐射场（DNGaussian）。
3.硬深度和软深度正则化:
为了在不牺牲细粒度颜色性能的情况下，通过鼓励高斯原语之间的移动来实现粗略深度正则化的空间重塑。
4.全局-局部深度归一化:
引入了全局-局部深度归一化到深度损失函数中，鼓励以尺度不变的方式学习小的局部深度变化，从而改善3D高斯辐射场的详细几何重塑过程。
5.神经颜色渲染器:
为了解决在稀疏视图情况下容易过拟合的问题，论文提出了一个网格编码器和MLP作为神经颜色渲染器来预测每个原色的颜色。
6.训练细节:
论文详细描述了损失函数的构成，包括颜色重建损失、硬深度正则化和软深度正则化，以及如何通过全局和局部深度归一化来计算这些损失。
结论
DNGaussian框架通过深度正则化将3DGS引入到少样本新视角合成任务中，实现了在显著降低训练成本和实时渲染速度的同时，合成具有竞争性的高质量新视角视图。论文还讨论了该方法的局限性和未来的工作方向。 复制再试一次分享
CVPR2024论文合集链接：
https://arxiv.org/abs/2403.06912
希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！
原文地址：https://blog.csdn.net/paixiaoxin/article/details/144403992
免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！