自学内容网 自学内容网

InFusion:通过从扩散先验学习深度补全来进行图像 3D 高斯修复

InFusion 以其图像条件模型超越了当前的方法,提供精确的深度修复并支持纹理定制和对象插入等高级应用程序。

github项目页面: Infusion

Github 仓库:GitHub - ali-vilab/Infusion: Official implementations for paper: InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

夸克网盘「InFusion 3D 高斯深度图像修复」项目文件和论文原文下载链接:
夸克网盘分享

3D 高斯最近作为新颖视图合成的有效表示而出现。这项工作研究了InFusion的可编辑性,特别关注修复任务,旨在通过额外的点来补充不完整的 3D 高斯集,以实现视觉和谐的渲染。

与 2D 修复相比,3D 高斯修复的关键是找出引入点的渲染相关属性,其优化很大程度上受益于它们的初始 3D 位置。为此,我们建议使用图像条件深度补全模型来指导点初始化,该模型学习根据观察到的图像直接恢复深度图。

这样的设计使我们的模型能够以与原始深度对齐的比例填充深度值,并且还可以利用大规模扩散先验的强大概括性。得益于InFusion更准确的深度补全,我们的方法(称为 InFusion)在各种复杂场景下以更好的保真度和效率超越了现有的替代方案。我们通过几个实际应用进一步证明了 InFusion 的有效性,例如使用用户特定的纹理进行修复或新颖的对象插入。


原文地址:https://blog.csdn.net/heehelcom/article/details/138003228

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!