“`markdown

中科院提出CityGaussianV2：高效重建几何精准的大规模复杂三维场景

北京 – 长期以来，大规模复杂三维场景的重建一直面临着训练耗时、显存开销大、几何结构不精准等挑战。近日，中国科学院自动化所的研究团队提出了一种名为 CityGaussianV2 的高效重建算法，旨在解决这些难题，实现快速训练和压缩的同时，获得精准的几何结构与逼真的实时渲染体验。该研究成果已被 ICLR 2025 接收，并已开源代码。

背景：3D Gaussian Splatting 的局限与大规模场景重建的挑战

近年来，3D Gaussian Splatting (3DGS) 因其在训练和渲染效率上的优势，逐渐成为三维场景重建领域的主流算法。3DGS 使用一组离散的高斯椭球来表示场景，并通过高度优化的光栅器进行渲染。然而，这种离散且无序的表征形式难以很好地拟合物体表面的实际分布，导致重建出的场景几何结构不够精准。

尽管诸如 SuGaR、2DGS、GOF 等一系列工作针对这一问题进行了探索，并在单一目标或小场景上取得了成功，但它们应用于复杂的大规模场景时，却面临着更加严峻的挑战。例如，SuGaR 的模型容量有限，难以还原精细的几何结构；GOF 受到严重的模糊鬼影干扰，导致重建结果欠拟合；2DGS 虽然受模糊鬼影影响较弱，但容易诱发高斯基元的过度增长，进而引起显存爆炸，训练难以持续。

此外，大规模场景的重建往往意味着显著的训练开销。重建一个 1.97 平方千米的区域，可能会产生接近两千万的高斯点，需要 4.6G 的存储以及 31.5G 的显存开销，以及超过三小时的训练时长。如果要进一步完成压缩，通常还需要额外将近一个小时的时间。

CityGaussianV2：端到端的高效训练管线

针对上述技术挑战，中科院自动化所的研究团队提出了 CityGaussianV2。该算法继承了 CityGaussian 的子模型划分与数据分配方案，并使用 2DGS 作为基元进行重建。在此基础上，CityGaussianV2 引入了基于延展率过滤和梯度解耦的稠密化技术，以及深度回归监督，同时合并了训练和压缩过程，得到了端到端的高效训练管线。

CityGaussianV2 的核心创新点包括：

基于延展率过滤和梯度解耦的稠密化技术： 缓解了 2DGS 在早期训练阶段受到模糊伪影的干扰，加速算法收敛。
深度回归监督： 利用 Depth-Anything-V2 的伪深度监督提供几何先验，保证重建表面的平整性。
端到端训练管线： 合并训练和压缩过程，有效加速算法收敛，同时保障了稳定、快速、低显存开销的并行训练。

CityGaussianV2 方法详解

场景重建基础：
- 3DGS 使用一组高斯分布表征的椭球对场景进行表征，每个高斯球同时绑定包括不透明度、颜色以及高阶球谐系数等用于 alpha blending 渲染的属性，并通过包含 L1 损失和 SSIM 损失的加权和对渲染质量进行监督。在训练过程中，算法还会根据每个高斯基元的梯度信息进行自适应地分裂和克隆，使得重建效果不佳的区域能够自动被更合适的基元填充。
- 2DGS 旨在增强几何重建精度，并将椭球降维为椭圆面片作为基元表征场景，同时对渲染出的深度和法向量分布施加监督，保证重建表面的平整性。
- CityGaussian 旨在将 3DGS 泛化到大场景，首先预训练一个表征全局场景的粗粒度的 3DGS 场，随后将预训练结果划分为一系列子模型，并根据子模型对训练视图渲染的贡献程度为每个子模型分配训练数据。每个子模型随后会用不同的 GPU 并行微调，并在训练结束后进行合并和压缩，得到场景的最终表征。
CityGaussianV2 的优化算法：

现有表面重建方案在泛化到大场景时往往展现出收敛迟缓、训练不稳定等问题，导致并行训练失败，难以取得良好的重建效果。CityGaussianV2 以泛化能力最好的 2DGS 为基元，在引入 Depth-Anything-V2 的伪深度监督提供几何先验的基础上，进一步提出了新的高斯基元稠密化方案。研究团队观察到，在复杂大规模场景上，2DGS 在早期训练阶段比 3DGS 受到更严重的模糊伪影的干扰，导致在迭代次数有限的情况下性能显著劣于 3DGS。为了缓解这一问题，CityGaussianV2 引入了延展率过滤和梯度解耦技术。

未来展望

CityGaussianV2 的提出，为大规模复杂三维场景的高效重建提供了一种新的解决方案。该算法在快速实现训练和压缩的同时，能够得到精准的几何结构与逼真的实时渲染体验，有望在城市建模、自动驾驶、虚拟现实等领域得到广泛应用。

相关链接：