南洋理工提出全新3D编辑算法GaussianEditor 2分钟内完成3D场景增删改

近年来，3D 编辑在游戏和虚拟现实领域崭露头角，但长时间和低可控性一直是问题。南洋理工大学联合清华和商汤提出的 GaussianEditor 算法成功解决了这些问题。该算法采用了高斯溅射（Gaussian Splatting）作为3D 表示，与传统 NeRF 方法相比，实现了更高的可扩展性和编辑效率。这一突破为3D 编辑领域注入了新活力。

论文地址:https://arxiv.org/abs/2311.14521

主页地址:https://buaacyw.github.io/gaussian-editor/

在解决高斯溅射编辑挑战的过程中，GaussianEditor 引入了高斯语义追踪，通过在训练过程中持续识别需要编辑的高斯点，实现了精确可控的编辑。与传统静态掩码不同，高斯语义追踪通过将2D 分割掩码投影到3D 高斯点上并为每个高斯点分配语义标签，确保在训练中动态更新，有效应对模型几何形状和外观的变化。

GaussianEditor 还创新性地采用了层次化高斯溅射（HGS）表示，通过对高斯点组织成不同世代，调节了编辑过程中的流动性。这种设计在保持老世代高斯点原始状态的同时，提高了新世代高斯点的适应性，模拟了神经网络缓冲功能。

此外，GaussianEditor 提供了专门的局部修复算法，能有效消除对象与场景交界处的伪影，实现了对3D 场景的高效增删操作。

总体而言，GaussianEditor 通过解决高斯溅射编辑的关键问题，实现了对3D 场景的灵活和快速编辑。其高斯语义追踪、层次化高斯溅射表示以及增删算法的创新，使其在视觉质量、量化指标、可控性和生成速度等方面均超越了之前的工作。这一算法的开发为3D 编辑领域带来了显著的进展，为未来的虚拟现实和游戏开发提供了有力的工具。