港大与浙大联合研发SC-GS模型 鼠标拖拽实时可编辑3D重建

4月23日 消息:在数字资产创造和3D重建领域，香港大学CVMI实验室与3D大模型公司VAST以及浙江大学的联合研究团队提出了一项突破性成果——SC-GS（Sparse Control Gaussian Splatting）模型。这一模型不仅在新视角合成领域掀起了革命性浪潮，更在动态场景的实时交互编辑方面展现了巨大潜力。

SC-GS模型的核心优势在于其对动态高斯的稀疏控制点进行实时交互编辑的能力，用户可以通过简单的鼠标拖拽和键盘组合按键操作，轻松实现对重建动态场景的编辑。

这一技术的灵感来源于对自然世界中大多数动态过程的观察，其中物体的移动往往可以通过稀疏的变形基底表示，而不需要稠密的变形场进行建模。

SC-GS模型通过引入稀疏控制点，由神经网络预测每个控制点在不同时刻的运动状态，从而驱动整个场景中的动态高斯进行变形。这种方法不仅避免了过拟合问题，还通过局部刚性约束，让控制点的运动更符合真实物理规律，进一步提升了动态新视角合成的性能。

实验结果显示，SC-GS在合成动态场景的新视角图片方面具有SOTA（State of the Art）的性能，尤其在精细的几何纹理细节保真度上表现卓越。在DNeRF数据集上的定量实验中，SC-GS实现了超过40的PSNR指标，远超现有方法。

研究人员表示，SC-GS模型的推出，不仅为数字资产的创造提供了高效与便捷的工具，也为交互式编辑开辟了新的可能性。他们期待在2024年看到更多基于高斯溅射技术的创新工作和探索。

项目主页:https://top.aibase.com/tool/sc-gs

论文链接:https://arxiv.org/pdf/2312.14937.pdf

代码仓库:https://github.com/yihua7/SC-GS