2023年，随着《3D Gaussian Splatting for Real-Time Radiance Field Rendering》一文的发表，3D高斯溅射（简称3DGS）技术进入公众视野，迅速成为计算机图形学、自动驾驶及三维建模等领域的热门话题。这段时间内，几乎每天都有与3DGS相关的论文问世。
在VR/AR行业，3DGS的应用进展也非常迅速，苹果、Meta、谷歌、Niantic等公司纷纷发布相关研究成果。基于3DGS的三维扫描技术已迅速普及，预计将成为未来元宇宙和空间计算内容生态的重要UGC创作工具。本文将回顾这一年来3DGS的显著进展。
高斯溅射技术：实时渲染与3D建模的革新
在3DGS出现之前，三维重建主要依赖摄影测量和NeRF（神经辐射场）。摄影测量通过分析不同角度拍摄的多张图片生成三维模型，效果虽好，但对光照条件敏感，尤其在开放场景或透明物体的生成上表现不佳。
NeRF技术近年来流行，主要基于多角度拍摄图像并运用深度学习克服了摄影测量的一些限制，能够捕捉更多细节，但对算力要求较高，渲染速度慢。
3DGS与NeRF相似，均基于2D图像重建3D场景，但3DGS利用的是点云数据来创建场景的体积表示。其核心技术通过数百万个小型半透明椭球体（高斯溅射）来渲染3D场景，每个溅射点包含位置、颜色、大小和透明度等信息。
3DGS的优势在于能够捕捉精细细节和灯光效果，且仅需少量照片便可创建高质量的高斯溅射模型，相较之下，摄影测量往往需要数十张高分辨率图像。此外，3DGS适用于各种3D场景，包括小物件和大型建筑，应用范围广泛。
凭借高效的数据表示和优化的渲染管道，3DGS实现了实时或近实时的渲染速度。相关研究表明，3DGS在渲染速度、训练时间和视觉质量方面均优于InstantNGP和Plenoxels等NeRF技术，尤其在实时渲染需求的场景中表现突出，适合游戏和空间计算等需要高度互动的环境。
VR/AR行业的新动态：3D扫描工具与高保真Avatar
目前，用户最常接触到3DGS技术的方式无疑是通过3D扫描APP。随着相关论文的发布，市场上的多款3D扫描APP在一年内纷纷宣布支持3DGS技术，包括《Polycam》、《LumaAI》、《KIRI Engine》和《Scaniverse》等。
以《KIRI Engine》为例，该应用在去年11月为iPhone、Android和Web客户端引入了3DGS扫描生成功能，并逐步完善了编辑和导出到Blender等功能。
《Scaniverse》在今年3月也实现了对高斯溅射的支持。该应用提供免费服务，用户可以将扫描生成的模型上传至云端或导出为PLY格式。Niantic工程主管Brian McClendon在接受采访时提到，这项新技术的潜力巨大。
最初，该应用需要借助iPhone的LiDAR传感器进行高质量3D扫描，而自2023年起，应用进一步支持通过摄影测量生成3D模型，生成速度有所提升。现在，借助高斯溅射，用户大约只需1分钟即可扫描一个空间并生成高质量的3D模型，并具备传统网格处理无法实现的照明和透明效果。
近期，《Scaniverse》推出了针对Quest头显的网页应用《Into the Scaniverse》，用户可以通过该应用扫描生成3D模型，并借助头显查看。用户在浏览器中可以自由探索，提升了体验的维度。
写在最后
尽管3DGS在内存消耗、第三方创作工具和几何精度等方面仍面临挑战，但其在扫描生成速度与实时渲染等方面的优势使其有潜力成为未来普及3D技术的“敲门砖”。Meta、苹果等厂商的积极布局，以及众多初创企业的创新探索，预示着未来3D资产的splats含量将越来越高。
