NIPS2025：港中文团队开源FHGS-3D，冻结的语义特征如何在空间中蒸馏

主要观点总结

本文介绍了FHGS：Feature-Homogenized Gaussian Splatting，一种由香港中文大学无人系统研究团队提出的全新的、受物理模型启发的3D特征融合框架。该框架旨在解决在冻结2D视觉大模型预训练特征的前提下，将其稳健蒸馏到3D场景中的核心难题。文章详细描述了FHGS的背景、研究痛点、方法总览、实验结果及未来展望。

关键观点总结

关键观点1: 研究背景

近年来，3D高斯溅射技术以其出色的实时渲染能力和高质量的重建效果，革新了三维场景表示。与此同时，2D视觉大模型在图像语义理解上取得了巨大成功。文章提出了一种将两者结合的方法，创建一个既能看、又能‘理解’的3D世界。

关键观点2: 研究痛点

现有方法普遍面临三大痛点：特征融合中的根本矛盾（如颜色的各向异性与语义的各向同性）、训练过程缓慢以及特征失真等问题。

关键观点3: 方法总览

针对以上痛点，提出了FHGS框架，其核心思想是“解耦与引导”。通过通用融合架构、不可微特征驱动和物理启发的双驱动优化等技术，实现了高效、稳定的特征蒸馏。

关键观点4: 实验结果

在多个公开数据集上进行了实验，证明了FHGS在特征融合质量、几何重建与去噪、训练效率等方面具有显著优势。

关键观点5: 未来展望

FHGS框架为后续的3D场景分割、视觉语言导航、机器人交互等任务提供了一个坚实可靠的理论基础。