CVPR 2025 | GaussTR：用于自监督三维空间理解的基础模型对齐高斯变换器

主要观点总结

本文介绍了GaussTR：一种用于自监督三维空间理解的基础模型对齐高斯变换器。该模型通过前馈式Transformer预测将场景表示为稀疏的高斯查询集，实现了基础模型对齐的自监督学习，并实现了高效的框架架构。文章详细阐述了GaussTR的方法、实验及推广。

关键观点总结

关键观点1: 论文提出一种全新的基于高斯的三维建模方法

通过前馈式Transformer预测将场景表示为稀疏的高斯查询集，摒弃了密集体素网格，有效减轻了计算负担。

关键观点2: 实现基础模型对齐的自监督学习

通过可微的高斯喷涂技术，使模型学习与基础模型对齐的通用三维表示，无需显式标签即可实现自监督的开放词汇占用预测。

关键观点3: GaussTR框架的设计

利用一系列Transformer层前馈式预测稀疏高斯集来表示三维场景，通过多视图特征聚合和全局自注意力机制进行有效的三维建模，通过与基础模型的特征对齐和渲染监督来学习通用的三维表示。

关键观点4: 方法介绍

包括前馈高斯投影、VFM对齐的自监督学习、开放词汇占用预测等。

关键观点5: 实验结果

在Occ3D-nuScenes数据集上实现零样本最先进性能，同时训练时间减少了40%，凸显了GaussTR在可扩展和整体3D空间理解方面的有效性。