远超DepthAnything，数据量还不到1%？北交&阿里开源FE2E：让深度估计、法线估计精度暴...

主要观点总结

本文介绍了利用预训练的图像编辑模型进行稠密几何预测的研究。文章首先概述了研究背景、研究目的和主要贡献。然后详细介绍了提出的FE2E框架，包括其基于扩散变换器（Diffusion Transformer，DiT）架构的模型设计、训练目标、量化方法和联合估计策略。文章还通过实验结果展示了FE2E在零样本单目深度估计和法线估计方面的显著性能提升，并与其他最先进模型进行了比较。最后，文章总结了研究内容，并展望了未来工作。

关键观点总结

关键观点1: 研究背景与目的

随着3D视觉应用的广泛需求，稠密几何预测任务变得至关重要。本研究探索了利用预训练的图像编辑模型进行稠密几何预测的可能性，旨在提高模型的性能和数据效率。

关键观点2: 主要贡献

本研究系统地分析了图像编辑模型和生成模型的微调过程，揭示了编辑模型更适合稠密几何预测。基于此，引入了FE2E框架，实现了显著的性能提升，包括在ETH3D数据集上AbsRel提升35%。

关键观点3: 方法介绍

本研究采用了一种新颖的框架FE2E，该框架首次成功地将预训练的图像编辑模型应用于稠密几何预测。通过重新制定训练目标、采用对数量化解决精度冲突，并设计无成本的联合估计策略，实现了模型性能的提升。

关键观点4: 实验结果

尽管仅使用了有限的训练数据，FE2E的性能仍显著优于近期的方法，在ETH3D数据集上的表现提升了超过35%，并且超越了基于更多数据训练的DepthAnything系列模型。

关键观点5: 未来工作

未来研究将进一步完善FE2E框架，探索更多的优化方法和应用场景，旨在进一步提高模型的性能和数据效率。