CVPR 2025 | 加快22倍！Meta提出EdgeTAM：基于SAM 2的高效视频分割模型，性...

主要观点总结

文章介绍了EdgeTAM模型，一种高效、可部署在移动设备上的视频对象分割模型。该模型旨在解决SAM 2模型在设备端推理效率不高的问题，通过在图像编码器和掩码解码器之间引入创新的2D空间感知器来降低计算成本，并利用蒸馏流水线提升性能。EdgeTAM在iPhone 15 Pro Max上达到了16 FPS的推理速度，并保持了与SAM 2相当的性能。

关键观点总结

关键观点1: EdgeTAM模型目标

EdgeTAM旨在使SAM 2模型在移动设备上运行，并保持可比性能。通过引入创新的2D空间感知器和蒸馏流水线，实现了高效且准确的视频对象分割。

关键观点2: 2D空间感知器

2D空间感知器利用轻量级Transformer编码密集存储的帧级别记忆，保持记忆的空间结构，并减少计算成本。

关键观点3: 蒸馏流水线

通过知识蒸馏，将教师模型SAM 2的知识转移到学生模型中，提高EdgeTAM的性能，而无需增加推理开销。

关键观点4: 性能与速度

EdgeTAM在iPhone 15 Pro Max上达到了16 FPS的推理速度，同时保持了与SAM 2相当的性能，并超越了其他移动设备上的视频对象分割模型。

关键观点5: 部署与未来工作

EdgeTAM可以作为图像和视频的统一本地分割模型使用，未来的工作将关注于进一步的优化和扩展模型的应用范围。