ICLR 2024 | 双赢：从两个窗口训练高分辨率视觉Transformer

主要观点总结

这篇文章介绍了论文“Win-Win: Training High-Resolution Vision Transformers From Two Windows”，论文提出了一种新的策略，用于高效训练和推理高分辨率视觉Transformer。该策略通过训练时仅保留部分窗口，使模型学习局部和全局交互，测试时可直接处理高分辨率输入。

关键观点总结

关键观点1: 论文创新点

提出双赢训练策略，通过掩码大部分高分辨率输入，仅保留N个随机窗口进行训练，使模型学习窗口内局部交互和不同窗口间全局交互。设计结构化窗口选择，确保局部和远程标记交互的存在。兼容卷积头并应用相对位置嵌入。

关键观点2: 主要思想

通过随机采样窗口进行训练，降低训练复杂度，同时保留足够的标记以支持模型学习。在测试时，去掉窗口采样方案，处理完整图像。

关键观点3: 实验与扩展

论文将该方法应用于语义分割、单目深度预测等任务，并证明了其有效性。此外，还将该方法扩展到光流估计的双目任务，取得了先进性能。

免责声明