“聚类+Transformer”俩搭档配享太庙！这方向发A会根本不用忧！

主要观点总结

文章主要介绍了CVPR、ICCV、Neurips等顶会上关于聚类+Transformer的论文成果，这些成果在医学图像分割等任务中表现优秀。文章还提到了几个值得关注的论文主题及其创新点，包括S2VNet新型框架、ClusterFomer通用视觉模型、Tore策略以及PaCa-ViT方法等。

关键观点总结

关键观点1: 聚类+Transformer成为研究热点

CVPR、ICCV等顶会上关于聚类+Transformer的论文增多，效果显著且有很多创新点。

关键观点2: S2VNet新型框架

S2VNet结合了聚类方法和Transformer架构，用于医学图像分割，性能卓越，且推理速度快，内存使用减少。

关键观点3: ClusterFomer通用视觉模型

ClusterFomer通过聚类和Transformer范式解决异构视觉任务，通过重新定义交叉注意力机制实现聚类中心的递归更新。

关键观点4: 其他论文主题的创新点

文中还介绍了Tore策略和PaCa-ViT方法等其他论文主题，这些主题也有很多创新点，如减少冗余令牌、提高模型效率和可解释性等。