CVPR | 从空间到频域：FSAS让Transformer注意力计算更高效

主要观点总结

文章介绍了Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring论文，包括其创新点、方法、实验结果和应用场景。

关键观点总结

关键观点1: 频域自注意力（FSAS）

提出一种高效的频域自注意力求解器（Frequency-domain Self-Attention Solver, FSAS），利用卷积定理将自注意力的点积运算转化为频域中的逐元素乘法，从O(N^2)降至O(N log N)，降低计算复杂度。

关键观点2: 频域前馈网络（DFFN）

设计一种判别式频域前馈网络（Discriminative Frequency-domain Feed-Forward Network, DFFN），引入基于JPEG压缩思想的可学习频率量化矩阵，自适应选择低/高频信息以增强复原质量。

关键观点3: 非对称架构

提出非对称编码器-解码器结构，只在解码器中使用FSAS，以避免浅层模糊特征误导全局注意力。

关键观点4: 高效与高质并存

在保持较低参数量（16.6M）与较高效率的同时，PSNR达到34.21 dB，超过Restormer、NAFNet等主流方法。

关键观点5: 即插即用模块的作用

FSAS是一种高效的频域注意力模块，适合插入到高分辨率、低层视觉复原类网络中，能在不增加太多计算量的情况下实现全局依赖建模与高频细节恢复。