ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE

主要观点总结

本文主要探讨了语言模型在长文本处理方面的挑战，包括过拟合和无法泛化到未见过的问题。引入周期性旋转位置编码（RoPE）试图解决这个问题，但仍面临局限性。针对此，清华大学等研究团队通过傅里叶分析工具发现RoPE带来的周期性延拓受到频谱破坏的影响。他们提出了傅里叶位置编码（FoPE）来提升模型的频域鲁棒性和周期延拓性，进而提升长文本泛化能力。本文还介绍了研究亮点、算法细节、实验对比以及潜在影响。

关键观点总结

关键观点1: 长文本处理对语言模型（LM）的挑战

LM在应对人类的提问时需要处理无限长度的输入文本，但通常只在较短窗长下训练，可能产生过拟合，无法泛化到未见过的问题。

关键观点2: 周期性旋转位置编码（RoPE）的局限性

RoPE试图通过周期性编码解决LM的长文本处理挑战，但在实际应用中，其周期性延拓受到频谱破坏的影响。

关键观点3: 傅里叶位置编码（FoPE）的提出

清华大学等研究团队提出FoPE，通过傅里叶工具进行分析，并设计了新的位置编码方式，以改善RoPE的局限性，提升模型的频域鲁棒性和周期延拓性。

关键观点4: 实验对比与潜在影响

文章对比了不同方法在困惑度、大海捞针准确率以及下游任务Benchmark上的表现，发现FoPE在大多数任务上表现超过RoPE。此外，该研究结论和算法具有更广泛的潜在价值，可应用于AI领域外的其他领域和任务。