你的输入，LLM一字未忘：Transformer被证明“几乎处处可逆”

主要观点总结

本文介绍了最新研究，该研究挑战了人们对于Transformer模型隐藏状态的普遍认知。研究发现，Transformer模型并没有丢失任何输入信息，而是能够通过隐藏状态精确重构出原始输入。此外，文章还介绍了一种名为SipIt的反演算法，该算法能够在不训练任何外部网络的情况下，仅依靠隐藏状态就重建出原文。

关键观点总结

关键观点1: Transformer模型的隐藏状态具有精确重构输入的能力。

研究发现，Transformer模型的最后一token隐藏状态能够唯一确定输入序列，这意味着只要知道隐藏状态，就能反推出原文。这一性质在整个训练过程中都不会被破坏。

关键观点2: SipIt反演算法的实现与理论支持。

基于Transformer模型的单射性质，研究者提出了一种名为SipIt的反演算法。该算法能够逐位反演输入，仅依赖隐藏状态即可完成重建。实验结果表明，SipIt在多种模型上均能实现100%的精度恢复。

关键观点3: 研究背景与意义。

该研究动摇了我们对隐藏表示的长期假设，为解释LLM内部表征提供了坚实起点。同时，该研究也提醒我们，缓存隐藏状态可能等同于缓存用户输入，因此隐私治理必须覆盖这一层。此外，该研究展示了一种先证明结构再把结构做成算法的范式。