Transformer作者初创重磅发布Transformer²！AI模型活了，动态调整自己权重

主要观点总结

Sakana AI发布了新的Transformer²方法，它通过奇异值微调和权重自适应策略提高了LLM的泛化和自适应能力。该方法在多种任务上表现出显著进步，包括数学、编码、推理和视觉理解。其核心在于能够动态调整权重矩阵中的关键组件，通过引入奇异值微调（SVF）方法和强化学习进行训练。Transformer²还展示了模型知识的转移能力，并在未见过的任务上取得了性能提升。这种自适应系统为未来的'活体智能'铺平了道路，即不断学习、演化和适应的模型。

关键观点总结

关键观点1: Transformer²通过奇异值微调和权重自适应策略提高了LLM的泛化和自适应能力。

奇异值分解（SVD）用于深入分析LLM的'大脑'（即权重矩阵），并将其分解成独立的部分。强化学习（RL）用于训练这些组件以应对多种任务。新方法在文本任务、视觉理解和多种场景中取得了优于LoRA的性能提升。

关键观点2: Transformer²通过动态调整权重矩阵中的关键组件实现强大的任务适应性。

SVF学习一组z向量，每个下游任务对应一个z向量，它们充当'放大器'或'衰减器'，调节不同组件对模型行为的影响。在推理阶段，新框架使用两阶段适应策略，结合任务专用的z向量生成最终响应。

关键观点3: Transformer²展示了模型知识的转移能力，并能够在未见过的任务上实现性能提升。

作者探索了将一个模型的知识转移到另一个模型中的可能性，并观察到在大多数任务上，接收模型的性能有所提升。这暗示了知识共享和「活体智能」的可能性，即不断学习、演化和适应的模型。