谷歌颠覆性论文 | 嵌套学习：深度学习架构的幻象（中英双语）

主要观点总结

本文提出了一个名为Nested Learning（NL）的新学习范式，用于描述一个模型作为一组嵌套、多层级和/或并行优化问题的集成系统。NL揭示了现有深度学习方法通过压缩自身上下文流来从数据中学习，并解释了在大型模型中自然涌现的“上下文学习”。NL建议通过增加更多“层级”来设计更具表达力的学习算法，从而获得更高阶的上下文学习能力。NL还提出了一个名为HOPE的自指学习模块，结合了自修改序列模型与连续体记忆系统，并在语言建模、持续学习和长上下文推理任务中展现了良好性能。

关键观点总结

关键观点1: Nested Learning (NL) 范式

NL将模型表示为一组嵌套的、多层级和/或并行的优化问题，每个问题都有其自身的“上下文流”。NL揭示了现有深度学习方法通过压缩自身上下文流来从数据中学习，并解释了在大型模型中自然涌现的“上下文学习”。

关键观点2: HOPE自指学习模块

HOPE结合了自修改序列模型与连续体记忆系统，通过动态改变key、value和query的投影方式，并结合深度记忆模块，实现了在语言建模和持续学习任务上的良好性能。

关键观点3: 实验与评估

在语言建模和常识推理任务上，HOPE与Transformer和Gated DeltaNet等现代循环神经网络进行了比较，表现出优秀的性能。