Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了

主要观点总结

谷歌DeepMind团队提出了一种全新的LLM模型架构——Mixture-of-Recursions（MoR），旨在提高推理速度并减少训练FLOPs。MoR通过递归混合架构实现了效率优化，同时压缩参数量、减少冗余计算和减少内存开销。该架构通过共享权重、动态路由和智能缓存来实现优化，并为每个token动态调整递归步骤。实验表明，MoR在相同计算预算和相同数据量下优于标准Transformer，具有更高的计算效率和更少的时间消耗。

关键观点总结

关键观点1: MoR是一个全新的LLM模型架构，旨在提高推理速度和减少训练成本。

MoR通过递归混合架构实现效率优化，包括压缩参数量、减少冗余计算和减少内存开销。

关键观点2: MoR架构通过共享权重、动态路由和智能缓存实现优化。

MoR为每个token动态调整递归步骤，通过专家选择路由和token选择路由来实现。

关键观点3: 实验表明MoR在相同计算预算和数据量下优于标准Transformer。

MoR具备良好可扩展性和高参数效率，在推理阶段显著提升吞吐量。

免责声明