大模型日报（9月2日 学术篇）

主要观点总结

文章介绍了关于AI学习社群、大语言模型、灵活混合专家工具包、用户摘要基准框架、Transformer模型的模块化以及迁移学习的扩展定律等方面的内容。

关键观点总结

关键观点1: AI学习社群

搭建一个AI学习社群，让大家能够学习到最前沿的知识，共建更好的社区生态。奇绩大模型日报知识库已登陆飞书官方社区，欢迎订阅和交流。

关键观点2: 大语言模型的新发展

介绍论文《论文 01NDP：下一次分配预测作为更广泛的目标》，其中提出大语言模型在下一个token预测范式上展现出强大的能力，但存在训练目标狭窄的问题。引入NDP方法，使用n-gram分布替代one-hot目标，增强学习效果。在多个领域进行实验，取得显著改进。

关键观点3: MemLong：用于长文本建模的记忆增强检索

介绍MemLong方法，旨在通过利用外部检索器进行历史信息检索来增强长上下文语言建模的能力。结合不可微分的“ret-mem”模块与部分可训练的仅解码器语言模型，引入细粒度、可控的检索注意力机制。全面评估表明，MemLong表现优于其他最先进的LLMs，并将上下文长度扩展到80k。

关键观点4: 灵活混合专家工具包

提出一个工具包，用于从训练模型中创建低成本的领域专家混合体。该工具包可用于从模型或适配器创建混合体，经过广泛测试，并提供如何使用该工具包定义结果MOE架构的指导。

关键观点5: UserSumBench：用于评估用户总结方法的基准框架

介绍UserSumBench，一个基准框架，旨在促进基于LLM的摘要方法的迭代开发。提供无参考摘要质量度量和一种新颖的鲁棒摘要方法。该框架用于评估从一长串原始用户活动数据中生成的用户摘要，对于基于LLM的个性化应用至关重要。

关键观点6: Transformer模型的模块化研究

研究Transformer模型内部神经元的模块化和任务专业化。通过选择性修剪和MoEfication聚类技术的结合，分析神经元的专业化和重叠。发现任务特定的神经元簇，不同任务间存在不同程度的重叠。这项工作有助于更细致地了解Transformer的内部，并提供改进模型可解释性和效率的潜在途径。

关键观点7: 迁移学习的扩展定律的实证研究

展示了一个关于迁移学习规模定律的有限经验研究。研究了一个包含迁移差距项的规模定律，并揭示了在不同分布之间的迁移差距存在显著变化。结果有助于衡量迁移学习效率，并了解数据可用性如何影响性能。