DeepSeek 凌晨开源 ：给 Transformer 加个「查字典」的能力

主要观点总结

本文介绍了DeepSeek团队发布的新论文Conditional Memory via Scalable Lookup，该论文提出了一种新方法Engram来处理大型语言模型中的查找和计算任务。Engram通过将查表和计算分开处理，优化了模型性能。该论文还展示了Engram在知识类和推理类任务上的性能提升，并解释了其背后的原理。文章还涉及Engram的技术细节、效果数据、分析工具以及工程实践。

关键观点总结

关键观点1: Engram方法简介

DeepSeek团队在论文中提出了一种新方法Engram，该方法通过查表和计算分离来处理大型语言模型中的任务。Engram有一个专门负责查的模块，和负责算的MoE配合使用。

关键观点2: Engram在知识类和推理类任务上的性能提升

通过引入Engram模块，模型在处理知识类和推理类任务时的性能有了显著提升。知识类任务的提升是因为增加了记忆模块，而推理类任务的提升则是因为释放了网络的深度，使模型能够处理更复杂的推理任务。

关键观点3: Engram的技术细节

Engram的技术方案包括词表压缩、多头哈希、上下文门控等关键设计。同时，实验发现Engram的最佳放置位置是在模型的第2层。

关键观点4: 效果数据和工具分析

论文提供了关于Engram效果的数据和工具分析结果。结果显示，Engram在多个任务上都有显著的提升。同时，LogitLens和CKA等分析工具也证明了Engram的有效性。

关键观点5: 工程实践

Engram的查表索引是确定的，可以利用这一点进行预取操作，从而提高模型的吞吐量。此外，N-gram的访问符合Zipf分布，可以进一步通过多级缓存优化数据访问。