刚刚，梁文锋署名新论文深夜炸场！DeepSeek-V4 新架构曝光：提出新的稀疏化方向，与MoE互补...

主要观点总结

DeepSeek发布了新论文，介绍了条件记忆模块Engram，旨在增强Transformer骨干网络。Engram通过静态模式存储与动态计算在结构上分离，以提升模型性能。论文给出了实验数据，展示了Engram在知识、推理、代码和数学任务上的显著性能提升。

关键观点总结

关键观点1: Engram的介绍

Engram是一种条件记忆模块，旨在通过静态模式存储与动态计算在结构上分离，来增强Transformer骨干网络。

关键观点2: Engram的核心技术

Engram采用了四项核心技术：现代化的哈希N-gram嵌入、分词器压缩、上下文门控以及多分支融合技术。

关键观点3: Engram的实验结果

Engram在知识密集型任务、通用推理任务、代码和数学能力等方面都有显著的提升。长上下文能力也显著提升，特别是在多跳检索、链式推理等场景中。实验结果还发现了MoE和Engram容量分配中的U形扩展规律。

关键观点4: 网友的反馈

DeepSeek的新论文引发了网友的热烈讨论。许多网友认为Engram是一项有趣的技术，开启了新的稀疏性方向。也有网友表示，这种方法比线性注意力机制要好得多。