DeepSeek 研究员：Speciale证明强化学习可持续扩展！谷歌AI研究员划技术重点

主要观点总结

DeppSeek同时发布了两个正式版模型，Gemini-3和DeepSeek-V3.2-Speciale，展现了预训练持续扩展和超长上下文下的强化学习成果。DeepSeek通过“热启动”技术降低注意力机制复杂度，并在稳定RL训练方面进行创新。新模型具备更强的上下文管理能力、多样化的Agent配置和规模化地创建任务/环境的能力。研究员表示将继续扩大预训练规模、提高token效率和追逐最前沿能力。

关键观点总结

关键观点1: DeppSeek发布两个正式版模型，证明预训练和强化学习的持续扩展性

DeppSeek的Gemini-3和DeepSeek-V3.2-Speciale模型的发布展示了预训练和强化学习的持续扩展性。通过不断优化方法和数据，后训练阶段的瓶颈得以解决。

关键观点2: DeepSeek模型通过“热启动”技术降低注意力机制复杂度

DeepSeek模型采用“热启动”技术，通过独立初始化 + 独立优化动态，逐步适配训练过程，将注意力机制的复杂度从二次方降到了近似线性。

关键观点3:

DeepSeek在稳定强化学习训练方面也有不少创新，包括无偏的KL估计、屏蔽显著负向的优势序列以及解决MoE在不同框架之间训练/推理不一致的问题。

关键观点4:

DeepSeek模型具备更强的上下文管理能力，并在此基础上的进一步优化。此外，还有多样化的Agent配置，包括不同的checkpoint、系统提示词等。

关键观点5:

DeppSeek计划继续扩大预训练规模、更加专注于token效率、追逐最前沿能力。同时，最高级的‘光环收割’是通过真刀真枪地把成果开源给大众看。