超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光

主要观点总结

本文介绍了英伟达新推出的开源模型系列Llama-Nemotron，包括LN-Nano、LN-Super和LN-Ultra等三个模型。这些模型在推理能力上显著超越了之前的DeepSeek-R1模型，并且已经开源可用。文章详细描述了这些模型的训练过程，包括神经架构搜索、知识蒸馏、监督微调、合成数据、强化学习等阶段。文章还提到了模型的一些关键特性，如在单个8xH100节点上运行、推理吞吐量的优化、以及模型在多个基准测试上的优秀表现等。

关键观点总结

关键观点1: Llama-Nemotron系列模型的出现，显著超越了之前DeepSeek-R1模型的推理能力，并且已经开源可用。

新推出的模型包括LN-Nano、LN-Super和LN-Ultra等，分别针对不同需求进行了优化。这些模型的训练过程包括神经架构搜索、知识蒸馏、监督微调、合成数据、强化学习等多个阶段。模型的一些关键特性包括在单个8xH100节点上运行、推理吞吐量的优化等。此外，这些模型在多个基准测试上表现出优秀的性能，包括AIME、GPQA、LiveCodeBench等。

关键观点2: Llama-Nemotron模型的构建过程分为五个阶段。

第一阶段是利用神经架构搜索（NAS）在Llama 3系列模型基础上优化推理效率，并引入前馈网络融合（FFN Fusion）。第二阶段是通过知识蒸馏和继续预训练来恢复模型性能。第三阶段是进行有监督微调（SFT），结合标准指令数据和来自DeepSeek-R1等强大教师模型的推理过程。第四阶段是在复杂的数学和STEM数据集上进行大规模强化学习。最后一个阶段是对模型进行简短的对齐训练，重点在于指令跟随和符合人类偏好。

关键观点3: 大规模强化学习是使学生模型超越教师模型的关键。

监督微调可以让学生模型从强大的教师模型中提炼知识，但知识蒸馏本质上为学生模型的性能设定了上限。为了使学生模型超越教师模型，大规模强化学习是一种可行的方法。在整个推理强化学习训练过程中，研究者采用DeepSeek-R1同款的分组相对策略优化（GRPO）算法，对LN-Ultra进行大规模强化学习训练，最终实现了超越教师模型的学生模型。