英伟达也来卷大模型！Llama 3.1 魔改版 Nemotron 发布，性能登顶三大基准

主要观点总结

英伟达基于Llama 3.1打造的Nemotron-70B-Instruct开源模型在三大自动对齐基准测试中全部登顶开源第一，并吊打闭源GPT-4o和Claude 3.5 Sonnet。该模型使用RLHF微调，高质量的训练数据和HelpSteer2偏好提示。用户可以去build.nvidia.com免费试用。部署该模型需要至少配备4块40GB或2块80GB英伟达GPU的机器以及150GB的可用磁盘空间。

关键观点总结

关键观点1: Nemotron-70B-Instruct模型在三大基准测试中全胜开源

英伟达的Nemotron模型在Arena Hard、AlpacaEval 2 LC和MT Bench三大基准测试中，全部获得开源第一名。并且表现优于闭源的GPT-4o和Claude 3.5 Sonnet。

关键观点2: Nemotron模型使用RLHF微调

Nemotron模型采用了人类反馈强化学习（RLHF）进行微调，具体来说是使用了REINFORCE算法，使得模型更符合人类偏好。

关键观点3: Nemotron模型具有强大的回答能力

Nemotron可以正确回答“草莓里有多少个 r”这个难题，不需要特殊的提示或额外的推理token。

关键观点4: Nemotron模型的部署要求

部署Nemotron模型需要至少配备4块40GB或2块80GB英伟达GPU的机器，以及150GB的可用磁盘空间。详细的部署步骤可参考NVIDIA NeMo Framework的文档。

免责声明