Hugging Face开源顶级模型：双模式推理+128K上下文，最强3B

主要观点总结

本文主要介绍了全球著名大模型开放平台Hugging Face开源的顶级小参数模型SmolLM3。该模型具有30亿参数，性能超过其他同类开源模型，支持英语、法语、西班牙语、德语等6种语言，且支持深度思考和非思考双推理模式。文章还介绍了SmolLM3的架构细节、训练配置、训练数据和三阶段混合训练方法，以及SFT和APO的使用等。

关键观点总结

关键观点1: SmolLM3模型的特点和性能

SmolLM3是顶级小参数模型，性能大幅度超过同类产品，支持多种语言和双推理模式。

关键观点2: SmolLM3的架构细节

SmolLM3采用transformer解码器架构，使用了分组查询注意力、NoPE技术等，以提高效率和长上下文性能。

关键观点3: SmolLM3的训练配置和训练数据

SmolLM3的训练配置包括模型参数、优化器、峰值学习率等。训练数据采用三阶段混合训练方法，混合了网络、数学和代码数据。

关键观点4: SmolLM3的推理中期训练和后期训练

SmolLM3在推理中期训练融入推理能力，在后期训练构建了聊天模板，用户可通过标志激活推理或非推理模式。

关键观点5: SmolLM3的SFT和APO

SFT在推理中期训练阶段之后进行，该阶段在通用推理数据上训练模型。APO用于离策略模型对齐，提供更稳定的优化目标。