Huggingface 开源 SOTA 级别 3B LLM

主要观点总结

Huggingface发布了SmolLM3 3B LLM，该模型在性能上超越了Llama-3.2-3B和Qwen2.5-3B，与更大的4B模型Gemma3持平。除了模型本身，还开源了训练模型的方法、使用公共数据集和训练框架的细节。该模型具备双模式推理、多语言支持和长上下文能力，并采用了一系列优化技术。训练配置包括全局batch、优化器、训练时间和GPU使用情况。数据混合与多阶段训练策略以及长上下文与推理能力的提升方法也被详细介绍。最后提到了模型的合并技术和支持工具调用等特性。

关键观点总结

关键观点1: 模型性能超越Llama-3.2-3B和Qwen2.5-3B，与Gemma3持平

SmolLM3 3B LLM的性能表现优异，与其他模型相比具有竞争力。

关键观点2: 模型具备双模式推理、多语言支持和长上下文能力

SmolLM3 3B LLM提供了双模式推理、支持多种语言以及能够处理长达128K的上下文，显示出强大的功能性和灵活性。

关键观点3: 采用了一系列优化技术

包括Grouped Query Attention、NoPE、Intra-Document Masking和Embedding层无权重衰减等技术，提高了模型的表现和稳定性。

关键观点4: 训练配置和数据混合与多阶段训练策略

训练配置包括全局batch、序列长度、优化器、训练时间和GPU使用情况。采用了三阶段训练策略，逐步调整数据比例，并进行了中期训练，以提升特定能力。

关键观点5: 支持工具调用和其他特性

模型支持工具调用，包括XML和Python工具。还提到了双模式切换、后训练与模型对齐、偏好对齐以及模型合并技术等特性。

免责声明