重磅发布 | Llama 3.2：轻量级边缘设备模型、视觉模型等更多功能上线！

主要观点总结

Llama 3.2全新版本发布，带来多个亮点。包括轻量级边缘设备模型、视觉模型强势升级、Llama Guard模型登场以及Llama Stack官方发行版推出。同时，提供了关于新架构的关键信息，包括使用的训练标记数量、支持上下文长度等。此外，还有关于视觉编码器的架构细节和模型的评估结果。

关键观点总结

关键观点1: Llama 3.2的新特性

包括推出轻量级边缘设备模型、视觉模型的升级、Llama Guard模型的登场以及Llama Stack的推出，这些新特性为开发者和企业提供了更多的选择和灵活性。

关键观点2: Llama 3.2的架构关键点

包括新的文本生成模型和视觉多模态模型的使用训练标记数量、支持128K上下文长度、通过蒸馏技术从旧模型中获取知识、VLM模型使用图像和文本训练数据等。这些关键点展示了Llama 3.2在架构上的优势。

关键观点3: 视觉编码器的架构细节

视觉编码器部分采用了类似CLIP类型的MLP，使用GeLU激活函数，这与GPT-2的MLP架构相似。同时，介绍了层归一、注意力机制和MLP处理等方面的细节。

关键观点4: 模型的评估结果

1B模型在MMLU测试中得分49.3，3B得分63.4，VLMs中11B得分50.7，90B得分6.0B得分模型表现优异，表明其在小规模和多模态大型模型中都表现良好。