站在DeepSeek肩膀上，小红书开源首款多模态模型：看懂表情包与数学题，一手实测

主要观点总结

本文介绍了小红书的hi lab开源了其首款多模态大模型dots.vlm1，该模型具备多模态理解与推理能力，在视觉评测集上的表现接近当前领先模型。dots.vlm1能够识别复杂的图文交错图表、理解表情包背后的含义、分析产品的配料表差异以及判断博物馆中文物、画作的名称和背景信息。文章还详细描述了dots.vlm1的架构和训练过程，并指出其在视觉感知与推理能力上的不足，以及未来的改进计划。

关键观点总结

关键观点1: dots.vlm1模型的开源及特点

小红书hi lab开源了首款多模态大模型dots.vlm1，具备多模态理解与推理能力，在视觉评测集上的表现接近当前领先模型，能够处理复杂的图文交错图表、理解表情包背后的含义等。

关键观点2: dots.vlm1的架构和训练流程

dots.vlm1由视觉编码器、MLP适配器和DeepSeek V3 MoE大语言模型三个核心组件构成。其训练过程包括视觉编码器预训练、VLM预训练和VLM后训练三个阶段。

关键观点3: dots.vlm1的性能与不足

dots.vlm1在视觉多模态能力方面已接近最佳性能水平，但在部分细分任务上仍需进一步优化。hi lab计划通过扩大跨模态互译数据的规模与多样性、改进视觉编码器结构和使用强化学习方法等来提高其性能。

免责声明