多模态大模型文心4.5后训练详解

主要观点总结

本文主要介绍了青稞AI的多个技术方面的信息。青稞AI展示了其文心4.5版本的多模态大模型架构，包括后训练阶段的具体技术细节。文章详细描述了模型的训练方法，包括使用的数据集，强化学习训练的奖励系统、训练方法和机制等。

关键观点总结

关键观点1: 青稞AI的文心4.5开源了多个尺寸的多模态大模型。

这些模型具有创新性的多模态异构模型结构，能够实现跨模态参数共享，同时保留各单一模态的专用参数空间。这种架构在保持文本任务性能的基础上，增强了多模态理解能力。

关键观点2: 后训练阶段主要针对模态的单独精调。

包括针对通用语言理解和生成的大语言模型和针对视觉语言理解的多模态大模型。每个模型采用了SFT、DPO或UPO的多阶段后训练。

关键观点3: 模型的后训练使用了一种统一奖励系统来处理推理和非推理任务。

包括使用基于规则的验证器、沙盒验证、LLM作为评委等机制来处理推理任务；对于非推理任务，则使用清单感知验证器、生成式奖励模型和判别式奖励模型等。此外，还引入了渐进式的强化训练，并在训练过程中使用了多种优化技术和过滤机制。

关键观点4: 多模态后训练模型支持思考和关闭思考模式的融合。

这意味着模型可以根据任务需求在推理和非推理模式之间进行切换，从而提高其适应性和灵活性。

免责声明