聊聊VLM架构以及训练后的一些实验和思考

主要观点总结

本文主要介绍了多模态大模型（VLM）的相关内容，包括架构、训练过程和一些关键点分析。作者讨论了不同类型VLM模型的处理方法，如Type A和Type B架构的处理方式，以及针对分辨率问题的处理方法。此外，文章还涉及了VLM的训练流程和一些实验思考。

关键观点总结

关键观点1: 多模态大模型（VLM）简介

VLM能够感知多模态输入并产出语言输出，目前常见的VLM架构有两种类型，每种类型都有其特点和难点。

关键观点2: 处理分辨率的问题

为了提高VLM对高分辨率图片的处理能力，一些模型采用了动态调整分辨率的策略，如MiniCPM-V的Resampler方法和LLaVA的projector方法。

关键观点3: VLM的训练过程

VLM的训练过程通常包括多个阶段，如预训练、connector warm-up、分辨率提升、encoding策略训练、SFT（指令微调）和RLHF（强化学习人类反馈）等。每个阶段的训练目标都是为了提升模型的效果和性能。

关键观点4: 关于VLM的实验和思考

为了优化VLM的性能，可以从构造更多高质量训练数据入手。此外，文章还提到了关于相同Input下生成多样性的思考和一些实验方法。

免责声明