ICCV2025 | One image is all you need，多模态指令数据合成，你只管...

主要观点总结

本文主要介绍了一种新型多模态指令数据合成方法Oasis，该方法无需用户提供任何prompt，仅以图片作为输入，即可完成指令合成、质量控制和回复生成。文章介绍了Oasis的方法流程、数据特性、实验结果和开源代码库MM-INF。Oasis能有效提高多模态大语言模型的泛化能力，并在多个基准测试上实现性能提升。该研究还开源了一个数据合成的codebase MM-INF，欢迎大家试用。

关键观点总结

关键观点1: Oasis是一种新型多模态指令数据合成方法，只需用户提供图片即可完成指令合成。

Oasis的特点是不需要人工设计和复杂的合成提示词，而是利用模型的自回归特性，基于输入的图片生成多样化的指令。研究者深入分析了高质量指令应具备的属性，并设计了筛选标准用于自动过滤生成指令中的低质量数据。

关键观点2: Oasis数据特性丰富，包括指令和回复的长度、语言类型、动名词组合等。

Oasis合成的数据覆盖广泛语种，包含小语种，且动词名词组合表达自然，对象多样性显著。

关键观点3: Oasis实验结果显著，作为增量数据引入时，较基线实现全面且显著的性能提升。

实验结果表明Oasis在增强多模态大语言模型泛化能力上的有效性，且数据Scaling效果良好，数据量增加时，模型性能稳定提升。

关键观点4: 研究开源了MM-INF代码库，提供数据合成的codebase。

该代码库包含了Oasis的实现以及一些常用的多模态数据合成链路，方便使用者试用并提供反馈。

免责声明