同济、NUS等提出GalleryGPT，巧妙运用大模型收集绘画图像-艺术分析文本数据

主要观点总结

本文介绍了多模态大模型在艺术绘画分析中的应用现状及其面临的挑战。文章指出当前模型受先验知识影响，会出现错误分析的现象，并提出了利用高质量艺术绘画分析数据微调多模态大模型的解决方案。文章还介绍了数据收集、标注、实验验证及投稿通道等相关内容。

关键观点总结

关键观点1: 多模态大模型在艺术绘画分析中的应用现状和挑战

现有模型受先验知识影响，对艺术绘画分析存在误差；艺术绘画分析是智能分析领域的研究热点；利用多模态大模型进行艺术绘画分析具有潜力。

关键观点2: 利用高质量艺术绘画分析数据微调多模态大模型的解决方案

通过收集大约 19k 艺术绘画图片，合成 50k 艺术绘画分析数据；利用大语言模型生成艺术分析标注；使用这些数据微调多模态大模型，增强其对艺术绘画的视觉特性感知能力。

关键观点3: 实验结果

实验验证了高质量的绘画图像-艺术分析文本数据合成和微调增强多模态大模型的有效性；GalleryGPT模型在风格分类和问答数据集上的表现优于其他开源多模态大模型。

关键观点4: 投稿通道和PaperWeekly介绍

鼓励高校实验室或个人分享各类优质内容；稿件要求原创、未发表，以markdown格式撰写；提供具有竞争力的稿酬；投稿邮箱和微信投稿通道。

免责声明