无需参数访问！CMU用大模型自动优化视觉语言提示词 | CVPR’24

主要观点总结

本文主要介绍了卡内基梅隆大学研究团队提出的针对视觉语言模型的“黑盒优化”策略。该策略通过大语言模型自动调整自然语言提示词，使视觉语言模型在多个下游任务中表现更佳。这一方法无需触及模型内部参数，大幅提升了优化的灵活性与速度。文章还介绍了该策略在图像分类、生成任务中的应用以及团队的主要成员。此外，还提供了论文链接、代码链接和项目网站。

关键观点总结

关键观点1: 研究背景与问题

视觉语言模型如GPT-4o、DALL-E 3等拥有数十亿参数，模型权重不公开，传统白盒优化方法难以实施。研究团队提出了一种创新的“黑盒优化”策略。

关键观点2: 黑盒优化策略

通过大语言模型自动调整自然语言提示词，无需触及模型内部参数，提升优化的灵活性与速度。实验证明，该方法在多个小样本视觉识别数据集上取得最佳准确性。

关键观点3: 具体应用

该策略在图像分类、生成任务中表现出色，并展示了广泛的应用潜力。例如，在文生图任务中，通过自动优化提示词，生成更符合用户需求的高质量图像。

关键观点4: 团队介绍

研究团队包括卡内基梅隆大学的研究生毕业生刘士弘、博士研究生林之秋以及Deva Ramanan教授。刘士弘现任北美Amazon，负责大型分布式系统的计算和大语言模型驱动的AI Agent的开发。林之秋专注于视觉-语言大模型的自动评估与优化，并在顶级会议上发表了多篇论文。Deva Ramanan教授是计算机视觉领域的国际知名学者，曾获得多项顶级学术荣誉。