搜索图片有新招了！北大袁粒课题组提出图像检索新方法，输入草图or艺术or低分辨率 | ECCV 20...

主要观点总结

北京大学袁粒课题组联合南洋理工大学实验室和清华自动化所提出了一种新的通用检索任务：通用风格检索（Style-Diversified Retrieval）。该任务要求模型在面临风格多样的查询条件时，依然能精准找图。为此，他们提出了FreestyleRet框架，并公开了相关论文和数据集。论文指出当前图像检索的一大痛点是让检索模型具备理解多样化用户查询向量的能力，并介绍了为解决此问题所进行的工作和实验性能展示。

关键观点总结

关键观点1: 通用风格检索任务介绍

该任务要求模型面对多样化的查询风格时，依然能精准检索图像。传统的图像检索主要依赖文本查询，性能一般。论文提出的新图像检索方法能够根据多样化的查询风格（如草图、艺术画、低分辨率图像和文本等）来检索相应图像，甚至支持组合查询。

关键观点2: FreestyleRet框架介绍

为解决通用风格检索任务，团队提出了FreestyleRet框架。该框架通过提取并注入图片风格，有效解决当前图片检索模型无法兼容不同类型检索向量的问题。框架包括三个模块：风格提取模块、风格空间构建模块和风格启发的提示微调模块。

关键观点3: 数据集构建和实验性能展示

团队构建了细粒度检索数据集DSR（Diverse-Style Retrieval Dataset），用于多种查询风格的图片文本检索任务。此外，采用ImageNet-X作为大尺寸粗粒度的多风格检索数据集。实验证明，FreestyleRet框架可以显著增强现有检索模型的泛化能力，具有2-4%的提升。