NeurIPS 2024 | 无需训练，一个框架搞定开放式目标检测、实例分割

主要观点总结

本文介绍了北京大学王选计算机研究所的王勇涛团队的最新研究成果VL-SAM，一个基于注意力图提示的免训练开放式目标检测和分割框架。该框架结合了现有的泛化物体识别模型（如视觉语言大模型VLM）与泛化物体定位模型（如分割基础模型SAM），使用注意力图作为提示进行连接，针对开放场景，取得了良好的开放式目标检测和实例分割结果。论文已被NeurIPS 2024录用。文章还介绍了研究背景、方法部分、实验结果和结论。

关键观点总结

关键观点1: 研究背景与问题

介绍了深度学习在感知任务方面的显著成功，尤其是自动驾驶领域。然而，面对真实世界场景中分布外的物体，现有的感知模型可能无法识别和定位，导致严重的安全问题。因此，研究开放式感知方法具有重要意义。

关键观点2: 研究成果介绍

VL-SAM框架结合了VLM和SAM的优点，利用注意力图作为中间提示，解决开放式感知任务。该框架在长尾数据集LVIS和自动驾驶场景corner case数据集CODA上取得了良好结果，展示了强大的模型泛化能力。

关键观点3: 方法介绍

详细阐述了VL-SAM的方法部分，包括注意力图生成模块、SAM提示生成、迭代式分割优化以及多尺度聚合和问题提示聚合等技术细节。

关键观点4: 实验结果与分析

在包含1203类物体类别的长尾数据集LVIS验证集上，VL-SAM取得了较高的包围框AP值，并能获取物体分割结果。在自动驾驶场景corner case数据集CODA上，VL-SAM也表现出色。

关键观点5: 课程介绍

介绍了全栈指导班的内容，包括面向真正想从事CV的、想培养能力和知识面的、具备算法工程师思维的朋友。全栈班注重培养方法、能力及知识面，包括基础、代码能力、模型设计分析、目标检测、数字图像处理、部署等全流程的学习。