CVPR 2024 | SED：一种用于开放词汇语义分割的简单编码器-解码器

主要观点总结

本文介绍了一篇关于开放词汇语义分割的论文，提出了一种简单高效的编码器-解码器框架SED。该框架包括分层编码器成本图生成、渐进融合解码器和类别早期拒绝策略。实验证明，SED方法显著提升了开放词汇语义分割的性能。

关键观点总结

关键观点1: 分层编码器成本图生成

作者使用分层骨干网络作为图像编码器生成像素级图像-文本成本图，相较于传统Transformer，具有更好的局部空间信息捕捉能力和与输入大小成线性关系的计算复杂度。

关键观点2: 渐进融合解码器

解码器通过特征聚合模块和跳跃层融合模块逐步结合分层编码器的多尺度特征图和成本图，生成高分辨率特征图用于分割。

关键观点3: 类别早期拒绝策略

为了提高推理速度，作者在解码器中引入了类别早期拒绝方案，该方案在早期层拒绝不存在的类别，从而实现加速。

关键观点4: 实验验证

文章在多个开放词汇语义分割数据集上进行了实验，证明了SED方法的有效性。当使用ConvNeXt-B时，SED方法在ADE20K数据集上实现了31.6%的mIoU分数。