FP-DETR：通过完全预训练提升transformer目标检测器

主要观点总结

本文主要介绍了计算机视觉研究院提出的一种新型目标检测模型FP-DETR。该模型通过充分利用预训练技术和任务适配器来解决现有的目标检测问题。在模型结构设计中，提出了一个encoder-only的目标检测模型，并利用Deformable Attention降低处理高分辨输入的复杂度。此外，通过任务适配器解决预训练分类任务与下游检测任务之间的差异，提高了模型的鲁棒性和泛化能力。实验结果表明，FP-DETR在各种数据集上取得了很好的性能表现。

关键观点总结

关键观点1: FP-DETR模型的主要特点

利用预训练技术提高模型性能；采用encoder-only的结构设计；使用任务适配器解决预训练与下游任务之间的差异；利用Deformable Attention降低处理高分辨输入的复杂度；模型具有良好的鲁棒性和泛化能力。

关键观点2: 模型的实验验证

在COCO 2017数据集上与现有的detection transformer相比，FP-DETR取得了具有竞争力的表现；在COCO-C和Cityscapes数据集上，FP-DETR表现出良好的鲁棒性和泛化能力；在小数据集上，FP-DETR能够快速学习并产生准确的物体检测结果。

关键观点3: 模型的贡献

提出了一种新的目标检测模型FP-DETR，通过充分利用预训练技术和任务适配器解决了现有的目标检测问题；提供了一种encoder-only的目标检测模型结构，方便在常用的图像分类任务上进行预训练；通过实验验证了模型的有效性和优越性。