高性能低能耗目标检测框架SpikeYOLO，ECCV 2024 Oral 满分论文

主要观点总结

本文主要介绍了脉冲神经网络（SNN）在目标检测任务中的应用。结合YOLO框架，提出了目标检测框架SpikeYOLO，在COCO数据集和神经形态数据集Gen1上表现出更高的性能和速度优势。文章详细描述了SpikeYOLO的设计，包括架构设计、神经元设计以及实验验证。

关键观点总结

关键观点1: 背景介绍

脉冲神经网络（SNN）因其生物合理性和低功耗特性被认为是人工神经网络（ANN）的一种有效替代方案。然而，大多数SNN网络只能应用于图像分类等简单任务，在目标检测上的性能较低。

关键观点2: 主要贡献

本文提出了SpikeYOLO，一个结合YOLOv8宏观设计和Meta-SpikeFormer微观设计的目标检测框架，旨在弥合SNN和ANN在目标检测任务上的性能差距。通过简化SNN架构和采用整数训练脉冲推理神经元，SpikeYOLO在COCO数据集和神经形态数据集Gen1上取得了显著的性能提升。

关键观点3: 方法介绍

SpikeYOLO的架构设计倾向于简化YOLO架构，避免过于复杂的网络模块设计。同时，提出了一种整数训练脉冲推理神经元I-LIF，采用整数值进行训练，并在推理时等价为二值脉冲序列，有效降低脉冲神经元的量化误差。

关键观点4: 实验结果

在COCO数据集上，SpikeYOLO的mAP@50和mAP@50:95分别达到了66.2%和48.9%，比之前最先进的SNN模型分别提高了+15.0%和+18.7%。在神经形态数据集Gen1上，SpikeYOLO的mAP@50达到了67.2%，比同架构的ANN提高了+2.5%，并且能效提升5.7×。