CVPR论文分享 | VISTREAM：面向视觉流感知任务的SNN新框架

主要观点总结

本文主要介绍了一个名为VISTREAM的新框架，该框架旨在解决边缘设备上的视觉流感知（VSP）计算的问题。文章详细描述了VISTREAM的背景、方法、实验和结果，以及与其他方法的比较。

关键观点总结

关键观点1: 研究背景

边缘设备的视觉流感知计算因能耗限制而无法充分利用数据流中的历史信息，导致性能不佳。VISTREAM框架旨在解决这一问题。

关键观点2: 方法介绍

VISTREAM框架基于差分编码和电荷守恒的脉冲神经元构建。差分编码用于处理流式帧数据，利用历史信息提高感知性能。电荷守恒的脉冲神经元则保证了新网络能够达到与传统人工神经网络（ANN）相当的性能。

关键观点3: 实验结果

实验结果表明，VISTREAM在性能上与普通编码的ANN相当，并且在能耗方面优于普通编码的IF-SNN。此外，VISTREAM还适用于高帧率的采样设备。

关键观点4: 主要贡献

本研究的首要贡献是证明了ST-BIF神经元及其组成的SNN符合电荷守恒律，以及LoCC-SNN与将Q-ReLU作为激活函数的ANN之间的等效性。其次，本研究将差分编码与普通编码进行了比较，并证实了VISTREAM在保持性能的同时显著降低了能耗。