CVPR 2024 | 针对去模糊和插帧问题的事件相机延迟矫正

主要观点总结

在CVPR 2024上，商汤智能影像团队联合北京大学相机智能实验室提出了事件相机的延迟校正算法，该算法针对低光下的去模糊和插帧任务的退化问题进行了有效的建模与校正。通过提出事件相机的时序置信度指标，实现了基于搜索的延迟矫正算法，并建立了延迟与模糊图像强度值的关系曲线。所提出的事件校正算法在多个去模糊和插帧算法上均有显著的性能提升。

关键观点总结

关键观点1: 事件相机的延迟校正算法

通过对去模糊图像的去模糊效果评估实现对延迟效应的自监督学习，提出了基于事件的时序置信度指标，用于评估去模糊后图像的清晰程度。基于所提出的时序置信度指标，实现了基于搜索的延迟矫正算法。

关键观点2: 事件积分的可导表达

为了解决事件相机在低光照下的延迟问题，提出了事件积分的可导表达，使得双重积分去模糊算法对延迟可导。提供了两种可导方案：分段常函数和高斯函数。

关键观点3: 实验验证

通过实验结果证明了所提出的延迟校正算法能够明显提升去模糊和插帧算法的性能，并说明了低光下延迟效应对去模糊和插帧任务造成的困难与挑战。