顶刊TPAMI 2024！清华黄高团队提出：高效图像识别的统一动态网络

主要观点总结

文章介绍了延迟感知的统一动态网络（LAUDNet）的设计，旨在提高深度网络的推理效率。LAUDNet统一了空间自适应计算、动态层跳过和动态通道跳过三种动态推理范式，并通过延迟预测模型来指导算法设计和调度优化，以实现理论与实际效率之间的有效匹配。实验结果表明，LAUDNet在图像分类、目标检测和实例分割任务上显著提高了实际效率，并超过了竞争方法。

关键观点总结

关键观点1: 统一动态推理框架（LAUDNet）

LAUDNet将三种动态推理范式——空间自适应计算、动态层跳过和动态通道跳过——统一在一个框架内，以提高深度网络的推理效率。

关键观点2: 延迟感知的算法设计与调度优化

通过延迟预测模型，准确估计不同动态操作员在各种计算平台上的实际延迟，并将此延迟预测结果用于指导算法设计和调度优化。

关键观点3: 粗粒度动态网络和批量推理

提出了粗粒度动态网络设计，通过在块/组级别上做出“是否计算”的决策，以减少内存访问延迟，并允许批量推理，进一步提升了网络的实际加速性能。

关键观点4: 实验验证

在图像分类、目标检测和实例分割任务上的实验结果表明，LAUDNet显著提高了实际效率，并超过了竞争方法。