ECCV 2024 | 一个Query解决所有感知任务! 单阶段多任务感知模型HQNet

主要观点总结

本文介绍了一篇关于计算机视觉领域中以人为中心的感知（Human-Centric Perception, HCP）问题的研究，提出了一种单阶段、多人、多任务的统一框架HQNet。该框架旨在学习一个普遍适用于各种HCP任务的人体表示，称为Human Query，可抽取单人的实例特征并应用到复杂的多人场景。文章还介绍了相关的动机、方法、实验结果和总结。

关键观点总结

关键观点1: 研究背景

计算机视觉领域中以人为中心的感知（Human-Centric Perception, HCP）是一个长期存在的问题，包括检测、分割、2D/3D姿态估计和属性分类等任务，对体育分析、虚拟现实、增强现实等应用至关重要。

关键观点2: 主要动机

大多数现有的方法采用多阶段范式，存在流程总体表现依赖于检测、流程耗时与图中人数量正相关、忽视任务间相关性等问题。单阶段方法在一次推理中估计所有人的所有属性，效率远高于多阶段，且能让多任务共享对人体结构的共同理解。

关键观点3: 研究方法

提出了一个统一、高效、可拓展的单阶段多任务HCP模型HQNet，以Human Query为中心，最大限度地共享各种HCP任务之间的知识。使用query based检测为基础设计HQNet架构，研究将每个人的实例表示为单个HumanQuery的可行性。

关键观点4: 实验结果

在COCO-UniHuman数据集上训练和测试了模型，HQNet在多任务模型中支持的任务种类最多且指标最好，与单任务模型相比也具有竞争力。此外，还展示了HQNet在其他数据集和任务上的表现。

关键观点5: 其他贡献

介绍了大规模HCP数据集COCO-UniHuman的构建和细节，以及相关工作[1]-[4]的简要介绍。另外强调了HumanQuery迁移到其他HCP任务的能力。