TPAMI 2024 | PoseScript：将三维人体姿态与自然语言相链接

主要观点总结

本文介绍了PoseScript数据集，它是第一个将3D人体姿势与自然语言描述相链接的数据集。通过结合6,000多个3D人体姿势与丰富的人工标注描述，以及自动字幕流程生成的自然语言描述，显著扩展了数据集的规模，达到了100,000个姿势描述。文章还提出了三个多模态学习任务，展示了PoseScript数据集的潜力和应用范围。数据集不仅为预训练深度模型提供了可能，也为各种应用如图像标注、基于姿态的语义搜索、数字动画生成和教授视觉障碍者姿势技能等铺平了道路。

关键观点总结

关键观点1: PoseScript数据集创新点

提出了PoseScript数据集，这是第一个将3D人体姿势与自然语言描述相链接的数据集。通过结合6,000多个3D人体姿势与丰富的人工标注描述，显著扩展了数据集的规模，达到了100,000个姿势描述。此外，使用自动字幕流程生成的自然语言描述，不仅提高了数据的多样性，而且使得数据集能够与数据密集型学习算法兼容。

关键观点2: 多模态学习任务

文章提出了三个多模态学习任务，包括文本到姿势检索、文本条件人体姿势生成和姿势描述生成。这些任务展示了PoseScript数据集的潜力和应用范围，为各种应用如图像标注、基于姿态的语义搜索、数字动画生成和教授视觉障碍者姿势技能等铺平了道路。

关键观点3: 数据集的应用前景

PoseScript数据集不仅为预训练深度模型提供了可能，也为解决实际应用中的问题如图像标注、基于姿态的语义搜索等提供了丰富的数据资源。未来可扩展至多人互动场景，并探索更多基于文本的姿势先验应用。