ECCV 2024 | 数字人也懂惯性定律，上海AI Lab提出3D人体姿态序列建模(Dyco)

主要观点总结

本文介绍了Dyco——一种新颖的人体运动建模方法，旨在解决由不同动态上下文引起的惯性歧义问题。文章详细阐述了研究背景、惯性歧义来源和解决思路、解决方法、实验数据集和结果等。

关键观点总结

关键观点1: 研究背景

随着NeRF等深度神经渲染方法的兴起，传统人体重建方法如基于SMPL的人体重建获得了更高的渲染质量。然而，现有方法存在单帧姿态控制下的外表歧义问题。

关键观点2: 惯性歧义来源与解决思路

SMPL模型无法建模人体外部衣料的外观，单帧SMPL姿态存在固有的外表歧义，无法充分理解衣料的外表变化。问题归咎于系统缺乏对人体惯性的感知。通过姿态序列而非单帧姿态来控制人体建模，可以顺利解决惯性歧义。

关键观点3: 解决方法

提出使用姿态序列建模，结合局部动态上下文编码器来解决惯性歧义问题。姿态序列建模包括姿态变化量的序列建模和局部动态上下文编码器的设计。

关键观点4: I3D-Human数据集

为了解决现有数据集无法测试模型真正解决惯性歧义的能力的问题，提出了全新的I3D-Human数据集。该数据集侧重于捕捉服装外观的变化，并进行了复杂的加减速运动。

关键观点5: 实验结果

在I3D-Human数据集上与主流的人体NeRF方法进行比较，Dyco展现出更好的动态渲染效果和惯性模拟能力。