Hallo4：让AI肖像“活”起来！新型扩散框架实现高保真音频驱动动画生成！

主要观点总结

复旦联合百度发布扩散框架Hallo4，用于生成高动态和逼真的肖像动画。该框架实现了准确的唇音同步、自然的面部表情，并能处理各种角色身份和环境场景中快速的语音节奏和突然的上身运动。文章介绍了该框架的关键创新点，包括直接偏好优化和时间运动调制，并提供了实验结果和总结。

关键观点总结

关键观点1: 扩散框架Hallo4的发布

复旦联合百度开发的扩散框架Hallo4，用于生成由音频和骨骼运动驱动的高动态和逼真的肖像动画。

关键观点2: 框架的关键创新点

框架引入了直接偏好优化和时间运动调制两项关键创新，以应对生成高保真、动态连贯的动画挑战。直接偏好优化利用人类偏好数据集对齐感知指标，实现肖像运动与视频的对齐和表情的自然性。时间运动调制解决时空分辨率不匹配问题，保留高频运动细节的保真度。

关键观点3: 实验结果与结论

实验表明，该框架在唇音同步、表情生动度和身体运动连贯性方面相比基线方法有显著提升，同时在人类偏好指标方面也取得了显著提升。框架实现了准确的唇音同步、自然的面部表情，并能够稳健地处理各种场景中的快速语音节奏和突然的上身运动。

关键观点4: 公众号与读者交流

文章鼓励读者关注公众号并加入官方读者交流群，共同交流学习有关AI、深度学习、计算机视觉、AIGC等相关技术。