可灵AI数字人来了！快手重磅发布Kling-Avatar，面向多模态指令理解与控制的数字人长视频生成...

主要观点总结

快手可灵团队推出全新数字人功能，实现了分钟级长视频中生动细腻、情绪饱满、身份一致的影视级演绎。该功能基于多模态大语言模型的两阶段生成框架，实现了多模态理解让指令变成可执行的故事线，以及长视频的两阶段级联生成。此外，团队还展示了实验结果的对比和优势。

关键观点总结

关键观点1: 多模态大语言模型的应用

可灵团队使用多模态大语言模型实现了数字人的生动表达，通过设计多模态导演模块（MLLM Director），将音频、图像和文本输入转化为清晰的故事线。

关键观点2: 两阶段生成框架

可灵团队采用两阶段生成框架，首先生成蓝图视频，然后根据身份一致性、动作多样性等条件挑选高质量关键帧，并行生成子段视频，最后拼接得到完整视频。

关键观点3: 实验结果与对比

可灵团队通过精心设计的基于用户偏好的GSB测评体系，对比了Kling-Avatar与其他产品的效果，实验结果显示Kling-Avatar在多个维度上取得领先。

关键观点4: 长时视频生成能力

Kling-Avatar能够稳定生成长视频，采用两阶段生成+级联并行生成的框架，使得总生成时间与一段生成时间相当。

关键观点5: 团队与招聘信息

快手可灵团队是视频生成大模型的核心团队，致力于通过多领域的交叉帮助每个人更好地表达和创作优质内容。目前团队正在招聘多个相关岗位。