主要观点总结
文章介绍了字节版Sora视频模型的新功能，包括Seaweed和PixelDance两款豆包视频模型，它们支持文生/图生视频，并可生成时长达10秒的视频。PixelDance模型具有多主体交互、一致性多镜头生成等特色功能。文章还介绍了PixelDance背后的技术原理，包括其采用的方法、模型结构、指令注入机制、训练策略等。此外，文章还提到了该模型在WebVid-10M等数据集上的训练情况，以及字节版Sora与其他视频模型的对比。目前该模型已在火山引擎开启企业用户的邀请测试，个人用户可在即梦AI申请内测。
关键观点总结
关键观点1: 字节版Sora推出Seaweed和PixelDance两款豆包视频模型
这两款模型支持文生/图生视频，可生成时长达10秒的视频。
关键观点2: PixelDance模型的多主体交互、一致性多镜头生成特色
PixelDance可以通过多镜头话语言能力展示多个主体的交互，同时保持主体、风格和氛围的一致性。
关键观点3: PixelDance的技术原理
PixelDance基于潜在扩散模型进行视频生成，采用广泛的2D UNet作为扩散模型，并结合文本指令和图像指令进行训练。
关键观点4: PixelDance的训练策略和数据集
团队在WebVid-10M数据集上训练了视频扩散模型，并采用了额外的无水印视频片段数据集进行联合训练。
关键观点5: 字节版Sora的发布和测试
目前字节版Sora已在火山引擎开启企业用户的邀请测试，个人用户可在即梦AI申请内测。未来将逐步开放给所有用户。
免责声明
免责声明：本文内容摘要由平台算法生成，仅为信息导航参考，不代表原文立场或观点。
原文内容版权归原作者所有，如您为原作者并希望删除该摘要或链接，请通过
【版权申诉通道】联系我们处理。
微博登录
