直播预告丨社区热议的Follow Family可控视频生成技术大揭秘

主要观点总结

本文介绍了社区开放麦的开播内容，重点介绍了视频生成领域的可控视频生成技术和Follow Family系列工作的相关内容。文章还提到了嘉宾介绍、分享内容和细节，包括Follow Your Pose、Follow Your Click、Follow Your Emoji和Follow Your Canvas等。此外，还包括了相关论文链接、代码链接和网页链接等。

关键观点总结

关键观点1: 社区开放麦关于视频生成领域的讨论

社区开放麦讨论了视频生成领域的可控视频生成技术和Follow Family系列工作，包括骨架控制、肖像控制、局部可控图生视频等。

关键观点2: 嘉宾介绍

嘉宾马跃是香港科技大学计算机博士，主要研究领域为视频生成和图片生成，曾在百度和腾讯AI Lab实习，发表过多篇高水平文章，获得过北京市优秀毕业生等荣誉称号。

关键观点3: Follow Your Pose的详细介绍

Follow Your Pose是一种能够生成可编辑文本和可控姿势的人物视频的方法。它采用两阶段的训练方案，利用姿势图像对和无姿势视频数据集以及预训练的文本到图像（T2I）模型，成功生成可控姿势的人物视频。

关键观点4: Follow Your Click的特点

Follow Your Click是一个图像到视频生成模型，允许用户通过简单的点击和短动作提示将静态图像转换为局部动画视频。它提供了直观的用户界面，并支持多对象同时动画。

关键观点5: Follow Your Emoji的重要性

Follow Your Emoji是一个基于扩散模型的人像动画框架，旨在通过添加目标表情序列为静态肖像实现动态动画效果。它特别注重保持身份特征并捕捉微妙的表情变化。

关键观点6: Follow Your Canvas的贡献

Follow Your Canvas是一个基于扩散模型的高分辨率视频外推框架，目标是通过丰富的内容生成实现视频的高质量外推。它结合了空间窗口策略和布局对齐设计，为处理任意大小和分辨率的视频提供了有效的解决方案。

免责声明