ICCV2025 | 多视图生成新范式-利用自回归模型探索多视图生成

主要观点总结

本文介绍了北京大学博士生胡珈魁和清华大学硕士生杨羽霄等人开发的一种自回归生成多视图图像的方法MVAR。该方法旨在确保在生成当前视图的过程中，模型能够从所有先前的视图中提取有效的引导信息，从而增强多视图的一致性。文章介绍了MVAR的背景、动机、前置知识、应用中的问题和解决方案、实验结果及未来工作。

关键观点总结

关键观点1: MVAR方法的目的和特性

确保在生成当前视图时，模型能够从所有先前的视图中提取有效的引导信息，增强多视图的一致性。采用自回归生成方法，允许模型利用先前生成的视图的信息。

关键观点2: 多视角图像生成中的挑战

如何在多视图之间保持一致性，以及如何在不同条件下有效地合成形状和纹理。扩散模型存在同时多个视角、难以接受多模态控制条件等问题。

关键观点3: MVAR的解决方案

通过采用自回归生成方法，使用多模态条件嵌入网络架构来解决多模态条件控制和有限高质量数据的问题。提出适配自回归式生成的Shuffle View (ShufV) 数据增强策略，增广有限的高质量数据。

关键观点4: 实验结果

MVAR拉近了基于AR的多视角生成模型与现有的Diffusion模型的差距，展示出更强的指令遵从与多视角一致性。但相比Diffusion模型在一些感知指标上略有逊色。

关键观点5: 未来工作

专注于通过连续的因果3D VAE对多视图图像进行分词来提升性能。利用自回归模型的通用学习能力来统一多视图生成和理解任务。

免责声明