新扩散模型OmniGen一统图像生成！

主要观点总结

新智元报道，智源推出了OmniGen，一种用于统一图像生成的多模态模型。OmniGen能够天然地支持各种图像生成任务，包括文生图、图像编辑、主题驱动生成和视觉条件生成等，并简化工作流程。该模型具有良好的简洁性和易用性，集成了多种基础图像生成任务，无需任何额外的插件和操作，基于用户指令即可完成各种生成任务。

关键观点总结

关键观点1: OmniGen的特点

OmniGen是一种用于统一图像生成的多模态模型，能够支持各种图像生成任务，包括文生图、图像编辑、主题驱动生成和视觉条件生成等。其架构高度简化，更加用户友好，可以通过指令完成复杂的任务，而不需要冗长的处理步骤和额外的模块。

关键观点2: OmniGen的能力

OmniGen集多项能力于一体，包括文本到图像生成、指代表达生成、通用图像条件生成、图像编辑以及经典计算机视觉任务等。此外，OmniGen还具备一定的上下文学习能力和推理能力，能够处理对模型理解和推断能力具有一定要求的非显式查询指令。

关键观点3: OmniGen的应用

OmniGen的应用场景包括文本生成图像、编辑生成图像的部分元素、根据生成图像的人体姿态生成重绘图像等。此外，OmniGen还具有良好的图像编辑能力，可以在一次运行中同时执行多条编辑指令。

关键观点4: OmniGen的架构与训练

OmniGen的基本架构为一个Transformer模型和一个VAE模块，共3.8B参数。为实现强大的通用和泛化能力，研究人员需要基于大规模和多样化的数据集训练模型。为此，研究人员构建了首个大规模且多样化的统一图像生成数据集X2I。