Google推出MaskGIT：革新图像生成的掩码式Transformer

主要观点总结

本文提出了一种使用双向Transformer解码器的新型图像合成方法MaskGIT。MaskGIT通过掩蔽视觉符元建模进行训练，能够在固定迭代次数内生成样本。实验结果表明，MaskGIT在条件图像生成方面优于最先进的Transformer模型，且易于扩展到各种图像操作任务。该模型在性能上与最先进的GANs相媲美。

关键观点总结

关键观点1: 新型图像合成方法MaskGIT

MaskGIT是一种利用双向Transformer解码器进行图像合成的方法。它在掩蔽视觉符元建模方面进行训练，以生成高质量的图像样本。

关键观点2: 迭代解码过程

MaskGIT采用迭代解码过程，在每次迭代中预测所有符元，但只保留最自信的符元。剩余的符元被屏蔽，并在下一轮迭代中重新预测。这种解码过程使得图像生成能够并行化，从而提高生成速度。

关键观点3: 双向自注意力机制

MaskGIT使用双向自注意力机制，允许模型从所有方向的生成令牌中生成新的令牌。这种机制使得模型能够捕捉更丰富的上下文信息，从而提高生成图像的质量。

关键观点4: 掩蔽设计

MaskGIT的掩蔽设计对图像生成的质量有显著影响。通过精心设计的掩蔽调度函数，模型能够在不同的迭代阶段进行不同数量的符元遮蔽，从而控制生成过程。

关键观点5: 实验结果

实验结果表明，MaskGIT在条件图像生成方面优于最先进的Transformer模型，并且生成的图像样本具有高的质量和多样性。此外，MaskGIT还易于扩展到各种图像操作任务，如图像修复、外推和编辑等。