MIT团队新作JiT：一个简单的“回归”，让扩散模型在大Patch下重生

主要观点总结

本文是关于JiT（Just Image Transformers）的一篇论文解读，主要探讨了生成式模型在预测任务中的选择问题。文章指出，当前的扩散模型可能偏离了去噪的本质，并提倡让去噪模型回归去噪任务。文章通过一系列实验验证了流形假设，并展示了预测clean data与预测noised quantity的区别。

关键观点总结

关键观点1: 文章的主要观点

作者认为预测噪声、速度场等“noised quantity”与预测原始图片这样的“clean data”是两码事，并基于流形假设提出了扩散模型应该预测“clean data”而不是“noised quantity”的观点。

关键观点2: 文章的实验验证

文章通过一系列的Toy Experiment验证了流形假设，并发现当数据维度增加时，模型在预测原始数据时可以工作，但在预测速度场或噪声时失败。同时，文章也展示了改变Noise-level和引入Bottleneck结构对模型性能的影响。

关键观点3: 文章的方法与结果

文章介绍了JiT的做法，包括训练伪代码和推理伪代码，并展示了与其他方法的对比实验结果。文章还讨论了模型的Scalability和随着模型尺寸增加，256px和512px之间的FID差异减小的情况。