一文详解 codebook 技术史（从 VAE 到 VQ/RQ-VAE 到 FSQ）

主要观点总结

文章详细介绍了变分自编码器（VAE）及其衍生模型VQ-VAE和RQ-VAE的原理和应用，探讨了它们在图像生成和压缩中的效果。文章还介绍了FSQ方法，一种简化VQ-VAE中离散化的方法。

关键观点总结

关键观点1: 变分自编码器（VAE）的原理和ELBO目标

VAE是一种生成模型，通过编码将数据编码到隐空间并学习条件概率，解码过程则重建数据。ELBO（Evidence Lower Bound）是VAE的损失函数，旨在最大化数据的对数似然的下界。

关键观点2: VQ-VAE的特点和解决方案

VQ-VAE通过向量量化技术将隐变量的每一维都离散化为整数，以符合自然界模态的特点。为了解决VAE中的后验坍塌问题，VQ-VAE引入了Straight-Through Estimator来更新codebook。

关键观点3: RQ-VAE的创新点

RQ-VAE采用残差量化的新方法，通过多轮迭代减少feature map的空间分辨率，提高图像生成速度和计算效率。它还采用共享codebook机制和深度Transformer来进一步提高模型的性能。

关键观点4: FSQ方法的简介和优势

FSQ是一种简化VQ-VAE中离散化的方法，通过四舍五入实现数据的量化。实验表明，在编码表大小达到一定值时，FSQ的效果优于VQ-VAE。