多模态AGI：下一Token预测技术架构最新综述

主要观点总结

本文介绍了在NLP中语言建模的基础上，下一个token预测（NTP）在多模态信息中的应用。文章详细阐述了多模态学习与下一个token预测（MMNTP）的通用流程图，包括多模态标记化、多模态NTP模型架构、统一的任务表示、数据集与评估以及开放性挑战等关键点。此外，文章还介绍了离散令牌预测和连续令牌预测的概念，以及预训练、微调和推理等阶段在多模态任务中的应用。

关键观点总结

关键观点1: 多模态标记化

将来自不同源的信息（如图像、视频、音频剪辑）分解成最小、可管理的单元（令牌），以便NTP模型学习。包括离散令牌化和连续令牌化的分类，并介绍了它们的应用和优势。

关键观点2: 多模态NTP模型架构

描述了多模态信息被令牌化后，需要处理的模型架构。包括编码各种输入、使用多模态Transformer预测下一个令牌、将预测的令牌解码回各自模态的空间等步骤。还介绍了组合模型和统一模型两种类型的多模态下一个token预测模型。

关键观点3: 统一的任务表示

在多模态令牌化后，使用统一的主干模型进行训练，以处理各种下游理解和生成任务。介绍了离散令牌预测和连续令牌预测的概念，以及预训练、微调、推理等阶段在多模态任务中的应用。

关键观点4: 数据集与评估以及开放性挑战

文章提到了多模态学习与下一个token预测面临的数据集、评估标准和开放性挑战。