Apple多模态最新工作4M-21：搞定21种模态！刷新多个SOTA！

主要观点总结

本文介绍了来自洛桑联邦理工学院（EPFL）和苹果的研究者联合开发的一个任意到任意模态单一模型。该模型在数十种高度多样化的模态上进行训练，并通过对大规模多模态数据集和文本语料库进行协同训练，实现了多模态和多任务处理的高性能。研究展示了训练单一模型完成现有模型至少3倍多的任务/模态，不会损失性能，并实现了更细粒度和更可控的多模态生成能力。

关键观点总结

关键观点1: 研究背景及意义

当前的多模态和多任务基础模型如4M或UnifiedIO存在接受训练的模态和任务数量有限的限制。该研究旨在克服这些限制，展示了一个能够在任意模态之间进行转换的单一模型，该模型在高度多样化的模态上进行训练，并展示了卓越的性能。

关键观点2: 模型特点

该研究采用任意到任意视觉模型，在数十种不同模态上进行训练，包括RGB、几何、语义、边缘、特征图、元数据和文本等。通过使用特定于模态的离散分词器进行编码，实现了不同模态上训练单个统一模型的能力。

关键观点3: 方法介绍

该研究采用4M预训练方案，保持架构和多模态掩码训练目标不变，通过扩大模型和数据集的规模、增加训练模型涉及的模态类型和数量，并且在多个数据集上进行联合训练，提升模型的性能和适应性。

关键观点4: 实验结果

论文展示了4M-21多模态能力，包括多模态生成、多模态检索、开箱即用的能力等一系列视觉任务。实验结果表明，该模型能够实现跨模态检索、可控生成和强大的性能，不会损害性能，并且没有任何传统的多任务学习。

关键观点5: 其他信息

文中还提供了何恺明在MIT授课的课件PPT下载链接，以及CVPR 2024论文和代码下载链接。同时，成立了Mamba、多模态学习和扩散模型交流群，方便交流和分享相关资源。