何恺明新作出炉！异构预训练Transformer颠覆本体视觉学习范式，AI性能暴涨超20%

主要观点总结

本文介绍了异构预训练Transformer（HPT）模型，一种解决机器人模型中异构性问题的新架构。该模型通过预训练一个大型、可共享的神经网络主干，学习与任务和机器人形态无关的共享表示。文章详细阐述了HPT模型的核心要素，包括搭建异构性桥梁、数据集异质性、预训练过程、模型架构等。实验结果表明，HPT模型在迁移学习中表现出良好的性能，能够适用于模拟和真实环境中的全新本体、任务和环境。作者还介绍了参与研究的团队成员及其背景。

关键观点总结

关键观点1: HPT模型解决了机器人模型中的异构性问题，通过预训练一个大型、可共享的神经网络主干，学习与任务和机器人形态无关的共享表示。

HPT模型的核心在于将来自不同本体和模态的传感器输入对齐到共享表示空间中，利用Transformer结构进行预训练。预训练数据集包括多种来源，模型参数超过1B。实验结果表明，HPT模型在迁移学习中表现出良好的性能，能够适用于模拟和真实环境中的全新本体、任务和环境。

关键观点2: HPT模型架构包括stem结构、trunk结构和预训练过程。

stem结构负责将来自不同本体的异构输入映射为固定维度、固定数量的token，trunk结构是一个有潜在d维空间的Transformer结构，参数量固定，在不同的本体和任务之间共享，以捕获复杂的输入-输出关系。预训练过程旨在最小化数据集中的损失，包括行为克隆损失。

关键观点3: HPT模型在实验中表现出稳定的可扩展性，能够处理异构数据。

实验结果表明，HPT模型随着数据集数量、数据多样性、模型体量和训练计算量呈现出稳定的可扩展性。作者还进行了一系列迁移学习实验，验证了HPT模型在模拟和真实环境中的任务成功率。