刚刚，LeCun亲自出镜，Meta推出新世界模型！

主要观点总结

这篇文章介绍了Meta推出的基于视频训练的世界模型V-JEPA 2，它能实现最先进的环境理解与预测能力，并在新环境中完成零样本规划与机器人控制。V-JEPA 2包含两个主要组件：编码器和预测器。在训练过程中，Meta使用基于视频的自监督学习来训练V-JEPA 2。此外，Meta还发布了三个新的基准测试用于评估模型从视频中理解和推理物理世界的能力。

关键观点总结

关键观点1: Meta推出基于视频训练的世界模型V-JEPA 2，实现环境理解与预测能力。

V-JEPA 2是Meta推出的新模型，它能够帮助机器理解物理世界并规划行动路线以完成任务。该模型通过自我监督学习，无需额外的人工注释即可在视频上进行训练。

关键观点2: V-JEPA 2包含编码器和预测器两个主要组件。

编码器接收原始视频并输出嵌入，这些嵌入能够捕捉世界状态的语义信息。预测器接收视频嵌入以及关于预测内容的附加上下文，并输出预测后的嵌入。

关键观点3: Meta使用基于视频的自监督学习来训练V-JEPA 2。

在训练过程中，Meta使用了超过100万小时的视频和100万张图像，这些丰富的视觉数据有助于模型深入了解世界的运作方式。

关键观点4: V-JEPA 2在训练中分为两个阶段：预训练阶段和后续的动作条件训练阶段。

在第一阶段的预训练中，模型能够预测世界状态的可能演变。在第二阶段的训练中，Meta专注于利用机器人数据提升模型的规划能力。

关键观点5: Meta发布了三个新的基准测试用于评估模型从视频中理解和推理物理世界的能力。

这三个基准测试包括IntPhys 2、MVPBench和CausalVQA，它们用于衡量模型在新环境中理解和推理物理世界的能力。