LeCun亲自出镜打脸质疑者！憋了20年的AI世界模型，终于爆发了

主要观点总结

LeCun介绍了Meta新发布的V-JEPA 2世界模型，该模型具备先进的视频理解与预测能力，是实现高级机器智能（AMI）和构建能在物理世界中运行的有用AI智能体的关键。文章还介绍了V-JEPA 2的训练过程和应用，以及Meta同步发布的三个全新基准评估集。

关键观点总结

关键观点1: V-JEPA 2的发布

V-JEPA 2是首个基于视频训练的世界模型，具备先进的视频理解与预测能力，实现了零样本规划和机器人新环境中的自主控制。它的发布代表着Meta朝着实现AMI和构建有用AI智能体的目标迈出了下一步。

关键观点2: V-JEPA 2的训练过程

V-JEPA 2的训练分为两个阶段，第一阶段是无动作预训练，使用超100万小时视频和图像让模型学习世界运作方式；第二阶段是动作条件训练，加入机器人数据，让模型学会根据具体行动进行预测和规划。

关键观点3: V-JEPA 2的应用

V-JEPA 2最激动人心的应用之一是零样本机器人规划。它可以完成抓取、拾取物体、放置到新位置等任务，在全新环境中，拾取和放置新物体的成功率达到65%–80%。

关键观点4: 三个全新基准评估集的发布

Meta同步发布了三个全新基准测试，用于评估现有模型从视频中理解和推理物理世界的能力，包括IntPhys 2、MVPBench和CausalVQA。

关键观点5: 未来的探索方向

Meta还将进行多个方向的深入探索，包括研究分层的JEPA模型，使其能在不同的时间和空间尺度上进行学习、推理和规划。以及开发多模态JEPA模型，实现更全面的世界理解。

免责声明