世界模型==VQA？机器人不用想象画面，预测语义就够了

主要观点总结

新论文提出语义世界模型（SWM）的概念，它是一种具备泛化能力的世界模型，以动作条件的视觉语言模型形式存在，能够回答关于未来动作语义效果的问题。与传统预测未来帧的世界模型不同，SWM在给定当前观测和动作序列的情况下，回答关于未来的自然语言问题。通过理解动作在环境中带来的后果，生成相应的文本回答。

关键观点总结

关键观点1: 新论文提出语义世界模型（SWM）

SWM是一种具备泛化能力的世界模型，能够回答关于未来动作语义效果的问题。

关键观点2: SWM与传统预测未来帧的世界模型不同

SWM在给定当前观测和动作序列的情况下，回答关于未来的自然语言问题，而非仅预测未来画面。

关键观点3: SWM利用视觉语言模型（VLM）的预训练知识

SWM基于开源的视觉语言模型PaliGemma，利用预训练知识实现可落地、灵活且可扩展的机器人控制。

关键观点4: SWM的实验结果

SWM在LangTable和OGBench两个仿真环境上的评估结果证明了其有效性和灵活性。通过基于采样的规划方法和基于梯度的优化技术，SWM能够解决各种机器人任务并取得显著改进。