从观看视频到动作脚本的执行控制：VLA如何让机器人学会人类行为

主要观点总结

本文介绍了焉知机器人在使用VLA模型实现机器人洗衣服等柔性物体操作任务中的流程和技术细节，包括模型核心流程、控制决策树、感知输入、时间序列建模、跨模态对齐、解码成动作脚本、机器人的训练流程等。

关键观点总结

关键观点1: VLA模型的核心流程

文章介绍了VLA模型在机器人活动中的适用性和核心流程，包括从视频中学习柔性物体的交互模式，自动提取时间顺序，利用语言描述帮助泛化等。

关键观点2: 机器人的控制决策树

文章讨论了焉知机器人控制决策树与传统FSM的对比，介绍了条件判断由模型通过学习语义和经验来驱动的更灵活的方式。

关键观点3: 感知输入

文章详细阐述了机器人通过相机观察人类执行动作的过程，包括视觉特征抽取、对象为中心的Slot-Attention机制、多模态拼接等。

关键观点4: 时间序列建模

文章介绍了机器人如何从视频中理解动作序列，包括模型架构、时序对齐策略、训练流程与损失等。

关键观点5: 跨模态对齐

文章讨论了如何实现跨模态对齐，包括对比预训练、交叉注意力对齐、弱监督/稀疏标注等方法。

关键观点6: 解码成动作脚本

文章阐述了如何将识别的动作段翻译成机器人可执行的脚本，包括tokenization + 参数化、脚本到物理执行等步骤。

关键观点7: 机器人的训练流程

文章重点介绍了机器人通过行为克隆技术实现从人类演示到机器人执行的过程，包括数据采集、时序对齐、动作规划等关键步骤。