从“被动执行”到“主动协作”，复旦大学Ask-to-Clarify框架重塑人机交互范式

主要观点总结

文章介绍了具身智能体的发展挑战和解决方案，重点介绍了“询问澄清”（Ask-to-Clarify）框架，该框架通过多轮对话澄清模糊指令后实现具身智能体从“被动执行者”到“主动协作者”的转型。文章还提到了视觉-语言-动作模型（VLA）的发展以及视觉-语言模型（VLM）和扩散模型等关键组件。研究团队通过独特的训练策略使智能体同时具备对话能力和动作执行能力，并在多项任务中进行了测试，证明了框架的有效性。文章还探讨了未来研究需要解决的挑战和具身智能体在各领域的应用前景。

关键观点总结

关键观点1: 具身智能体面临的核心挑战

智能体在理解模糊指令时的能力局限，需要学会在模糊中主动沟通，在协作中完成任务。

关键观点2: “询问澄清”（Ask-to-Clarify）框架的作用

通过多轮对话澄清歧义，实现具身智能体从“被动执行者”到“主动协作者”的转型。

关键观点3: 视觉-语言-动作模型（VLA）和视觉-语言模型（VLM）的重要性

这些模型能够帮助智能体理解视觉场景和语言指令，并在需要时生成澄清问题。

关键观点4: 独特的训练策略

研究团队采用两阶段“知识隔离”训练策略，使智能体同时具备对话能力和动作执行能力。

关键观点5: “询问澄清”框架在实际任务中的表现

在多项实际任务中表现优异，显著优于当前最先进的视觉-语言-动作模型（VLA）。在非理想条件下的鲁棒性也得到了验证。