最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

主要观点总结

Mobile-Agent团队推出Mobile-Agent-v3智能体框架，该框架能在手机、电脑端多个核心榜单上取得开源最佳成绩。新框架兼具基础能力与推理泛化能力，可以自动操作手机、电脑完成复杂任务，并在多智能体框架中无缝扮演不同角色。其训练出一个图形交互基础模型（GUI-Owl），该模型通过大规模并行任务执行和轨迹爬取，实现自我进化。文章详细介绍了GUI-Owl模型的训练离不开的数据生产模式、精准的界面元素定位、复杂任务规划、动作语义理解等内容，并指出强化学习在多智能体协同中的重要作用。实验结果证明，该框架在OSWorld动态环境中的成功率有显著提升。

关键观点总结

关键观点1: Mobile-Agent-v3智能体框架推出

兼具基础能力与推理泛化能力；能在手机、电脑端多个核心榜单上取得开源最佳成绩；可以自动完成复杂任务并在多智能体框架中无缝扮演不同角色。

关键观点2: GUI-Owl模型的训练

通过大规模并行任务执行和轨迹爬取实现自我进化；训练离不开的数据生产模式包括高质量任务生成模块、轨迹正确性判断模块、任务指南生成模块等。

关键观点3: 精准的界面元素定位

通过构建两类接地（grounding）任务数据，实现精准的界面元素定位，让AI理解图形界面。

关键观点4: 复杂任务规划与动作语义理解

通过构建任务规划数据和动作语义理解数据，使模型能够完成复杂任务和掌握“操作如何改变界面”。

关键观点5: 强化学习在多智能体协同中的作用

引入强化学习（RL）并构建一套高效、灵活的训练基础设施，使模型在真实交互中持续学习，解决长尾问题。