清华团队推出轻量级端侧GUI Agent，用代码生成技术提升任务效率

主要观点总结

本文介绍了清华大学智能产业研究院的李元春助理教授团队开发的AutoDroid系列，旨在将大模型智能体部署到设备端，实现更安全高效的任务处理。最新成果AutoDroid-V2通过代码生成提升基于SLM的GUI智能体，解决了智能体在移动设备任务自动化中的知识获取问题以及大模型在移动设备任务自动化中的效率问题。该团队的研究经历了一个从移动应用测试到真正意义上的GUI Agent的演变过程。未来，他们计划进一步优化AutoDroid-V2的性能并拓展其应用场景。

关键观点总结

关键观点1: AutoDroid-V2的开发背景和目的

为了解决智能体在移动设备任务自动化中的问题和提高大模型在移动设备任务自动化中的效率，清华大学智能产业研究院的团队开发了AutoDroid-V2。

关键观点2: AutoDroid-V2的主要创新点

AutoDroid-V2把智能体的任务自动化问题转化为程序生成问题，利用小型语言模型的代码生成能力，将复杂移动设备操作任务转变为代码生成流程。每个用户任务仅需调用一次或少数几次模型，显著提升了效率。

关键观点3: AutoDroid-V2的技术评估

与传统方法相比，AutoDroid-V2在性能和效率方面取得了显著提升。在包含23个移动应用的226个任务测试中，V2的任务完成率显著高于V1，同时降低了推理延迟和运行时输入和输出令牌消耗。

关键观点4: GUI Agent的当下与未来

GUI Agent作为大模型的一个应用场景，其实用性还存在争议。但目前已有不少研究团队取得了阶段性的进展，未来随着技术的不断进步，GUI Agent的智能程度将不断提升，应用场景也将更加广泛。

关键观点5: AutoDroid-V2的未来计划

研究人员计划进一步优化AutoDroid-V2的性能并拓展其应用场景，包括探索更先进的算法和模型架构，提高小型语言模型的推理和决策能力，以及将其应用到更多领域如智能家居控制、驾舱智能交互、工业自动化流程中的设备操作等。

免责声明