月之暗面又开源了！杨植麟合著提出新Agent框架，旗舰模型得分超GPT-4o

主要观点总结

本周二，来自香港大学等机构联合发表的论文在arXiv上公布了OpenCUA开源框架，旨在实现自主操作电脑的Agent的开发。这一开源框架的发布，可以使得用户可以高效、低门槛地进行自主操作电脑的Agent开发。

关键观点总结

关键观点1: OpenCUA框架简介

OpenCUA是一个用于构建和扩展的CUA（计算机使用Agent）开源框架，旨在辅助用户执行相应决策。该框架由香港大学等机构联合开发，包括注释基础设施、大规模计算机使用任务数据集AgentNet和工作流程等。

关键观点2: OpenCUA的研究团队与参与机构

香港大学计算机科学系助理教授Tao Yu（余涛）为项目负责人，月之暗面、斯坦福大学、滑铁卢大学、卡内基梅隆大学的研究人员参与。月之暗面创始人、CEO杨植麟在作者名单之列。

关键观点3: OpenCUA的开源原因

目前CUA系统的关键细节仍然处于闭源状态，为了扩展其辅助用户执行相应决策的应用能力，研究人员需要访问开源CUA框架来研究其能力、局限性和风险。

关键观点4: OpenCUA的性能表现

OpenCUA框架在CUA基准测试OSWorld-Verified上的平均成功率达到34.8%，超过多个开源及闭源模型。在离线部署方面，研究人员构建了计算机离线使用的Agent评估基准AgentNetBench，OpenCUA-7B、OpenCUA-32B的平均分数均优于OpenAI、Qwen等模型。

关键观点5: 数据集收集与处理方法

研究人员开发了用户友好的注释工具AgentNet Tool，用于简化计算机使用演示的收集和验证。同时，提出了AgentNet Method，将原始的用户演示处理成干净的、可学习的状态-动作轨迹，形成数据集。