ShowUI：当前最好的 UI Agent 开源模型？

主要观点总结

本文主要介绍了Show Lab和微软推出的开源UI Agent模型ShowUI。该模型在中文APP定位和导航能力上表现出色，具有一些创新特性，包括UI-Guided Visual Token Selection、Interleaved Vision-Language-Action Streaming等。文章还介绍了模型的训练数据构建方法和微调过程。

关键观点总结

关键观点1: ShowUI模型特点

ShowUI是一个开源的UI Agent模型，基于Qwen2-VL-2B模型进行微调，模型和代码都开源。它在中文APP上的效果表现出色，是当前UI Agent开源模型中最好的之一。

关键观点2: 论文贡献

论文主要包括三个大的贡献：UI-Guided Visual Token Selection、Interleaved Vision-Language-Action Streaming和Small-scale High quality GUI Instruction-following Datasets。

关键观点3: 训练方法

训练时使用了两种组织不同训练数据的方法：Action-Visual和Action-Query，结合使用效果更佳。预训练阶段使用了GUIAct的Navigation数据，以及包含三类数据的Grounding数据。

关键观点4: 数据抽样

数据平衡抽样非常重要，带来了精度的提升。控制好抽样比例，可以在预训练中加入navigation数据而不降低模型的grounding能力。

关键观点5: 模型微调

模型在AITW数据集上微调后效果更佳，使用历史的截图可以提高模型效果。

免责声明