基于多模态大模型的 UI自动化测试

主要观点总结

本文介绍了支付宝技术部的朱嘉丽在QECon 2025全球软件质量 & 效能大会上关于基于多模态大模型的UI自动化测试的演讲内容。演讲主要围绕小程序质检的复杂性以及采用智能化方案解决相关问题。演讲内容包括质量测试场景与问题背景、AI自动化测试方案、算法方案、应用场景落地与创新实效以及未来展望。

关键观点总结

关键观点1: 核心内容

演讲主要介绍了利用深度学习和多模态大模型技术对小程序进行页面、动线维度的自动化检测，以及生成AI自动化测试用例的方法，该方法维护成本低，能大大减少人力投入，保障线上小程序的功能稳定性与用户体验。

关键观点2: TestFun测试平台的特点

TestFun测试平台具有泛终端支持、多维测试、开箱即用和闭环管理等特性，广泛应用于蚂蚁集团多个BU的开发和测试人员，但在实际测试场景中仍存在一些问题，需要LowCode方案提升脚本可读性和泛化能力。

关键观点3: AI自动化测试方案的特点

AI自动化测试方案拥有全模态接入能力、稳定性和强大的泛化性能，能通过自然语言形式描述测试场景和功能。该方案采用数据驱动和Agent流程搭建，通过RAG增强检索等技术实现多样UI场景的兼容。

关键观点4: 应用场景落地与创新实效

整套算法能力已被应用到蚂蚁（支付宝）内部的多个终端/模拟器平台和业务场景中，包括基于UI多模态大模型的MobileFlow案例获得中国人工智能产业发展联盟的优秀案例奖等。

关键观点5: 未来展望

未来期望智能Agent能自动实时分析、主动调用各类工具完成任务，实现复杂任务和用户个性化需求的满足。