WebRL：让 AutoGLM 自我进化

主要观点总结

本文提出了一种自我进化的在线课程强化学习框架WebRL，用于训练大型语言模型（LLMs）在WebArena等在线环境中的网页智能体。针对训练任务不足、反馈信号稀疏和策略分布漂移等挑战，WebRL通过应用自我进化的课程学习策略、结果监督奖励模型（ORM）、在线交互下的强化学习等技术，实现了对LLM网页智能体性能的大幅提升。实验结果表明，WebRL在WebArena-Lite等任务上的成功率显著高于基线方法，证明了其有效性和鲁棒性。

关键观点总结

关键观点1: WebRL框架的提出

为解决在线环境中训练LLM网页智能体面临的挑战，提出了一种自我进化的在线课程强化学习框架WebRL。

关键观点2: 解决训练任务不足的问题

通过自我进化的课程学习策略，动态生成任务，有效缓解训练任务不足的问题。

关键观点3: 解决反馈信号稀疏的问题

训练结果监督奖励模型（ORM）来评估任务的成功情况，提供二进制奖励信号，缓解稀疏反馈信号的问题。

关键观点4: 解决策略分布漂移的问题

通过KL散度约束的策略更新算法和自适应重放缓冲区，防止在课程学习过程中出现剧烈的策略偏移，降低知识遗忘的风险。

关键观点5: 实验验证

在WebArena-Lite等任务上进行实验验证，结果表明WebRL在LLM网页智能体的性能提升方面效果显著，超过了最先进的LLM网页智能体。