无需等待：电商重排模型在线学习

主要观点总结

本文介绍了用于推荐系统中重排环节的在线学习方法。经典的在线学习依赖用户反馈，存在实时性问题。文章提出了一种新型的在线学习方法——Learning at Serving Time（LAST），该方法不依赖用户反馈，确保模型的实时性。该方法由阿里巴巴与中国人民大学共同研究，围绕实时在线学习、重排模型基本概念、重排学习问题定义、解决方案以及LAST方法等方面进行了详细介绍。

关键观点总结

关键观点1: 实时在线学习与重排模型基本概念

实时在线学习指的是在模型上线后，基于新产生的有效sample，实时更新模型的学习过程。重排模型是推荐系统中最后一个环节，决定最终的推荐结果，需要综合考虑多样的业务需求以及复杂物料的融合。

关键观点2: 重排学习问题定义与解决方案

重排问题可以通过arg max reward公式定义，寻找最优序列以获取更好的feedback。解决方案包括使用one shot solution的generator来直接输出最优序列，引入evaluator来评估其他可能的序列，以及使用actor/generator生成序列和evaluator/simulator评估序列的流程。

关键观点3: LAST方法的核心逻辑与优势

LAST方法的核心是在模型上线后，针对每个请求在serving的一瞬间进行模型更新。它的亮点在于无需等待用户反馈，针对每次请求进行局部优化，定制程度高，可实现千人千模，并且不会影响已上线的模型，可作为可插拔的插件使用。

关键观点4: LAST方法的实验结果

实验结果表明，LAST方法在离线评估和实际线上实验中均表现出最优效果，能在点击数不变的情况下，带来成交笔数的提升。