ICML2024 | 维度坍塌视角下的大规模推荐系统

主要观点总结

本文深入研究了推荐系统模型在规模化过程中遇到的嵌入维度坍塌问题，并提出了多嵌入设计来提高模型的可扩展性。通过实验验证了多嵌入设计在减少嵌入坍塌和提升模型效果方面的有效性。

关键观点总结

关键观点1: 推荐系统模型的扩展性问题

随着大数据时代的到来，推荐系统在各个领域发挥着重要作用，但推荐模型的可扩展性成为一大挑战。主流推荐模型的规模停滞不前，限制了系统效果的进一步提升。

关键观点2: 嵌入维度坍塌现象

嵌入维度坍塌指的是在高维空间中，推荐模型的很多特征的嵌入表征只支撑起一个低维的子空间。这导致模型无法充分利用高维空间提供的超大参数容量，从而限制了模型的可扩展性。

关键观点3: 多嵌入范式（Multi-Embedding Paradigm）的提出

为了缓解嵌入维度坍塌问题，提出了多嵌入范式。该范式为所有特征ID学习多套嵌入表征，并基于每套嵌入表征学习独立的专家网络。最后，通过混合专家网络输出最终预估值。

关键观点4: 实验验证

在Criteo和Avazu两个公开CTR数据集上，基于多嵌入范式的实验效果优于单嵌入范式。同时，在腾讯广告的多个场景点击率预估上线该范式，取得了显著的营收提升。

关键观点5: 结论

本文不仅为推荐系统领域提供了新的视角，也为深度学习模型的设计提供了宝贵的启示。随着人工智能技术的不断进步，多嵌入设计有望在更多的应用场景中发挥其潜力，推动推荐系统乃至整个深度学习领域的发展。