多模态对齐在小红书推荐的研究及应用

主要观点总结

本文介绍了小红书中台算法团队在CIKM 2024上提出的创新联合训练框架AlignRec，用于对齐多模态表征学习模型和个性化推荐模型。文章指出了多模态模型与推荐模型在训练过程中的步调不一致问题，导致联合训练被推荐信号主导，丢失大量多模态信息。AlignRec通过分阶段对齐的方式，设计了三种针对性的优化损失函数，使联合训练能够同时兼顾多模态信息和推荐信息。实验结果表明，AlignRec在多个数据集上的性能超过了现有的SOTA模型。

关键观点总结

关键观点1: 研究背景

多模态模型与推荐模型在训练过程中存在步调不一致问题，导致联合训练效果不理想。

关键观点2: 研究目的

解决多模态模型与推荐模型在联合训练过程中的对齐问题，提高推荐效果。

关键观点3: 解决方案

提出AlignRec联合训练框架，通过分阶段对齐和三种针对性的优化损失函数，兼顾多模态信息和推荐信息。

关键观点4: 实验结果

AlignRec在多个数据集上的性能超过现有SOTA模型，对长尾推荐有显著改善。

关键观点5: 核心挑战

如何对齐多模态表征、平衡内容模态和ID模态的学习速度以及如何评估多模态特征对推荐系统的影响。

关键观点6: 团队贡献

设计可复用的多模态召回范式，提出AlignRec联合训练方式和分阶段对齐的模式及中间指标评估方式。