多模态召回模型：混合模态专家模型

主要观点总结

本文介绍了在展示广告的召回模型中如何融合离散ID模态和内容模态（图文模态）的方法。通过混合模态专家模型（MoMME）的设计，实现了用户兴趣召回模型的优化，提高了点击率召回和整体收入。文章详细介绍了模型的架构和实验过程。

关键观点总结

关键观点1: 背景介绍

随着机器学习尤其是深度学习技术的发展，学术界和工业界已经全面进入到了基于模型的召回算法的研究与应用阶段。在模型召回中，主要基于离散ID来描述广告和用户，这种方式具有优化效率高、适合个性化推荐等优点，但也存在信息不全、泛化性不强等问题。

关键观点2: 模型召回的形式化目标及检索方法

用户兴趣召回模型是展示广告召回的主力通道之一，一方面它保障了召回的结果满足用户的兴趣和需求，另一方面避免系统陷入数据循环。在用户兴趣建模中，采用了二向箔检索框架来降低在线serving时的推理时间。

关键观点3: 混合模型专家模型

本节介绍了如何在用户兴趣建模中引入多种模态的信息，以提高用户兴趣的建模能力。主要包括模态选择、模态表征优化、模态融合等关键步骤。其中模态融合包括特征融合、输出融合和条件输出融合等方法。

关键观点4: 实验结果

引入多模态特征后，取得了点击率召回显著提升的效果。在线指标显示，整体升级已经对展示大盘产生了积极的影响，累计贡献展示大盘收入有所增长。

免责声明