【ACMMM2024】用于多媒体推荐的模态平衡学习"

主要观点总结

文章介绍了如何将多模态内容信息融入传统的协同过滤框架中，并指出多模态信息带来的优势以及所面临的挑战。为了解决模态不平衡问题，提出了一种反事实知识蒸馏方法，通过模态特定的知识蒸馏和新的通用与特定蒸馏损失来解决不平衡问题并充分利用所有模态。同时，使用反事实推断技术估计每个模态对训练目标的因果效应，重新校准弱模态的关注度。该方法可作为后融合和早融合骨干网络的即插即用模块，并在六种骨干网络上进行了广泛的实验验证。

关键观点总结

关键观点1: 多模态信息融入传统协同过滤的优势和挑战

许多推荐模型已经被提出以融入多模态信息来提高性能。多模态信息能提供全面信息从而提高性能，但整合多种模态时面临模态不平衡问题。

关键观点2: 反事实知识蒸馏方法解决模态不平衡问题

为了解决这个问题，文章提出了一种反事实知识蒸馏方法。通过模态特定的知识蒸馏和新的通用与特定蒸馏损失，该方法能充分利用所有模态并解决不平衡问题。

关键观点3: 使用反事实推断技术重新校准弱模态关注度

为了更有效地训练多模态模型，使用反事实推断技术估计每个模态对训练目标的因果效应，确定弱模态并相应地重新加权蒸馏损失。

关键观点4: 方法的实验验证和效果

该方法在六种骨干网络上进行了广泛的实验验证，结果表明该方法可以大幅提升性能。源码将发布在指定链接。