WWW 2024 | 华为、清华提出个性化多模态生成新方法，让AIGC更懂你

主要观点总结

本文介绍了华为和清华研究者关于多模态生成内容的个性化技术。该技术使用大型语言模型实现个性化多模态内容生成，称为PMG。该技术能够根据用户偏好生成符合其偏好的表情包、电影海报等。通过关键词生成、隐向量生成等方法实现用户偏好的提取和目标物品关键词的生成，并结合两者生成个性化的内容。实验结果表明，PMG能够在不损失准确度的前提下，大幅度提升生成结果的个性化程度，具有广阔的应用空间和巨大的商业潜力。

关键观点总结

关键观点1: 研究背景及目的

随着多模态生成技术的发展，越来越多的应用场景得以实现。但是，这些应用场景对于不同用户的生成结果都是相同的，缺乏个性化。华为和清华的研究者率先解决了这个问题，实现了多模态生成的个性化，使得生成的内容更懂用户，更具吸引力。

关键观点2: 研究方法

研究使用大型语言模型进行个性化多模态内容生成。通过提取用户偏好并将其作为生成器的生成条件以实现个性化。使用关键词生成和隐向量生成等方法提取用户偏好和目标物品关键词，并结合两者生成个性化的内容。

关键观点3: 实验结果

在服装图像、电影海报、表情符号等三个典型应用场景中验证了PMG模型的性能。实验结果表明，PMG能够在不损失准确度的前提下，大幅度提升生成结果的个性化程度。

关键观点4: 技术应用及前景

个性化多模态生成技术有巨大的应用潜力，可以广泛应用于电商、在线广告、游戏、创作辅助等领域。该研究为进一步发展个性化多模态生成技术铺平了道路，使得创造定制和引人入胜的用户体验成为可能。