LLM4Rec最新重磅工作：字节跳动序列推荐分层大模型HLLM

主要观点总结

本文介绍了字节推出的分层大语言模型（HLLM）在推荐系统中的应用。文章详细阐述了HLLM的背景、方法、实验、问题及消融研究。HLLM旨在利用大语言模型提取物品特征并建模用户兴趣，有效地集成预训练知识到推荐系统中。该方法在公开数据集上取得了显著效果，并在实际场景中进行了验证。

关键观点总结

关键观点1: 背景

传统推荐系统存在的问题以及LLM在推荐系统中的应用背景。

关键观点2: 方法

HLLM分为Item LLM和User LLM，两者参数并不共享。Item LLM使用物品的描述作为输入，User LLM使用用户历史交互序列作为输入。HLLM同时应用了生成式推荐和判别式推荐。

关键观点3: 实验

HLLM在公开数据集上的实验效果比SASRec和HSTU都要好。在线A/B实验验证了HLLM的实际效果和适用性。

关键观点4: 问题和消融研究

文章提出了关于微调、Scaling特性、与SoTA方法对比、训练和Serving效率等问题，并进行了相应的消融研究。