时序大模型参数减少预测更好？上海交大、阿里推出时序基模后训练新范式

主要观点总结

本文介绍了大规模预训练时序模型的研究现状，针对时序基础模型在实际生产中的适应难题，研究者们进行了深入研究。文章指出了现有时序基模的局限性，并提出了“先剪枝再微调”的后训练范式。该范式通过移除模型中的冗余参数和结构，使模型专注于下游任务相关的参数子空间，从而提高了模型的预测性能。实验结果表明，该范式能够在多个基准数据集上取得较低的预测误差，并提高了时序基模的胜率。文章还观察了时序基模的内在机制，包括稀疏性和冗余性，并指出这些是预训练中习得的关于时序预测的宝贵先验知识。

关键观点总结

关键观点1: 研究背景

大规模预训练成为时序领域的热点，涌现了时序预测基础模型（简称：时序基模）。实际生产中时序数据不断新增，无需人工标注即可为时序预测积累充足训练样本。

关键观点2: 主要问题

实际生产中，时序基模在全样本场景下的表现并不优于传统基线模型，研究者们发现即便经过微调也难以在常用基准上显著优于基线模型。

关键观点3: 解决方案

研究者提出了“先剪枝再微调”的后训练范式，通过移除模型中的冗余参数和结构，使模型专注于下游任务相关的参数子空间。实验表明，这种方法能够提高模型的预测性能。

关键观点4: 实验分析

研究者对最新的时序基模进行了实验分析，得到了三点重要观察：现有时序基模难以稳定优于传统基线、时序基模的计算存在稀疏性、时序基模的参数存在冗余性。

关键观点5: 实验结果

实验结果表明，“先剪枝再微调”的后训练范式能够在多个基准数据集上取得较低的预测误差，并提高了时序基模的胜率。此外，该范式还具有较好的可迁移性，能够在相似数据上进行有效的迁移学习。

免责声明