KDD'24系列：统一时间序列预训练Transformer

主要观点总结

本文介绍了中科大和清华在KDD 2024联合发表的时间序列预测模型文章。文章提出一种基于Transformer的时间序列预训练模型，实现多源数据联合训练和任意时间步的预测，解决了现有时间序列预训练建模方法的两个问题。文章详细描述了建模方法，包括数据处理、层次Transformer、推断过程。并在实验效果上取得了显著提升。

关键观点总结

关键观点1: 文章背景与动机

随着预训练技术在NLP、CV领域的发展，希望将预训练思想应用于时间序列领域。然而，现有时间序列预训练建模方法存在数据类型较少和预测方法不够灵活的问题。

关键观点2: 建模方法的核心内容

文章提出了一种新的基于Transformer的时间序列预训练模型，包括数据处理、层次Transformer和推断过程三个部分。采用混合数据集训练，实现多类型数据集的兼容。使用层次Transformer结构，通过不同粒度的Transformer实现不同粒度周期性信息的提取。

关键观点3: 模型的预测方式

模型采用生成式的预测方式，在推断阶段，预测结果可以进一步加入到模型中预测下一个时间步的值，建立了预测结果之间的关系。也可以更灵活的实现任意长度的时间序列预测。

关键观点4: 实验效果

文中对比了和自监督、有监督等各类SOTA时间序列预测方法的效果，本文提出的方法取得了显著提升。

关键观点5: 其他信息

文章还提供了后台交流群和算法知识星球的加入方式，以及相关的干货算法笔记。

免责声明