conference: #NeurIPS 2021
authors: Haixu Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long
link: (Autoformer)[https://arxiv.org/abs/2106.13008]

之前基于 Transformer 的时间序列预测模型，通过自注意力机制（self-attention）来捕捉时刻间的依赖，在时序预测上取得了一些进展。但是在长期序列预测中，仍存在不足：

  • 长序列中的复杂时间模式使得注意力机制难以发现可靠的时序依赖。
  • 基于 Transformer 的模型不得不使用稀疏形式的注意力机制来应对二次复杂度的问题，但造成了信息利用的瓶颈。

为突破上述问题，我们全面革新了 Transformer，并提出了名为 Autoformer 的模型，主要包含以下创新：

  • 突破将序列分解作为预处理的传统方法，提出深度分解架构（Decomposition Architecture），能够从复杂时间模式中分解出可预测性更强的组分。
  • 基于随机过程理论，提出自相关机制（Auto-Correlation Mechanism），代替点向连接的注意力机制，实现序列级（series-wise）连接和复杂度，打破信息利用瓶颈。

在长期预测问题中，Autoformer 在能源、交通、经济、气象、疾病五大时序领域大幅超越之前 SOTA，实现38% 的相对效果提升。

分解

对输入序列进行分解，分解为季节性部分和趋势部分。（趋势，短期波动；季节性：长期）
moving average

Auto-correlation

理解：对于长度为 a 的时延，可以将序列划分为 L/a 个段。对于当前的这个时延段，计算与其他“段”的 R 值。

时延总共有 k 种（Top-k），a in {1, … , L}。a=1 时，等价于当前时间点与其他时间点的 R，要计算 L 次；a=2 时，共划分为 L/2 个“段”，要计算 L/2 次……[L+L/2+…L/a]，所以 O(k L)，k=c lnL，O(lnL L)。“更有可能是序列周期的 a 值对整个序列贡献大（加权平均）”

而传统的 self-attention，是点对点的。