Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting创新点

这篇论文提出了非平稳变压器（Non-stationary Transformers）这一新方法来处理时间序列预测中的非平稳数据问题。其创新点及其详细解释如下：

1. 非平稳变压器框架

创新性概述：提出了一个包含两个互补模块的非平稳变压器框架：序列平稳化（Series Stationarization）和去平稳化注意力（De-stationary Attention）。

具体内容：

序列平稳化模块：该模块通过归一化处理每个时间序列，目的是减少输入数据的非平稳性，使得序列的统计特性（如均值和标准差）更加稳定。
- 归一化操作：通过对时间序列应用滑动窗口，在时间维度上执行平移和缩放操作，使得每个序列都具有相似的统计特性。
- 公式：
  $\mu_x = \frac{1}{S} \sum_{i=1}^{S} x_i, \quad \sigma_x = \sqrt{\frac{1}{S} \sum_{i=1}^{S} (x_i - \mu_x)^2}, \quad x'_i = \frac{x_i - \mu_x}{\sigma_x}$
- 去归一化操作：在模型预测输出后，将预测结果重新转换回原始统计特性，以保证输出的可解释性和有效性。
- 公式：
  $y_i = \sigma_x \cdot \hat{y}_i + \mu_x$
去平稳化注意力模块：该模块旨在恢复输入序列的原始非平稳性，以确保模型能够捕捉到时间序列中的重要时间依赖性。
- 问题识别：通过分析指出，序列平稳化可能会导致不同序列生成相似的平稳化输入，进而使模型难以捕捉到关键的时间依赖性。
- 去平稳化因子：引入去平稳化因子（如缩放标量 $\tau$ 和移位向量 $\Delta$ ），以从平稳化后的序列中恢复原始的非平稳信息。
- 公式：
  $\log \tau = \text{MLP}(\sigma_x, x), \quad \Delta = \text{MLP}(\mu_x, x)$
  $\text{Attn}(Q', K', V', \tau, \Delta) = \text{Softmax}\left(\frac{\tau Q'K'^\top + 1 \Delta^\top}{\sqrt{d_k}}\right) V'$

创新性概述：通过识别和解决过度平稳化问题，改进了传统时间序列预测模型在处理非平稳数据时的预测能力。

具体内容：

创新性概述：提供了详细的数学推导和理论分析，解释了序列平稳化和去平稳化注意力的工作原理。

具体内容：

自注意力公式推导：通过推导自注意力公式，展示了如何在传统自注意力机制中引入平稳化和去平稳化的调整，以保证模型在处理非平稳数据时的有效性。
- 公式：
  $\text{Attn}(Q, K, V) = \text{Softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right) V$
- 调整后的公式：
  $Q'K'^\top = \frac{1}{\sigma_x^2} \left(QK^\top - 1 (\mu_Q K^\top) - (Q \mu_K^\top) 1^\top + 1 (\mu_Q \mu_K^\top) 1^\top\right)$
去平稳化因子的学习：利用多层感知器（MLP）从原始未平稳化数据中学习去平稳化因子，确保模型能够准确捕捉时间依赖性。
- 公式：
  $\log \tau = \text{MLP}(\sigma_x, x), \quad \Delta = \text{MLP}(\mu_x, x)$

###$. 实验验证
创新性概述：通过大量的实验验证非平稳变压器的有效性，展示了其在多种时间序列预测任务中的优越性能。

具体内容：

多基准测试：在六个现实世界的基准数据集上进行测试，结果显示非平稳变压器在各项指标上显著优于现有方法。
对比分析：与主流时间序列预测模型（如Informer、Reformer等）进行对比，验证了所提出方法在处理非平稳数据时的优势。
- 实验结果：实验结果表明，非平稳变压器在多个数据集上显著降低了均方误差（MSE），例如在Informer上降低了47.34%，在Reformer上降低了46.89%。

创新性概述：通过详细的贡献总结，进一步明确了论文的创新点及其在时间序列预测领域的意义。

具体内容：

综上所述，这篇论文通过提出非平稳变压器框架，详细阐述了其在时间序列预测中的应用，解决了传统方法中的过度平稳化问题，并通过数学推导和实验验证展示了其有效性。这些创新点在理论和实践上都对时间序列预测领域做出了重要贡献。