独家 | 高创新预测模型

作品简介

交叉注意力融合时空特征的TCN-Transformer并行预测模型

论文创新!!!

创新点：

1.利用时空卷积网络（TCN）来提取序列的全局空间特征，同时利用 Transformer 来提取序列中的长期依赖关系的时序特征，采用并行结构，加快模型的训练和推理速度；

2.利用交叉注意力进行并行网络时空特征的融合，这样可以同时考虑时序关系和位置关系，从而更好地捕捉时空序列数据中的特征，增强特征的表示能力来实现高精度的预测。

50个epoch，训练误差极小，多变量特征TCN-Transformer-CrossAttention 融合网络模型预测效果显著，模型能够充分提取时间序列的空间特征和时序特征，收敛速度快，性能优越，预测 精度高，交叉注意力机制能够对不同特征之间的关联程度进行建模，从序列时空特征中于提取出对模型预测重要的特征，效果明显！创新度也有！！！

环境：python 3.9 pytorch 1.8 及其以上都可以

任何环境安装或者代码问题，请联系作者沟通交流，对于购买者，作者免费解决后续问题，关注微信公众号[建模先锋]，联系作者；


注意：此次产品，我们还有配套的模型讲解（方便学习网络结构）和参数调节讲解（用在自己数据集上调参）！有毕业设计或者发小论文需求的同学必看，模块丰富，创新度高，性能优越！




导读.png

前言

本文基于前期介绍的电力变压器（ 文末附数据集 ），介绍一种基于交叉注意力融合时空特征的TCN-Transformer并行预测模型，以提高时间序列数据的预测性能。

数据集2.png


该模型 多变量特征 | 单变量序列预测都适用！

1 模型整体结构

模型整体结构如下所示，多特征变量时间序列数据先经过TCN网络提取全局特征，同时数据通过Transformer编码器层提取时序特征，使用交叉注意力机制融合空间和时序特征， 通过计算注意力权重 ，使得模型更关注重要的特征再进行特征增强融合，最后经过全连接层进行高精度预测。

封面.png

  1. (1) 时空卷积网络（TCN）：
  • TCN是一种卷积神经网络结构，用于捕捉时序数据中的时序关系。它由一系列的1D卷积层组成，每个卷积层都具有相同的卷积核大小和步长。
  • TCN中的残差连接（Residual Connections）和空洞卷积（Dilated Convolutions）用于增加网络的感受野，以便更好地捕捉时序数据中的长期依赖关系。
  • TCN可以同时处理多个时间步的输入，这使得模型能够在多个时间步上进行并行预测。

  2. (2) Transformer模型：
  • Transformer是一种基于自注意力机制的序列建模方法，通过注意力机制来建模序列中不同位置之间的依赖关系，能够捕捉序列中的全局上下文信息。
  • 自注意力机制通过计算输入序列中不同位置的相关性来分配不同位置的权重。这使得模型能够根据序列中不同位置的重要性来进行建模和预测。
  1. (3) 并行预测：
  • TCN-Transformer模型采用并行结构，能够同时预测多个时间步的目标。
  • 并行预测可以加快模型的训练和推理速度，并且能够充分利用时序数据中的信息，提高预测性能。
  1. (4) 交叉注意力融合：
  2. 使用交叉注意力机制融空间和时序特征，可以通过计算注意力权重，学习时空特征中不同位置之间的相关性，可以更好地捕捉时空序列数据中的特征，提高模型性能和泛化能力。

2 多特征变量数据集制作与预处理

2.1 导入数据

油温数据.png


2.2 制作数据集

制作数据集与分类标签

数据集制作.png


3 交叉注意力机制

交叉注意力机制.png


3.1 Cross attention概念

  • Transformer架构中混合两种不同嵌入序列的注意机制
  • 两个序列必须具有相同的维度
  • 两个序列可以是不同的模式形态（如：文本、声音、图像）
  • 一个序列作为输入的Q，定义了输出的序列长度，另一个序列提供输入的K&V

3.2 Cross-attention算法 

  • 拥有两个序列S1、S2
  • 计算S1的K、V
  • 计算S2的Q
  • 根据K和Q计算注意力矩阵
  • 将V应用于注意力矩阵
  • 输出的序列长度与S2一致

公式222.png


在融合过程中，我们将经过Transformer的时序特征作为查询序列，TCN提取的全局空间特征作为键值对序列。通过计算查询序列与键值对序列之间的注意力权重，我们可以对不同特征之间的关联程度进行建模。


4 基于TCN-Transformer-CrossAttention的高精度预测模型

4.1 定义网络模型

模型结构.png


4.2 设置参数，训练模型

模型训练.png


50个epoch，训练误差极小，多变量特征TCN-Transformer-CrossAttention融合网络模型预测效果显著，模型能够充分提取时间序列的空间特征和时序特征，收敛速度快，性能优越，预测精度高，交叉注意力机制能够对不同特征之间的关联程度进行建模，从序列时空特征中于提取出对模型预测重要的特征，效果明显！


4.3 模型评估和可视化

预测结果可视化

结果可视化.png


模型评估

模型评估.png




往期精彩内容：

时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较

风速预测（一）数据集介绍和预处理

风速预测（二）基于Pytorch的EMD-LSTM模型

风速预测（三）EMD-LSTM-Attention模型

风速预测（四）基于Pytorch的EMD-Transformer模型

风速预测（五）基于Pytorch的EMD-CNN-LSTM模型

风速预测（六）基于Pytorch的EMD-CNN-GRU并行模型

CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)

CEEMDAN +组合预测模型(CNN-LSTM + ARIMA)

CEEMDAN +组合预测模型(Transformer - BiLSTM + ARIMA)

CEEMDAN +组合预测模型(CNN-Transformer + ARIMA)

多特征变量序列预测(一)——CNN-LSTM风速预测模型



创作时间：