环境:python 3.9 pytorch 1.8 及其以上都可以
模型创新点还未发表, 有毕业设计或者发小论文需求的同学必看,模块丰富,创新度高,性能优越!
创新点:
1.利用时间卷积网络(TCN)的一系列时间卷积层,这些卷积层可以有效地捕获不同时间尺度上的序列模式,在TCN的输出上应用SENet模块,用于学习和增强重要特征的表示,提高模型对关键信息的感知能力;
2 .通过双向门控循环单元(BiGRU) 同时从前向和后向对序列进行建模,以更好地捕获序列中的依赖关系,同时 应用全局注意力机制GlobalAttention,对BiGRU的输出进行加权处理,使模型能够聚焦于序列中最重要的部分,提高预测性能;
3. 该创新模型具有不同时间尺度上捕获序列信息以及对序列中不同部分进行重要性加权的能力,在多个数据集上表现出高精度的预测性能!
50个epoch, 训练误差极小 , 多变量特征序列TCN-SENet +BiGRU-GlobalAttention并行融合网 络模型 预测效果显著 ,模型能够充分提取时间序列的空间特征和时序特征,收敛速度快,性能优越,预测精度高,能够从序列时空特征中提取出对模型预测重要的特征,效果明显!创新度也有!!!
环境:python 3.9 pytorch 1.8 及其以上都可以
任何环境安装或者代码问题,请联系作者沟通交流,对于购买者,作者免费解决后续问题,关注微信公众号[建模先锋],联系作者;
注意:此次产品,我们还有配套的模型讲解(方便学习网络结构)和参数调节讲解!有毕业设计或者发小论文需求的同学必看,模块丰富,创新度高,性能优越!!
同时,代码配套精美的绘图与深度学习预测模型特征重要性可视化实现!
模型训练可视化图:
多特征贡献度可视化分析图:
前言
本文基于前期介绍的电力变压器( 文末附数据集 ),介绍一种基于TCN-SENet +BiGRU-GlobalAttention并行预测模型,以提高时间序列数据的预测性能。 电力变压器数据集的详细介绍可以参考下文:
1 模型整体结构
模型整体结构如下所示:
分支一:通过基于通道注意力机制(SENet)的TCN模型网络,来自适应地调整通道特征的权重,使模型能够自动学习到不同通道的重要性,提取了多特征序列中与预测目标相关的重要空间特征;
分支二:多特征序列数据同时通过基于GlobalAttention优化的BiGRU网络,GlobalAttention是一种用于加强模型对输入序列不同部分的关注程度的机制。在 BiGRU 模型中,全局注意力机制可以帮助模型更好地聚焦于输入序列中最相关的部分,从而提高模型的性能和泛化能力。在每个时间步,全局注意力机制计算一个权重向量,表示模型对输入序列各个部分的关注程度,然后将这些权重应用于 BiGRU 输出的特征表示,通过对所有位置的特征进行加权,使模型能够更有针对性地关注重要的时域特征, 提高了模型对多特征序列时域特征的感知能力;
特征融合:然后两个分支提取的空间特征和全局时域特征通过堆叠融合,使模型能够更好地融合不同层次的特征表示,提高模型性能和泛化能力。
通道注意力机制
Squeeze-and-Excitation Networks
全局注意力机制:
Global Attention Mechanism
2 多特征变量数据集制作与预处理
2.1 导入数据
2.2 制作数据集
制作数据集与分类标签
3 基于TCN-SENet +BiGRU-GlobalAttention并行的高精度预测模型
3.1 定义 网络模型
注意:输入数据形状为 [64, 7, 7], batch_size=32 ,7代表序列长度(滑动窗口取值), 维度7维代表7个变量的维度。
3.2 设置参数,训练模型
50个epoch, 训练误差极小 , 多变量特征序列TCN-SENet +BiGRU-GlobalAttention并行融合网 络模型 预测效果显著 ,模型能够充分提取时间序列的空间特征和时序特征,收敛速度快,性能优越,预测 精度高,能够从序列时空特征中提取出对模型预测重要的特征,效果明显!
注意调整参数:
- 可以适当增加TCN层数和隐藏层的维度,微调学习率;
- 调整BiGRU层数和每层神经元个数,增加更多的 epoch (注意防止过拟合)
- 可以改变滑动窗口长度(设置合适的窗口长度)
4 模型评估与可视化
4.1 结果可视化
4.2 模型评估
4.3 特征可视化
往期精彩内容:
时序预测:LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较
风速预测(四)基于Pytorch的EMD-Transformer模型
风速预测(五)基于Pytorch的EMD-CNN-LSTM模型
风速预测(六)基于Pytorch的EMD-CNN-GRU并行模型
CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)
CEEMDAN +组合预测模型(CNN-LSTM + ARIMA)
CEEMDAN +组合预测模型(Transformer - BiLSTM + ARIMA)
CEEMDAN +组合预测模型(CNN-Transformer + ARIMA)
多特征变量序列预测(二)——CNN-LSTM-Attention风速预测模型
多特征变量序列预测(三)——CNN-Transformer风速预测模型
多特征变量序列预测(四) Transformer-BiLSTM风速预测模型
多特征变量序列预测(五) CEEMDAN+CNN-LSTM风速预测模型
多特征变量序列预测(六) CEEMDAN+CNN-Transformer风速预测模型
基于麻雀优化算法SSA的CEEMDAN-BiLSTM-Attention的预测模型
基于麻雀优化算法SSA的CEEMDAN-Transformer-BiGRU预测模型
多特征变量序列预测(七) CEEMDAN+Transformer-BiLSTM预测模型
多特征变量序列预测(八)基于麻雀优化算法的CEEMDAN-SSA-BiLSTM预测模型
多特征变量序列预测(11) 基于Pytorch的TCN-GRU预测模型
VMD + CEEMDAN 二次分解,CNN-LSTM预测模型
VMD + CEEMDAN 二次分解,CNN-Transformer预测模型
END
1. 版权声明:原创不易,转载请注明转自微信公众号[建模先锋]
2. 喜欢的朋友可以点个关注,给文章点个“在看”,分享朋友圈或讨论群
3. 关注微信公众[建模先锋], 回复”变压器“免费获取变压器数据集