前言
本期基于某光伏电站发电功率数据集，推出一组Informer-SENet预测对比模型合集。包括'LSTM', 'Transformer-encoder', 'Informer', 'Informer-encoder', 'Informer-SENet', 'Informer-encoder-SENet'等6组模型对比实验：
1 模型合集简介
1.1 模型评估：
（1）指标雷达图可视化对比
（2）指标柱状图对比：
1.2 预测可视化对比：
我们同时提供详细的资料、解说文档和视频讲解，包括如何替换自己的数据集、参数调整教程，预测任务的替换等，代码逐行注释，参数介绍详细：
● 数据集：某光伏电站发电功率数据集（适用多特征数据集）
● 环境框架：python 3.9 pytorch 2.1 及其以上版本均可运行
● 使用对象：论文需求、毕业设计需求者
● 代码保证：代码注释详细、即拿即可跑通。
2 模型创新点介绍
深度学习模型如LSTM和Transformer在时间序列预测中取得了显著进展。LSTM能够捕获序列中的长期依赖关系，而Transformer通过注意力机制有效处理序列数据。Informer是一种专为长序列预测设计的高效Transformer变体，其通过稀疏注意力机制提高效率。SENet通过自适应特征重校准机制，增强了深度网络的特征提取能力。
1.1 时序特征捕捉与建模
使用Informer来捕捉长时间信号时序依赖特征
- 长时间序列处理：传统的RNN和LSTM等方法在处理长时间序列时存在计算效率低、梯度消失等问题。Informer通过改进Transformer架构，使用ProbSparse Self-Attention机制，有效地提高了计算效率，特别是对于长时间序列数据。
- 全局特征提取：通过多头注意力机制，Informer能够捕捉序列数据中的全局特征和长时间依赖关系，确保对时序特征进行全面建模。
1.2 概率 稀疏注意力机制（ ProbSparse Self-attention）
概率稀疏自注意力是Informer模型中引入的一种稀疏自注意力机制。其核心思想是通过概率方法选择最重要的一部分注意力权重进行计算，而忽略那些对结果影响较小的权重。这种方法能够显著降低计算复杂度，同时保持较高的模型性能。
- 稀疏自注意力：不同于标准 Transformer 的密集自注意力机制，Informer 引入了 ProbSparse Self-attention，通过概率抽样机制选择重要的 Q-K 对进行计算，减少了计算复杂度。
- 效率提升：稀疏注意力机制显著降低了计算复杂度，从 O(L2⋅d) 降低到 O(L⋅log(L)⋅d)，其中 L 是序列长度，d 是每个时间步的特征维度。
1.3 多尺度特征提取- 信息蒸馏
Informer的架构图并没有像Transformer一样在Encoder的左边标注来表示N个Encoder的堆叠，而是一大一小两个梯形。 横向看完单个Encoder（也就是架构图中左边的大梯形，是整个输入序列的主堆栈）。
Encoder的作用是Self-attention Distilling，由于ProbSparse自相关机制有很多都是用V的mean填充的，所以天然就存在冗余的attention sorce ,因此在相邻的Attention Block之间应用卷积与池化来对特征进行下采样，所以作者在设计Encoder时，采用蒸馏的操作不断抽取重点特征，从而得到值得重点关注的特征图。
- 多尺度时间序列特征提取：Informer 通过多尺度的方式对不同时间粒度的特征进行建模，可以更好地捕捉时间序列中的多尺度依赖关系。
- 信息蒸馏：引入了信息蒸馏机制，通过层次化的时间卷积池化层逐步缩减时间步长，提取不同尺度的特征，实现长时间依赖的高效建模。
- 卷积降维：在编码器中使用1D卷积池化层进行降维，步长为2，使得序列长度减半，进一步减少计算复杂度。
- 信息压缩：通过卷积池化层进行信息压缩，将长序列信息浓缩到较短的时间步长中，从而更高效地进行时序建模。
1.4 特征增强与融合
Informer结合SENet进行特征增强
- 自适应特征校准：SENet通过Squeeze-and-Excitation模块，对每个通道的特征进行自适应权重调整，增强重要特征，抑制无关或冗余特征。这种机制可以提升模型对故障信号关键特征的敏感度，提高故障诊断的准确性。
- 通道间依赖建模：SENet能够捕捉不同通道特征之间的关系，通过重新校准特征通道的权重，使得模型能够更加有效地融合多通道信息，提升整体特征表达能力。
将Informer与SENet结合，利用Informer的长序列建模能力和SENet的特征重校准能力，实现对光伏发电功率的精确预测。
1.5 时间编码
Informer 在原始向量上不止增加了Transformer架构必备的PositionEmbedding（位置编码）还增加了与时间相关的各种编码：
- 日周期编码：表示一天中的时间点。
- 周周期编码：表示一周中的时间点。
- 月周期编码：表示一个月中的时间点。
在 LSTF 问题中，捕获远程独立性的能力需要全局信息，例如分层时间戳（周、月和年）和不可知时间戳（假期、事件）。
更多详细内容参考讲解视频！
3 数据集制作可视化
光伏发电作为可再生能源的重要组成部分，其发电功率的精确预测对于电力系统的调度优化和可再生能源的高效利用至关重要。
3.1 导入数据
光伏电站发电功率数据集一共2053个样本，8个特征，可视化如下：
3.2 其它数据集介绍
参考前期文章：
3.3 数据集制作与预处理
详细介绍见提供的文档！
4 基于 Informer-SENet的预测模型
4.1 定义Informer-SENet预测 网络模型
4.2 设置参数，训练模型
4.3 6组模型预测对比可视化
我们精心推出的Informer-SENet对比实验合集，深入探讨了六组模型的性能：LSTM、Transformer-encoder、Informer、Informer-encoder、Informer-SENet以及Informer-encoder-SENet。
每个模型都经过严格的实验验证，涵盖了从基础到复杂的预测方法，帮助您全面了解不同技术在时间序列预测中的应用效果。我们的实验数据涵盖多个评价指标，包括MAE、RMSE和MAPE，确保您能从多角度分析模型的优劣势。
此外，合集提供详细的实验设置和参数调整指南，使得研究者能够轻松复现实验结果。无论你是希望提升模型预测精度，还是探索新兴技术组合的研究者，这套实验合集都将成为您不可或缺的资源。
有建模需求或论文指导的朋友请关注公众号，联系博主
点击下载：原文完整数据、Python代码
往期精彩内容：
时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较
风速预测（四）基于Pytorch的EMD-Transformer模型
风速预测（五）基于Pytorch的EMD-CNN-LSTM模型
风速预测（六）基于Pytorch的EMD-CNN-GRU并行模型
CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)
CEEMDAN +组合预测模型(CNN-LSTM + ARIMA)
CEEMDAN +组合预测模型(Transformer - BiLSTM + ARIMA)
CEEMDAN +组合预测模型(CNN-Transformer + ARIMA)
多特征变量序列预测(二)——CNN-LSTM-Attention风速预测模型
多特征变量序列预测(三)——CNN-Transformer风速预测模型
多特征变量序列预测(四) Transformer-BiLSTM风速预测模型
多特征变量序列预测(五) CEEMDAN+CNN-LSTM风速预测模型
多特征变量序列预测(六) CEEMDAN+CNN-Transformer风速预测模型
基于麻雀优化算法SSA的CEEMDAN-BiLSTM-Attention的预测模型
基于麻雀优化算法SSA的CEEMDAN-Transformer-BiGRU预测模型
多特征变量序列预测(七) CEEMDAN+Transformer-BiLSTM预测模型
多特征变量序列预测(八)基于麻雀优化算法的CEEMDAN-SSA-BiLSTM预测模型
多特征变量序列预测(11) 基于Pytorch的TCN-GRU预测模型
VMD + CEEMDAN 二次分解，CNN-LSTM预测模型
VMD + CEEMDAN 二次分解，CNN-Transformer预测模型
VMD + CEEMDAN 二次分解，Transformer-BiGRU预测模型
高创新 | CEEMDAN + SSA-TCN-BiLSTM-Attention预测模型
独家原创 | 基于TCN-SENet +BiGRU-GlobalAttention并行预测模型
独家原创 | BiTCN-BiGRU-CrossAttention融合时空特征的高创新预测模型
时空特征融合的BiTCN-Transformer并行预测模型
独家原创 | CEEMDAN-CNN-GRU-GlobalAttention + XGBoost组合预测
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合
END
1. 版权声明：原创不易，转载请注明转自微信公众号[建模先锋]
2. 喜欢的朋友可以点个关注，给文章点个“在看”，分享朋友圈或讨论群
3. 关注微信公众[建模先锋], 回复”变压器“免费获取变压器数据集