独家原创 | CEEMDAN-Transformer-BiLSTM并行 + XGBoost组合预测

作品简介

组合预测模型思路：使用复杂模型去预测数据的分量特征，因为复杂模型参数量大，适合预测高频复杂分量特征，但是低频分量特征比较简单，要是还用复杂模型的话，就容易过拟合，反而效果不好，所以对于低频分量特征我们采用简单模型（或者机器学习模型）去预测，然后进行预测分量的重构以实现高精度预测。

环境：python 3.9 pytorch1.8 及其以上

1. Transformer：

Transformer 是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理任务。它通过自注意力机制（Self-Attention）来捕捉输入序列中不同位置之间的依赖关系，从而实现了对序列数据的有效建模。在预测任务中，Transformer可以帮助模型捕捉时域信号中不同时间步之间的复杂关联。

2. 双向长短期记忆网络（BiLSTM）：

双向长短期记忆网络是一种具有记忆单元和遗忘门的循环神经网络，可以有效地处理序列数据并捕捉序列中的长期依赖关系。通过同时考虑输入序列的过去和未来信息，BiLSTM可以更好地理解数据中的时序特征和变化趋势。

3. 模型结合：

基于 Transformer-BiLSTM 的创新模型将 Transformer 和 BiLSTM 结合在一起，充分利用了两者的优势。Transformer 可以帮助模型捕捉全局的序列信息和复杂的依赖关系，而 BiLSTM 则可以更好地捕捉局部的时序特征和变化趋势。通过结合两种模型，创新模型可以在预测任务中取得更好的性能和效果，提高预测精度和效率。

4. 组合预测

把 CEEMDAN 算法对时间序列分解后的分量通过样本熵的计算进行划分，再分别通过ransformer-BiLSTM 并行模型和 XGBoost 模型进行组合预测，来实现精准预测。

导读.png

注意：此次产品，我们还有配套的模型讲解和参数调节讲解！

模型解读.png

前言

本文基于前期介绍的电力变压器（ 文末附数据集 ），介绍一种综合应用完备集合经验模态分解CEEMDAN与组合预测模型（Transformer-BiLSTM并行 + XGBoost）的方法，以提高时间序列数据的预测性能。该方法的核心是使用CEEMDAN算法对时间序列进行分解，接着利用Transformer-BiLSTM并行模型和XGBoost模型对分解后的数据进行建模，最终通过集成方法结合两者的预测结果。

电力变压器数据集的详细介绍可以参考下文：

电力变压器数据集介绍和预处理

1 电力变压器数据CEEMDAN分解与可视化

1.1 导入数据

油温数据.png

1.2 CEEMDAN分解

分解可视化.png

根据分解结果看，CEEMDAN一共分解出11个分量，然后通过计算每个分量的样本熵值进行分析。样本熵是一种用于衡量序列复杂度的方法，可以通过计算序列中的不确定性来评估其复杂性。样本熵越高，表示序列的复杂度越大。

样本熵.png

我们大致把前6个高样本熵值复杂分量作为Transformer-BiLSTM并行模型的输入进行预测，后5个低样本熵值简单分量作为XGBoost模型的输入进行预测.

2 数据集制作与预处理

2.1 划分数据集