前言
本期推出一种基于 1D-GRU+2D-GADF-SwinTransformer-CBAM 的并行多模态融合分类模型，在故障诊断任务上效果显著！
1 模型简介与创新点介绍
1.1 SwinTransformer 介绍
SwinTransformer是一种通用视觉任务的Backbone而存在的模型，以替代CNN：
（1）层次化设计：
Swin Transformer引入了层次化特征表示的概念，类似于CNNs中常见的金字塔结构。这使得它在处理高分辨率图像时更加高效，能够逐步聚合信息，并以多尺度特征应对不同的视觉任务。
（2）滑动窗口机制：
Swin Transformer通过滑动窗口的方式计算注意力，使得每个窗口内部的注意力计算复杂度大幅降低。这种局部注意力机制有效地解决了ViT在高分辨率图像处理时的计算瓶颈问题。
（3）移位窗口策略：
为了增强不同窗口间的信息交流，Swin Transformer采用了移位窗口策略（Shifted Window）。这种策略通过在相邻层中移动窗口的位置，实现了跨窗口的信息交互，从而提升了模型的表达能力
1.2 模型简介
将时频图像和一维时序信号相结合，并使用CBAM注意力机制优化的SwinTransformer和GRU多模态特征融合模型，来进行故障信号分类，能够有效地结合时频图像空间特征和一维信号时间序列特征，能够充分利用多模态特征的优势。
● 数据集：CWRU西储大学轴承数据集
● 环境框架：python 3.11 pytorch 2.1 及其以上版本均可运行
● 时频图像变换：提供5种时频图像变换方法
● 准确率：测试集98%
● 使用对象：论文需求、毕业设计需求者
● 代码保证：代码注释详细、即拿即可跑通。
注意：我们还有配套的模型讲解（方便学习网络结构）和参数调节讲解！有毕业设计或者发小论文需求的同学必看，模块丰富，创新度高，性能优越！！
1.3 创新点介绍
创新一：多模态融合
本模型将时频图像和一维时 序信号进行多模态融合，充分利用这两类数据的互补性。时频图像通过格拉姆角场GAF，将信号的频率和时间特征可视化。而一维时序信号则保留了原始时间依赖信息，适合使用递归神经网络（RNN）或GRU进行处理。通过融合这两种特征：
- 时频图像捕捉了信号中的高频、低频变化趋势，有助于识别频域中的故障特征。
- 一维时序信号保留了信号的时间依赖特性，能够反映出故障在时间上的动态演化。
这种双通道的数据融合使得模型能够同时利用时间、频率和图像特征，从而大幅提升了故障分类的准确性。
创新二：基于CBAM注意力机制优化的SwinTransformer
CBAM（Convolutional Block Attention Module）是一种用于卷积神经网络（CNN）的注意力机制，旨在提高模型的表示能力。CBAM通过结合通道注意力（Channel Attention）和空间注意力（Spatial Attention）来增强特征表示，从而提升模型性能。
将 CBAM 模块插入到 SwinTransformer 的之后，以增强特征表示： CBAM 提供了通道注意力和空间注意力两个模块。这两个模块分别从特征图的通道维度和空间维度增强特征表示。通过在 SwinTransformer后插入 CBAM，网络可以更好地捕捉不同特征的重要性，从而在更深的层次上进行有效的信息提取和聚合。
创新三：基于一维信号序列堆叠的时序特征提取
在 处理一维时序信号时，我们对一维信号序列数据进行了堆叠，采用了GRU（门控循环单元）来提取时序特征。 这一创新设计加快了GRU的计算效率，在处理一维时序信号时，能够更加有效地提取出故障发生时的关键特征，显著提高了信号分类的精度。
创新四：特征融合优势
模型中的多模态融合部分，通过Swin-CBAM提取时频图像特征和GRU处理一维信号特征后，我们采用特征拼接融合的方式，将两种特征结合。相比于仅使用单一模式特征的传统模型，融合后的特征在分类任务中的表现更加优越，主要优势体现在：
- 时频图像和时序信号各自提供了不同视角的特征信息，前者提供频率域特征，后者保留了时间依赖特性，两者的结合能更加全面地反映信号的故障特征。
- 通过特征融合，模型在捕捉不同模式下的故障特征时更加鲁棒，尤其在复杂的故障信号环境下，融合的特征能够更好地应对噪声干扰和信号变化。
这种特征融合策略使得我们的模型在多种故障模式下，依然能够保持高效准确的分类性能，提升了模型在实际应用中的鲁棒性和泛化能力。
2 轴承故障数据的预处理
2.1 导入数据
参考之前的文章，进行故障10分类的预处理， 凯斯西储大学轴承数据 10分类数据集：
train_set、val_set、test_set 均为按照7：2：1划分训练集、验证集、测试集，最后保存数据
上图是数据的读取形式以及预处理思路
2.2 数据预处理，视频图像变换
我们提供了马尔可夫转换场 MTF 、递归图 RP 、格拉姆角场GAF、连续小波变换CWT、短时傅里叶变换STFT五种时频图像变换方法，可灵活替换多模态特征中的时频图像类型！
本文采用格拉姆角场 GADF来作为时频图像变换的处理方法，生成的时频图像如下所示：
3 基于多模态融合的轴承故障诊断模型
3.1 设置参数，训练模型
50个epoch，准确率98%，用1D-GRU+2D-GADF-SwinTransformer-CBAM网络分类效果显著 ， 模型能够充分提取轴承故障信号的空间和时序特征，收敛速度快，性能优越， 精度高，效果明显 !
3.2 模型评估
准确率、精确率、召回率、F1 Score
故障十分类混淆矩阵：
3.3 其他可视化图：
（1）分类标签可视化
（2）原始数据 t-SNE特征可视化
（3）模型训练后的 t-SNE特征可视化：
有建模需求或论文指导的朋友请关注公众号，联系博主
点击下载：原文完整数据、Python代码
https://mbd.pub/o/bread/Z5Wamply
有建模需求或论文指导的朋友请关注公众号，联系博主
往期精彩内容：
基于 GADF+Swin-CNN-GAM 的高创新轴承故障诊断模型
Python轴承故障诊断 (19)基于Transformer-BiLSTM的创新诊断模型
故障诊断 | 创新模型更新：基于SSA-CNN-Transformer诊断模型
速发论文 | 基于 2D-SWinTransformer+1D-CNN-SENet并行故障诊断模型
独家首发 | 基于 2D-SwinTransformer + BiGRU-GlobalAttention的并行故障诊断模型
位置编码祛魅 | 详解Transformer中位置编码Positional Encoding
超强 ！顶会创新融合！基于 2D-SWinTransformer 的并行分类网络
END
1. 版权声明：原创不易，转载请注明转自微信公众号[建模先锋]
2. 喜欢的朋友可以点个关注，给文章点个“在看”，分享朋友圈或讨论群
3. 关注微信公众[建模先锋], 回复”轴承故障“免费获取凯斯西储大学轴承数据集