微信公众号：EW Frontier
关注可了解更多的雷达、通信、人工智能相关代码。问题或建议，请公众号留言;
如果你觉得EW Frontier对你有帮助，欢迎加入我的知识星球或面包多，更多代码等你来学
知识星球：https://wx.zsxq.com/dweb2/index/group/15552518881412
面包多：https://mbd.pub/o/author-a2mYl2tsbA==/work
QQ交流群：729981694
如有侵权请联系删除~
摘要
随着现代通信系统的发展，基于深度学习的自动调制识别技术在无线通信中得到了广泛的应用。然而，现有的网络仍然不能在低信噪比（SNR）条件下有效地捕获信号之间的复杂关系。本文提出了一种基于多模态混合神经网络的自动调制识别方法IQFormer。它基于I/Q信号和时频（T-F）变换分布矩阵输入。为了在跨模态特征中捕捉时空特征和T-F特征之间的内在联系，设计了动态融合嵌入（DFE）模块。在该模块中，来自多个模态的特征信息在嵌入阶段被动态地聚合，从而产生语义丰富的令牌序列。此外，我们还提出了一种分阶段的Transformer分块方案，使得IQFormer能够利用卷积和注意力机制在不同尺度上有效地从嵌入的令牌中提取局部和全局特征。在RadioML2016.10a、RadioML2016.10b和HisarMod2019.1数据集上的实验结果表明，IQFormer的性能上级最新技术水平（SOTA）的DL-AMR方法。
引言
无线通信设备数量的不断增长给现代系统的通信监控和频谱管理带来了越来越大的压力。迫切需要提高频谱利用率和吞吐量的技术。自动调制识别（AMR）是在未知信道和先验条件缺失的情况下智能地识别接收信号的调制模式。其目的是为信号解调和后续分析提供先验信息，增强系统认知能力，提高频谱吞吐效率[1]。AMR在民用和军用领域都有着广泛的应用[2]，特别是在动态频谱接入、干扰检测和军事侦察等非合作通信场景中。有效地提取具有鉴别性和鲁棒性的调制特征对于AMR技术的发展至关重要。
传统的AMR方法可以分为基于似然的AMR（LB-AMR）方法[3]，[4]和基于特征的AMR（FB-AMR）方法[5]，[6]。LB-AMR方法以高复杂度为代价使用似然比函数来换取强分类性能，但是实时性缺点不再适用于当今的现代无线通信系统。FB-AMR方法依赖于专家知识进行手动特征选择，并结合简单的分类器来训练监督学习模型。然而，FB-AMR方法往往过于依赖专家先验知识，这可能导致次优解，并且其可扩展性不足以满足对新引入的调制模式识别的日益增长的需求[7]。
基于深度学习的AMR（DL-AMR）近年来逐渐成为新的AMR解决方案[8]。由于O 'Shea等人证明了卷积神经网络（CNN）[9]-[11]在复值时间无线电信号上的上级性能，因此出现了几种使用原始信号作为与CNN或递归神经网络（RNN）配对的输入的DL-AMR方法[12]-[14]。然而，CNN缺乏时间敏感性，并遭受局部感应偏差，而RNN缺乏空间敏感性，需要更多的计算，导致性能限制。随后的研究主要集中在基于网络和基于输入的改进。
一方面，一些研究人员提出了卷积递归神经网络（CRNNs）[15]-[19]混合算法，该算法将联合收割机CNN与RNN相结合，并实现了比单一网络结构更好的性能。Transformer架构对计算机视觉（CV）[20]，[21]和自然语言处理（NLP）[22]，[23]产生了变革性的影响，通过并行处理输入序列和注意力机制来捕获全局特征。除了CNN和RNN，最近许多研究人员打算将Transformer应用于AMR任务。蔡等人[24]重建并将I/Q信号序列整形为二维矩阵作为Transformer编码器的输入。MCformer [25]使用原始I/Q信号的2D卷积嵌入，然后通过Transformer编码器提取全局特征。FEA-T [26]提出了一种双分支门控线性单元（DB-GLU），以完全激活Transformer的表示学习，同时减小模型大小。Kong等人。[27]提出了一种基于Transformer的半监督对比度学习框架，该框架将卷积嵌入集成到编码器中。此外，注意力机制越来越多地被纳入网络，甚至在Transformer架构之外[28]-[31]。
总而言之，虽然上述框架可以提取可变特征，但它们仍然难以同时解决局部特征提取、时间依赖性和全局特征建模。虽然CRNN有助于减轻局部泛化偏差，但它们仍然缺乏有效的全局特征提取。Transformer的注意力机制虽然能够捕获全局关键特征，但在局部特征提取方面不如CNN，并且缺乏RNN的强时间依赖性。因此，需要一种更有效的架构来整合不同神经网络的优势，提高整体性能。
另一方面，研究人员已经使用了许多预处理的其他模态特征来尝试执行AMR任务，例如STFT [32]，[33]，马尔可夫变换场[34]，眼图[35]，星座图[36]，Gramian角场[37]和SPWVD [38]。一些研究人员也开始尝试各种模态的特征融合，以获得更丰富的信息[39]。例如，Qi等人。[40]提出了一种HKDD框架，该框架将即时特征，统计特征和频谱特征与I/Q信号相结合，在分类和少量场景中实现了出色的性能。STTMC [41]从I/Q序列和累积极星座图（APCD）中提取时空混合特征，并将其映射到图结构。Wang等人。[42]使用循环谱图像和星座图，双分支CNN在分类精度上明显上级每个单一模式。Zhuang等人[43]将时间信息与基于复Morlet小波的连续小波变换（CWT）相结合，以获得更强大的抗干扰能力。
总体而言，上述多模态融合方法有效地丰富了输入特征，但在低信噪比环境下仍存在局限性。这主要是因为当前主流的后端融合方法使用独立的特征提取器分别提取每个模态特征，然后通过在完全连接层中级联来融合它们，从而确保模态之间的干扰最小。然而，在低信噪比环境下，每个模态的有效信息几乎被噪声遮蔽，需要最大化跨模态的联合信息探索。
本文提出了一种基于多模态输入的混合框架DL-AMR方法IQFormer.对于时频域特征，短时傅里叶变换（STFT）在空间域和频域之间取得了很好的平衡分辨率，并且其在时间轴上的滑动窗口机制非常类似于用于从I/Q信号提取空间特征的一维卷积运算。因此，我们选择STFT矩阵和I/Q序列作为输入模态。接下来，我们采用CRNN作为输入模态的嵌入和融合工具。具体来说，为了增强跨模态交互，我们开发了一个动态融合嵌入（DFE）模块。该模块采用1D和2D卷积来嵌入多模态输入并生成相应的模态令牌。DFE对齐时变趋势以遍历和融合令牌的嵌入维度内的时间-空间和时间-频率（T-F）特征。随后，我们采用双向LSTM（Bi-LSTM）[44]模型将前向和后向时间关系动态集成到令牌中，构建高质量的表示，充分利用多模态特征之间的潜在联系。此外，我们提出了一个有效的阶段式块的基础上Transformer架构。每个块表示一个阶段，并且由用于提取令牌空间特征的多个Conv编码器以及用于挖掘令牌上下文连接的基于附加注意力的IQFormer编码器沿着组成。因此，每个阶段学习结合不同尺度的令牌的联合收割机局部和全局特征，这使得网络能够充分获取丰富的语义表示。本研究的贡献可以概括如下。
·提出了一种基于I/Q信号和T-F分布矩阵输入的多模态混合网络框架，并验证了多模态输入在识别调制类型方面的有效性。
·设计了一个动态融合嵌入模块，对不同的模态特征进行融合，有效地联合收割机了时间趋势上的双峰特征。
·提出了一种分阶段的Transformer结构，并将附加注意力引入到该模型中，有效地提取了多尺度融合令牌的局部和全局特征。·实验结果表明，本文提出的方法相比于现有的DL-AMR方法具有更优的识别概率。
文章插图
结论
本文将混合框架IQFormer应用于AMR任务中，提出了一种基于混合框架IQFormer的双模融合框架。在IQFormer中，为了解决不同模态信息的有效融合问题，提出了一种动态融合嵌入模块进行特征融合。此外，本文还提出了一种高效的Transformer编码器来实现局部-全局特征提取。在公开数据集上的实验结果表明，与SOTA DL-AMR方法相比，本文提出的IQFormer方法具有最佳的性能。该模型的识别性能显示了通过多模态融合引入更丰富特征信息的巨大潜力。未来，越来越多有效的融合方法和特征提取方法将得到进一步的研究。
完
相关学习资料见面包多链接https://mbd.pub/o/author-a2mYl2tsbA==/work。
欢迎加入我的知识星球：https://wx.zsxq.com/dweb2/index/group/15552518881412，永久获取更多相关资料、代码。