分享自:

基于深度学习的通信干扰信号开集识别研究

期刊:杭州电子科技大学

类型a

这是一项针对通信干扰信号智能识别领域的原创性研究,作者为杭州电子科技大学信息与通信工程专业的硕士研究生陈祥维,指导教师为赵知劲教授。该研究成果已撰写为硕士学位论文,并于2023年5月完成。其阶段性成果已发表或被SCI收录,其中,关于无监督聚类的研究发表于《Computer Systems Science and Engineering》,关于开集识别的研究发表于《Applied Science》,关于开集增量识别的研究则投稿至《电子与信息学报》。

研究背景与目的

本研究主要关注通信干扰信号识别,这是智能抗干扰通信中的一项关键技术。在日益复杂的电磁环境下,通信系统面临多种未知干扰的威胁。传统识别方法依赖人工设计的特征和闭集假设,即假设测试阶段出现的所有干扰类型均在训练阶段见过。然而,现实中新干扰类型不断涌现,且获取大量有标签干扰样本成本高昂。因此,亟需发展能够处理无标签数据未知类型干扰以及具备动态增量学习能力的新方法。

本研究旨在探索基于深度学习的解决方案,以克服传统方法的局限。具体目标分为三个递进的层次: 1. 解决无标签数据下的干扰识别问题,研究无监督深度聚类算法,降低对数据标注的依赖。 2. 解决未知干扰类型的拒止问题,研究开集识别算法,使系统能够识别并拒绝训练阶段未见过的干扰类型,提升鲁棒性。 3. 解决动态环境中新干扰类型的持续学习问题,研究开集类增量学习算法,使模型能在不遗忘旧知识的前提下,增量地学习新出现的干扰类型。

详细研究流程与方法

本研究包含三个核心部分,分别对应上述三个目标,每部分均包含算法设计、仿真验证与性能分析。

第一部分:基于对比学习的无监督深度聚类

为了解决无标签数据下的干扰识别,本部分提出了双阶段双重对比聚类算法。

  • 研究对象与数据准备:研究仿真生成了9种典型的通信干扰信号,包括BPSK调制、QPSK调制、噪声调频、跳频、单音、多音、线性扫频、周期高斯脉冲和正弦扫频干扰。采样频率为10MHz,采样点数为1024点。数据集考虑了不同干噪比环境(-5dB, 0dB, 5dB, 10dB),每个JNR下每种干扰生成1000个样本,共形成4个数据集,每个数据集包含9000个无标签样本。

  • 第一阶段:基于数据增强的对比学习

    • 流程:对每个原始信号样本应用两次数据增强(如随机裁剪),生成一对“正样本”。将这对正样本和同一个批次中其他样本的增强样本视为“负样本对”。
    • 算法与训练:使用一个特征提取网络和一个多层感知机投影头处理信号。采用NT-Xent损失函数进行训练,目标是最大化正样本对之间的特征相似度(类内紧致性),最小化负样本对之间的相似度(类间分离性)。此阶段旨在通过自监督学习获得一个初步的、具有良好特征表达能力的预训练网络和嵌入空间。
  • 第二阶段:基于K-最邻近样本的双重对比学习

    • 流程:利用第一阶段预训练网络,为原始数据集中的每个样本计算其K个最邻近样本,构建K-最邻近样本集。在训练时,从同一样本的邻近集中随机选取两个样本作为正样本对,不同样本的邻近样本作为负样本对。
    • 创新算法:本阶段核心是DDCC算法。网络结构上,在共享的特征提取器后,并行连接两个投影头:特征维投影头聚类维投影头
      1. 特征维对比学习:通过特征维投影头,继续使用NT-Xent损失进行对比学习,进一步提炼更具判别性的语义特征。
      2. 聚类维对比学习:通过聚类维投影头(其输出维度等于期望的聚类数,并包含Softmax层),将特征映射为“软分配”的聚类概率向量。同样使用NT-Xent损失,但目标变为使同一簇的两个表征向量相似,不同簇的表征向量相异,从而实现“特征即标签”的聚类。
    • 动态训练策略:为避免所有样本被分配到同一个簇的“退化解”,引入了熵正则化项。并创新性地提出了动态熵项系数策略,该系数随着训练周期递增,从而在训练早期避免退化解,在后期聚焦于聚类任务。最终,特征维损失、聚类维损失和动态熵项共同构成混合损失函数,进行端到端训练。

第二部分:基于卷积原型学习的开集识别

为提升对未知干扰的拒止能力,本部分提出了空心卷积原型学习算法。

  • 问题建模:开集识别要求模型不仅能正确分类训练阶段见过的已知类,还要能检测出未知类样本。其挑战在于,标准深度学习模型倾向于将未知样本以高置信度归入某个已知类。

  • 特征提取网络设计:为适配通信干扰信号,本研究专门设计了混合注意力和特征重用网络。该网络包含:

    • 特征重用结构:促进不同层级特征的融合,增强信息流。
    • 混合域注意力模块:能自动构建全局注意力矩阵,同时对信号的时间维和通道维特征响应进行重校准与整合,提升特征提取质量。
  • 创新算法HCPL算法的核心思想是在特征空间中,将已知类样本的原型推向空间的外围,从而为未知类样本留出内部空间。其混合损失函数包含三个关键部分:

    1. 基于内积的交叉熵损失:用于分类已知类,但同时通过最大化已知类原型与特征向量之间的夹角,间接将原型向外围“推离”原点。
    2. 中心损失:约束同一类样本的特征向类中心(原型)靠拢,增强类内紧致性。
    3. 半径损失:约束所有已知类原型的范数(到原点的距离)接近一个预设半径,减少原型范数差异对未知类拒绝率的影响,使决策边界更规整。
  • 仿真设置:同样使用第一部分中的9种通信干扰信号数据集。将其中部分类别作为已知类进行训练,其余类别作为未知类在测试阶段出现,以评估开集识别性能。

第三部分:开集通信干扰信号增量识别

为应对动态开放环境,本部分提出了特定于任务的深度开集类增量学习算法。

  • 问题定义:开集增量识别要求模型能够:1)增量地学习新出现的干扰类别;2)在学习新类的同时,不遗忘已学旧类的识别能力;3)在整个过程中始终保持对未知类干扰的拒止能力。

  • 算法结构设计TOCIL算法采用独特的网络架构。

    • 多投影头设计:为每个增量学习子任务分配一个独立的投影头,将类增量学习解构为任务间分类(选择哪个投影头)和任务内分类(在该投影头对应的嵌入空间中进行分类)两个问题。这避免了不同任务的样本在同一个嵌入空间中相互竞争。
    • 开集能力集成:在每个任务的投影头后,应用第二部分提出的HCPL方法,使其具备任务内的开集识别能力。
  • 训练与优化

    • 损失函数:在HCPL的混合损失基础上,增加开集损失约束,进一步强化任务间分类的边界,防止未知类被误判为已学的任何任务。
    • 记忆集构建:为缓解灾难性遗忘,从每个已学类别的训练样本中,选取其特征距离对应原型最近的一部分样本,构建一个记忆集。在后续增量训练新任务时,将记忆集中的旧类样本与新任务数据混合训练,从而保留旧知识。
  • 仿真设置:将干扰信号类别扩展到30种,并设计四种不同的增量场景。在每个场景下,模型分多个阶段依次学习不同的干扰类别集合,并持续评估其增量学习后的闭集识别准确率和对新未知类的开集拒绝率。

主要结果与分析

第一部分结果:在9种干扰信号、不同JNR下的聚类实验中,DDCC算法的性能(使用归一化互信息、调整兰德指数等聚类指标衡量)显著优于其他五种先进的深度聚类算法。更重要的是,其性能已接近使用全部标签进行训练的监督学习算法的水平。这证明了DDCC能有效从无标签干扰信号中学习到有判别力的特征并完成准确聚类。动态熵项系数策略被证明是稳定训练、避免退化解的关键。

第二部分结果:在开集识别实验中,HCPL方法在保持已知类分类高准确率的同时,实现了更高的未知类拒绝率。其性能优于包括生成对抗网络方法在内的现有开集识别方法。分析表明,HCPL成功地将已知类原型分布在了特征空间的外围区域,形成了“空心”结构,从而为未知类留出了清晰的拒绝区域。此外,所设计的HAFRNet网络也有效提升了特征质量。

第三部分结果:在包含30种干扰的复杂增量场景实验中,TOCIL算法展现出卓越的综合性能。在类增量学习能力方面,其最终的平均准确率仅次于存储并重复使用所有历史数据训练的“Joint”方法(一种理论上限),但优于其他四种不保留全部样本的增量学习方法,有效缓解了灾难性遗忘。在开集识别能力方面,在整个增量学习过程中,TOCIL对未知类干扰的拒绝性能始终优于五种对比方法。这证明了其多投影头架构、HCPL集成以及记忆集策略的有效性。

结论与价值

本研究系统性地解决了通信干扰信号识别从静态闭集到动态开集的一系列挑战,提出了一套创新的深度学习算法框架。

  1. 科学价值

    • 方法论创新:提出了DDCC、HCPL、TOCIL等一系列新算法,将对比学习、原型学习、注意力机制、增量学习等前沿机器学习思想创造性地应用于通信干扰信号处理领域,丰富了该领域的技术工具箱。
    • 理论推进:明确了通信干扰信号开集识别与增量学习的定义与难点,并通过算法设计验证了解决路径的有效性,如通过“空心”原型分布解决特征空间重叠问题,通过任务特定投影头解决增量学习中的新旧任务竞争问题。
  2. 应用价值

    • 提升系统智能性:使通信抗干扰系统能够应对无先验知识、新威胁涌现、环境动态变化的复杂现实场景,向更智能、更自主的抗干扰通信迈出了关键一步。
    • 降低数据依赖:无监督聚类方法减少了对昂贵标注数据的依赖;增量学习方法使系统能够在线更新、与时俱进,降低了后期维护和再训练的成本。

研究亮点

  1. 研究体系的完整性:本研究并非孤立的算法改进,而是构建了一个从无监督、到开集、再到开集增量的完整研究链条,层层递进,系统性地解决了通信干扰识别在实际部署中可能面临的核心难题。
  2. 算法的创新性与针对性:每一项提出的算法都紧密结合了通信干扰信号的数据特性(如一维时序、含噪声)和实际问题需求。例如,DDCC中利用K-最邻近而非单纯数据增强来构建更可靠的正样本对;HCPL中针对性地设计“空心”原型分布以分离已知与未知样本;TOCIL中为每个任务设计独立嵌入空间以隔离干扰。
  3. 有效的网络结构设计:专门为通信干扰信号设计的HAFRNet网络,融合了特征重用和混合域注意力,提升了基础特征提取能力,为上层识别任务提供了良好支撑。
  4. 详实充分的实验验证:研究在多种JNR条件下、使用多种干扰类型、设置了多种增量场景进行了大量仿真实验,并采用聚类指标、已知类准确率、未知类拒绝率、平均增量准确率等多个维度进行综合评估,结果具有说服力,证明了算法的有效性和鲁棒性。

其他有价值内容

论文的文献综述部分系统梳理了通信干扰信号识别、无监督聚类、开集识别及增量学习等领域的国内外研究现状,指出了现有方法的局限性,为本研究的创新点提供了清晰的学术定位和理论依据。同时,论文对每个算法的设计思路、损失函数构造的物理意义都进行了详细的阐述,体现了严谨的学术研究过程。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com