本文发表于《通信学报》(journal on communications)第47卷第7期,2026年7月,作者为张丽娜、杨阳、鲁亦群、贾弘瑜、段爱卓伦,均来自西安科技大学人工智能与计算机学院。论文题为《自适应邻域学习的加密恶意流量检测方法》,属于网络安全与人工智能交叉领域。
在学术背景方面,随着TLS、HTTPS、QUIC等加密网络协议的广泛应用,网络通信机密性得到显著提升,但同时也为恶意流量检测带来了巨大挑战。攻击者利用加密隐藏恶意行为,使传统依赖端口号、明文载荷或深度包检测的方法难以发挥作用。早期研究虽利用统计特征或深度学习模型(如CNN、RNN、Transformer)对加密流量进行分类,但这些方法多侧重于欧氏空间表示,无法有效建模流量会话间的交互关系。近年来,图神经网络(Graph Neural Network, GNN)被引入加密恶意流量检测领域,通过构建流量图结构捕捉节点间关系。然而,现有图构建方法通常依赖静态邻域结构,可能引入冗余连接或噪声邻居,导致模型无法在复杂网络环境下实现最优检测性能。针对上述问题,本文提出了一种基于自适应邻域学习(Adaptive Neighborhood Learning, ANL)的加密恶意流量检测方法,旨在实现邻域结构的动态优化与流量交互模式的节点自适应建模。
在研究流程方面,本文方法主要包括数据处理、初始关系图构建、特征提取与分类三个大模块。在数据处理阶段,原始加密流量会话被分别转换为灰度图像与向量化特征矩阵。向量化特征采用Zeek工具对pcap文件进行处理,生成conn.log、ssl.log及x509.log三类日志文件,提取会话连接特征、SSL/TLS特征和证书特征,经标准化后构建维度为d的节点属性特征向量。图像特征则按会话粒度分割pcap文件,经清洗、匿名化、删除空流与重复数据后,截取会话前784字节,不足部分以0填充,并将每个字节映射为[0,255]的灰度值,重塑为28×28的灰度图像。在初始关系图构建阶段,构建流量交互图(Traffic Structure Graph, TSG),其中每个加密会话对应图中的一个节点,节点属性采用向量化特征矩阵,边集则基于图像特征向量之间的欧氏距离进行指数映射与局部归一化处理,选取每个节点在相似空间中的有限局部邻域作为初始连接。在特征提取与分类阶段,ANL模块以节点特征为输入,主要包括节点表示编码、边相似性估计、自适应邻域大小估计以及可微分连续邻域筛选机制四个部分。节点表示编码通过多层感知机(Multi-Layer Perceptron, MLP)将节点特征映射至低维潜在表示;边相似性估计通过拼接节点潜在特征并输入MLP生成边嵌入,再经Gumbel-Softmax生成可微分边权重;自适应邻域大小估计基于类变分自编码器框架将潜在特征编码为均值与方差,经重参数化与解码后得到连续邻域大小值;可微分连续邻域筛选机制通过可微邻域掩码函数、二次分对数模型、sigmoid阈值函数及加权求和生成邻域选择概率掩码,最终生成优化后的邻接矩阵。在特征传播阶段,本文将经典GraphSAGE中的固定邻域采样机制替换为ANL模块,通过聚合自适应邻域内节点的表示并与自身特征组合,得到新的节点嵌入表示,最后经MLP分类器与softmax函数输出分类概率,并采用交叉熵损失函数优化所有参数。
在实验设置方面,本文采用CTU-13与MCFP两个真实网络流量数据集,按8:1:1比例随机划分为训练集、验证集和测试集,合并数据集包含恶意加密会话63,720条、良性加密会话69,358条,共计133,078条。模型基于PyTorch框架实现,TSG构建的热传导时间参数t设为0.5,优化器选用Adam,初始学习率0.001,权重衰减5×10⁻⁴,Gumbel-Softmax温度参数τ设为0.5,sigmoid平滑参数λ设为0.2。评价指标采用准确率(accuracy)、精确率(precision)、召回率(recall)和F1分数(F1-score)。
在主要结果方面,本文方法在合并数据集上重复运行5次取平均值,最终准确率为99.59%,精确率为99.56%,召回率为98.78%,F1分数为99.16%。模型超参数分析显示,温度参数τ=0.5时模型综合性能最优,平滑参数λ=0.2时准确率、召回率与F1分数均达到峰值。在图构建参数敏感性分析中,最终选择t=1、p=15作为最优配置。与现有方法对比实验中,传统机器学习方法(如SVM、随机森林、XGBoost)准确率低于96%,深度学习方法(如CNN、TSCRNN)准确率分别为96.03%和98.21%,而静态图模型(GCN、GraphSAGE、GAT)准确率超过97%但低于本文方法。本文方法在accuracy与precision指标上优于多数对比方法,但在recall与F1-score上略低于部分方法,原因在于ANL模块在邻域筛选过程中优先保留高置信度邻接节点,抑制噪声干扰,降低了误报率,但也使部分类别边界样本的关联特征被弱化。在ANL模块适用性分析中,将其嵌入GCN、GAT和GraphSAGE三种经典图神经网络模型,结果表明GraphSAGE与ANL结合效果最优。消融实验显示,仅使用向量化特征时准确率为98.62%,仅使用图像特征时为98.87%,融合两类特征后准确率提升至99.59%;移除ANL模块后准确率下降至98.45%,F1分数下降至97.89%,证明多元化特征融合与ANL模块均对模型性能有显著贡献。ANL模块内部结构消融实验表明,去除边相似性估计、自适应邻域大小估计或可微分连续邻域筛选机制均会导致模型性能下降。特征可视化结果显示,向量化特征在低维空间中呈连续分布,部分样本形成带状结构;图像特征则呈现更清晰的聚类结构与类别边界,两类特征具有较好的互补性。泛化性实验中,模型在CICIDS2017数据集上准确率为98.33%,在USTC-TFC2016数据集上为97.61%。鲁棒性实验中,流量填充扰动下模型性能下降约0.4%,时序混淆扰动下下降约0.8%。效率实验显示,引入ANL模块后推理时间从17.84 ms增加至23.91 ms,显存占用从1.02 GB增加至1.35 GB,参数规模从3.32×10⁶增加至4.28×10⁶。可扩展性分析表明,在125%至200%数据规模下,模型各项检测指标仅小幅波动,推理时间与显存占用平稳增长。
本研究的核心结论是:通过构建TSG融合图像与向量化特征,并引入ANL模块动态学习邻域关系及规模,有效提升了加密恶意流量检测性能。该方法的科学价值在于提出了一种可微分、自适应的邻域结构学习机制,解决了传统图模型固定邻域规则难以适应复杂流量结构的问题。应用价值在于该方法在真实数据集上取得了高准确率与低误报率,可部署于复杂网络环境中的恶意流量检测系统。然而,当前方法采用全局图训练策略,在大规模图数据下存在计算与存储开销问题,ANL模块也引入了额外计算复杂度,未来可研究轻量化自适应邻域学习机制以提升计算效率与适用范围。
本文的主要亮点包括:第一,构建了融合图像特征与统计特征的流量交互图TSG,从流量空间分布与统计行为两个角度刻画加密流量;第二,设计了ANL模块,通过节点表示编码、边相似性估计、自适应邻域大小估计及可微分连续邻域筛选机制实现邻域结构的动态优化;第三,将ANL模块与经典图神经网络模型相结合,构建了端到端的加密恶意流量检测框架,并在多个数据集上验证了方法的性能、泛化性与鲁棒性。