LLM-Sketch: 利用大语言模型增强网络流量统计的研究

一、研究概述

本文由来自北京大学、浙江大学、清华大学以及中关村实验室的多位学者合作完成，研究的主题为“LLM-Sketch：通过大语言模型增强网络流量统计”。研究团队成员包括李元鹏（Yuanpeng Li），徐震（Zhen Xu），吕宗伟（Zongwei Lv），胡彦南（Yannan Hu），崔勇（Yong Cui），杨彤（Tong Yang）等。该研究发表于2025年，文章题目为“LLM-Sketch: enhancing network sketches with llm”，发表在ACM（Association for Computing Machinery）期刊中。

二、学术背景

网络流量挖掘（Network Stream Mining）是现代计算机网络中的核心任务，广泛应用于DDoS攻击检测、负载均衡、拥塞控制和流量工程等重要网络操作中。随着网络规模和流量量级的不断增长，如何高效准确地进行大规模的流量挖掘变得日益具有挑战性。

传统的流量挖掘方法往往采用“Sketches”这种紧凑的数据结构来进行高效的流量估计。Sketches方法以其低内存开销和有界误差的特点，成为大规模网络流量挖掘的有力工具。然而，现有的Sketches方法仍面临一些问题，尤其是在动态网络环境中的适应性不足和高训练成本等问题。

近年来，有研究尝试结合机器学习（ML）对Sketches方法进行优化。尽管这些方法在一定程度上提升了性能，但仍然面临适应性差、过度依赖训练数据、计算开销大的挑战。因此，本文提出了一种名为“LLM-Sketch”的新型算法，旨在解决这些挑战。

LLM-Sketch的核心思想在于：不仅仅利用数据包头部的流ID信息，还通过引入其他数据包头部字段的信息来推测流量的大小，从而提高流量估计的准确性并减少内存占用。

三、研究方法与流程

本研究的主要创新在于提出了LLM-Sketch算法，这一算法结合了双层数据结构和大语言模型（LLM）进行流量分类和大小预测。研究的主要流程包括以下几个步骤：

1. 双层数据结构设计： LLM-Sketch的设计采用了双层数据结构：一层是“重流部分”（Heavy part），专门记录大流；另一层是“轻流部分”（Light part），用于存储小流。该设计能够有效应对流量分布的偏斜，减少大流和小流共享相同计数器时发生的冲突，并能防止小流占用过多内存。通过这种双层设计，LLM-Sketch在保证准确度的同时，最大程度地减少了内存消耗。

2. 大语言模型（LLM）驱动的流量分类器： LLM-Sketch采用了一个基于大语言模型的流量分类器。该分类器不仅根据流ID信息，还结合数据包头部其他字段的信息，进行流量大小的实时预测。与传统方法不同，LLM-Sketch采用了一种“软标签”（Soft-label）策略，分类器为每个流量分配一个介于0到1之间的值，表示流量属于大流或小流的可能性。通过这种方式，LLM-Sketch能更准确地处理那些位于分类边界附近的流量，从而减少误分类带来的错误。

3. 数据流的分类与处理： 在处理网络数据流时，LLM-Sketch首先通过哈希函数将每个流映射到相应的桶（Bucket）。如果该流已经存在于桶中，则更新其流量大小；如果桶中没有该流并且有空闲位置，则直接插入；如果桶已满，则通过分类器预测该流的大小是属于大流还是小流，进而决定将其插入“重流部分”还是“轻流部分”。对于大流，LLM-Sketch会选择移除桶中记录最小流量的流，将其存入轻流部分，从而避免大流和小流之间的内存冲突。

4. 优化机制： LLM-Sketch采用了锁标志（Lock flag）机制来进一步优化流量分类的准确性。当分类器预测一个流为大流时，即使其当前流量较小，仍会尽量避免将该流误判为小流并提前删除。锁标志机制通过跟踪流的预测历史，减少了不准确的流量分类，确保大流的长期存在。

四、实验过程与结果

为了验证LLM-Sketch算法的有效性，作者在三个典型的网络流量挖掘任务上进行了实验：流量大小查询（Flow Size Query）、重流查询（Heavy Hitter Query）和层次重流查询（Hierarchical Heavy Hitter Query）。实验结果显示，LLM-Sketch在准确性和内存使用效率方面显著优于现有的最先进方法。

1. 流量大小查询： 在流量大小查询任务中，LLM-Sketch与其他几种方法（如LCMS、ES、Meta-Sketch）进行了对比。实验结果表明，LLM-Sketch在所有算法中表现最优，准确度提高了7.5倍。具体来说，LLM-Sketch的平均相对误差（ARE）比LCMS低了11.8倍，比ES低了18.8倍。

2. 重流查询： 在重流查询任务中，LLM-Sketch的F1分数达到了0.94，而ES的F1分数为0.74。LLM-Sketch在内存预算较低的情况下，依然能够精确地识别大流，避免了ES中出现的误分类问题。

3. 层次重流查询： 在层次重流查询任务中，LLM-Sketch与CocoSketch进行了对比，结果显示，LLM-Sketch的F1分数为0.94，而CocoSketch为0.82，LLM-Sketch在精度上优于CocoSketch，并且具有更低的误差。

实验还在多个实际数据集（如CAIDA、MAWI和IMC DC数据集）上进行了验证，证明了LLM-Sketch在多种流量查询任务中的高效性和准确性。尤其在流量大小查询任务中，LLM-Sketch的相对误差（ARE）比LCMS低了5.3倍，比ES低了13.2倍。

五、结论与贡献

LLM-Sketch提出了一种结合大语言模型和双层数据结构的新型网络流量统计方法。该方法通过实时的流量分类和智能的内存管理，显著提升了网络流量挖掘的准确性，并减少了内存消耗。通过引入LLM，LLM-Sketch能够利用流量包头部的更多信息，避免了传统方法对流ID的过度依赖，从而实现了更加精确的流量估计。

该研究不仅在网络流量挖掘领域具有重要的理论价值，而且在实际应用中具有广泛的前景，尤其在DDoS攻击检测、网络负载均衡等领域。实验结果表明，LLM-Sketch能够应对大规模和动态变化的网络环境，保持较低的误差率，具有较强的适应性。

六、研究亮点

LLM-Sketch的创新之处在于其使用了大语言模型（LLM）来增强网络流量统计的能力。与传统依赖流ID信息的方法相比，LLM-Sketch通过综合考虑数据包头部更多字段的信息，能够更准确地预测流量大小。此外，LLM-Sketch的双层数据结构和流量分类机制，成功地解决了大流和小流之间的冲突问题，从而显著提高了流量估计的准确度。

在实验方面，LLM-Sketch不仅在理论验证上取得了突破，还通过对多种数据集的测试，证明了其在实际应用中的优势。尤其是在内存使用效率和准确性之间的平衡方面，LLM-Sketch表现出了良好的性能，能够应对现实中的复杂网络流量场景。

总体而言，LLM-Sketch为网络流量挖掘领域提供了一种新的方法，推动了机器学习和网络数据结构的结合，为未来的网络流量分析与处理提供了新的思路。