关于增强LLM漏洞检测能力的研究报告：VUL-RAG框架的提出与评估

本研究由复旦大学、中山大学及阿里巴巴集团的研究人员合作完成，其中通讯作者为复旦大学的Yiling Lou。该研究成果以《VUL-RAG: Enhancing LLM-based Vulnerability Detection via Knowledge-level RAG》为题，于2026年2月20日发表于计算机领域的知名学术期刊《ACM Transactions on Software Engineering and Methodology》。

一、学术背景与目标 本研究的核心领域是软件工程安全，具体聚焦于利用大型语言模型（LLM）进行自动化漏洞检测。近年来，基于LLM的漏洞检测方法因其强大的代码理解能力而展现出巨大潜力。然而，现有研究主要集中在评估LLM的整体检测性能，对其是否能真正理解漏洞的“根源”，而非仅仅基于代码的表层特征进行判断，仍存在疑问。一个关键的衡量标准是模型区分易受攻击代码（vulnerable code）与其对应的、仅作细微修改但已修复的补丁代码（patched code）的能力。这两类代码通常具有很高的文本相似性，但语义相反。如果LLM无法有效区分它们，则说明其可能并未真正捕获漏洞的根本原因。

为了深入探究此问题，并克服早期相关研究在模型时效性、评测基准和提示策略上的局限，本研究设定了明确目标：首先，对当前最先进的LLM（包括开源与闭源模型）在区分漏洞-补丁代码对（vulnerable-patched code pair）任务上的能力进行全面、严谨的实证研究。其次，针对LLM在此任务上的局限性，提出一种创新的增强框架。最终，不仅要在基准测试上验证新框架的有效性，还要评估其在实际场景（如辅助人工审计、发现未知漏洞）中的实用价值。

二、详细工作流程 本研究的工作流程主要分为三大阶段：实证研究、VUL-RAG框架构建、以及全面的评估。

第一阶段：实证研究（RQ1 & RQ2） 本阶段旨在系统评估前沿LLM在区分漏洞-补丁代码对上的真实能力。 1. 研究对象与基准构建：由于现有公开数据集（如BigVul）存在补丁代码正确性存疑或缺乏对应补丁的问题，研究团队首先构建了一个全新的高质量基准数据集——PairVul。该数据集从Linux内核的真实CVE（Common Vulnerabilities and Exposures，通用漏洞披露）记录中提取，重点关注了10种最常见的CWE（Common Weakness Enumeration，通用缺陷枚举）类型。通过严格的筛选和验证流程（如排除无关修改、构建补丁图验证后续未被修改或回滚），最终获得了586对高质量的漏洞-补丁函数级代码对，涉及420个独特的CVE，确保了数据的代表性和标签的可靠性。 2. 模型与实验设置：研究选取了四款前沿LLM作为评估对象：闭源的GPT-4o和Claude Sonnet 3.5，以及开源的Qwen2.5-Coder-32B-Instruct和DeepSeek-V2-Instruct。实验分为两部分： * 基础能力评估（RQ1）：使用一个简单的指令提示（“这段代码是否有漏洞？回答是或否。”）测试模型。 * 高级提示策略影响评估（RQ2）：测试了三种近期文献中提出的高级提示策略对模型的提升效果，包括两种结合了角色扮演和思维链（Chain-of-Thought）的提示（分别侧重代码行为解释和漏洞根因推理），以及一种融合了CWE描述的提示。 3. 数据处理与分析：对于每一对代码，模型需要分别判断漏洞版本和补丁版本。核心评估指标是配对准确率（pairwise accuracy），即模型同时正确识别出漏洞代码和补丁代码的比例。此外，还计算了平衡召回率（balanced recall）和平衡精确率（balanced precision）。研究进一步分析了模型在不同提示下的决策偏见，并对模型失败的案例进行了定性分析。

第二阶段：VUL-RAG框架构建 针对实证研究中发现的LLM严重不足（配对准确率仅0.06-0.14），研究团队提出了一个全新的知识级别的检索增强生成（Knowledge-level Retrieval-Augmented Generation, RAG）框架——VUL-RAG。其核心洞见是从历史漏洞和修复中提炼高级、可泛化的漏洞知识，用以指导LLM更准确地理解代码中的漏洞与良性行为。VUL-RAG包含三个核心阶段，采用离线构建知识库、在线检索与应用的模式。

1. 离线漏洞知识库构建：

   • 知识表示：提出了一个新颖的多维度漏洞知识表示法，包含三个维度共七个要素：功能语义（抽象目的、详细行为）、漏洞成因（触发动作、抽象描述、详细描述）和修复方案。这种表示聚焦于漏洞的高层特征，而非具体的代码词汇细节。
   • 知识提取与抽象：利用LLM（实验中采用GPT-3.5-turbo）从训练集的2317对不重叠的漏洞-补丁代码及CVE描述中，自动化提取上述知识。流程包括：提取功能语义；分两步（先解释修改原因，再根据解释提取结构化成因和方案）提取漏洞成因与修复方案；最后进行知识抽象，将具体的函数名、变量名等替换为更通用的描述，以增强知识的泛化能力。所有提取的知识项构成了最终的漏洞知识库。

2. 在线漏洞知识检索：

   • 对于待检测的代码，首先利用LLM提取其功能语义（抽象目的和详细行为）。
   • 随后，以代码本身、提取的抽象目的、详细行为三者作为混合查询，在知识库中进行检索。采用BM25算法分别计算与知识库中对应元素的相似度，每种查询取前N个候选知识项。
   • 最后，使用倒数排序融合（Reciprocal Rank Fusion, RRF）策略对来自三个查询渠道的候选知识项进行重排序，选出综合排名最高的前10项作为最终的相关知识，用于后续检测。

3. 知识增强的漏洞检测：

   • 为避免长上下文干扰，VUL-RAG采用迭代推理策略。依次使用每一条检索到的知识项，引导LLM分两步判断：首先，检查待测代码是否表现出与该知识项中描述的相同漏洞成因；其次，检查代码是否已经应用了该知识项中描述的对应修复方案。
   • 逻辑是：如果代码表现出漏洞成因但未应用修复方案，则判定为有漏洞；否则，则使用下一条知识项继续判断。若所有知识项均无法判定为有漏洞，则最终判定为无漏洞。

第三阶段：全面评估（RQ3, RQ4, RQ5, RQ6） 本研究对VUL-RAG进行了广泛且深入的评估，远超常规的量化指标对比。

1. 整体性能提升评估（RQ3）：在PairVul基准上，将VUL-RAG与多种基线方法对比，包括基础提示、三种高级提示、一个代码级别的RAG基线（仅检索并拼接相似的原始代码对）以及一个基于微调（Fine-tuning）的基线（LLMAO）。结果表明，VUL-RAG显著提升了所有被测LLM的性能，将配对准确率提高了16%至24%（例如，GPT-4o从0.08提升至0.32），平衡精确率和召回率也有明显提升。更重要的是，通过消融研究和案例分析，证明了VUL-RAG的知识级表示和检索策略均优于代码级RAG和微调方法。知识级表示能提供更精准的语义指导，而混合查询（代码+功能语义）则能检索到功能语义更相似、漏洞根因更相关的知识。

2. 开发者可用性用户研究（RQ4）：为评估生成知识的质量和实用性，研究组织了一项有12名经验开发人员参与的用户实验。参与者在有/无VUL-RAG生成的漏洞知识辅助下，对包含真阳性（真实漏洞）和假阳性（误报）的代码片段进行人工判断。结果显示，提供知识辅助将人工确认的准确率从60%显著提升至77%。用户对生成知识在“帮助性”、“精确性”和“泛化性”三个维度上的评分（4分制）平均值均超过3.0，证实了其高质量。

3. 错误案例分析（RQ5）：为了解VUL-RAG的局限，研究团队对主要CWE类别中的误报和漏报案例进行了手动分析。归纳出漏报的主要原因包括：知识描述不准确、检索到不相关知识、知识库中缺乏相关漏洞知识。误报的主要原因包括：修复方案不匹配（同一漏洞可能有多种修复方式）、检索到不相关知识。分析还发现，代码复杂性（如代码行数）的增加会对检测效果产生负面影响，尤其对涉及访问控制逻辑的漏洞类型（如CWE-200， CWE-264）影响更大。

4. 真实世界未知漏洞检测案例研究（RQ6）：将VUL-RAG应用于最新的Linux内核（v6.9.6）驱动组件中的1568个函数，进行前瞻性漏洞发现。VUL-RAG报告了34个警告，经人工审查确认了其中10个是此前未知的真实漏洞，并且有6个已被Linux社区确认并分配了CVE编号。研究团队根据VUL-RAG提供的修复方案建议提交了补丁，且全部被接受。这有力证明了VUL-RAG在发现复杂真实软件系统中未知漏洞方面的潜力和实用价值。成本分析显示，处理所有函数总耗时约12小时，总成本约29.8美元，具有实际应用的可行性。

三、主要结果 实证研究阶段（RQ1， RQ2）的结果清晰地揭示了当前顶尖LLM的严重不足：即使在最先进的提示策略辅助下，它们在区分漏洞-补丁代码对任务上的配对准确率最高也仅为0.20，多数情况下模型表现出不稳定的判断偏见，且难以捕捉代码间细微但关键的文本差异（如函数调用位置移动、条件检查增减）。这些结果为提出增强框架提供了直接且强烈的动机。

VUL-RAG框架的评估结果（RQ3， RQ4， RQ5， RQ6）全面而有力。在基准测试上，它实现了显著的性能跃升，证明了知识级增强的有效性和优越性。用户研究证明了其产出知识具备高质性和高实用性，能有效辅助人类专家。案例研究则将其价值从实验室基准延伸至真实的、高价值的漏洞发现场景，成功检测到了Linux内核中的未知漏洞并获得社区认可。错误分析则为框架的进一步改进指明了方向。

四、研究结论与意义 本研究得出明确结论：现有的大型语言模型在理解漏洞根本原因、区分高度相似的漏洞与修复代码方面存在显著局限。为此，提出的VUL-RAG框架通过构建和应用从历史漏洞中蒸馏出的、结构化、高层级、可泛化的多维知识，有效增强了LLM的漏洞检测与推理能力。

该研究的价值体现在多个层面： * 科学价值：深入揭示了LLM在细粒度代码安全分析任务上的能力边界与内在缺陷，超越了以往仅关注宏观检测性能的研究。提出了“知识级别RAG”这一创新范式，为如何将领域知识（尤其是需要对比和推理的语义知识）有效整合进LLM提供了新思路和方法论。 * 应用价值：VUL-RAG不仅是一个性能更优的自动化检测工具，更是一个能提升人工审计效率的“智能助手”。其成功应用于Linux内核并发现未知漏洞的案例，展示了其在保障关键基础设施安全方面的直接潜力和巨大前景。框架具备合理的运行成本，增强了其实用性。 * 社区贡献：研究发布了高质量的数据集PairVul和VUL-RAG的实现代码，为后续相关研究提供了宝贵的基准和可复现的基础。

五、研究亮点 1. 问题切入深刻：研究聚焦于“区分漏洞与补丁代码”这一能深刻检验模型是否理解漏洞根源的核心任务，揭示了当前LLM在此关键能力上的严重不足。 2. 方法创新性强：首创了面向漏洞检测的“知识级别RAG”框架。其核心创新在于定义了结构化的、多维度、高层次的漏洞知识表示法，并设计了从代码到知识蒸馏、基于混合查询的检索、以及迭代式知识推理的完整自动化流程。 3. 评估全面且务实：评估体系不仅包括标准的量化指标对比和消融实验，还涵盖了用户研究以验证实用性，以及在前沿、复杂的真实软件系统（Linux内核）中进行前瞻性漏洞发现的案例研究。这种“从实验室到现实”的完整评估链条极具说服力。 4. 成果影响直接：研究不仅发表了论文，其提出的方法已实际用于发现并报告了Linux内核中的零日漏洞，且相关修复补丁被上游接受，体现了学术研究对开源软件安全的直接、积极贡献。