关于论文《VulCurator: A Vulnerability-Fixing Commit Detector》的学术报告
本研究题为《VulCurator: A Vulnerability-Fixing Commit Detector》，由Truong Giang Nguyen、Thanh Le-Cong、Hong Jin Kang、Xuan-Bach D. Le及David Lo五位学者共同完成。研究团队主要来自新加坡管理大学（Singapore Management University），其中Xuan-Bach D. Le隶属于澳大利亚墨尔本大学（University of Melbourne）。该论文在2022年11月9日正式发表，收录于2022年11月14日至18日在新加坡举行的第30届ACM欧洲软件工程联合会会议暨软件工程基础研讨会（ESEC/FSE ‘22）的会议论文集中。该会议是软件工程领域具有重要影响力的顶级学术会议之一。
研究学术背景与目标 该研究位于软件安全工程与软件仓库挖掘的交叉领域。近年来，开源软件（OSS）漏洞数量持续增长，例如Equifax数据泄露和Log4Shell等著名安全事件，凸显了有效进行漏洞管理的重要性。在此过程中，监控并识别出那些修复了安全漏洞的代码提交（即漏洞修复提交，vulnerability-fixing commit）是关键一环，可以帮助软件用户及时更新依赖或打补丁。然而，由于项目中的代码提交数量庞大，人工检测耗时耗力且易遗漏。 为了自动化这一过程，学术界已提出多种利用机器学习的技术。但已有的解决方案存在局限：它们要么未使用深度学习模型，要么虽然使用了深度学习，却只利用了有限的信息来源，通常仅关注提交信息和代码变更。本研究团队在先前的工作Hermes中，虽然结合了提交信息、代码变更和问题报告（issue report）三种信息源，但其分类器采用了支持向量机（SVM），而非更强大的深度学习模型。基于此，本研究的目标在于开发一个名为VulCurator的工具，其核心创新在于利用深度学习方法，并整合比先前工作更丰富的信息源（提交信息、代码变更、问题报告），以实现对漏洞修复提交更精准的自动分类，旨在提升检测性能。
研究详细流程与方法 VulCurator的整体架构是一个基于集成学习的分类系统，其工作流程包含以下几个关键步骤和组件：
输入与数据准备：工具接收JSON格式的输入文件，其中包含待检测的提交列表，每个提交条目需包含提交信息、代码变更（即补丁，patch）以及可能链接到的问题报告。研究明确指出，现实中只有部分提交会显式链接到问题跟踪系统中的问题报告。为了充分利用问题报告这一信息源，VulCurator集成了一个名为“问题链接器（Issue Linker）”的模块。
问题链接器（Issue Linker）：对于输入数据中没有显式链接问题报告的提交，此模块负责为其自动关联最相关的问题报告。该模块基于先前工作Hermes和FrLink的思想构建。其工作原理是：首先需要一个问题报告语料库，计算提交（包括其信息和代码变更）与语料库中所有问题报告在自然语言术语和代码术语上的词频-逆文档频率（TF-IDF）相似度。通过预定义的相似度函数，为每个无关联提交匹配到最相似的问题。研究指出，通过设置相似度阈值，可以控制链接的准确性，因为链接的准确性会影响后续分类性能。模块使用scikit-learn库中的TfidfVectorizer计算TF-IDF值，并使用pickle进行本地存储以供推理阶段快速使用。
多源信息分类器：在获得每个提交的完整三要素（信息、补丁、问题）后，VulCurator使用三个独立的基于Transformer架构的深度学习模型分别进行处理：
[CLS] 被删除代码 [SEP] 新增代码 [EOS]的格式构造输入序列。然后将此序列输入CodeBERT模型，获得一个表征该文件代码变更语义的嵌入向量。最后，所有文件的嵌入向量经过一个聚合器和一个神经网络分类器，输出该提交为漏洞修复提交的概率。堆叠集成与最终预测：三个基分类器各自输出一个概率值。VulCurator采用堆叠集成（Stacking Ensemble）策略，使用一个逻辑回归模型作为元分类器，将三个基分类器的输出概率作为输入特征，进行二次学习，最终生成该提交的整体分类概率。用户可设定一个阈值（默认为0.5），概率高于此阈值的提交被判定为漏洞修复提交。工具提供两种输出模式：预测模式（直接给出判定结果）和排序模式（按概率高低排序提交）。
实验设计与评估：为验证VulCurator的有效性，研究设计了严谨的实验。
主要实验结果与分析 实验结果通过表格和韦恩图清晰地展示了VulCurator的性能和内部机制。
有效性（RQ1）：在SAP数据集上，VulCurator的最终集成模型F1分数达到0.79，相比基线Hermes（0.68）提升了16.1%，相比VulFixMiner（其性能相当于VulCurator的补丁分类器，0.76）提升了3.9%。在TensorFlow数据集上，VulCurator的F1分数为0.89，相比Hermes（0.82）提升8.5%，相比VulFixMiner（0.85）提升4.7%。这充分证明了VulCurator整体方案的有效性。具体到各个基分类器，在SAP数据集上，VulCurator的信息、问题和补丁分类器F1分数分别为0.76、0.65、0.76，均显著优于Hermes对应的分类器（0.67, 0.51, 0.60），提升幅度分别为13.4%、27.4%和26.7%。这验证了使用预训练的深度学习模型（RoBERTa, CodeBERT）相比传统SVM在特征表示和分类能力上的优势。在TensorFlow数据集上，虽然信息分类器表现略低于Hermes（0.81 vs 0.87），但问题分类器（0.80 vs 0.75）和补丁分类器（0.85 vs 0.69）的提升更为显著，尤其是补丁分类器提升了23.2%，最终仍使集成模型获得整体最优性能。
消融研究与贡献分析（RQ2）：研究通过韦恩图分析了三个基分类器在检测真阳性（TP）案例时的互补性。在SAP数据集的221个被检出的漏洞修复提交中，有20个提交仅由信息分类器正确识别，15个仅由问题分类器识别，16个仅由补丁分类器识别。TensorFlow数据集也呈现了类似的分布模式。这一结果至关重要，它从实证角度表明，提交信息、问题报告和代码变更这三种信息来源确实从不同侧面（如开发意图描述、问题背景、具体代码修改）刻画了一个提交的安全性质量，各自能够捕捉到其他来源遗漏的漏洞修复模式。这也解释了为何集成三种信息来源的VulCurator能够超越仅使用单一或双信息来源的基线方法。实验结果也再次验证了整合问题报告信息对提升分类性能的积极作用。
研究结论与价值 本研究成功提出并实现了VulCurator，一个基于深度学习、融合多源信息的漏洞修复提交自动检测工具。其主要结论是：通过结合先进的预训练Transformer模型（RoBERTa和CodeBERT）来分别处理提交信息、问题报告和代码变更，并利用堆叠集成策略进行决策融合，可以显著提升漏洞修复提交检测的准确率（以F1分数衡量）。该研究不仅提供了一个性能优越的实用工具，其代码和模型已开源，并提供了Docker镜像方便使用，还通过系统的实验揭示了多源信息在软件安全分析中的互补价值。 研究的科学价值在于，它推动了软件仓库挖掘和自动化软件安全分析领域的方法发展，展示了如何将自然语言处理和代码表示学习的最新模型有效应用于具体的软件工程安全任务中。其应用价值则直接体现在辅助软件开发者和安全研究人员更高效、更全面地监控开源项目中的安全修复活动，有助于缩短漏洞公开与修复认知之间的“时间差”，从而降低软件供应链安全风险。
研究亮点与创新 1. 新颖的架构设计：首次提出并实现了一个深度融合三种信息源（提交信息、代码变更、问题报告）的深度学习框架用于漏洞修复提交检测。其“多专家基分类器+元分类器集成”的架构具有创新性。 2. 先进模型的应用：巧妙地针对不同模态的数据采用了最合适的预训练模型：RoBERTa处理自然语言文本（提交信息、问题报告），CodeBERT处理编程语言代码（代码变更），充分发挥了领域自适应预训练模型的优势。 3. 对现实场景的考量：通过集成“问题链接器”，解决了实际项目中大量提交无显式问题链接的挑战，增强了工具的实用性和鲁棒性。 4. 严谨全面的评估：不仅在经典基准（SAP数据集）上测试，还构建了新的TensorFlow数据集进行跨领域验证，避免了过拟合，增强了结论的普适性。通过消融实验和韦恩图分析，深入揭示了各信息源的贡献及其互补性，为后续研究提供了深刻见解。
其他有价值内容 论文在最后提到了未来的工作方向，计划应用可解释人工智能（XAI）技术为VulCurator的预测提供解释，这将有助于安全研究人员理解模型决策的依据，增加工具的可信度和实用性。此外，论文获得了新加坡国家研究基金会、新加坡国立大学以及澳大利亚研究理事会等机构的资助支持，表明了该研究方向受到学术界和资助机构的重视。