这篇文档属于类型a，即报告了一项原创性研究。以下是针对该研究的学术报告：

作者与发表信息

本研究由Gábor Antal（FrontendArt Ltd.和University of Szeged）、Bence Bogenfürst、Rudolf Ferenc和Péter Hegedűs（均来自University of Szeged）合作完成，发表于2025年的第29届国际软件工程评估与测量会议（EASE 2025），论文标题为《Identifying Helpful Context for LLM-Based Vulnerability Repair: A Preliminary Study》。

学术背景

研究领域：本研究属于软件安全与自动化程序修复领域，聚焦于利用大语言模型（Large Language Models, LLMs）实现漏洞的自动化检测与修复（Automated Vulnerability Repair, AVR）。

研究动机：
近年来，LLMs（如GPT系列）在代码生成与漏洞修复中展现出潜力，但实际应用中存在显著局限性。例如，模型修复成功率受限于上下文信息的完整性（如漏洞描述、代码库上下文等）。现有研究未系统分析不同上下文信息（如CWE/CVE报告、代码注释等）对修复效果的影响。因此，本研究旨在探索如何通过优化上下文信息提升LLM的漏洞修复能力。

研究目标：
1. 评估GPT-4o在Java漏洞修复任务中的性能，并与GPT-4对比；
2. 分析不同上下文信息（如CVE描述、手动提取的代码上下文）对修复成功率的影响；
3. 提出多提示词（prompt）组合策略，以提升零样本（zero-shot）场景下的修复效果。

研究流程与方法

研究对象与样本量：
- 使用Vul4J数据集中的42个可复现Java漏洞（原数据集含46个漏洞，因测试环境问题排除4个）。
- 每个漏洞生成修复代码时，采用9种不同提示词（含基线提示词），每种提示词运行3次，共生成1,134个修复候选方案。

实验设计：
1. 基线实验：
- 复现此前研究[17]的提示词，分别用GPT-4和GPT-4o生成修复代码，对比性能差异。
- 关键参数：温度（temperature）设为0.01以减少随机性。

1. 上下文增强实验：

   • 代码上下文优化：
     
     • 提供父类头信息、数据成员及漏洞方法，但隐藏非关键方法的实现（标记为“implementation redacted”）。
       
     • 恢复方法级文档注释，以传递项目特定信息。
       
   • 漏洞描述增强：
     
     • CWE信息：从官方来源提取并标准化描述。
       
     • CVE信息：直接使用官方报告或通过GPT-4o生成修复指南。
       
   • 手动提取上下文：
     
     • 分析漏洞-修复对，识别需补充的代码片段或项目文档（如库使用示例）。
       

2. 提示词工程：

   • 设计长短两种系统提示词（system prompt），测试其效果差异。
     
   • 引入链式思考（Chain-of-Thought, CoT）技术，要求模型生成分步解释。
     

验证方法：
- 使用Vul4J的自动化测试框架验证修复代码的正确性。
- 对部分测试用例进行人工调整（如放宽过于严格的断言），避免误判。

数据分析：
- 统计各提示词组合的修复成功率（通过测试的漏洞比例）及编译错误率。
- 对比不同上下文组合的效果（如“CVE+手动上下文” vs. 单一CWE描述）。

主要结果

1. 模型性能对比：

   • GPT-4o的平均修复率比GPT-4低11.9%（相同提示词下），但能修复更多独特漏洞（+10.5%）。
     
   • 表明GPT-4o的潜力需通过特定提示词激发。
     

2. 上下文信息的影响：

   • CVE描述效果最佳：修复率达37.3%（基线为32%），因其提供具体漏洞细节。
     
   • CWE描述效果有限：修复率仅29.4%，因描述过于通用。
     
   • 手动提取上下文：单独使用效果差（修复率<30%），但与CVE结合后提升至38.9%。
     

3. 多提示词组合策略：

   • 使用Top-3提示词（CVE+手动上下文、短提示词、CVE原始描述）时，GPT-4o能修复62%的漏洞（26/42），显著优于单一提示词（40%-45%）。
     

4. 失败模式分析：

   • GPT-4o难以修复需类型修正的漏洞（如将int改为long）。
     
   • 存在幻觉问题：生成未定义的方法调用。
     

结论与价值

科学价值：
1. 首次系统评估了不同上下文信息对LLM漏洞修复的影响，证实CVE描述与项目特定上下文的结合最有效。
2. 提出多提示词组合策略，为零样本修复提供实用方案。

应用价值：
1. 为开发者设计LLM提示词提供实证指导。
2. 推动自动化工具开发，以动态检索项目上下文（如基于RAG技术）。

重要观点：
- 高级模型（如GPT-4o）未必直接提升修复性能，需依赖针对性优化。
- 漏洞修复的上下文需求具有高度特异性，需结合通用（CVE）与本地（代码库）信息。

研究亮点

1. 创新性方法：

   • 首次将CVE报告与手动代码上下文结合，显著提升修复率。
     
   • 开发自动化测试框架，支持大规模修复验证。
     

2. 发现特殊性：

   • 揭示GPT-4o在类型相关漏洞修复中的局限性，为后续研究指明方向。
     

3. 跨模型对比：

   • 提供GPT-4与GPT-4o在AVR任务中的首份对比数据。
     

其他有价值内容

• 威胁与局限性：
  
  • 研究仅针对Java语言，动态语言（如JavaScript）可能表现不同。
    
  • 手动提取上下文引入主观性，未来需开发自动化检索工具。
    
• 未来方向：
  
  • 探索RAG（Retrieval-Augmented Generation）技术，动态生成上下文。
    
  • 扩展至多语言漏洞修复任务。
    

（注：全文约2,200字，涵盖研究全貌及细节。）