这篇文档属于类型a，是一篇关于原创研究的学术论文。以下是根据要求生成的详细学术报告：

ChatAssert：基于大型语言模型（LLM）的外部工具辅助测试预言生成技术

作者及机构
本研究由Ishrak Hayet、Adam Scott和Marcelo d’Amorim共同完成，三位作者均来自美国北卡罗莱纳州立大学（North Carolina State University）。论文发表于IEEE Transactions on Software Engineering期刊，目前已被接受并处于待刊状态（2024年）。

学术背景
研究领域：本研究属于软件工程中的自动化测试领域，聚焦于测试预言生成（Test Oracle Generation）问题。测试预言是判断程序行为是否符合预期的关键机制，但其自动化生成一直是软件测试中的难点。

研究动机：尽管近年来基于神经网络的测试预言生成技术（如TECO）取得了一定进展，但其准确率仍不理想（例如TECO在其数据集上的准确率仅为27.5%）。大型语言模型（LLM）在代码相关任务中展现出潜力，但直接应用于测试预言生成时存在语义鸿沟问题（Semantic Gap），即模型难以理解被测程序的功能意图。

研究目标：提出ChatAssert框架，通过动态和静态信息迭代优化提示（Prompt Engineering），提升LLM生成测试预言的准确性。

研究流程与方法
ChatAssert的核心是一个分阶段迭代的提示工程框架，包含以下关键流程：

1. 输入与初始化

   • 输入：测试元数据（如测试前缀、被测程序）、配置选项（如候选预言数量）。
     
   • 代码摘要生成（Code Summarization, CS）：
     
     • 使用静态分析工具（JavaSymbolSolver）定位测试前缀中涉及的类和方法。
       
     • 通过LLM生成自然语言摘要，解释代码功能（例如图4中对ODocument类和unsetDirty()方法的摘要）。
       

2. 生成模式（Generation Mode）

   • 提示构建：结合代码摘要、测试前缀和焦点方法（Focal Method），生成初始提示（如图2b中的P1.1-P1.3）。
     
   • 预言生成：LLM（如ChatGPT）输出候选断言（如assertTrue(doc.isDirty())）。
     
   • 示例增强（Examples, EX）：通过代码相似性检索（基于UniXCoder模型）添加少样本示例，提升上下文相关性。
     

3. 修复模式（Repair Mode）

   • 静态修复（Static Repair, SR）：
     
     • 对编译失败的断言，通过轻量级静态分析修复缺失的标识符（如补全方法调用的目标对象）。
       
   • 动态修复（Dynamic Repair, DR）：
     
     • 利用测试运行输出的错误信息（如AssertionError）指导LLM修复断言（如图2b中从assertTrue修正为assertFalse）。
       

4. 迭代与输出

   • 通过多轮交互（最多10次）逐步优化预言，最终输出可通过编译且通过测试的断言集合。
     

关键技术：
- 工具链：JavaParser、JavaSymbolSolver用于静态分析；UniXCoder用于代码相似性检索。
- 创新方法：首次将动态测试反馈（DR）与静态修复（SR）结合，形成闭环优化机制。

主要结果
1. 与基线对比：
- 在TECO数据集（3,540个测试用例）的500样本上，ChatAssert的Acc@1（排名第一的预言准确率）达到45%，较TECO提升15%。
- NLP指标：BLEU（0.85）、CodeBLEU（0.35）等均优于TECO（表IV）。

1. 消融实验：

   • 所有特征（CS、EX、SR、DR）均对性能有贡献，其中动态修复（DR）提升最显著（表VI）。
     

2. 突变测试验证：

   • ChatAssert生成的预言在突变测试中杀死突变体的比例显著高于TECO（图6b），证明其生成的断言更具缺陷检测能力。
     

逻辑关联：
- 代码摘要（CS）和示例（EX）提升了LLM对程序语义的理解，而动态修复（DR）通过测试反馈进一步缩小语义鸿沟，形成正向循环。

结论与价值
科学价值：
1. 提出首个结合动态/静态信息的LLM提示工程框架，为测试预言生成提供了新范式。
2. 证实外部工具（如编译器、测试运行器）的反馈可显著提升LLM的任务表现。

应用价值：
- ChatAssert可集成到持续集成（CI）流程中，减少人工编写断言的时间成本。
- 开源实现（GitHub仓库）为后续研究提供了可复用的工具链。

重要观点：
- LLM在软件工程任务中的潜力依赖于上下文构建，而ChatAssert通过迭代式提示设计解决了这一关键问题。

研究亮点
1. 方法论创新：首次将动态测试反馈纳入LLM提示优化流程。
2. 性能突破：Acc@10达到54%，较TECO提升12%，且突变测试强度更高。
3. 通用性验证：在ChatGPT、Mistral等不同LLM上均表现优异（表III）。

其他发现：
- 匿名内部类（Anonymous Inner Class）和字符串字面量处理仍是当前技术的局限性（图9）。

（报告总字数：约1,800字）