关于ReproCopilot: 基于LLM驱动与动态精化的故障复现技术的学术研究报告
一、 研究团队与发表信息
本研究报告介绍的研究工作由来自微软研究院（Microsoft Research）的三位研究人员共同完成，他们是：Tanakorn Leesatapornwongsa, Fazle E. Faisal 和 Suman Kumar Nath。该研究以论文形式发表，题为“ReproCopilot: LLM-driven failure reproduction with dynamic refinement”。论文于2024年9月12日提交，2025年4月1日被接受，最终于2025年6月19日在线发表在《Proceedings of the ACM on Software Engineering》期刊的第2卷FSE期上。该期刊是软件工程领域的顶级会议/期刊之一，论文采用开放获取模式，由微软研究院提供支持。
二、 学术背景与研究目标
本研究属于软件工程领域，具体聚焦于软件测试与调试（Software Testing and Debugging）这一核心方向。在软件开发与维护过程中，故障复现是定位和修复缺陷的关键步骤。然而，这项工作通常极具挑战且耗时，尤其是当故障由复杂的输入、程序状态或环境配置所引发时。传统方法存在诸多局限：侵入式方法（如确定性重放）运行时开销高；非侵入式方法（如基于符号执行或日志分析的工具）在处理大型复杂系统、生成复杂数据结构输入或设置特定程序状态时，在可扩展性和有效性方面面临困难。
近年来，大型语言模型（Large Language Model, LLM）在代码生成与分析任务中展现出巨大潜力。已有工作尝试利用LLM从错误报告中生成触发错误的测试用例，但其在应对复杂输入和程序状态方面的效能有限。例如，先前工作Libro在其评估基准上仅能复现34%的错误。
因此，本研究旨在解决现有技术的不足，提出并实现一种新型的故障复现技术。其核心目标是：给定一个故障的症状（具体为异常及其堆栈跟踪信息），自动生成一个可独立运行的工作负载（包括代码和输入），该工作负载在执行时能够重现给定的故障症状，从而为后续的调试和回归测试提供支持。
三、 详细研究流程与方法
本研究提出并实现了一个名为ReproCopilot的工具，其工作流程包含三个核心步骤，并融合了两种新颖的技术：面向状态的代码生成（State-oriented Code Generation）和动态精化（Dynamic Refinement）。
第一步：识别必要条件 在动态精化开始前，ReproCopilot首先对系统代码和给定的异常症状进行静态和动态分析，以识别复现故障所必需的运行时条件。这包括： 1. 可达性条件（Reachability Condition）：这是故障堆栈跟踪中所有帧的可达性条件的合取。对于每一帧，ReproCopilot分析从工作负载入口点到该帧代码行的所有可能执行路径，提取路径上的分支条件（涉及局部变量、类属性等）。如果涉及抽象类型，则根据堆栈跟踪推断具体类型要求。 2. 异常条件（Exception Condition）：这是触发目标异常（堆栈最内层帧）的条件。ReproCopilot利用LLM将异常文档中的自然语言描述转化为程序变量层面的条件（例如，对于NegativeArraySizeException，条件为size < 0）。对于无法用变量表达的异常（如并发修改），则记录自然语言描述。
这些条件为后续的动态精化提供了明确的指导目标。
第二步：初始工作负载生成 ReproCopilot利用检索增强生成（Retrieval-Augmented Generation， RAG）技术，将故障症状（异常和堆栈跟踪）以及相关的系统代码片段作为上下文，提示LLM生成一个旨在执行失败方法（堆栈跟踪最外层帧）的初始工作负载代码。提示模板要求LLM生成一个名为workload的静态方法。为了提高成功率，ReproCopilot每次会请求LLM生成多个（默认5个）候选代码，并根据它们与目标故障症状的接近程度进行排名，选择最优者。这一步骤类似于现有的输出导向型代码生成方法。
第三步：动态精化 这是ReproCopilot的核心创新环节。初始生成的工作负载通常无法直接复现故障。动态精化是一个迭代过程，通过分析工作负载执行时的实际行为，识别其与目标症状的差距，并利用“面向状态的代码生成”技术进行修正。该迭代过程由算法1详细描述，主要处理三种情况： 1. 工作负载因意外异常而终止：例如，因未正确初始化系统而抛出与目标不同的异常。ReproCopilot根据运行时跟踪和程序状态，采取三种策略：寻找并使用工厂/建造者模式替代无效的构造函数调用；将导致异常的代码切片和异常信息交给LLM，让其生成修复代码；若异常由代码中显式的throw语句引发，则识别其触发条件，并生成使该条件为假的代码。 2. 工作负载正常运行但未执行到目标堆栈跟踪：工作负载没有抛出任何异常，但执行路径与目标堆栈跟踪分岔。ReproCopilot会定位第一个“分岔帧”，确定其缺失的可达性条件，然后使用“面向状态的代码生成”技术生成补丁代码，以创建满足该条件的程序状态或输入。 3. 工作负载执行了目标堆栈跟踪但未抛出目标异常：这意味着异常条件未满足。ReproCopilot使用第一步中提取的异常条件，同样通过“面向状态的代码生成”来生成补丁，以触发该异常。
面向状态的代码生成技术是本研究的另一关键创新。与单纯以输出为目标的生成不同，它以需要满足的特定运行时条件（如变量x > 0）为输入。其工作流程为： 1. 程序切片：针对条件所在的程序位置，计算向后跨过程序切片，识别出工作负载中可以影响该条件的所有数据及其流向，包括来自I/O或环境的数据源。 2. 约束求解：对于可表示为数学逻辑条件的程序状态，使用SMT求解器（如Z3）寻找满足故障条件的具体值，为LLM提供更精确的指导。 3. 代码生成：将内联展开后的程序切片、需要满足的具体条件以及相关代码上下文通过提示模板提交给LLM，请求其生成能够设置类属性、准备本地环境或构造合适参数值的代码。
依赖服务行为模拟：对于需要特定外部服务（如数据库、网络API）错误行为才能触发的故障，ReproCopilot会识别程序切片中的远程或I/O调用，并利用LLM推断所需的错误行为（如返回特定错误码、抛出连接异常），然后通过字节码插桩技术拦截原始调用并模拟这些错误行为。
在每次迭代中，生成的补丁会通过LLM合并到当前的工作负载代码中，形成新的工作负载版本，然后再次执行验证。此过程持续进行，直到成功复现故障，或精化过程无法取得进展（如分岔帧在两轮迭代中无变化）为止。
四、 主要实验结果与分析
研究团队在50个真实世界的故障案例上对ReproCopilot进行了全面评估。这些案例来自17个开源项目，包括ZooKeeper、Hadoop、HBase、HDFS、Elasticsearch等分布式系统，以及Okio、Maven等单节点应用，涵盖了不同复杂度的场景。
有效性（Effectiveness）： ReproCopilot成功复现了50个故障中的38个，成功率达到76%。其中，对单节点应用的成功率为74%（20/27），对分布式系统的成功率高达78%（18/23）。特别值得注意的是，在GPT-4训练数据截止日期之后发生的23个故障中，ReproCopilot成功复现了15个（成功率65%），证明了其方法对于新故障的有效性，并非单纯依赖模型记忆。
效率与工作量： ReproCopilot复现一个故障平均需要2.24次迭代，最多需要8次迭代。每次迭代的主要耗时在于与LLM的交互。生成的工作负载代码平均只有12行，最多60行，简洁明了，易于理解和用于回归测试。其中，有11个案例（占成功案例的29%）生成的工作负载需要准备I/O操作或设置特定执行环境（如创建配置文件、格式化HDFS），这恰恰是先前技术公认的难点。
根因捕获能力： 为了验证生成的工作负载是否真正触发了根本原因而非仅仅表面症状，研究者在开发者已修复相关缺陷的代码版本上运行了ReproCopilot生成的工作负载。在可测试的36个已修复故障中，有34个（95%）的工作负载不再能引发故障，这表明ReproCopilot生成的工作负载准确地捕获了被开发者修复的根本原因。只有两个案例因使用了语义上无效（但语法上可能）的输入而仍然触发故障，这指出了未来可改进的方向。
关键技术贡献验证： 1. 动态精化的必要性：在38个成功案例中，有22个（58%）需要超过1次迭代（即需要动态精化）才能复现。若仅依赖初始生成并增加候选代码数量（如像Libro那样生成50个），其中6个案例也能在一步内解决，但会消耗更多的LLM资源。这证明了动态精化在效率和效果上的优势。 2. 面向状态代码生成 vs. 输出导向生成：研究者对比了在精化阶段使用“面向状态生成”与直接使用“输出导向生成”（仅给出当前输出和失败行，要求LLM生成抛出目标异常的代码）的效果。在22个需要精化的案例中，输出导向生成仅能解决7个，而其余15个（68%）必须依赖面向状态的代码生成技术才能成功。这凸显了后者在处理需要复杂程序状态故障时的关键作用。
与现有技术的对比： 研究将ReproCopilot与当前最先进的解决方案Libro和Botsing进行了对比。 * Libro：在相同的50个案例上，Libro（配置为生成50个测试）仅成功复现了18个（36%）。在需要复杂状态设置的分布式系统故障上，Libro的表现尤其不佳（23个中仅复现4个）。 * Botsing：由于兼容性问题，仅在21个案例上进行了测试，成功复现12个（57%）。 ReproCopilot的76%成功率显著优于这两种现有技术。
失败案例分析： ReproCopilot未能复现的12个故障主要原因包括：1) 静默错误处理导致缺乏反馈（如Maven忽略不存在的文件路径）；2) LLM能力限制，无法生成满足特定复杂状态的代码；3) 环境设置不完整/不正确（如未启动HDFS DataNode）；4) 未能正确识别远程调用以注入错误行为；5) 生成的中间代码执行挂起。这些指明了未来工作的潜在改进方向。
五、 研究结论与价值
本研究成功提出并实现了一种创新的、结合程序分析与LLM驱动的故障自动复现工具ReproCopilot。其核心贡献在于两种新颖的技术：面向状态的代码生成和动态精化。实验结果表明，ReproCopilot能够高效、有效地复现真实世界中的复杂软件故障，其性能显著超越现有技术。
科学价值：本研究探索并验证了将静态/动态程序分析与基于LLM的代码生成相结合的新范式，为软件自动化调试领域提供了新的思路。所提出的“面向状态生成”和“动态精化”技术具有通用性，可应用于故障复现之外的其他需要生成特定程序状态的代码生成任务。
应用价值：ReproCopilot可以极大减轻开发人员在调试过程中复现故障的负担，尤其是对于那些需要复杂环境、特定程序状态或涉及外部服务交互的难以复现的故障。生成简洁、独立的工作负载可直接用于回归测试，确保修复的有效性，并可作为理解故障根源的起点，提升软件维护的效率与质量。
六、 研究亮点
七、 其他有价值内容
研究团队公开了其实验中使用的故障数据集，这对于推动软件故障复现领域的后续研究具有重要价值。此外，论文中对ReproCopilot无法复现案例的深入分析，为未来研究指出了明确的技术挑战和改进方向，例如如何处理静默错误、如何更智能地配置复杂分布式环境、如何提升LLM对特定领域代码的生成能力等。这些都为该领域的持续发展提供了宝贵的见解。