关于MAS-AI：一种用于软件工程AI智能体的模块化架构的学术研究报告

本报告旨在介绍一项由微软研究院印度团队（Microsoft Research India）于2024年在第38届神经信息处理系统大会（NeurIPS 2024）上发表的研究工作。该研究提出了一种名为MAS-AI（Modular Architecture for Software-Engineering AI Agents） 的模块化架构，旨在解决大型语言模型（LLM）在应对复杂、现实世界的软件工程任务（如修复GitHub问题）时所面临的挑战。

一、 研究作者、机构与发表信息 本研究的主要作者包括Nalin Wadhwa、Atharv Sonwane、Daman Arora（三人为并列第一作者）、Abhav Mehrotra、Saiteja Utpala、Ramakrishna Bairi、Aditya Kanade和Nagarajan Natarajan。所有作者均隶属于微软研究院印度（Microsoft Research India）。该研究成果以论文形式发表于2024年的神经信息处理系统大会（NeurIPS 2024）。

二、 学术背景与研究目标 科学领域：本研究属于人工智能（AI）在软件工程领域的应用，具体聚焦于基于大型语言模型（LLM）的自主智能体（AI Agents）的设计与开发。 研究背景与动机：近年来，LLM在代码生成、推理和规划方面展现出卓越能力，结合工具使用和环境反馈，催生了能够执行特定目标的自主智能体。然而，随着软件工程任务复杂度的增加（例如，修复一个涉及多个文件、需要理解代码库上下文和编写测试的GitHub问题），设计一个单一、通用的策略变得异常困难。现有的单一智能体方法通常采用一个长链的推理和行动循环，这可能导致成本高昂、引入无关上下文并影响性能。受软件工程师通过“分而治之”策略解决复杂问题的启发，本研究旨在探索一种模块化的智能体架构。 研究目标：提出并验证MAS-AI，一个将端到端的软件工程任务（如代码库级问题解决）分解为一系列定义明确的子任务，并由专门的子智能体（sub-agent）分别处理的模块化架构。目标是证明这种架构能够在保持高自主性的同时，在具有挑战性的基准测试上取得有竞争力的性能，并通过分析其设计决策来指导该快速演进领域的未来研究。

三、 详细研究流程与方法 本研究主要包括MAS-AI架构的设计、实现、评估以及与现有方法的对比分析。核心研究对象是SWE-bench Lite数据集，它包含来自11个Python开源仓库的300个真实GitHub问题。研究流程可概括为以下几个步骤：

1. MAS-AI架构设计与子智能体定义： 研究者将解决代码库问题这一复杂任务分解为五个顺序执行的子任务，并为每个子任务实例化一个专门的LLM驱动的子智能体。每个子智能体由一个三元组⟨输入, 策略, 输出⟩定义。

   • 测试模板生成器（Test Template Generator）：
     • 输入：代码库状态（如目录结构）。
     • 策略：ReAct（Reasoning and Acting）。该策略允许智能体通过执行一系列“思考-行动”步骤与环境交互，直到完成目标。
     • 输出：一个与具体问题无关的通用测试模板及运行命令。该子智能体通过探索仓库文档和现有测试，学习该仓库特定的测试框架和运行方式。
   • 问题复现器（Issue Reproducer）：
     • 输入：代码库状态、问题描述、以及由测试模板生成器提供的测试模板和命令。
     • 策略：ReAct。
     • 输出：一个能够复现问题行为的特定测试用例及其运行命令。它利用前一个子智能体提供的模板，生成一个在问题修复前后状态（通过/失败）会改变的测试。
   • 编辑定位器（Edit Localizer）：
     • 输入：代码库状态和问题描述。
     • 策略：ReAct。
     • 输出：需要编辑以解决问题的代码位置（文件、类、函数）列表。该子智能体通过导航仓库、阅读代码、使用grep等shell命令进行多步推理来定位根因。
   • 修复器（Fixer）：
     • 输入：问题描述以及编辑定位器提供的待编辑代码内容。
     • 策略：思维链（Chain-of-Thought, CoT）。该策略引导LLM在最终输出前进行逐步推理。
     • 输出：多个（研究中设为5个）可能修复问题的候选补丁（patch）。研究者采用了“最小化重写”的响应格式，要求LLM提供包含精确行号的原始代码和修改后代码对，并结合模糊匹配来处理缩进不一致等问题，确保补丁可应用且语法正确。
   • 排序器（Ranker）：
     • 输入：问题描述、修复器生成的多个候选补丁、以及问题复现器生成的测试用例和命令。
     • 策略：思维链（CoT）。
     • 输出：对候选补丁的排序，选择最可能解决问题的补丁。排序器利用为每个补丁运行复现测试的结果（通过/失败状态变化）作为关键信息进行排序。如果无法生成测试，则仅基于问题描述进行排序。

   这些子智能体通过信息流串联：前一个子智能体的输出作为后一个的输入。所有子智能体共享一个行动空间，包括读取（read）、编辑（edit）、添加（add）、写入（write）、列出（list）、执行命令（command）和完成（done）等动作，以实现与代码库环境的交互。

2. 实验设置与对比方法：

   • 数据集：使用SWE-bench Lite数据集，任务是根据问题描述和代码库（基础提交版本）生成一个能通过隐藏测试的补丁。
   • 评估指标：
     • 解决率（Resolution Rate）：成功解决问题的百分比（核心指标）。
     • 定位率（Localization Rate）：提出的补丁完全覆盖了真实补丁所涉及文件的百分比（文件级召回率100%）。
     • 应用率（Application Rate）：提出的补丁能成功应用到代码库的百分比（patch命令不报错）。
     • 平均成本（Avg Cost）：解决一个问题的平均美元花费。
   • 对比方法：研究选择了近期在SWE-bench Lite上评估过并公开技术细节的多种方法进行对比，包括：SWE-Agent、AutoCodeRover、OpenDevin（含/不含开发者提示“hints”的版本）、Aider、Coder、Moatless、Agentless以及一个检索增强生成（RAG）基线。
   • 实现细节：MAS-AI使用GPT-4o模型贯穿所有子智能体。为不同子智能体设置了不同的温度（temperature）参数和尝试次数限制。

3. 数据分析流程： 研究不仅比较了MAS-AI与基线方法的整体性能（解决率、定位率、应用率、成本），还通过设计一系列研究问题（Research Questions, RQ）进行了深入的消融分析和案例研究，以理解各设计决策的贡献：

   • RQ1：评估MAS-AI在SWE-bench Lite上的整体性能。
   • RQ2：分析不同方法对额外信息（如环境设置、开发者提示、预定义测试命令、覆盖率信息）的依赖程度，强调MAS-AI的高自主性。
   • RQ3：探究MAS-AI如何通过其编辑定位器子智能体实现有效的故障定位，并与使用不同定位策略的方法（如Aider的单步CoT、Agentless的语义搜索）进行对比。
   • RQ4：分析MAS-AI的“采样-排序”策略（由修复器生成多个候选，由排序器利用测试输出排序）相对于主流“迭代修复”策略的优势，并通过控制定位步骤后的修复成功率对比来验证。
   • RQ5：阐述将测试生成分解为“模板生成”和“问题复现”两个步骤的有效性，以应对不同仓库的定制化测试框架挑战。
   • RQ6：说明MAS-AI采用的“最小化重写”补丁表示和模糊匹配如何实现高补丁应用率。

四、 主要研究结果 1. 整体性能（RQ1）：如表1所示，MAS-AI在SWE-bench Lite上取得了28.33%的解决率，与表现最佳的Coder方法持平，并列第一。这显著高于简单的RAG基线（4.33%），也优于其他主流智能体方法（如SWE-Agent的18%，OpenDevin w/ hints的25%）。同时，MAS-AI实现了75%的定位率（仅次于OpenDevin的77%）和95.33%的应用率（处于最高水平），平均成本为1.96美元，属于中等偏低水平。 2. 自主性优势（RQ2）：分析表明，MAS-AI、SWE-Agent和AutoCodeRover对额外信息的依赖最少，仅需问题描述和代码库。而其他一些方法（如OpenDevin使用开发者对话提示，Aider和Agentless依赖预定的测试命令，Coder使用覆盖率信息）需要更多辅助输入。MAS-AI在同等高自主性条件下取得了最佳性能。 3. 故障定位有效性（RQ3）：MAS-AI的编辑定位器（使用ReAct策略）实现了75%的定位率，优于未采用专门定位步骤的SWE-Agent（61%）和OpenDevin without hints（63%），也高于采用其他定位方法的Agentless（68.67%）。案例分析显示，ReAct策略赋予其多步推理和利用shell命令（如grep）深入探索代码库的能力，这在处理复杂定位场景时比单步CoT（如Aider所用）更具优势。在MASAI解决而Aider未解决的27个问题中，Aider有10个（37%）失败源于定位错误；而在Aider解决而MAS-AI未解决的21个问题中，MAS-AI仅有3个（14%）定位失败。 4. 采样与排序策略的价值（RQ4）：实验证明，从修复器采样多个候选补丁至关重要。当使用“Oracle”选择（即假设能完美选出正确补丁）时，采样5个补丁的解决率潜力可达35%，远高于单样本的23.33%。然而，仅凭LLM（无测试输出）难以有效选择（解决率23.33%）。MAS-AI的排序器通过利用问题复现测试的输出，成功将解决率提升至28.33%。与依赖迭代修复的方法相比，在双方都能正确定位的问题子集上，MAS-AI的修复成功率高于大多数方法（除Coder、Aider和Agentless外）。案例分析（如Django问题）表明，当迭代方法陷入局部优化时，MAS-AI的多样性采样能产生正确补丁，并由排序器成功识别。 5. 测试生成策略的有效性（RQ5）：两阶段测试生成（先模板后复现）帮助MAS-AI克服了不同项目使用独特测试框架的挑战。例如，在Django的一个问题中，OpenDevin因试图安装pytest（而非使用项目自定义测试框架）而失败，而MAS-AI的测试模板生成器首先学会了正确的测试编写和运行方式，从而指导问题复现器成功创建了测试。 6. 高补丁应用率（RQ6）：MAS-AI采用的补丁表示方法（要求LLM提供精确行号的原代码-修改代码对）和后续的模糊匹配机制，有效减少了因格式、缩进或行号微小偏差导致的补丁应用失败，从而实现了高达95.33%的应用率。

五、 研究结论与价值 本研究得出结论：采用“分而治之”的模块化架构设计软件工程AI智能体是有效且高效的。MAS-AI通过将复杂的端到端任务分解为一系列定义明确、策略可独立优化的子任务（测试生成、故障定位、修复生成、修复排序），实现了在极具挑战性的SWE-bench Lite基准测试上的领先性能。 科学价值：本研究为AI智能体，特别是软件工程AI智能体的设计提供了一个新颖且有效的架构范式。它证明了模块化、专业化子智能体组合的优势，包括策略灵活性、信息收集针对性和避免长轨迹带来的成本与性能问题。研究还通过详尽的消融实验和对比分析，为社区提供了关于智能体设计关键决策（如定位策略、修复采样、测试生成、补丁表示）的深入见解。 应用价值：MAS-AI展示了解决真实世界软件工程问题（如自动修复GitHub问题）的潜力，能够以较高的成功率和合理的成本处理复杂的代码库级任务。其模块化设计也便于扩展和适应其他软件工程任务，如功能开发或代码库理解。

六、 研究亮点 1. 新颖的架构：首次提出并系统验证了一种专为复杂软件工程任务设计的模块化AI智能体架构（MAS-AI），将“分而治之”的人类工程智慧成功转化为AI智能体的设计原则。 2. 卓越的性能：在权威的SWE-bench Lite基准测试上取得了具有竞争力的最高解决率（28.33%），同时保持了高定位率、高补丁应用率和合理的成本。 3. 深入的分析：不仅报告了性能结果，还通过六个研究问题（RQ）进行了多层次、细致的分析，揭示了模块化设计中各组件（如专用定位器、两阶段测试生成、采样-排序修复）的具体贡献和优势，为后续研究提供了清晰的指导。 4. 高自主性：在设计上最小化了对额外信息或特定工具链的依赖，主要依靠LLM和通用环境交互能力，展示了更高的通用性和实用性。 5. 可复现性：论文提供了详细的提示词（附录）和日志，增强了研究的可复现性和透明度。

七、 其他有价值内容 研究还讨论了MAS-AI的局限性及未来方向，例如将其扩展到更多类型的软件工程任务（如功能工程、仓库理解），以及需要关注AI智能体在代码仓库上运行可能带来的安全和规整化问题。这些讨论为后续研究指明了潜在的发展路径。