学术研究报告：基于LLM的自动化代码库编译框架CompileAgent

一、作者与发表信息

本研究由来自University of Science and Technology of China、Qi-Anxin Technology Research Institute和Anhui Province Key Laboratory of Digital Security的团队合作完成，第一作者为Li Hu和Guoqiang Chen（共同一作），通讯作者为Shaoyin Cheng。论文发表于Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)，卷1（长论文），页码2078–2091。

二、学术背景

研究领域与动机

研究领域为软件工程与人工智能交叉领域，聚焦于利用大语言模型（LLM）驱动的智能体（agent）实现代码库级别（repo-level）的自动化编译。随着开源项目规模与复杂度的增长，传统手动编译过程繁琐且易错，而现有自动化工具（如OSS-Fuzz-Gen）仅能处理简单构建场景，无法适应复杂依赖、环境配置等问题。

研究目标

提出首个基于LLM的编译框架CompileAgent，通过整合多工具和流式策略（flow-based strategy），解决两大核心挑战：
1. 编译指令发现：从代码库的分散文档（如README、安装说明）中精准提取指令；
2. 编译错误解决：通过多代理协作（multi-agent discussion）实时诊断环境依赖、语法错误等问题。

三、研究方法与流程

1. 模块设计

CompileAgent包含两大核心模块：
- CompileNavigator：定位编译指令
- 工具1：Shell工具：基于Docker隔离的交互式环境，执行编译命令；
- 工具2：文件导航器（File Navigator）：通过双代理（SearchAgent-I/II）分析代码库结构，识别潜在指令文件；
- 工具3：指令提取器（Instruction Extractor）：从文件或网页中提取指令（如调用Google搜索补充缺失信息）。

• ErrorSolver：解决编译错误
  
  • 工具4：网站搜索（Website Search）：封装Google搜索引擎，优先检索Stack Overflow等可靠来源；
    
  • 工具5：多代理讨论（Multi-Agent Discussion）：3个代理通过多轮辩论生成解决方案，直至达成共识（最多3轮）。
    

2. 流式策略（Flow-Based Strategy）

主控代理（MasterAgent）按固定流程调用工具：
1. 下载代码库至Docker容器；
2. 分析代码结构；
3. 提取并执行编译指令；
4. 若失败，触发ErrorSolver模块；
5. 最终输出编译状态（成功/失败）。

3. 实验设计

• 基准测试集：构建CompileAgentBench，包含100个C/C++ GitHub项目，覆盖14个领域（如加密、数据库、神经网络）；
  
• 基线对比：与OSS-Fuzz-Gen、README-AI（基于GPT-4生成文档）、检索增强生成（RAG）技术对比；
  
• 评估指标：编译成功率、时间成本、费用。
  

四、主要结果

1. 编译成功率提升

   • 在7个LLM（如GPT-4、Claude-3、DeepSeek-V2）上，CompileAgent平均成功率较基线提高10%~71%。例如，Claude-3模型下成功率高达96%，而基线仅为79%。
     
   • 时间与成本优化：单项目平均编译时间减少47.6小时，成本仅0.22美元。
     

2. 策略有效性验证

   • 流式策略显著优于React、Plan-and-Execute等传统策略，尤其在复杂错误解决中（如依赖冲突）。
     

3. 消融实验

   • 移除多代理讨论模块后，成功率下降18%，凸显其关键作用；
     
   • 双代理文件导航器比单代理版本成功率提高8%。
     

五、结论与价值

科学价值

1. 方法论创新：首次将LLM智能体应用于代码库编译，提出模块化工具链与流式策略；
   
2. 基准贡献：发布首个公开的repo-level编译基准CompileAgentBench。
   

应用价值

1. 开发效率：减少人工调试时间，适用于大规模开源项目维护；
   
2. 跨语言扩展：实验证明可支持Go等语言，未来可拓展至多架构（如ARM、MIPS）。
   

六、研究亮点

1. 多工具协同：5个专用工具覆盖编译全流程，解决传统工具的局限性；
   
2. 动态错误处理：多代理辩论机制显著提升复杂错误的解决能力；
   
3. 低成本高效益：在236B参数的DeepSeek-V2上，单项目成本仅1.83美元。
   

七、局限性与展望

1. 依赖LLM理解能力：指令 misinterpretation 可能导致重复操作；
   
2. 工具扩展性：未来可集成高级调试工具（如Coverity Scan）；
   
3. 提示工程优化：需进一步研究高效的Agent策略。
   

（注：本文未翻译专业术语如LLM、repo-level等，首次出现时标注英文原词。）