Agent Harness Engineering: A Survey
本文档是一篇题为《Agent Harness Engineering: A Survey》的学术综述论文，目前正在以双盲评审形式提交至TMLR（Transactions on Machine Learning Research）期刊。作者为匿名。
论文主题与核心论点 本文的核心主题是智能体执行马具工程。文章指出，大型语言模型（LLM）智能体在现实部署中的任务执行可靠性，主要瓶颈往往不在于底层模型本身，而在于包裹模型的基础设施层，即“智能体执行马具”。这篇综述旨在对这一新兴的工程实践领域进行系统性梳理，并围绕三个核心主张展开论述。
主要观点阐述
1. 主张一：马具是智能体可靠性的关键约束层 文章开篇即提出一个关键观察：在现实世界的智能体部署中，任务执行的可靠性更多地取决于包裹模型的“执行马具”，而非模型本身。作者通过“绑定约束论题”来阐述这一观点，即对于使用相近前沿模型评估的长视野任务，基准测试的方差可能由执行马具驱动，其影响程度不亚于模型本身。
- 证据与论据：
- 经验证据：文章引用了三项近期研究结果来支撑这一主张。
- Bölük (2026a) 的研究表明，仅修改工具格式和工具马具（未改模型），就能在多个模型的编码基准测试上取得高达10倍的性能提升。
- Trivedy (2026) 通过系统提示重构、中间件上下文注入和自验证钩子等基础设施层面的改变，将固定GPT-5.2-Codex智能体在Terminal-Bench 2.0上的性能从52.8%提升至66.5%，提升了13.7个百分点。
- Lee等人 (2026) 的Meta-Harness项目通过自动化马具优化，在Terminal-Bench-2上达到了76.4%的准确率，超越了所有手工工程方法。
- 历史演变：文章梳理了智能体系统工程的三个阶段演变，论证了工程焦点从模型转向马具的必然性。
- 提示工程：关注单次模型调用的输入文本优化。
- 上下文工程：关注多步任务中，模型在每个步骤应看到哪些信息的管理。
- 马具工程：关注构建一个完整的基础设施层，该层管理状态、协调工具、注入反馈、强制执行约束并验证进展，以确保智能体系统的可靠性。
- 跨层综合问题：文章指出，马具工程需要综合处理成本-质量-速度三难困境、能力-控制权衡以及马具耦合问题。这些是系统层面的挑战，无法通过单独优化模型或提示来解决。
2. 主张二：提出ETCLOVG七层分类法 为了系统化地分析智能体马具，作者提出了一个名为ETCLOVG的七层分类法，将智能体执行马具分解为七个独立的架构层。这一分类法扩展了之前的六组件框架，关键创新在于将可观测性和治理提升为独立的、一等公民的架构关注点。
- 七层详解：
- E - 执行环境与沙箱：定义智能体代码运行的位置和边界约束。这是智能体动作执行的物理基底，提供安全边界、可复现的评估/训练重置机制，以及无需人工逐条批准的自主行动许可区域。文章进一步将沙箱基础设施细分为七类：通用托管沙箱、计算机使用智能体基础设施、代码专用沙箱、框架集成运行时、浏览器评估环境、操作系统级权限沙箱和沙箱抽象层。
- T - 工具接口与协议：定义智能体如何发现、描述和调用外部能力。核心矛盾在于暴露更多工具以增加能力覆盖，与控制动作空间和提示开销以保持决策质量之间的权衡。该层涉及协议标准、工具描述与发现、工具增强的训练与集成，以及可扩展性和会话管理。
- C - 上下文与记忆管理：控制模型在每个执行步骤能看到什么信息，以及知识如何跨越轮次和会话持久化。文章强调，更大的上下文窗口本身并不能解决记忆问题，因为存在二次注意力成本、“U型”注意力曲线和“上下文腐化”现象。因此，必须对上下文进行主动工程化管理，文章按时间跨度将其分为三层：短期（活动上下文窗口管理）、中期（会话状态和跨运行持久化）和长期（持久化记忆系统）。
- L - 生命周期与编排：组织控制流，管理智能体从任务开始到结束的整个执行过程，包括状态管理。这涵盖了单智能体内循环、多智能体协调模式以及从问题到拉取请求的完整生命周期流水线。
- O - 可观测性与运维：捕获跟踪、成本、故障和可靠性信号。在生成式系统中，可观测性拥有独立的工具生态和实践，应被视为独立层，而不仅仅是生命周期钩子的副产品。
- V - 验证与评估：将任务和跟踪转化为评估、故障归因和回归反馈。这包括任务和基准的落地、执行前准备度验证、受控执行与跟踪捕获、多级判断与故障归因，以及持续的回归和部署反馈。
- G - 治理与安全：通过权限、身份、策略、强化、审计和人工监督机制来约束智能体行为。该层涵盖模型级、系统级和组织级三个子层面的安全与合规问题。
3. 主张三：基于对170多个开源项目的映射进行实证分析 为了验证ETCLOVG分类法的实用性并揭示生态系统模式，作者构建了一个包含170多个开源项目的语料库，并将其映射到七层分类法上。这一映射揭示了生态系统的覆盖密度、空白领域以及新兴的设计原则。
- 实证发现：
- 覆盖不均：执行环境、工具接口、生命周期编排和验证层拥有最密集的开源项目覆盖，因为编码、网页、终端和计算机使用智能体都需要可运行的环境、工具契约、控制循环和可重复的评估。上下文和记忆管理在许多项目中都有体现，但通常嵌入在更大的框架中，而非作为独立的马具组件发布。可观测性和治理在开源领域的覆盖较薄，更多出现在商业平台、SDK功能或工程文章中，这表明运维控制的发展晚于运行时和基准测试基础设施。
- 跨层项目：最完整的系统倾向于结合沙箱、工具协议、编排、跟踪、评估和权限控制，这支持了文章的核心论点，即马具工程是一个集成的系统问题，而非孤立插件的集合。
- 方法论：文章详细说明了项目收集、纳入/排除标准、编码协议以及语料库的局限性（如偏向英语、GitHub可见项目、开源工件，以及商业生产系统代表性不足）。
论文的意义与价值
- 概念化与正名：该综述首次对“智能体执行马具工程”这一关键但分散的实践领域进行了系统性的概念化和命名。它明确地将马具定位为决定智能体实际可靠性的独立系统层，为研究和实践提供了清晰的分析框架。
- 提供系统性分类法：提出的ETCLOVG七层分类法为理解和设计智能体系统提供了一个全面、结构化的蓝图。它将可观测性和治理提升为核心层，反映了生产部署中的实际工程关切，填补了先前框架的空白。
- 连接实践与研究：文章旨在弥合实践者与研究者之间的认知鸿沟。实践者深知马具基础设施的重要性，但缺乏系统描述和改进的正式词汇。本研究通过梳理生产经验（如OpenAI、Anthropic、LangChain的部署原则）并将其与学术研究相结合，提供了沟通的桥梁。
- 揭示生态系统现状与趋势：通过对大量开源项目的实证映射，文章不仅验证了其分类法，还客观展示了当前智能体马具生态系统的强项与弱点，为工具开发者、框架构建者和研究者指明了未来的投资和发展方向。
- 指明开放问题：基于对当前实践和研究的梳理，文章为未来的研究议程奠定了基础，这些议程既源于学术研究空白，也源于生产部署中的痛点。
总而言之，这篇综述论文论证了智能体系统的可靠性是一个模型-马具耦合系统的产物，而不仅仅是模型能力的函数。它系统性地剖析了这个耦合系统的构成，为构建更可靠、可控制、可观测、可治理的下一代智能体系统提供了至关重要的理论指导和实践路线图。